Skip to content

5.3-1 RocketMQ 架构:NameServer、Broker、Producer、Consumer ​

所属:05 消息中间件 / 5.3 RocketMQ 分级:A 状态:◐ 初稿 关联:5.1-1、5.1-3、5.1-4、5.1-5、5.3-2、5.3-3、5.3-4、5.3-6、5.4-1

  • 题型:原理 / 流程 / 架构

  • 一句话结论:RocketMQ 是四角色 + 两级存储 + 长轮询拉取的架构:NameServer 只做轻量路由注册与发现(无状态、互不同步、AP 优先),Broker 负责存储与投递(CommitLog 顺序写 + ConsumeQueue 索引,主从复制),Producer 先拉路由再按队列发送,Consumer 以消费组为单位、用长轮询从队列拉消息并提交位点。注册中心不在消息链路上——NameServer 全挂,已有客户端靠本地缓存仍能收发,这是它和“ZK 强一致”思路最大的区别。

  • 分层要点:

    1. 四个角色各干一件事:NameServer 是无状态的路由注册中心(Topic → Broker/队列),Broker 是存储与投递节点(主从、CommitLog/ConsumeQueue/IndexFile),Producer 是发送端(拉路由、选队列、发消息、收 SendResult),Consumer 是消费端(按消费组分配队列、拉取、消费、提交位点)。没有“调度中心”角色,消息不经过 NameServer。
    2. NameServer 的设计取舍:多个 NameServer 彼此不通信、不同步,每个 Broker 向所有 NameServer 注册;客户端随机选一台拉路由并缓存。这是AP 设计——可用性优先,允许短暂路由不一致,换来轻量、无选主、无 ZK 依赖。代价是:NameServer 之间可能有秒级差异,Broker 下线后各节点感知时间不完全一致。
    3. Broker 的主从模型:brokerName 相同的多个节点组成一组,brokerId=0 是 Master,>0 是 Slave;Master 负责读写,Slave 负责读与备份。复制方式 ASYNC_MASTER / SYNC_MASTER,刷盘方式 ASYNC_FLUSH / SYNC_FLUSH,两者组合决定可靠性(5.1-1)。4.x 开源版 Master 挂掉不会自动切换,Slave 只读;要自动选主得上 DLedger(Raft)。
    4. Topic 在 Broker 上被切成队列:一个 Topic 在每个 Broker 上有 writeQueueNums 个写队列、readQueueNums 个读队列,队列是并行与顺序的单位。Producer 选队列(轮询/哈希/自定义 MessageQueueSelector),Consumer 按队列分配。队列数决定消费并行度上限,也是顺序消息的落点(5.1-3)。
    5. 发送路径:Producer 启动后从 NameServer 拉 TopicRouteData(队列 + Broker 地址)并缓存,按策略选一个 MessageQueue,通过 Netty 发到对应 Broker;Broker 写入 CommitLog(顺序追加),再由 ReputMessageService 异步构建 ConsumeQueue 与 IndexFile,最后返回 SendResult(SEND_OK / FLUSH_DISK_TIMEOUT / FLUSH_SLAVE_TIMEOUT / SLAVE_NOT_AVAILABLE)。
    6. 消费是“长轮询拉”不是真推送:Consumer 向 Broker 发拉取请求,若没有新消息,Broker hold 住请求约 15 秒(longPollingEnable),期间有新消息立即返回;超时返回空,客户端再拉。这样既保证实时性,又让客户端控制消费速率。消费组内队列按策略分配(平均/一致性哈希等),RebalanceService 默认每 20 秒触发一次再平衡。
    7. 位点与重试:集群消费的位点由 Broker 的 ConsumerOffsetManager 管理(客户端每 5 秒上报一次),广播消费存在本地。消费失败返回 RECONSUME_LATER,消息进 %RETRY%<group> 按 16 级延迟重试,超过 maxReconsumeTimes 进 %DLQ%<group>。重试队列和死信队列都是普通 Topic,需要监控(5.3-8)。
    8. 高可用要分层看:NameServer 集群无状态、随便挂一台不影响;客户端有路由缓存,NameServer 全挂时存量收发不受影响,只有新 Topic/新客户端拿不到路由;Broker Master 挂,4.x 该组队列不可写(客户端靠 sendLatencyFaultEnable 规避故障 Broker、重试其他队列),DLedger 模式可自动选主;磁盘满会进只读。架构上没有单点,但每个单点的影响面不同。
  • 图/流程:

text
部署与注册:
  NameServer-1   NameServer-2   NameServer-3
        ▲              ▲              ▲
        └──── 注册/心跳(30s)────────┘
              Broker-A(Master) ──复制── Broker-A(Slave)
              Broker-B(Master) ──复制── Broker-B(Slave)

  Producer ──拉路由(30s)──▶ NameServer
  Consumer ──拉路由(30s)──▶ NameServer
  Producer ──发送──────────▶ Broker
  Consumer ──长轮询拉取────▶ Broker
text
发送路径:
  Producer
    → TopicPublishInfo(本地缓存)
      → 选 MessageQueue(轮询 / 哈希 / selector)
        → Netty → Broker
          → CommitLog 顺序追加
            → ReputMessageService 异步构建
              → ConsumeQueue(offset/size/tagHash)
              → IndexFile(key 索引)
          → 返回 SendResult
text
消费路径:
  Consumer(PullMessageService)
    → 从 Broker 拉 ConsumeQueue(按 offset)
      → 无新消息:Broker hold 15s(长轮询)
      → 有新消息:返回消息 + 下一 offset
    → 业务消费
      → 成功:更新本地位点,5s 上报 Broker
      → 失败:RECONSUME_LATER → %RETRY%group
text
消费组与队列分配:
  Topic: order(4 个队列)
  Group: g1
    实例 A → queue0, queue1
    实例 B → queue2, queue3
  实例 C 加入 → Rebalance(20s)→ 重新分配
  • 版本/源码锚点:

    • 角色与路由:NamesrvController、RouteInfoManager、DefaultRequestProcessor(GET_ROUTEINFO_BY_TOPIC)、MQClientInstance、TopicRouteData、TopicPublishInfo。
    • 发送:DefaultMQProducer、DefaultMQProducerImpl.sendDefaultImpl、MessageQueueSelector、MQFaultStrategy(sendLatencyFaultEnable)、SendResult、SendStatus。
    • 消费:DefaultMQPushConsumer(本质是长轮询)、PullMessageService、PullRequestHoldService、RebalanceService(20s)、AllocateMessageQueueStrategy、ConsumeMessageConcurrentlyService / ConsumeMessageOrderlyService。
    • 存储:CommitLog、ConsumeQueue、IndexFile、ReputMessageService、DefaultMessageStore、FlushRealTimeService / GroupCommitService。
    • 配置:brokerId、brokerRole(ASYNC_MASTER/SYNC_MASTER/SLAVE)、flushDiskType(ASYNC_FLUSH/SYNC_FLUSH)、writeQueueNums/readQueueNums、longPollingEnable、brokerHeartbeatInterval(30s)、brokerExpireTime(120s)、persistConsumerOffsetInterval(5s)。
    • 5.x:Proxy(gRPC/HTTP)、POP 消费(Broker 侧负载均衡、无需 Rebalance)、定时/任意延迟、存算分离。
  • 四角色职责:

角色职责状态挂了会怎样
NameServer路由注册与发现无状态、互不同步已有客户端靠缓存继续;新 Topic 拿不到路由
Broker(Master)读写消息、存储有状态该组队列不可写,客户端规避/重试
Broker(Slave)备份、读有状态不影响写,只影响读与容灾
Producer拉路由、选队列、发送无状态业务侧发送失败,重试/告警
Consumer分配队列、拉取、消费、报位点无状态消费暂停,lag 上涨
  • NameServer vs ZooKeeper:
维度RocketMQ NameServerZooKeeper
一致性AP(最终一致)CP(ZAB 强一致)
节点通信互不同步选举 + 同步
运维极轻量、无依赖重、需维护集群
故障影响路由短暂不一致选主期间不可用
适用路由发现(可容忍短暂不一致)需要强一致的协调场景
  • 发送结果与处理:
SendStatus含义处理
SEND_OK写入成功(按配置刷盘/复制完成)正常
FLUSH_DISK_TIMEOUT同步刷盘超时重试/告警,可能重复
FLUSH_SLAVE_TIMEOUT同步复制超时重试/告警
SLAVE_NOT_AVAILABLE无可用 Slave降级或告警
  • 消费模式:
模式说明位点适用
集群消费(CLUSTERING)组内实例分摊队列Broker 管理绝大多数业务
广播消费(BROADCASTING)每个实例都消费全量本地文件本地缓存刷新、配置推送
Push(长轮询)客户端拉,Broker hold同上默认,实时性高
Pull客户端主动拉同上批量/自定义节奏
POP(5.x)Broker 侧分配、无 RebalanceBroker 管理大规模、弹性伸缩
  • 失效场景与定位:
现象根因处理
发送 No route info of this topicTopic 未创建/未注册到该 NameServer建 Topic、检查注册、开自动建 Topic
NameServer 全挂后新实例发不出无路由缓存恢复 NameServer;存量实例不受影响
Master 挂后该队列不可写4.x 不自动切换部署 DLedger / 客户端规避重试
消费 lag 上涨但实例正常队列数 < 实例数 / Rebalance扩队列或减实例(5.1-4)
消费位点回退上报失败/重启查 ConsumerOffsetManager、日志
消息重复重试/位点未提交幂等(5.1-2)
磁盘满进只读容量不足清理/扩容/告警
长轮询超时频繁网络/ Broker 负载查网络与 Broker 指标
顺序消息不生效用了并发监听器改 MessageListenerOrderly(5.1-3)
广播模式位点丢失位点存本地接受或改集群模式
  • 深挖点(面试官常追的 6 个):

    1. 为什么不用 ZooKeeper 而自己写 NameServer:RocketMQ 的路由场景只需要“注册 + 发现”,能容忍秒级不一致;ZK 的强一致要选主、同步、运维成本高,且 Broker 频繁上下线会给 ZK 带来大量写。NameServer 互不同步、内存存路由、无状态部署,简单到几乎不会成为瓶颈。代价是路由可能短暂不一致——客户端缓存 + 重试可以兜住。
    2. NameServer 挂了消息还能发吗:能。Producer/Consumer 启动时拉过路由并缓存在本地,NameServer 只影响“新 Topic 的路由获取”和“新客户端启动”;已有连接直接连 Broker。Broker 会继续向 NameServer 心跳,NameServer 恢复后路由自动补上。这也是“注册中心不在消息链路上”的含义。
    3. Broker 主从为什么 4.x 不自动切换:开源 4.x 的主从是“复制 + 读分担”,没有选主协议;Master 挂掉后 Slave 只读,需要人工或外部脚本切换。要自动容灾就用 DLedger(Raft 选主、多数派写入),代价是吞吐下降与部署复杂度上升。5.x 的存算分离/主备模式在这个方向上继续演进。
    4. Push 还是 Pull:RocketMQ 的 DefaultMQPushConsumer 名字叫 Push,底层是长轮询 Pull:客户端发拉取请求,Broker 没消息就 hold 15 秒,有消息立刻返回。相比纯 Push,客户端能控制拉取节奏、避免被压垮;相比短轮询,实时性更好、空请求更少。“Push 是 Pull 的封装”是标准答案。
    5. 为什么 CommitLog + ConsumeQueue 要两级:CommitLog 是所有 Topic 共享的顺序追加日志,写入只有顺序 IO,吞吐高;ConsumeQueue 是按 Topic/队列的轻量索引(每条 20 字节:CommitLog offset、size、tag hash),消费时先读索引再随机读 CommitLog。这样写放大最小、读也只需一次索引 + 一次数据读。代价是读放大与索引构建的异步延迟(5.3-2)。
    6. Rebalance 与队列数的关系:集群消费下,队列是分配单位,一个队列同一时刻只分给组内一个消费者;消费者数超过队列数,多出的实例空转。Rebalance 默认 20 秒一次,实例上下线会触发;期间可能重复消费(位点未提交)与短暂停摆。5.x 的 POP 模式把分配放到 Broker 侧,按消息投递、无需 Rebalance,适合弹性扩缩容。
  • 追问链:

    1. RocketMQ 有哪些角色? → NameServer、Broker、Producer、Consumer。
    2. NameServer 做什么? → 路由注册与发现。
    3. 它存什么? → Topic → Broker/队列的映射。
    4. NameServer 之间同步吗? → 不同步。
    5. 为什么不同步? → AP 设计,轻量。
    6. 客户端怎么拿路由? → 随机选一台拉取并缓存。
    7. 多久拉一次? → 默认 30 秒。
    8. NameServer 挂了能发消息吗? → 能,有缓存。
    9. 什么会受影响? → 新 Topic、新客户端。
    10. 为什么不用 ZK? → 强一致成本高、路由只需最终一致。
    11. Broker 主从怎么分? → brokerName 相同,brokerId=0 为 Master。
    12. Master 做什么? → 读写。
    13. Slave 做什么? → 备份、读。
    14. 复制方式? → 异步/同步。
    15. 刷盘方式? → 异步/同步。
    16. 怎么组合最可靠? → SYNC_FLUSH + SYNC_MASTER。
    17. Master 挂了会自动切吗? → 4.x 不会。
    18. 怎么自动切? → DLedger。
    19. Topic 在 Broker 上是什么? → 多个读写队列。
    20. 队列数影响什么? → 并行度、顺序。
    21. Producer 怎么选队列? → 轮询/哈希/selector。
    22. 发送返回什么? → SendResult + SendStatus。
    23. 有哪些状态? → SEND_OK 等四种。
    24. SEND_OK 就落盘了吗? → 看刷盘/复制配置。
    25. 发送失败怎么办? → 重试其他 Broker/队列。
    26. sendLatencyFaultEnable 是什么? → 规避故障 Broker。
    27. 消息写到哪? → CommitLog。
    28. ConsumeQueue 是什么? → 按队列的轻量索引。
    29. 为什么要两级? → 顺序写 + 轻量索引。
    30. IndexFile 做什么? → 按 key 查消息。
    31. 消费是推还是拉? → 长轮询拉。
    32. 长轮询多久? → 约 15 秒。
    33. 为什么不用真推送? → 客户端控速、避免压垮。
    34. 消费组是什么? → 一组消费者分摊队列。
    35. 队列怎么分? → 分配策略 + Rebalance。
    36. Rebalance 多久? → 默认 20 秒。
    37. 消费者能超过队列数吗? → 能,但多出的空转。
    38. 位点存哪? → 集群存 Broker,广播存本地。
    39. 多久上报? → 5 秒。
    40. 消费失败怎么办? → RECONSUME_LATER 进重试队列。
    41. 重试几次? → 默认 16 次。
    42. 然后呢? → 进 %DLQ%。
    43. 广播和集群区别? → 全量消费 vs 分摊。
    44. POP 模式是什么? → 5.x Broker 侧分配,无 Rebalance。
    45. NameServer 全挂的影响? → 存量不受影响,新路由拿不到。
    46. Broker 磁盘满会怎样? → 进只读。
    47. 怎么监控? → 路由、发送失败率、lag、磁盘、主从延迟。
    48. 5.x 有什么变化? → Proxy、POP、定时消息、存算分离。
    49. 架构上没有单点吗? → 每个组件可集群,但影响面不同。
    50. 面试怎么总结? → 四角色 → 路由缓存 → 主从/刷盘 → 两级存储 → 长轮询 → 消费组/Rebalance。
  • 生产案例/取舍(示例,替换成你的项目):

    • 新 Topic 发送报 No route info,原因是只在其中一台 NameServer 注册成功;补建 Topic 并检查注册链路。
    • NameServer 集群全挂 20 分钟,存量收发正常,但新扩容的 Pod 启动失败;加 NameServer 多机房部署与探活。
    • Master 磁盘故障,4.x 未自动切换,该组队列写入失败;客户端重试到其他 Broker,事后上 DLedger。
    • 消费实例从 3 扩到 8,但 Topic 只有 4 个队列,4 个实例空转;扩队列后恢复。
    • Rebalance 频繁触发,重复消费上升;缩短单批处理时间 + 幂等兜底。
    • SYNC_FLUSH + SYNC_MASTER 让发送 RT 从 2ms 涨到 8ms;核心 Topic 保留,日志类改异步。
    • 消费位点上报失败,重启后大量重复;加位点监控 + 幂等。
    • 长轮询超时频繁,排查是 Broker 负载高、GC 停顿;扩容 + 调 JVM。
    • 广播模式本地位点丢失,重复消费全量;改集群模式。
    • 5.x 迁移 POP 模式,弹性扩容不再触发 Rebalance 风暴。
    • 顺序消息误用并发监听器,状态错乱;改 Orderly(5.1-3)。
    • 取舍:NameServer 的 AP 换轻量,代价是短暂不一致;同步刷盘/复制换可靠,代价是 RT;两级存储换写吞吐,代价是读放大;长轮询换实时性与控速,代价是连接占用;DLedger 换自动容灾,代价是吞吐。
  • 易错点:

    • 认为 NameServer 之间会同步。
    • 认为 NameServer 在消息链路上。
    • 认为 NameServer 挂了消息就发不出去。
    • 认为 NameServer 需要选主。
    • 认为 RocketMQ 依赖 ZooKeeper。
    • 认为 Broker 主从会自动切换。
    • 认为 Slave 能写。
    • 认为 SEND_OK 一定已持久化。
    • 认为复制和刷盘是一回事。
    • 认为队列数不影响消费并行度。
    • 认为消费者越多消费越快(超过队列数)。
    • 认为 Push 是真推送。
    • 认为长轮询是短轮询。
    • 认为 Rebalance 不会重复消费。
    • 认为广播模式位点在 Broker。
    • 认为重试消息不回队列。
    • 认为死信队列不用管。
    • 认为 CommitLog 按 Topic 分文件。
    • 认为 ConsumeQueue 存完整消息。
    • 认为 IndexFile 是主存储。
    • 认为 Topic 只能有一个队列。
    • 认为 Master 挂掉 Slave 自动接管(4.x)。
    • 认为 DLedger 没有性能代价。
    • 认为 NameServer 越多越好且无成本。
    • 认为 5.x 和 4.x 架构完全一样。
    • 认为 POP 模式还有 Rebalance。
    • 认为消息 ID 全局唯一且可作业务键(5.1-2)。
    • 认为架构图上没有单点就等于没有故障。
  • 30 秒口述稿:

RocketMQ 有四个角色。NameServer 是轻量路由中心,存 Topic 到 Broker 和队列的映射,多台之间不同步,是 AP 设计;客户端启动时拉路由并缓存,所以 NameServer 全挂,存量收发也不受影响,只影响新 Topic 和新客户端。Broker 分主从,Master 读写、Slave 备份和读,复制和刷盘各有同步/异步两种,4.x 主挂不会自动切,要自动容灾得上 DLedger。Topic 在 Broker 上切成多个队列,队列是并行和顺序的单位。Producer 拉路由、选队列、发到 Broker,Broker 顺序写 CommitLog,再异步建 ConsumeQueue 索引。Consumer 是长轮询拉,Broker 没消息就 hold 15 秒;消费组按队列分配,20 秒 Rebalance 一次,位点 5 秒上报,失败进重试队列、16 次后进死信。

  • 3 分钟展开顺序:结论(四角色 + 两级存储 + 长轮询)→ NameServer 的 AP 设计与路由缓存 → Broker 主从/复制/刷盘 → Topic/队列与选队列 → 发送路径与 SendStatus → CommitLog→ConsumeQueue→IndexFile → 长轮询消费与位点 → 消费组/Rebalance/重试/死信 → 各组件故障影响面 → DLedger 与 5.x POP/Proxy 演进。