Skip to content

05 消息中间件 ​

对应题纲:5.1–5.4(26 题) 分级:A 11 / B 12 / C 3 状态:A 类 11 题已全部拆分为卡片(5.1-1~5.1-5、5.3-1/2/6、5.4-2/3/6),B/C 待填 配套:00_使用说明.md 说明:本册是弱项,重点形成“可靠性四问 + 三件套对比”两张默写表。


一、知识地图 ​

(待补:一段话 + 一张图)

text
通用可靠性             RabbitMQ            RocketMQ             Kafka
不丢/不重/顺序/积压  →  路由与队列  →  存储与事务消息  →  分区/副本/高性能

二、A 类答案卡 ​

A 类长答案按“一题一文件”放在 cards/05_消息中间件/,本文件只保留索引;B/C 速记见后文。

题号题目题型状态
5.1-1如何保证消息不丢失:生产、存储、消费三段原理 / 场景◐
5.1-2消息重复消费与消费端幂等场景◐
5.1-3如何保证消息顺序场景◐
5.1-4消息积压的定位、扩容与处理排查◐
5.1-5RabbitMQ、RocketMQ、Kafka 选型对比对比◐
5.3-1RocketMQ 架构:NameServer、Broker、Producer、Consumer原理◐
5.3-2RocketMQ 存储:CommitLog、ConsumeQueue、IndexFile原理◐
5.3-6RocketMQ 事务消息:半消息与回查原理 / 流程◐
5.4-2Kafka 存储:segment、稀疏索引、零拷贝原理◐
5.4-3Kafka 副本同步:ISR、HW / LEO、Leader 选举原理◐
5.4-6幂等生产者、事务与 exactly-once 的边界原理 / 场景◐

三、B 类速记 ​

题号题目关键词状态
5.2-1RabbitMQ 组件模型、Exchange 类型与订阅方式待填☐
5.2-2死信队列、TTL 与延迟消息待填☐
5.2-3集群、镜像队列 / 仲裁队列、网络分区待填☐
5.2-4消费端限流与 prefetch待填☐
5.3-3刷盘策略、主从同步、DLedger待填☐
5.3-4集群模式与队列分区待填☐
5.3-5Rebalance 机制待填☐
5.3-7顺序消息、延迟消息、批量消息待填☐
5.3-8消息重试与死信队列待填☐
5.4-1Kafka 架构与组件、Controller、KRaft待填☐
5.4-4Rebalance 机制与 cooperative sticky待填☐
5.4-5分区分配策略与顺序性保证待填☐

四、C 类一句话 ​

题号题目一句话定位状态
5.3-9RocketMQ 5.0 存算分离架构待填☐
5.4-7Kafka 高吞吐原理与调优待填☐
5.4-8Kafka 元数据管理与集群扩展待填☐

五、对比表 / 流程图 ​


六、追问链与易错点 ​

  • 可靠性:不丢 → 不重(幂等)→ 顺序 → 积压,四问要能连环答。不丢按「生产确认 / Broker 落盘+副本 / 消费处理后再 ack」三段拆,生产端 RabbitMQ confirm+return、RocketMQ SendStatus、Kafka acks=all;Broker 端 quorum、SYNC_FLUSH+SYNC_MASTER、RF=3+minISR=2;消费端手动 ack/提交;再落到“至少一次 + 幂等”和 TTL/队列上限/死信等被动丢失。
  • 幂等:重复来源(生产重试 / ack 丢失 / 提交前崩溃 / Rebalance / 重放)→ 业务键(bizNo + 操作类型,不用 msgId)→ 落点(唯一索引 / 状态机 where status=旧值 / 去重表 / 乐观锁 / Redis 前置拦截)→ 去重表先插入再处理且与业务同事务 → 并发靠唯一键或分布式锁 → 下游幂等键 + 查单 + 对账。
  • 顺序:顺序单位(Kafka partition / RocketMQ MessageQueue / RabbitMQ queue)→ 同 key 同分区(orderId 哈希、MessageQueueSelector)→ 分区内单线程(Kafka 单分区单线程、RocketMQ Orderly 队列锁、RabbitMQ SAC + prefetch=1)→ 生产端乱序(多线程、重试、max.in.flight、幂等生产者)→ 失败策略(阻塞重试 / 死信 / 版本号容忍)→ 顺序 + 幂等 + 状态机才算完整。
  • 积压:算三个数(lag / 生产 TPS / 消费 TPS)→ 三类曲线(突发流量 / 消费变慢 / 消费停住)→ 指标(Kafka lag、RocketMQ Diff Total、RabbitMQ ready vs unacked)→ 扩容硬上限(分区数 / 读队列数 / prefetch)→ 提单条吞吐(批量、异步、优化下游)→ 应急顺序(扩消费者 → 限流/降级 → 临时转存 → 跳过/丢弃)→ 扩分区破坏顺序、重置 offset 会丢消息 → 长期容量规划与 lag 告警。
  • 选型:模型(Broker / 业务队列 / 分布式日志)→ 吞吐与延迟量级(万 / 十万 / 百万;低延迟反过来)→ 可靠性都能不丢、差在成本 → 功能矩阵(路由 RabbitMQ、事务+延迟+顺序 RocketMQ、回溯+流生态 Kafka)→ 硬需求先排除(事务消息 / 回溯 / 复杂路由 / 百万吞吐)→ 再 POC 同规格压测 → 运维与团队经验 → 多 MQ 组合与收敛。
  • 事务消息:半消息(RMQ_SYS_TRANS_HALF_TOPIC,消费者不可见)→ executeLocalTransaction 写 DB → COMMIT 转正 / ROLLBACK 丢弃 / UNKNOW 待查 → Broker 每 60s 扫描、超 6s 回查 checkLocalTransaction(必须查 DB)→ 最多 15 次,超限丢弃并告警 → 最终一致 + 消费端幂等 + 对账兜底;4.x 不支持延迟/批量,也替代不了跨服务分布式事务。
  • Kafka 事务:幂等生产者(PID + epoch + 每分区 sequence,Broker ProducerStateManager 判重;要求 acks=all、retries>0、max.in.flight<=5;3.0 默认开启)→ 边界(单会话 × 单分区,重启换 PID、跨分区无原子、不管消费端)→ 事务(transactional.id 稳定身份 + epoch fence 旧实例 → beginTransaction → 多分区 send → sendOffsetsToTransaction → commit/abort)→ 协调器与 __transaction_state + COMMIT/ABORT marker → read_committed 只读到 LSO、跳过 abort(长事务卡住可见性)→ Streams exactly_once_v2 是 Kafka→Kafka 的真 EOS → 外部系统不在边界内,只能幂等写/outbox/对账(effectively once)。
  • Kafka 副本:Leader 写 / Follower 拉(FetchRequest 带 fetchOffset)→ LEO 每副本独立 → HW = min(ISR 的 LEO),消费者只能读到 HW 之前 → 拉模型下 HW 慢一拍 → ISR 判定只看 replica.lag.time.max.ms(30s,0.9 后不看条数)→ acks 0/1/all 语义 → acks=all + minISR>=2 + unclean=false + RF=3 才是完整配置(minISR=1 会退化成单副本)→ ISR 不足报 NotEnoughReplicas(拒写不丢)→ Leader 从 ISR 选、ISR 空则 offline(unclean 才拿可用换一致)→ Follower 按 Leader Epoch 精确截断(KIP-101)→ 参数与监控(副本 lag、ISR 抖动、num.replica.fetchers)。
  • Kafka 存储:分区目录(topic-partition)→ segment(.log/.index/.timeindex,按 baseOffset 命名、仅 active 可写)→ 顺序追加 + PageCache → 稀疏索引(约每 4KB 一条、8 字节相对 offset + 物理位置,.timeindex 12 字节)→ 查询三步(二分 segment → 二分索引 → 顺序扫几 KB)→ 零拷贝 sendfile(TLS/格式转换时失效)→ 默认不 fsync,持久性靠副本(acks=all + minISR)→ 删除按 segment 整文件(默认 7 天)→ compact 按 key 保留最新 + 墓碑 → 与 RocketMQ 单 CommitLog + 20B 稠密索引对照。
  • Kafka:ISR → HW / LEO → Leader 选举 → Rebalance → exactly-once 边界。
  • RocketMQ 存储:CommitLog 全 Topic 混写(1GB/文件、顺序 IO)→ ConsumeQueue 20 字节索引(物理偏移 + size + tag hash,30W 条/文件)→ IndexFile 500W 条 key 哈希 → 写路径(putMessageLock → mmap → 异步分发)→ 刷盘/复制四组合决定 SEND_OK 含义 → 读路径(索引 + 随机读、读放大、PageCache)→ 72h 保留/整文件删除/磁盘水位只读 → abort 与索引重建。
  • RocketMQ:四角色(NameServer 无状态/AP、Broker 主从、Producer、Consumer)→ 路由缓存(30s 拉取,NameServer 全挂不影响存量)→ Topic/队列(并行与顺序单位)→ 发送选队列 + SendStatus → CommitLog 顺序写 → ConsumeQueue 索引 → 长轮询拉取(hold 15s)→ 消费组/Rebalance(20s)/位点上报(5s)→ 重试 16 次进 DLQ → DLedger 自动选主、5.x POP/Proxy。
  • 易错:认为“消息不丢”只靠 Broker;认为发送不报错就等于 Broker 收下了;认为 acks=1 不丢、acks=all 不需要 min.insync.replicas;认为持久化队列等于消息持久化;认为先 ack 后处理没问题;认为手动 ack 不会重复;认为 Kafka 什么都最强、RabbitMQ 能扛日志洪峰、三者可随意替换;认为 Kafka 有原生延迟消息、RabbitMQ 能回溯;认为 TTL+DLX 没有队头阻塞;认为 Kafka 事务等于事务消息;认为 benchmark 可以直接比较、一种 MQ 能覆盖所有场景;认为 NameServer 之间同步、NameServer 在消息链路上、NameServer 挂了就发不出消息;认为 RocketMQ 依赖 ZooKeeper、Broker 主从会自动切换、Slave 能写;认为 SEND_OK 一定已持久化、复制和刷盘是一回事;认为 Push 是真推送、长轮询是短轮询;认为消费者越多消费越快(超过队列数)、Rebalance 不会重复;认为 CommitLog 按 Topic 分文件、ConsumeQueue 存完整消息;认为 CommitLog 按 Topic 分文件、ConsumeQueue 存完整消息、IndexFile 是主存储;认为写进 mmap 就落盘、SEND_OK 一定持久化、异步刷盘不会丢;认为索引同步构建、刚发的消息立刻能查到、没设 KEYS 也能按业务 key 查;认为消息逐条删除、磁盘满了只是变慢、重启不用重建索引;认为事务消息是强一致/2PC、半消息消费者可见、commit 丢了消息就丢;认为回查可以查内存、会无限重试、超限进死信;认为事务消息能保证只消费一次、支持延迟/批量、能覆盖跨服务分布式事务;认为 Kafka 事务能替代事务消息;认为加消费者一定能解决积压、消费者可以超过分区数、扩分区没有副作用;认为 lag 高就是消费者不够、重置 offset 是安全止血;认为积压只会延迟不会丢、积压重放不会重复;认为 prefetch/批量越大越好、毒消息会自动跳过、顺序消费积压能靠加消费者解决;认为临时转存没有重复风险;认为 MQ 默认全局有序、多分区还能全局有序、分区内有序等于消费有序、加线程池不影响顺序;认为 RocketMQ 默认顺序消费、MessageListenerConcurrently 能保序、顺序消费失败会自动跳过;认为 RabbitMQ 多 consumer 能保序、prefetch/requeue/优先级队列/死信回流不影响顺序;认为生产端重试不会乱序、max.in.flight=5 一定安全;认为顺序能替代幂等、幂等能替代顺序;认为 MQ 能保证“只消费一次”、用 msgId 做业务幂等键、先查后插没有并发问题;认为去重记录可以先提交业务后做、Redis 去重可以单独用;认为 Kafka 幂等生产者能跨分区去重或覆盖消费端重复、事务能覆盖外部 DB;认为消息过期/队列满/死信不算丢;认为 Kafka 分区数越多越好;把 exactly-once 说成端到端绝对一次;忽略消费端幂等;认为 Kafka 每个 Topic 一个文件、所有 segment 都可写、每条消息都有索引;认为索引在 JVM 堆里、offset 是物理位置;认为 Kafka 每条消息都 fsync、不 fsync 就一定丢;认为零拷贝在所有场景都生效、开 TLS 不影响;认为消息可以逐条删除、active segment 会被保留策略删掉;认为 compact 会删光旧消息、compact 后 offset 不连续;认为 segment 越小(或越大)越好;认为 PageCache 只影响读、消费总是读磁盘;认为索引损坏无法恢复;认为 RocketMQ 和 Kafka 存储结构一样、稀疏索引会查不到消息;认为消费者能读到 LEO、HW 等于 Leader LEO;认为 ISR 包含所有副本、按消息条数判定;认为 ISR 变少就会丢数据(实际是拒写);认为 acks=all 等于等所有副本刷盘、单独就能不丢;认为 minISR=1 安全、acks=1 够用;认为 Leader 挂了随便选副本、ISR 空时会自动选落后副本;认为 unclean 选举没有代价或默认开启;认为 Follower 也能处理生产、重启不用截断、按 HW 截断一定正确;认为 leader epoch 只是元数据优化、KRaft 改变了复制协议;认为副本越多写入越快、RocketMQ 主从和 Kafka 副本一样会自动选主;认为幂等生产者等于端到端 exactly-once、能跨分区或跨重启去重、能解决消费端重复;认为幂等不需要 acks=all、max.in.flight 可以随便调大;认为事务能覆盖外部数据库、是 2PC、abort 会删除消息;认为 read_uncommitted 会过滤中止数据、read_committed 没有延迟代价、LSO 等于 HW;认为长事务不影响其他消费者、事务超时可以无限调大;认为 fencing 是 bug、sendOffsetsToTransaction 可有可无;认为 Streams EOS 能覆盖外部系统、exactly_once 与 exactly_once_v2 一样;认为 Kafka 事务能替代 RocketMQ 事务消息(或反之);认为 exactly-once 是绝对语义、事务没有性能开销、开了事务就不需要对账。

七、自测题 ​


八、口述稿索引 ​

题号30 秒3 分钟10 分钟录音日期
5.1-1☐☐☐
5.1-2☐☐☐
5.1-3☐☐☐
5.1-4☐☐☐
5.1-5☐☐☐
5.3-1☐☐☐
5.3-2☐☐☐
5.3-6☐☐☐
5.4-2☐☐☐
5.4-3☐☐☐
5.4-6☐☐☐