Appearance
05 消息中间件
对应题纲:5.1–5.4(26 题) 分级:A 11 / B 12 / C 3 状态:A 类 11 题已全部拆分为卡片(5.1-1~5.1-5、5.3-1/2/6、5.4-2/3/6),B/C 待填 配套:00_使用说明.md 说明:本册是弱项,重点形成“可靠性四问 + 三件套对比”两张默写表。
一、知识地图
(待补:一段话 + 一张图)
text
通用可靠性 RabbitMQ RocketMQ Kafka
不丢/不重/顺序/积压 → 路由与队列 → 存储与事务消息 → 分区/副本/高性能二、A 类答案卡
A 类长答案按“一题一文件”放在
cards/05_消息中间件/,本文件只保留索引;B/C 速记见后文。
| 题号 | 题目 | 题型 | 状态 |
|---|---|---|---|
| 5.1-1 | 如何保证消息不丢失:生产、存储、消费三段 | 原理 / 场景 | ◐ |
| 5.1-2 | 消息重复消费与消费端幂等 | 场景 | ◐ |
| 5.1-3 | 如何保证消息顺序 | 场景 | ◐ |
| 5.1-4 | 消息积压的定位、扩容与处理 | 排查 | ◐ |
| 5.1-5 | RabbitMQ、RocketMQ、Kafka 选型对比 | 对比 | ◐ |
| 5.3-1 | RocketMQ 架构:NameServer、Broker、Producer、Consumer | 原理 | ◐ |
| 5.3-2 | RocketMQ 存储:CommitLog、ConsumeQueue、IndexFile | 原理 | ◐ |
| 5.3-6 | RocketMQ 事务消息:半消息与回查 | 原理 / 流程 | ◐ |
| 5.4-2 | Kafka 存储:segment、稀疏索引、零拷贝 | 原理 | ◐ |
| 5.4-3 | Kafka 副本同步:ISR、HW / LEO、Leader 选举 | 原理 | ◐ |
| 5.4-6 | 幂等生产者、事务与 exactly-once 的边界 | 原理 / 场景 | ◐ |
三、B 类速记
| 题号 | 题目 | 关键词 | 状态 |
|---|---|---|---|
| 5.2-1 | RabbitMQ 组件模型、Exchange 类型与订阅方式 | 待填 | ☐ |
| 5.2-2 | 死信队列、TTL 与延迟消息 | 待填 | ☐ |
| 5.2-3 | 集群、镜像队列 / 仲裁队列、网络分区 | 待填 | ☐ |
| 5.2-4 | 消费端限流与 prefetch | 待填 | ☐ |
| 5.3-3 | 刷盘策略、主从同步、DLedger | 待填 | ☐ |
| 5.3-4 | 集群模式与队列分区 | 待填 | ☐ |
| 5.3-5 | Rebalance 机制 | 待填 | ☐ |
| 5.3-7 | 顺序消息、延迟消息、批量消息 | 待填 | ☐ |
| 5.3-8 | 消息重试与死信队列 | 待填 | ☐ |
| 5.4-1 | Kafka 架构与组件、Controller、KRaft | 待填 | ☐ |
| 5.4-4 | Rebalance 机制与 cooperative sticky | 待填 | ☐ |
| 5.4-5 | 分区分配策略与顺序性保证 | 待填 | ☐ |
四、C 类一句话
| 题号 | 题目 | 一句话定位 | 状态 |
|---|---|---|---|
| 5.3-9 | RocketMQ 5.0 存算分离架构 | 待填 | ☐ |
| 5.4-7 | Kafka 高吞吐原理与调优 | 待填 | ☐ |
| 5.4-8 | Kafka 元数据管理与集群扩展 | 待填 | ☐ |
五、对比表 / 流程图
六、追问链与易错点
- 可靠性:不丢 → 不重(幂等)→ 顺序 → 积压,四问要能连环答。不丢按「生产确认 / Broker 落盘+副本 / 消费处理后再 ack」三段拆,生产端 RabbitMQ confirm+return、RocketMQ
SendStatus、Kafkaacks=all;Broker 端 quorum、SYNC_FLUSH+SYNC_MASTER、RF=3+minISR=2;消费端手动 ack/提交;再落到“至少一次 + 幂等”和 TTL/队列上限/死信等被动丢失。 - 幂等:重复来源(生产重试 / ack 丢失 / 提交前崩溃 / Rebalance / 重放)→ 业务键(
bizNo + 操作类型,不用 msgId)→ 落点(唯一索引 / 状态机where status=旧值/ 去重表 / 乐观锁 / Redis 前置拦截)→ 去重表先插入再处理且与业务同事务 → 并发靠唯一键或分布式锁 → 下游幂等键 + 查单 + 对账。 - 顺序:顺序单位(Kafka partition / RocketMQ MessageQueue / RabbitMQ queue)→ 同 key 同分区(
orderId哈希、MessageQueueSelector)→ 分区内单线程(Kafka 单分区单线程、RocketMQOrderly队列锁、RabbitMQ SAC +prefetch=1)→ 生产端乱序(多线程、重试、max.in.flight、幂等生产者)→ 失败策略(阻塞重试 / 死信 / 版本号容忍)→ 顺序 + 幂等 + 状态机才算完整。 - 积压:算三个数(lag / 生产 TPS / 消费 TPS)→ 三类曲线(突发流量 / 消费变慢 / 消费停住)→ 指标(Kafka lag、RocketMQ Diff Total、RabbitMQ ready vs unacked)→ 扩容硬上限(分区数 / 读队列数 / prefetch)→ 提单条吞吐(批量、异步、优化下游)→ 应急顺序(扩消费者 → 限流/降级 → 临时转存 → 跳过/丢弃)→ 扩分区破坏顺序、重置 offset 会丢消息 → 长期容量规划与 lag 告警。
- 选型:模型(Broker / 业务队列 / 分布式日志)→ 吞吐与延迟量级(万 / 十万 / 百万;低延迟反过来)→ 可靠性都能不丢、差在成本 → 功能矩阵(路由 RabbitMQ、事务+延迟+顺序 RocketMQ、回溯+流生态 Kafka)→ 硬需求先排除(事务消息 / 回溯 / 复杂路由 / 百万吞吐)→ 再 POC 同规格压测 → 运维与团队经验 → 多 MQ 组合与收敛。
- 事务消息:半消息(
RMQ_SYS_TRANS_HALF_TOPIC,消费者不可见)→executeLocalTransaction写 DB →COMMIT转正 /ROLLBACK丢弃 /UNKNOW待查 → Broker 每 60s 扫描、超 6s 回查checkLocalTransaction(必须查 DB)→ 最多 15 次,超限丢弃并告警 → 最终一致 + 消费端幂等 + 对账兜底;4.x 不支持延迟/批量,也替代不了跨服务分布式事务。 - Kafka 事务:幂等生产者(
PID + epoch + 每分区 sequence,BrokerProducerStateManager判重;要求acks=all、retries>0、max.in.flight<=5;3.0 默认开启)→ 边界(单会话 × 单分区,重启换 PID、跨分区无原子、不管消费端)→ 事务(transactional.id稳定身份 + epoch fence 旧实例 →beginTransaction→ 多分区 send →sendOffsetsToTransaction→ commit/abort)→ 协调器与__transaction_state+ COMMIT/ABORT marker →read_committed只读到 LSO、跳过 abort(长事务卡住可见性)→ Streamsexactly_once_v2是 Kafka→Kafka 的真 EOS → 外部系统不在边界内,只能幂等写/outbox/对账(effectively once)。 - Kafka 副本:Leader 写 / Follower 拉(
FetchRequest带fetchOffset)→ LEO 每副本独立 → HW = min(ISR 的 LEO),消费者只能读到 HW 之前 → 拉模型下 HW 慢一拍 → ISR 判定只看replica.lag.time.max.ms(30s,0.9 后不看条数)→acks0/1/all 语义 →acks=all+minISR>=2+unclean=false+ RF=3 才是完整配置(minISR=1 会退化成单副本)→ ISR 不足报NotEnoughReplicas(拒写不丢)→ Leader 从 ISR 选、ISR 空则 offline(unclean 才拿可用换一致)→ Follower 按 Leader Epoch 精确截断(KIP-101)→ 参数与监控(副本 lag、ISR 抖动、num.replica.fetchers)。 - Kafka 存储:分区目录(
topic-partition)→ segment(.log/.index/.timeindex,按 baseOffset 命名、仅 active 可写)→ 顺序追加 + PageCache → 稀疏索引(约每 4KB 一条、8 字节相对 offset + 物理位置,.timeindex12 字节)→ 查询三步(二分 segment → 二分索引 → 顺序扫几 KB)→ 零拷贝sendfile(TLS/格式转换时失效)→ 默认不 fsync,持久性靠副本(acks=all+minISR)→ 删除按 segment 整文件(默认 7 天)→ compact 按 key 保留最新 + 墓碑 → 与 RocketMQ 单 CommitLog + 20B 稠密索引对照。 - Kafka:ISR → HW / LEO → Leader 选举 → Rebalance → exactly-once 边界。
- RocketMQ 存储:CommitLog 全 Topic 混写(1GB/文件、顺序 IO)→ ConsumeQueue 20 字节索引(物理偏移 + size + tag hash,30W 条/文件)→ IndexFile 500W 条 key 哈希 → 写路径(putMessageLock → mmap → 异步分发)→ 刷盘/复制四组合决定
SEND_OK含义 → 读路径(索引 + 随机读、读放大、PageCache)→ 72h 保留/整文件删除/磁盘水位只读 → abort 与索引重建。 - RocketMQ:四角色(NameServer 无状态/AP、Broker 主从、Producer、Consumer)→ 路由缓存(30s 拉取,NameServer 全挂不影响存量)→ Topic/队列(并行与顺序单位)→ 发送选队列 +
SendStatus→ CommitLog 顺序写 → ConsumeQueue 索引 → 长轮询拉取(hold 15s)→ 消费组/Rebalance(20s)/位点上报(5s)→ 重试 16 次进 DLQ → DLedger 自动选主、5.x POP/Proxy。 - 易错:认为“消息不丢”只靠 Broker;认为发送不报错就等于 Broker 收下了;认为
acks=1不丢、acks=all不需要min.insync.replicas;认为持久化队列等于消息持久化;认为先 ack 后处理没问题;认为手动 ack 不会重复;认为 Kafka 什么都最强、RabbitMQ 能扛日志洪峰、三者可随意替换;认为 Kafka 有原生延迟消息、RabbitMQ 能回溯;认为 TTL+DLX 没有队头阻塞;认为 Kafka 事务等于事务消息;认为 benchmark 可以直接比较、一种 MQ 能覆盖所有场景;认为 NameServer 之间同步、NameServer 在消息链路上、NameServer 挂了就发不出消息;认为 RocketMQ 依赖 ZooKeeper、Broker 主从会自动切换、Slave 能写;认为SEND_OK一定已持久化、复制和刷盘是一回事;认为 Push 是真推送、长轮询是短轮询;认为消费者越多消费越快(超过队列数)、Rebalance 不会重复;认为 CommitLog 按 Topic 分文件、ConsumeQueue 存完整消息;认为 CommitLog 按 Topic 分文件、ConsumeQueue 存完整消息、IndexFile 是主存储;认为写进 mmap 就落盘、SEND_OK一定持久化、异步刷盘不会丢;认为索引同步构建、刚发的消息立刻能查到、没设 KEYS 也能按业务 key 查;认为消息逐条删除、磁盘满了只是变慢、重启不用重建索引;认为事务消息是强一致/2PC、半消息消费者可见、commit 丢了消息就丢;认为回查可以查内存、会无限重试、超限进死信;认为事务消息能保证只消费一次、支持延迟/批量、能覆盖跨服务分布式事务;认为 Kafka 事务能替代事务消息;认为加消费者一定能解决积压、消费者可以超过分区数、扩分区没有副作用;认为 lag 高就是消费者不够、重置 offset 是安全止血;认为积压只会延迟不会丢、积压重放不会重复;认为 prefetch/批量越大越好、毒消息会自动跳过、顺序消费积压能靠加消费者解决;认为临时转存没有重复风险;认为 MQ 默认全局有序、多分区还能全局有序、分区内有序等于消费有序、加线程池不影响顺序;认为 RocketMQ 默认顺序消费、MessageListenerConcurrently能保序、顺序消费失败会自动跳过;认为 RabbitMQ 多 consumer 能保序、prefetch/requeue/优先级队列/死信回流不影响顺序;认为生产端重试不会乱序、max.in.flight=5一定安全;认为顺序能替代幂等、幂等能替代顺序;认为 MQ 能保证“只消费一次”、用 msgId 做业务幂等键、先查后插没有并发问题;认为去重记录可以先提交业务后做、Redis 去重可以单独用;认为 Kafka 幂等生产者能跨分区去重或覆盖消费端重复、事务能覆盖外部 DB;认为消息过期/队列满/死信不算丢;认为 Kafka 分区数越多越好;把 exactly-once 说成端到端绝对一次;忽略消费端幂等;认为 Kafka 每个 Topic 一个文件、所有 segment 都可写、每条消息都有索引;认为索引在 JVM 堆里、offset 是物理位置;认为 Kafka 每条消息都 fsync、不 fsync 就一定丢;认为零拷贝在所有场景都生效、开 TLS 不影响;认为消息可以逐条删除、active segment 会被保留策略删掉;认为 compact 会删光旧消息、compact 后 offset 不连续;认为 segment 越小(或越大)越好;认为 PageCache 只影响读、消费总是读磁盘;认为索引损坏无法恢复;认为 RocketMQ 和 Kafka 存储结构一样、稀疏索引会查不到消息;认为消费者能读到 LEO、HW 等于 Leader LEO;认为 ISR 包含所有副本、按消息条数判定;认为 ISR 变少就会丢数据(实际是拒写);认为acks=all等于等所有副本刷盘、单独就能不丢;认为minISR=1安全、acks=1够用;认为 Leader 挂了随便选副本、ISR 空时会自动选落后副本;认为 unclean 选举没有代价或默认开启;认为 Follower 也能处理生产、重启不用截断、按 HW 截断一定正确;认为 leader epoch 只是元数据优化、KRaft 改变了复制协议;认为副本越多写入越快、RocketMQ 主从和 Kafka 副本一样会自动选主;认为幂等生产者等于端到端 exactly-once、能跨分区或跨重启去重、能解决消费端重复;认为幂等不需要acks=all、max.in.flight可以随便调大;认为事务能覆盖外部数据库、是 2PC、abort 会删除消息;认为read_uncommitted会过滤中止数据、read_committed没有延迟代价、LSO 等于 HW;认为长事务不影响其他消费者、事务超时可以无限调大;认为 fencing 是 bug、sendOffsetsToTransaction可有可无;认为 Streams EOS 能覆盖外部系统、exactly_once与exactly_once_v2一样;认为 Kafka 事务能替代 RocketMQ 事务消息(或反之);认为 exactly-once 是绝对语义、事务没有性能开销、开了事务就不需要对账。
七、自测题
八、口述稿索引
| 题号 | 30 秒 | 3 分钟 | 10 分钟 | 录音日期 |
|---|---|---|---|---|
| 5.1-1 | ☐ | ☐ | ☐ | |
| 5.1-2 | ☐ | ☐ | ☐ | |
| 5.1-3 | ☐ | ☐ | ☐ | |
| 5.1-4 | ☐ | ☐ | ☐ | |
| 5.1-5 | ☐ | ☐ | ☐ | |
| 5.3-1 | ☐ | ☐ | ☐ | |
| 5.3-2 | ☐ | ☐ | ☐ | |
| 5.3-6 | ☐ | ☐ | ☐ | |
| 5.4-2 | ☐ | ☐ | ☐ | |
| 5.4-3 | ☐ | ☐ | ☐ | |
| 5.4-6 | ☐ | ☐ | ☐ |