Appearance
5.4-3 Kafka 副本同步:ISR、HW / LEO、Leader 选举
所属:05 消息中间件 / 5.4 Kafka 分级:A 状态:◐ 初稿 关联:5.1-1、5.3-1、5.3-3、5.4-1、5.4-2、5.4-6
题型:原理 / 源码 / 场景
一句话结论:Kafka 用**“Leader 写、Follower 拉”**复制:每个副本各有 LEO(下一条要写的 offset),Leader 维护 ISR(跟得上的副本集合),HW = min(ISR 中所有 LEO) 是消费者能读到的水位。可靠性的真正开关是
acks=all+min.insync.replicas>=2+unclean.leader.election.enable=false三者同时成立;只配acks=all而minISR=1,在其它副本挂掉时依然会用单副本确认,Leader 一挂就丢。分层要点:
- 副本角色:每个分区 1 个 Leader + N-1 个 Follower,分布在不同 Broker(配合
broker.rack跨机架)。生产只写 Leader,消费默认只读 Leader(2.4+ 支持 KIP-392 从 Follower 读,主要用于跨机房省流量)。Follower 不提供服务,只做复制与故障接管。 - LEO 与 HW:LEO(Log End Offset) 是副本下一条要写入的 offset,每个副本各自独立;HW(High Watermark) 是“已被 ISR 全部复制”的水位,
HW = min(ISR 各副本 LEO)。消费者只能读到 HW 之前,HW 之后即使 Leader 写了也不可见——因为那部分数据在 Leader 挂掉后可能消失。事务场景还有 LSO(Last Stable Offset),read_committed只能读到 LSO 之前(5.4-6)。 - 复制是拉模型:Follower 主动向 Leader 发
FetchRequest(带自己的fetchOffset),Leader 返回数据,Follower 追加到本地日志、更新 LEO,下次 Fetch 把新 LEO 带上来;Leader 据此更新该副本的 LEO,再重算 HW,并通过 Fetch 响应把 Leader HW 回给 Follower,Follower 取min(自身 LEO, Leader HW)作为自己的 HW。HW 的推进依赖下一轮 Fetch,所以有一拍延迟。 - ISR 的判定:副本在
replica.lag.time.max.ms(默认 30000ms)内追上过 Leader 的 LEO 就算在 ISR;超过就踢出 ISR,追上后再加回。注意 0.9 之后只看时间不看条数(replica.lag.max.messages已移除)——一个副本可以落后很多条,只要 30s 内追平过就仍在 ISR。 acks的三种语义:acks=0发完不等;acks=1只等 Leader 写入本地日志(不保证复制);acks=all(-1)等当前 ISR 全部写入。acks=all也不是等刷盘——Kafka 不 fsync,持久性来自副本(5.4-2)。3.0 起 Producer 默认acks=all(KIP-679),此前默认1。min.insync.replicas是acks=all的另一半:当 ISR 大小 < minISR 时,acks=all的生产请求直接失败(NotEnoughReplicasException/NOT_ENOUGH_REPLICAS_AFTER_APPEND)。minISR=1等于没保护:其它副本全挂、ISR 只剩 Leader 时,acks=all照样成功,此时 Leader 崩溃必然丢数据。生产标准是 RF=3 + minISR=2 + acks=all。- Leader 选举:Leader 挂掉后由 Controller(ZK 时代靠 ZK,KRaft 时代靠 Controller Quorum)从 ISR 中选新 Leader,优先选原首选副本(preferred leader,
auto.leader.rebalance.enable=true会定期均衡)。ISR 为空时分区不可用(offline),除非打开unclean.leader.election.enable=true,允许落后副本当 Leader——可用性换一致性,会丢数据且造成副本分叉,默认 false(0.11 起)。 - 故障恢复与截断:Follower 重启/追上来时,需要把本地日志截断到与 Leader 一致的位置再做复制。老版本按 HW 截断,在“Leader 切换 + HW 未传播”时会截多或截少,造成数据分叉;0.11 引入 Leader Epoch(KIP-101),Follower 用
OffsetsForLeaderEpoch问 Leader 每个 epoch 的起始 offset,按 epoch 精确截断。这是“为什么 Kafka 需要 leader epoch”的标准答案。
- 副本角色:每个分区 1 个 Leader + N-1 个 Follower,分布在不同 Broker(配合
图/流程:
text
正常复制:
Producer ──acks=all──▶ Leader(LEO=105)
│ Follower1 fetch(offset=100)
│ Follower2 fetch(offset=102)
▼
Follower1 append → LEO=105
Follower2 append → LEO=105
│ 下一次 fetch 上报 LEO
▼
Leader: HW = min(105,105,105) = 105
──FetchResponse(HW=105)──▶ Followers 更新 HW
Consumer 只能读到 < 105text
ISR 收缩与恢复:
Follower 30s 内没追平 Leader LEO
→ 踢出 ISR(ISR=[Leader])
→ minISR=2 时,acks=all 生产失败
→ Follower 恢复、追平
→ 重新加入 ISR,生产恢复text
Leader 故障:
Leader 挂
→ Controller 感知(KRaft:Controller Quorum)
→ 从 ISR 选新 Leader
├─ ISR 非空 → 选一个,HW 之后的数据仍在
└─ ISR 为空 → 分区 offline
或 unclean 选举 → 落后副本上位 → 丢数据
Follower 重新加入
→ 按 Leader Epoch 截断到一致位置
→ 从截断点继续 fetchtext
acks × minISR 组合:
acks=1 + 任意 minISR → Leader 写成功即返回,复制未完成,可能丢
acks=all + minISR=1 → 只剩 Leader 也成功,Leader 挂必丢
acks=all + minISR=2 → ISR<2 直接失败,不写不丢(推荐)
acks=0 → 不等确认,网络抖动即丢版本/源码锚点:
- 副本管理:
Partition、PartitionLeadershipInfo、ReplicaManager、Partition.fetchRecords;Follower 侧ReplicaFetcherThread、AbstractFetcherThread。 - ISR:
Partition.isr、LeaderAndIsrRequest(ZK 时代)、IsrChangePropagation;判定参数replica.lag.time.max.ms。 - HW/LEO:
Log、LogOffsetMetadata、LogEndOffset、highWatermark、LeaderEpochFileCache、OffsetsForLeaderEpochRequest(KIP-101)。 - 选举:
KafkaController(ZK)→QuorumController(KRaft,2.8 EA / 3.3 生产可用 / 4.0 只支持 KRaft);unclean.leader.election.enable、auto.leader.rebalance.enable。 - 关键默认值:
replica.lag.time.max.ms=30000、min.insync.replicas=1、default.replication.factor=1、unclean.leader.election.enable=false、num.replica.fetchers=1、replica.fetch.max.bytes=1048576、replica.fetch.wait.max.ms=500。 - Producer:
acks(3.0 起默认all)、enable.idempotence(3.0 起默认 true)、delivery.timeout.ms=120000;错误NotEnoughReplicasException、NotEnoughReplicasAfterAppendException。
- 副本管理:
HW / LEO / LSO 对比:
| 名称 | 定义 | 谁维护 | 作用 |
|---|---|---|---|
| LEO | 下一条待写 offset | 每个副本各自 | 衡量副本进度 |
| HW | min(ISR 的 LEO) | Leader 计算、下发给 Follower | 消费者可见上限 |
| LSO | 最小未提交事务的起始 offset | Leader | read_committed 上限 |
| Log Start Offset | 日志起始 offset | 每个副本 | 保留策略删除后的下界 |
acks与可靠性:
| acks | 等待对象 | 单 Leader 崩溃 | 适用 |
|---|---|---|---|
| 0 | 不等待 | 丢 | 日志、监控等可丢数据 |
| 1 | Leader 本地日志 | 可能丢(未复制部分) | 不推荐生产核心链路 |
| all | ISR 全部写入 | 不丢(ISR≥2 且 minISR 生效) | 核心业务 |
| all + minISR=1 | 只剩 Leader 也成功 | 仍可能丢 | 配置陷阱 |
- 关键参数:
| 参数 | 默认 | 作用 | 生产建议 |
|---|---|---|---|
replication.factor | 1 | 副本数 | 3 |
min.insync.replicas | 1 | 最小同步副本 | 2 |
acks | all(3.0+) | 确认级别 | all |
replica.lag.time.max.ms | 30000 | 踢出 ISR 阈值 | 一般不动,跨机房可调大 |
unclean.leader.election.enable | false | 允许落后副本当选 | 保持 false |
auto.leader.rebalance.enable | true | 自动均衡 Leader | true |
num.replica.fetchers | 1 | 复制拉取线程数 | 大流量 Broker 调 2–4 |
replica.fetch.max.bytes | 1MB | 单次拉取上限 | 大消息场景调大 |
controlled.shutdown.enable | true | 优雅下线先迁 Leader | true |
broker.rack | 无 | 机架感知 | 跨机架部署必配 |
- Leader 选举路径:
| 场景 | 触发 | 选择范围 | 结果 |
|---|---|---|---|
| Leader 宕机 | Controller 感知 | ISR | 无数据丢失 |
| Leader 优雅下线 | controlled.shutdown | ISR | 先迁 Leader 再关 |
| ISR 为空 | 所有副本都落后 | 无 | 分区 offline(默认) |
| ISR 为空 + unclean=true | 同上 | 任意存活副本 | 可用但丢数据、可能分叉 |
| Leader 负载不均 | 定时检查(300s) | ISR | 切回首选副本 |
- 失效场景与定位:
| 现象 | 根因 | 处理 |
|---|---|---|
生产报 NotEnoughReplicas | ISR < minISR | 查副本存活/网络/磁盘,恢复副本 |
| 数据“丢了” | acks=1 或 minISR=1 | 调 acks=all + minISR=2 |
| 消费延迟突然升高 | HW 推进慢、副本拖后腿 | 查慢副本、num.replica.fetchers、网络 |
| ISR 频繁抖动 | 副本 GC/磁盘慢/网络抖动 | 查 Broker 指标,扩磁盘/调 GC |
| Follower 长期不同步 | 副本 fetch 失败、日志目录满 | 查日志、修磁盘、必要时重建副本 |
| 分区 offline | ISR 为空且 unclean=false | 恢复副本;确认能否接受 unclean |
| 副本数据不一致 | 旧版本 HW 截断缺陷 | 升级到带 leader epoch 的版本 |
| Leader 集中 | 未开启均衡 | auto.leader.rebalance.enable=true |
| 跨机房复制流量大 | Follower 全量拉 | 配 broker.rack、KIP-392 Follower 读 |
| 扩副本后 CPU 升高 | 新增副本全量同步 | 限速 replica.alter.log.dirs/带宽、错峰 |
深挖点(面试官常追的 6 个):
- 为什么消费者只能读到 HW:HW 之前的数据已被 ISR 全部复制,Leader 挂掉换届后一定还在;HW 之后只存在于部分副本,换届可能被截断。如果允许读 HW 之后,消费者会看到“后来消失”的消息,破坏一致性。代价是消费延迟至少多一个复制往返;
acks=all下这个延迟更明显。 - HW 怎么推进:Leader 收到 Follower 的 Fetch 请求时,先更新该 Follower 的 LEO,再取 ISR 中最小的 LEO 作为新 HW,并随 Fetch 响应下发;Follower 取
min(自己 LEO, Leader HW)更新本地 HW。HW 永远滞后于 LEO 一拍,这是拉模型的必然结果;也是“为什么刚发的消息消费者看不到”的答案(不是没写进去,是没过 HW)。 - ISR 为什么只看时间:0.9 之前还有
replica.lag.max.messages,但突发流量下副本短暂落后几千条就被踢出 ISR,导致 ISR 抖动、acks=all频繁失败。后来改成只看“最近 30s 内是否追平过 Leader LEO”:能追平说明链路健康,短暂落后不算失联。副作用是一个慢副本可以落后很多但仍在 ISR,所以还要监控副本 lag 字节数,不能只看 ISR 大小。 acks=all为什么还会丢:all只要求“当前 ISR 全部写入”,不要求 ISR 有几个人。如果minISR=1,其它副本挂掉后 ISR 缩成 1,acks=all退化成acks=1;此时 Leader 崩溃,未复制的数据就丢了。所以acks=all必须配minISR>=2,且 RF>=3 才有意义。反过来,minISR=2时副本不足会拒绝写入——这是用可用性换一致性的显式选择。- unclean 选举的取舍:ISR 全挂时,Kafka 默认让分区 offline(不可用),因为让落后副本当 Leader 会丢 HW 之后的数据,还可能造成副本分叉(新 Leader 的日志与旧 Leader 不一致)。开启
unclean.leader.election.enable=true是用一致性换可用性,适合“宁可丢几条也不能停服”的场景;金融/交易类必须保持 false,并接受短暂不可用。 - 为什么需要 Leader Epoch:只靠 HW 截断,在“Follower 还没收到新 HW、Leader 已经切换”的窗口里,Follower 可能按旧 HW 截断,截掉了实际已被新 Leader 承认的数据,或者保留了新 Leader 没有的数据,造成副本分叉。Leader Epoch 给每任 Leader 编号,Follower 用
OffsetsForLeaderEpoch拿到每个 epoch 的起始 offset,按 epoch 边界精确截断。这是 KIP-101,也是 Kafka 0.11 的重要修复。
- 为什么消费者只能读到 HW:HW 之前的数据已被 ISR 全部复制,Leader 挂掉换届后一定还在;HW 之后只存在于部分副本,换届可能被截断。如果允许读 HW 之后,消费者会看到“后来消失”的消息,破坏一致性。代价是消费延迟至少多一个复制往返;
追问链:
- Kafka 副本怎么同步? → Leader 写,Follower 拉。
- 为什么是拉不是推? → 便于批量、流控、Follower 自主节奏。
- LEO 是什么? → 下一条待写 offset。
- 每个副本都有吗? → 有,各自独立。
- HW 是什么? → ISR 最小 LEO。
- 谁算 HW? → Leader。
- Follower 怎么知道 HW? → Fetch 响应带回。
- 消费者能读到哪? → HW 之前。
- 为什么? → HW 后可能被截断。
- HW 之后的消息在哪? → Leader/部分 Follower 日志里。
- ISR 是什么? → 跟得上的副本集合。
- 怎么判定? → 30s 内追平过 LEO。
- 看条数吗? → 0.9 后不看。
- 为什么? → 避免突发流量误踢。
- ISR 变小会怎样? →
acks=all可能失败。 acks=all等什么? → ISR 全部写入。- 等刷盘吗? → 不等,Kafka 不逐条 fsync。
- 那怎么不丢? → 多副本。
acks=1会丢吗? → 会,Leader 未复制就挂。acks=0呢? → 更可能丢。min.insync.replicas作用? → ISR 不足时拒绝写。- 默认多少? → 1。
- 1 有问题吗? → 有,等于没保护。
- 推荐配置? → RF=3 + minISR=2 + acks=all。
- ISR 不足时报什么? →
NotEnoughReplicas。 - 这是丢还是拒? → 拒绝写入,不丢。
- Leader 挂了谁接? → Controller 从 ISR 选。
- Controller 是谁? → ZK 时代是 Broker 选举,KRaft 是 Quorum。
- ISR 为空呢? → 分区 offline。
- 能强行选吗? → unclean 选举。
- unclean 代价? → 丢数据、可能分叉。
- 默认开吗? → 不开。
- 为什么? → 一致性优先。
- 什么场景开? → 可用性优先、可丢数据。
- Follower 重启怎么对齐? → 截断到一致位置再拉。
- 按什么截断? → Leader Epoch。
- 没有 epoch 呢? → 按 HW,可能分叉。
- epoch 解决什么? → 精确截断,KIP-101。
- HW 推进慢会怎样? → 消费延迟升高。
- 怎么排查? → 看副本 lag、ISR 变化、网络。
- ISR 抖动原因? → GC、磁盘、网络、负载。
num.replica.fetchers是什么? → 复制拉取线程数。- 什么时候调? → 大流量、复制跟不上。
- 跨机房怎么部署? →
broker.rack+ 机架感知。 - 能从 Follower 读吗? → 2.4+ 可以,KIP-392。
- Leader 不均怎么办? → 自动均衡/手动 preferred leader。
- 优雅下线呢? →
controlled.shutdown先迁 Leader。 - KRaft 改变了副本语义吗? → 没有,只换元数据与 Controller。
- 和 RocketMQ 主从区别? → 自动选主、ISR vs 主从复制。
- 面试怎么总结? → Leader 写 Follower 拉 → LEO/HW → ISR → acks+minISR → 选举 → epoch 截断 → 取舍。
生产案例/取舍(示例,替换成你的项目):
- 核心订单 Topic 只配了
acks=all、minISR=1,两个副本所在机器同时维护,ISR 缩成 1,Leader 随后宕机丢单;改 RF=3 + minISR=2 并加NotEnoughReplicas告警。 - 大促时 ISR 频繁抖动,
acks=all生产失败率上升;排查是副本所在 Broker Full GC,调堆与 GC 参数后恢复。 - 消费延迟突然从 50ms 涨到 3s,HW 推进慢;原因是某副本磁盘 IO 打满,拖慢 ISR 最小 LEO;换盘 + 迁移副本。
- 跨机房三副本,复制流量打满专线;改
broker.rack两机房 2+1 部署 + 消费端 KIP-392 就近读。 unclean.leader.election.enable=true换来不停服,但一次机房断电后出现重复与少量丢失;核心 Topic 改回 false,接受分钟级不可用。- 升级前 Follower 重启后副本数据不一致,排查是旧版本按 HW 截断;升级到带 leader epoch 的版本后不再复现。
num.replica.fetchers默认 1,单 Broker 复制跟不上;调到 4 后副本 lag 下降。- Leader 集中在两台 Broker,其它机器闲置;开自动均衡 + 手动 preferred leader 迁移。
- 扩副本时新副本全量同步把网络打满,影响在线业务;限速 + 低峰执行。
- 误以为
acks=all就万无一失,没配minISR;做故障演练(kill Leader)时才发现丢数据。 - 监控只看 ISR 大小,不看副本 lag 字节;一个慢副本在 ISR 里落后几十万条,切换后消费回退。
- 取舍:
acks=all换不丢,代价是延迟与可用性(ISR 不足即拒写);minISR=2换安全,代价是副本故障时不可写;unclean 换可用,代价是丢数据;RF=3 换容灾,代价是 3 倍存储与复制流量;从 Follower 读换带宽,代价是一致性窗口与实现复杂度。
- 核心订单 Topic 只配了
易错点:
- 认为消费者能读到 LEO。
- 认为 HW 等于 Leader LEO。
- 认为 HW 每个副本独立随便算。
- 认为 HW 是磁盘刷单位置。
- 认为 ISR 包含所有副本。
- 认为 ISR 按消息条数判定。
- 认为 ISR 少了就会丢数据(实际是拒写)。
- 认为
acks=all等于等所有副本刷盘。 - 认为
acks=all单独就能不丢。 - 认为
minISR=1是安全配置。 - 认为
minISR配了就不需要 RF=3。 - 认为
acks=1生产够用。 - 认为
acks=0只是慢一点。 - 认为 Leader 挂了随便选一个副本。
- 认为 ISR 为空时 Kafka 会自动选落后副本。
- 认为 unclean 选举没有代价。
- 认为 unclean 默认开启。
- 认为 Follower 也能处理生产请求。
- 认为 Follower 重启不需要截断。
- 认为按 HW 截断一定正确。
- 认为 leader epoch 只是元数据优化。
- 认为 KRaft 改变了复制协议。
- 认为 ZooKeeper 还在 4.0 里。
- 认为 HW 推进与消费延迟无关。
- 认为 ISR 抖动只是网络问题。
- 认为副本越多写入越快。
- 认为跨机房部署不需要 rack 配置。
- 认为 RocketMQ 主从和 Kafka 副本一样会自动选主。
30 秒口述稿:
Kafka 的复制是 Leader 写、Follower 拉。每个副本有自己的 LEO,也就是下一条要写的 offset;Leader 维护 ISR,也就是 30 秒内追平过 Leader 的副本集合,HW 取 ISR 里最小的 LEO,消费者只能读到 HW 之前,因为再往后可能在换届时被截断。可靠性靠三件套:
acks=all、min.insync.replicas=2、unclean.leader.election.enable=false,再加 RF=3。只配acks=all而 minISR 是 1,其它副本挂掉后 ISR 只剩 Leader,等于退化成acks=1,Leader 一挂就丢。Leader 挂了由 Controller 从 ISR 选新 Leader;ISR 为空就 offline,除非开 unclean,那是拿丢数据换可用。Follower 重新加入时按 leader epoch 精确截断,这是 KIP-101 解决的副本分叉问题。
- 3 分钟展开顺序:结论(Leader 写 Follower 拉 + LEO/HW/ISR)→ 副本角色与分布 → LEO 与 HW 的定义及消费者可见性 → 拉模型下 HW 如何推进(为什么慢一拍)→ ISR 判定与 0.9 的改动 →
acks三档语义 →minISR与acks=all的组合陷阱(RF=3 + minISR=2)→ Leader 选举路径与 unclean 取舍 → Follower 截断与 leader epoch → 关键参数与监控 → 与 RocketMQ 主从的对照。