Skip to content

5.4-3 Kafka 副本同步:ISR、HW / LEO、Leader 选举 ​

所属:05 消息中间件 / 5.4 Kafka 分级:A 状态:◐ 初稿 关联:5.1-1、5.3-1、5.3-3、5.4-1、5.4-2、5.4-6

  • 题型:原理 / 源码 / 场景

  • 一句话结论:Kafka 用**“Leader 写、Follower 拉”**复制:每个副本各有 LEO(下一条要写的 offset),Leader 维护 ISR(跟得上的副本集合),HW = min(ISR 中所有 LEO) 是消费者能读到的水位。可靠性的真正开关是 acks=all + min.insync.replicas>=2 + unclean.leader.election.enable=false 三者同时成立;只配 acks=all 而 minISR=1,在其它副本挂掉时依然会用单副本确认,Leader 一挂就丢。

  • 分层要点:

    1. 副本角色:每个分区 1 个 Leader + N-1 个 Follower,分布在不同 Broker(配合 broker.rack 跨机架)。生产只写 Leader,消费默认只读 Leader(2.4+ 支持 KIP-392 从 Follower 读,主要用于跨机房省流量)。Follower 不提供服务,只做复制与故障接管。
    2. LEO 与 HW:LEO(Log End Offset) 是副本下一条要写入的 offset,每个副本各自独立;HW(High Watermark) 是“已被 ISR 全部复制”的水位,HW = min(ISR 各副本 LEO)。消费者只能读到 HW 之前,HW 之后即使 Leader 写了也不可见——因为那部分数据在 Leader 挂掉后可能消失。事务场景还有 LSO(Last Stable Offset),read_committed 只能读到 LSO 之前(5.4-6)。
    3. 复制是拉模型:Follower 主动向 Leader 发 FetchRequest(带自己的 fetchOffset),Leader 返回数据,Follower 追加到本地日志、更新 LEO,下次 Fetch 把新 LEO 带上来;Leader 据此更新该副本的 LEO,再重算 HW,并通过 Fetch 响应把 Leader HW 回给 Follower,Follower 取 min(自身 LEO, Leader HW) 作为自己的 HW。HW 的推进依赖下一轮 Fetch,所以有一拍延迟。
    4. ISR 的判定:副本在 replica.lag.time.max.ms(默认 30000ms)内追上过 Leader 的 LEO 就算在 ISR;超过就踢出 ISR,追上后再加回。注意 0.9 之后只看时间不看条数(replica.lag.max.messages 已移除)——一个副本可以落后很多条,只要 30s 内追平过就仍在 ISR。
    5. acks 的三种语义:acks=0 发完不等;acks=1 只等 Leader 写入本地日志(不保证复制);acks=all(-1)等当前 ISR 全部写入。acks=all 也不是等刷盘——Kafka 不 fsync,持久性来自副本(5.4-2)。3.0 起 Producer 默认 acks=all(KIP-679),此前默认 1。
    6. min.insync.replicas 是 acks=all 的另一半:当 ISR 大小 < minISR 时,acks=all 的生产请求直接失败(NotEnoughReplicasException / NOT_ENOUGH_REPLICAS_AFTER_APPEND)。minISR=1 等于没保护:其它副本全挂、ISR 只剩 Leader 时,acks=all 照样成功,此时 Leader 崩溃必然丢数据。生产标准是 RF=3 + minISR=2 + acks=all。
    7. Leader 选举:Leader 挂掉后由 Controller(ZK 时代靠 ZK,KRaft 时代靠 Controller Quorum)从 ISR 中选新 Leader,优先选原首选副本(preferred leader,auto.leader.rebalance.enable=true 会定期均衡)。ISR 为空时分区不可用(offline),除非打开 unclean.leader.election.enable=true,允许落后副本当 Leader——可用性换一致性,会丢数据且造成副本分叉,默认 false(0.11 起)。
    8. 故障恢复与截断:Follower 重启/追上来时,需要把本地日志截断到与 Leader 一致的位置再做复制。老版本按 HW 截断,在“Leader 切换 + HW 未传播”时会截多或截少,造成数据分叉;0.11 引入 Leader Epoch(KIP-101),Follower 用 OffsetsForLeaderEpoch 问 Leader 每个 epoch 的起始 offset,按 epoch 精确截断。这是“为什么 Kafka 需要 leader epoch”的标准答案。
  • 图/流程:

text
正常复制:
  Producer ──acks=all──▶ Leader(LEO=105)
                          │  Follower1 fetch(offset=100)
                          │  Follower2 fetch(offset=102)
                          ▼
  Follower1 append → LEO=105
  Follower2 append → LEO=105
                          │  下一次 fetch 上报 LEO
                          ▼
  Leader: HW = min(105,105,105) = 105
          ──FetchResponse(HW=105)──▶ Followers 更新 HW
  Consumer 只能读到 < 105
text
ISR 收缩与恢复:
  Follower 30s 内没追平 Leader LEO
    → 踢出 ISR(ISR=[Leader])
      → minISR=2 时,acks=all 生产失败
        → Follower 恢复、追平
          → 重新加入 ISR,生产恢复
text
Leader 故障:
  Leader 挂
    → Controller 感知(KRaft:Controller Quorum)
      → 从 ISR 选新 Leader
        ├─ ISR 非空 → 选一个,HW 之后的数据仍在
        └─ ISR 为空 → 分区 offline
                     或 unclean 选举 → 落后副本上位 → 丢数据
  Follower 重新加入
    → 按 Leader Epoch 截断到一致位置
      → 从截断点继续 fetch
text
acks × minISR 组合:
  acks=1   + 任意 minISR → Leader 写成功即返回,复制未完成,可能丢
  acks=all + minISR=1   → 只剩 Leader 也成功,Leader 挂必丢
  acks=all + minISR=2   → ISR<2 直接失败,不写不丢(推荐)
  acks=0                → 不等确认,网络抖动即丢
  • 版本/源码锚点:

    • 副本管理:Partition、PartitionLeadershipInfo、ReplicaManager、Partition.fetchRecords;Follower 侧 ReplicaFetcherThread、AbstractFetcherThread。
    • ISR:Partition.isr、LeaderAndIsrRequest(ZK 时代)、IsrChangePropagation;判定参数 replica.lag.time.max.ms。
    • HW/LEO:Log、LogOffsetMetadata、LogEndOffset、highWatermark、LeaderEpochFileCache、OffsetsForLeaderEpochRequest(KIP-101)。
    • 选举:KafkaController(ZK)→ QuorumController(KRaft,2.8 EA / 3.3 生产可用 / 4.0 只支持 KRaft);unclean.leader.election.enable、auto.leader.rebalance.enable。
    • 关键默认值:replica.lag.time.max.ms=30000、min.insync.replicas=1、default.replication.factor=1、unclean.leader.election.enable=false、num.replica.fetchers=1、replica.fetch.max.bytes=1048576、replica.fetch.wait.max.ms=500。
    • Producer:acks(3.0 起默认 all)、enable.idempotence(3.0 起默认 true)、delivery.timeout.ms=120000;错误 NotEnoughReplicasException、NotEnoughReplicasAfterAppendException。
  • HW / LEO / LSO 对比:

名称定义谁维护作用
LEO下一条待写 offset每个副本各自衡量副本进度
HWmin(ISR 的 LEO)Leader 计算、下发给 Follower消费者可见上限
LSO最小未提交事务的起始 offsetLeaderread_committed 上限
Log Start Offset日志起始 offset每个副本保留策略删除后的下界
  • acks 与可靠性:
acks等待对象单 Leader 崩溃适用
0不等待丢日志、监控等可丢数据
1Leader 本地日志可能丢(未复制部分)不推荐生产核心链路
allISR 全部写入不丢(ISR≥2 且 minISR 生效)核心业务
all + minISR=1只剩 Leader 也成功仍可能丢配置陷阱
  • 关键参数:
参数默认作用生产建议
replication.factor1副本数3
min.insync.replicas1最小同步副本2
acksall(3.0+)确认级别all
replica.lag.time.max.ms30000踢出 ISR 阈值一般不动,跨机房可调大
unclean.leader.election.enablefalse允许落后副本当选保持 false
auto.leader.rebalance.enabletrue自动均衡 Leadertrue
num.replica.fetchers1复制拉取线程数大流量 Broker 调 2–4
replica.fetch.max.bytes1MB单次拉取上限大消息场景调大
controlled.shutdown.enabletrue优雅下线先迁 Leadertrue
broker.rack无机架感知跨机架部署必配
  • Leader 选举路径:
场景触发选择范围结果
Leader 宕机Controller 感知ISR无数据丢失
Leader 优雅下线controlled.shutdownISR先迁 Leader 再关
ISR 为空所有副本都落后无分区 offline(默认)
ISR 为空 + unclean=true同上任意存活副本可用但丢数据、可能分叉
Leader 负载不均定时检查(300s)ISR切回首选副本
  • 失效场景与定位:
现象根因处理
生产报 NotEnoughReplicasISR < minISR查副本存活/网络/磁盘,恢复副本
数据“丢了”acks=1 或 minISR=1调 acks=all + minISR=2
消费延迟突然升高HW 推进慢、副本拖后腿查慢副本、num.replica.fetchers、网络
ISR 频繁抖动副本 GC/磁盘慢/网络抖动查 Broker 指标,扩磁盘/调 GC
Follower 长期不同步副本 fetch 失败、日志目录满查日志、修磁盘、必要时重建副本
分区 offlineISR 为空且 unclean=false恢复副本;确认能否接受 unclean
副本数据不一致旧版本 HW 截断缺陷升级到带 leader epoch 的版本
Leader 集中未开启均衡auto.leader.rebalance.enable=true
跨机房复制流量大Follower 全量拉配 broker.rack、KIP-392 Follower 读
扩副本后 CPU 升高新增副本全量同步限速 replica.alter.log.dirs/带宽、错峰
  • 深挖点(面试官常追的 6 个):

    1. 为什么消费者只能读到 HW:HW 之前的数据已被 ISR 全部复制,Leader 挂掉换届后一定还在;HW 之后只存在于部分副本,换届可能被截断。如果允许读 HW 之后,消费者会看到“后来消失”的消息,破坏一致性。代价是消费延迟至少多一个复制往返;acks=all 下这个延迟更明显。
    2. HW 怎么推进:Leader 收到 Follower 的 Fetch 请求时,先更新该 Follower 的 LEO,再取 ISR 中最小的 LEO 作为新 HW,并随 Fetch 响应下发;Follower 取 min(自己 LEO, Leader HW) 更新本地 HW。HW 永远滞后于 LEO 一拍,这是拉模型的必然结果;也是“为什么刚发的消息消费者看不到”的答案(不是没写进去,是没过 HW)。
    3. ISR 为什么只看时间:0.9 之前还有 replica.lag.max.messages,但突发流量下副本短暂落后几千条就被踢出 ISR,导致 ISR 抖动、acks=all 频繁失败。后来改成只看“最近 30s 内是否追平过 Leader LEO”:能追平说明链路健康,短暂落后不算失联。副作用是一个慢副本可以落后很多但仍在 ISR,所以还要监控副本 lag 字节数,不能只看 ISR 大小。
    4. acks=all 为什么还会丢:all 只要求“当前 ISR 全部写入”,不要求 ISR 有几个人。如果 minISR=1,其它副本挂掉后 ISR 缩成 1,acks=all 退化成 acks=1;此时 Leader 崩溃,未复制的数据就丢了。所以 acks=all 必须配 minISR>=2,且 RF>=3 才有意义。反过来,minISR=2 时副本不足会拒绝写入——这是用可用性换一致性的显式选择。
    5. unclean 选举的取舍:ISR 全挂时,Kafka 默认让分区 offline(不可用),因为让落后副本当 Leader 会丢 HW 之后的数据,还可能造成副本分叉(新 Leader 的日志与旧 Leader 不一致)。开启 unclean.leader.election.enable=true 是用一致性换可用性,适合“宁可丢几条也不能停服”的场景;金融/交易类必须保持 false,并接受短暂不可用。
    6. 为什么需要 Leader Epoch:只靠 HW 截断,在“Follower 还没收到新 HW、Leader 已经切换”的窗口里,Follower 可能按旧 HW 截断,截掉了实际已被新 Leader 承认的数据,或者保留了新 Leader 没有的数据,造成副本分叉。Leader Epoch 给每任 Leader 编号,Follower 用 OffsetsForLeaderEpoch 拿到每个 epoch 的起始 offset,按 epoch 边界精确截断。这是 KIP-101,也是 Kafka 0.11 的重要修复。
  • 追问链:

    1. Kafka 副本怎么同步? → Leader 写,Follower 拉。
    2. 为什么是拉不是推? → 便于批量、流控、Follower 自主节奏。
    3. LEO 是什么? → 下一条待写 offset。
    4. 每个副本都有吗? → 有,各自独立。
    5. HW 是什么? → ISR 最小 LEO。
    6. 谁算 HW? → Leader。
    7. Follower 怎么知道 HW? → Fetch 响应带回。
    8. 消费者能读到哪? → HW 之前。
    9. 为什么? → HW 后可能被截断。
    10. HW 之后的消息在哪? → Leader/部分 Follower 日志里。
    11. ISR 是什么? → 跟得上的副本集合。
    12. 怎么判定? → 30s 内追平过 LEO。
    13. 看条数吗? → 0.9 后不看。
    14. 为什么? → 避免突发流量误踢。
    15. ISR 变小会怎样? → acks=all 可能失败。
    16. acks=all 等什么? → ISR 全部写入。
    17. 等刷盘吗? → 不等,Kafka 不逐条 fsync。
    18. 那怎么不丢? → 多副本。
    19. acks=1 会丢吗? → 会,Leader 未复制就挂。
    20. acks=0 呢? → 更可能丢。
    21. min.insync.replicas 作用? → ISR 不足时拒绝写。
    22. 默认多少? → 1。
    23. 1 有问题吗? → 有,等于没保护。
    24. 推荐配置? → RF=3 + minISR=2 + acks=all。
    25. ISR 不足时报什么? → NotEnoughReplicas。
    26. 这是丢还是拒? → 拒绝写入,不丢。
    27. Leader 挂了谁接? → Controller 从 ISR 选。
    28. Controller 是谁? → ZK 时代是 Broker 选举,KRaft 是 Quorum。
    29. ISR 为空呢? → 分区 offline。
    30. 能强行选吗? → unclean 选举。
    31. unclean 代价? → 丢数据、可能分叉。
    32. 默认开吗? → 不开。
    33. 为什么? → 一致性优先。
    34. 什么场景开? → 可用性优先、可丢数据。
    35. Follower 重启怎么对齐? → 截断到一致位置再拉。
    36. 按什么截断? → Leader Epoch。
    37. 没有 epoch 呢? → 按 HW,可能分叉。
    38. epoch 解决什么? → 精确截断,KIP-101。
    39. HW 推进慢会怎样? → 消费延迟升高。
    40. 怎么排查? → 看副本 lag、ISR 变化、网络。
    41. ISR 抖动原因? → GC、磁盘、网络、负载。
    42. num.replica.fetchers 是什么? → 复制拉取线程数。
    43. 什么时候调? → 大流量、复制跟不上。
    44. 跨机房怎么部署? → broker.rack + 机架感知。
    45. 能从 Follower 读吗? → 2.4+ 可以,KIP-392。
    46. Leader 不均怎么办? → 自动均衡/手动 preferred leader。
    47. 优雅下线呢? → controlled.shutdown 先迁 Leader。
    48. KRaft 改变了副本语义吗? → 没有,只换元数据与 Controller。
    49. 和 RocketMQ 主从区别? → 自动选主、ISR vs 主从复制。
    50. 面试怎么总结? → Leader 写 Follower 拉 → LEO/HW → ISR → acks+minISR → 选举 → epoch 截断 → 取舍。
  • 生产案例/取舍(示例,替换成你的项目):

    • 核心订单 Topic 只配了 acks=all、minISR=1,两个副本所在机器同时维护,ISR 缩成 1,Leader 随后宕机丢单;改 RF=3 + minISR=2 并加 NotEnoughReplicas 告警。
    • 大促时 ISR 频繁抖动,acks=all 生产失败率上升;排查是副本所在 Broker Full GC,调堆与 GC 参数后恢复。
    • 消费延迟突然从 50ms 涨到 3s,HW 推进慢;原因是某副本磁盘 IO 打满,拖慢 ISR 最小 LEO;换盘 + 迁移副本。
    • 跨机房三副本,复制流量打满专线;改 broker.rack 两机房 2+1 部署 + 消费端 KIP-392 就近读。
    • unclean.leader.election.enable=true 换来不停服,但一次机房断电后出现重复与少量丢失;核心 Topic 改回 false,接受分钟级不可用。
    • 升级前 Follower 重启后副本数据不一致,排查是旧版本按 HW 截断;升级到带 leader epoch 的版本后不再复现。
    • num.replica.fetchers 默认 1,单 Broker 复制跟不上;调到 4 后副本 lag 下降。
    • Leader 集中在两台 Broker,其它机器闲置;开自动均衡 + 手动 preferred leader 迁移。
    • 扩副本时新副本全量同步把网络打满,影响在线业务;限速 + 低峰执行。
    • 误以为 acks=all 就万无一失,没配 minISR;做故障演练(kill Leader)时才发现丢数据。
    • 监控只看 ISR 大小,不看副本 lag 字节;一个慢副本在 ISR 里落后几十万条,切换后消费回退。
    • 取舍:acks=all 换不丢,代价是延迟与可用性(ISR 不足即拒写);minISR=2 换安全,代价是副本故障时不可写;unclean 换可用,代价是丢数据;RF=3 换容灾,代价是 3 倍存储与复制流量;从 Follower 读换带宽,代价是一致性窗口与实现复杂度。
  • 易错点:

    • 认为消费者能读到 LEO。
    • 认为 HW 等于 Leader LEO。
    • 认为 HW 每个副本独立随便算。
    • 认为 HW 是磁盘刷单位置。
    • 认为 ISR 包含所有副本。
    • 认为 ISR 按消息条数判定。
    • 认为 ISR 少了就会丢数据(实际是拒写)。
    • 认为 acks=all 等于等所有副本刷盘。
    • 认为 acks=all 单独就能不丢。
    • 认为 minISR=1 是安全配置。
    • 认为 minISR 配了就不需要 RF=3。
    • 认为 acks=1 生产够用。
    • 认为 acks=0 只是慢一点。
    • 认为 Leader 挂了随便选一个副本。
    • 认为 ISR 为空时 Kafka 会自动选落后副本。
    • 认为 unclean 选举没有代价。
    • 认为 unclean 默认开启。
    • 认为 Follower 也能处理生产请求。
    • 认为 Follower 重启不需要截断。
    • 认为按 HW 截断一定正确。
    • 认为 leader epoch 只是元数据优化。
    • 认为 KRaft 改变了复制协议。
    • 认为 ZooKeeper 还在 4.0 里。
    • 认为 HW 推进与消费延迟无关。
    • 认为 ISR 抖动只是网络问题。
    • 认为副本越多写入越快。
    • 认为跨机房部署不需要 rack 配置。
    • 认为 RocketMQ 主从和 Kafka 副本一样会自动选主。
  • 30 秒口述稿:

Kafka 的复制是 Leader 写、Follower 拉。每个副本有自己的 LEO,也就是下一条要写的 offset;Leader 维护 ISR,也就是 30 秒内追平过 Leader 的副本集合,HW 取 ISR 里最小的 LEO,消费者只能读到 HW 之前,因为再往后可能在换届时被截断。可靠性靠三件套:acks=all、min.insync.replicas=2、unclean.leader.election.enable=false,再加 RF=3。只配 acks=all 而 minISR 是 1,其它副本挂掉后 ISR 只剩 Leader,等于退化成 acks=1,Leader 一挂就丢。Leader 挂了由 Controller 从 ISR 选新 Leader;ISR 为空就 offline,除非开 unclean,那是拿丢数据换可用。Follower 重新加入时按 leader epoch 精确截断,这是 KIP-101 解决的副本分叉问题。

  • 3 分钟展开顺序:结论(Leader 写 Follower 拉 + LEO/HW/ISR)→ 副本角色与分布 → LEO 与 HW 的定义及消费者可见性 → 拉模型下 HW 如何推进(为什么慢一拍)→ ISR 判定与 0.9 的改动 → acks 三档语义 → minISR 与 acks=all 的组合陷阱(RF=3 + minISR=2)→ Leader 选举路径与 unclean 取舍 → Follower 截断与 leader epoch → 关键参数与监控 → 与 RocketMQ 主从的对照。