Skip to content

4.2-5 Redis 高可用:主从、哨兵、Cluster、脑裂 ​

所属:04 数据存储 / 4.2 Redis 分级:A 状态:◐ 初稿 关联:4.2-1、4.2-2、4.2-4、4.2-6、4.2-9、4.2-12

  • 题型:原理 / 对比 / 场景 / 排障

  • 一句话结论:Redis 高可用不是“配个主从 + 哨兵”就结束,而是 复制(RPO)、故障检测(quorum/timeout)、选主(优先级/offset)、切换(客户端/代理)、防脑裂(多数派/fencing/min-replicas) 的组合。单分片用 主从 + Sentinel,多分片用 Cluster;两者都是异步复制,故障切换可能丢写,不是强一致系统。

  • 分层要点:

    1. 先定义 HA 目标:RTO(多久恢复)和 RPO(丢多少数据)决定方案。Redis 复制默认异步,主库提交成功不等于从库收到;故障切换可能丢最近写入。WAIT、min-replicas-to-write、AOF 只能缩小窗口,不能把 Redis 变成 CP。
    2. 复制是基础:全量同步走 RDB + 增量 backlog;断线重连用 PSYNC 做部分同步。关键状态是 master_replid、master_repl_offset、repl_backlog;从库晋升后 replid 变化,旧主重连要走全量/部分同步。
    3. Sentinel 管单分片:多个 Sentinel 监控 master/replicas,SDOWN(单点主观下线)达到 quorum 变 ODOWN(客观下线),再选 leader 执行 failover。quorum 只用于判定 ODOWN,failover 还需要多数 Sentinel 授权;客户端通过 Sentinel 发现新 master。
    4. Cluster 管多分片:16384 个 hash slot,CRC16(key) % 16384 路由;每个 master 负责一部分槽,replica 跟随。节点间 gossip,master 故障由多数 master 参与选主;客户端处理 MOVED/ASK 重定向。Cluster 自带 failover,不需要 Sentinel。
    5. 脑裂是异步复制的必然风险:网络分区时,旧 master 可能仍在接受写,另一边 Sentinel/Cluster 已把 replica 提升为新 master;网络恢复后旧 master 被降为 replica,分叉写入被全量同步覆盖,造成丢数据。多数派、fencing、min-replicas-to-write 只能降低概率,不能绝对消除。
    6. 选主与切换:Sentinel 按 replica-priority(越小越优先)、复制 offset(越大越新)、runid 选;Cluster 由多数 master 投票、选 offset 最新的 replica,cluster-replica-validity-factor 限制落后太多的副本。切换后客户端要刷新拓扑,旧主回来要被正确降级。
    7. 客户端与架构:Sentinel 客户端(Jedis/Lettuce Sentinel)订阅 +switch-master;Cluster 客户端缓存 slot 映射并处理重定向;也可用 Proxy/云托管屏蔽拓扑。多 AZ 部署要把 quorum/多数派放在不同故障域,读写分离要接受 replica 旧读。
    8. 运维与演练:监控 INFO replication、SENTINEL masters、CLUSTER INFO/NODES、redis-cli --cluster check;告警主库下线、复制延迟、failover、槽覆盖、脑裂迹象;定期做 kill master、网络分区、切换演练,验证 RTO/RPO 和客户端重连。
  • 图/流程:

text
主从复制:
  master
    ├─ 全量:fork RDB → 发送 → replica 加载
    └─ 增量:repl_backlog → PSYNC offset
  replica
    ├─ 断线重连:带 replid + offset 请求部分同步
    └─ 偏移不在 backlog → 退化为全量同步
text
Sentinel:
  sentinel-1 ─┐
  sentinel-2 ─┼─ 监控 master/replicas
  sentinel-3 ─┘
       │
       ├─ SDOWN:单个 Sentinel 认为 master 下线
       ├─ ODOWN:quorum 个 Sentinel 同意
       ├─ leader 选举:多数 Sentinel 授权
       └─ failover:选 replica → 提升 → 其他 replica 跟随
text
Cluster:
  16384 slots
  key → CRC16(key) % 16384 → slot → master
  master-A: 0-5460
  master-B: 5461-10922
  master-C: 10923-16383
  每个 master 可挂 replica
text
Cluster 重定向:
  客户端请求 slot 不在当前节点
    ├─ MOVED slot host:port → 槽已永久迁移,更新本地缓存
    └─ ASK slot host:port   → 槽正在迁移,先 ASKING 再发命令
text
脑裂(Sentinel):
  网络分区
    ├─ 旧 master 侧:客户端仍可写,旧 master 继续接受写
    └─ Sentinel 侧:达到 quorum → 提升 replica 为新 master
  网络恢复:旧 master 降为 replica → 全量同步 → 分叉写丢失
text
脑裂(Cluster):
  少数派分区:仍持有部分槽的 master 可能继续写
  多数派分区:多数 master 选主,提升 replica
  网络恢复:旧 master 变 replica,分叉写被覆盖
  • 版本/源码锚点:

    • Redis 2.8:PSYNC 部分同步;Redis 3.0:Cluster;Redis 4.0:UNLINK/lazyfree;Redis 5.0:Stream;Redis 6.0:多线程 IO、ACL、TLS;Redis 7.0:CLUSTER SHARDS、sharded pub/sub。
    • 复制参数:repl-backlog-size(默认 1MB)、repl-backlog-ttl(3600s)、replica-priority(100)、replica-read-only(yes)、min-replicas-to-write(0)、min-replicas-max-lag(10s)。
    • Sentinel 参数:sentinel monitor <master> <ip> <port> <quorum>、down-after-milliseconds(30000ms)、failover-timeout(180000ms)、parallel-syncs(1)。
    • Cluster 参数:cluster-enabled yes、cluster-node-timeout(15000ms)、cluster-require-full-coverage yes、cluster-migration-barrier 1、cluster-replica-validity-factor 10、cluster-announce-ip/port/bus-port。
    • 源码:src/replication.c、src/sentinel.c、src/cluster.c、src/cluster_legacy.c、src/server.c。
  • 复制关键点:

概念作用注意
全量同步RDB + 增量fork/网络/加载成本高
部分同步PSYNC + replid/offset依赖 backlog 覆盖
repl_backlog环形缓冲太小会退化为全量
master_replid复制链标识晋升后会变化
master_repl_offset主库写入偏移选主看谁更新
WAIT等待 N 个副本 ACK只保证内存 ACK,不是强一致
min-replicas-to-write健康副本不足拒绝写降低脑裂丢写,不绝对
min-replicas-max-lag副本延迟上限配合上一个参数
  • Sentinel 状态/流程:
状态/动作含义关键点
SDOWN单个 Sentinel 认为下线主观,可能误判
ODOWNquorum 个 Sentinel 同意quorum 只用于下线判定
Leader 选举选一个 Sentinel 执行 failover需要多数授权
选 replicapriority → offset → runidoffset 最新优先
提升新主REPLICAOF NO ONE旧主回来降为 replica
通知客户端+switch-master客户端刷新连接
parallel-syncs同时重配的副本数太大可能压垮新主
  • Sentinel vs Cluster:
维度SentinelCluster
解决问题单分片高可用分片 + 高可用
数据分片无16384 slots
故障检测Sentinel 集群master 多数派 gossip
选主Sentinel leadermaster 投票
客户端Sentinel 发现 master处理 MOVED/ASK
多 key无限制必须同 slot
运维复杂度中高
适用单主/小规模大容量/高吞吐
  • Cluster 关键点:
项说明
slot16384,CRC16(key) % 16384
hash tag{user:1000} 让相关 key 同 slot
MOVED槽永久迁移,更新客户端缓存
ASK槽迁移中,先 ASKING 再发命令
多 keyMGET/事务/Lua 必须同 slot
DB只有 db0,不支持 SELECT
故障检测gossip + cluster-node-timeout
选主多数 master 投票,副本 offset 新者优先
全槽覆盖cluster-require-full-coverage 控制不可用范围
手动切换CLUSTER FAILOVER [FORCE/TAKEOVER]
扩容redis-cli --cluster reshard/rebalance + MIGRATE
  • 脑裂场景与缓解:
场景现象缓解
Sentinel 网络分区旧主仍在写,新主已提升奇数 Sentinel、quorum+多数、fencing、min-replicas-to-write
Cluster 少数派少数派 master 仍接受本槽写奇数 master、副本跨 AZ、多数派、min-replicas-to-write
旧主恢复被降为 replica,分叉写丢失切换前 fencing、切换后校验、业务补偿
副本落后新主丢更多写选 offset 最新副本、cluster-replica-validity-factor
客户端双写客户端仍连旧主VIP/Proxy 切换、客户端拓扑刷新、旧主只读
误操作TAKEOVER 强行提升严格权限/审批,只用于灾难场景
  • 超时/默认值(常见):
参数默认作用
repl-backlog-size1MB部分同步缓冲
repl-backlog-ttl3600s无副本后保留时间
replica-priority100越小越优先
min-replicas-to-write0健康副本不足拒绝写
min-replicas-max-lag10s副本最大延迟
down-after-milliseconds30000msSentinel 判 SDOWN
failover-timeout180000msfailover 超时
parallel-syncs1同时重配副本数
cluster-node-timeout15000ms节点失联判定
cluster-require-full-coverageyes槽不全时是否整体不可用
  • 深挖点(面试官常追的 6 个):

    1. 全量同步 vs 部分同步:首次复制/offset 不在 backlog 时走全量:master fork 生成 RDB,发送给 replica,期间写命令进 backlog,replica 加载完再补增量。断线重连带 replid + offset,offset 仍在 backlog 就部分同步,否则退化全量。repl-backlog-size 太小、断线太久都会导致全量,引发 fork/网络/加载抖动。
    2. Sentinel 的 quorum 不等于多数派:quorum 只是“多少个 Sentinel 认为 master 下线才标记 ODOWN”;真正执行 failover 的 leader 需要多数 Sentinel 授权。3 个 Sentinel、quorum=2 是常见配置;2 个 Sentinel 容错差,挂一个就无法形成多数。quorum 配小可能误切换,配大可能迟迟不切换。
    3. Cluster 的 MOVED/ASK 与 hash tag:MOVED 表示槽已永久归属新节点,客户端应更新 slot 缓存;ASK 表示槽正在迁移,客户端先发 ASKING 再发命令,不能更新缓存。多 key 操作必须同 slot,用 {tag} 把相关 key 绑到同一槽;否则 CROSSSLOT。Cluster 只有 db0,事务/Lua 也受同槽限制。
    4. Cluster 故障切换不是强一致:master 故障后,多数 master 投票选 replica;选 offset 最新、通过 validity factor 的副本。故障期间旧 master 可能仍接受写,新 master 也可能少最后几条写;网络恢复后旧 master 变 replica,分叉数据被覆盖。cluster-require-full-coverage 只决定“槽不全时是否整体拒绝服务”,不防脑裂。
    5. Sentinel 脑裂与 min-replicas-to-write:旧 master 被分区隔离但客户端可达时,它仍会接受写;Sentinel 侧提升新 master,形成双主。min-replicas-to-write 1 + min-replicas-max-lag 10 能让“没有任何健康副本”的旧 master 拒绝写,但如果旧 master 侧还有副本,仍可能写。最终要靠网络/ fencing/Proxy 切流/业务补偿。
    6. Redis 不是 CP:异步复制 + 故障切换决定 RPO > 0。WAIT 只能等副本内存 ACK,不能保证落盘、不能保证新主一定包含;AOF everysec 也可能丢 1 秒。要强一致得换系统(如基于共识的存储),或者接受最终一致 + 业务补偿。
  • 追问链:

    1. Redis 高可用有哪些方案? → 主从 + Sentinel(单分片)、Cluster(分片 + HA)、Proxy/云托管。
    2. 主从复制流程? → 全量 RDB + backlog 增量;断线 PSYNC 部分同步。
    3. 全量同步什么时候发生? → 首次复制、offset 不在 backlog、replid 不匹配。
    4. 部分同步原理? → replica 带 replid/offset,master 从 backlog 补缺失命令。
    5. repl-backlog-size 作用? → 环形缓冲,太小导致全量同步。
    6. 复制是同步还是异步? → 默认异步;WAIT 可等 ACK,但不是强一致。
    7. WAIT 能保证不丢数据吗? → 不能绝对保证;只保证 N 个副本内存 ACK。
    8. min-replicas-to-write 作用? → 健康副本不足时拒绝写,降低脑裂丢写。
    9. Sentinel 怎么判断下线? → SDOWN 单点主观,quorum 达成 ODOWN。
    10. quorum 和多数派区别? → quorum 判定 ODOWN;failover leader 需多数授权。
    11. Sentinel 怎么选主? → priority、offset、runid;offset 最新优先。
    12. Sentinel 至少几个? → 奇数,生产常见 3/5;2 个容错差。
    13. Sentinel 怎么通知客户端? → +switch-master 事件,客户端刷新 master 地址。
    14. Sentinel 能分片吗? → 不能;只做单 master 高可用。
    15. Cluster 多少槽? → 16384。
    16. key 怎么路由? → CRC16(key) % 16384。
    17. hash tag 作用? → 让相关 key 落同一槽,支持多 key 操作。
    18. MOVED 和 ASK 区别? → MOVED 永久迁移;ASK 迁移中临时重定向。
    19. ASK 怎么处理? → 先 ASKING,再发命令,不更新缓存。
    20. Cluster 支持多 key 吗? → 同 slot 可以;跨 slot 报 CROSSSLOT。
    21. Cluster 支持 SELECT 吗? → 只有 db0,不支持多库。
    22. Cluster 怎么做故障检测? → gossip + cluster-node-timeout。
    23. Cluster 怎么选主? → 多数 master 投票,副本 offset/priority。
    24. cluster-replica-validity-factor 作用? → 过滤落后太多的副本,避免选到旧数据。
    25. cluster-require-full-coverage 作用? → 槽不全时是否整体不可用;不是防脑裂。
    26. Cluster 怎么扩容? → --cluster reshard/rebalance,MIGRATE 迁槽。
    27. 迁移时客户端怎么处理? → ASK + ASKING;完成后 MOVED。
    28. Cluster 支持事务/Lua 吗? → 同 slot 可以;跨 slot 不支持。
    29. Cluster 支持 pub/sub 吗? → 7.0 前全局;7.0 sharded pub/sub。
    30. Cluster 需要 Sentinel 吗? → 不需要;自带 failover。
    31. 脑裂是什么? → 网络分区导致两个 master 同时接受写。
    32. Sentinel 脑裂怎么发生? → 旧主隔离但仍可写,Sentinel 提升新主。
    33. Cluster 脑裂怎么发生? → 少数派 master 仍接受本槽写,多数派选新主。
    34. 脑裂怎么防? → 奇数节点、quorum/多数、fencing、min-replicas、网络冗余。
    35. 脑裂后数据怎么办? → 旧主降 replica,分叉写丢失;业务补偿/校验。
    36. CLUSTER FAILOVER TAKEOVER 风险? → 不经过多数派,强行提升,可能丢数据。
    37. Redis 是 CP 还是 AP? → 偏向 AP/最终一致;异步复制,failover 可能丢写。
    38. 怎么降低 RPO? → WAIT、min-replicas、AOF、同步复制方案/换系统。
    39. AOF 能替代复制吗? → 不能;AOF 是本地持久化,不提供节点级 HA。
    40. 主从延迟怎么监控? → INFO replication 的 offset/lag,WAIT,外部探针。
    41. Sentinel 怎么监控? → SENTINEL masters/replicas/sentinels。
    42. Cluster 怎么监控? → CLUSTER INFO/NODES/SLOTS/SHARDS,--cluster check。
    43. 客户端怎么发现拓扑? → Sentinel 事件;Cluster MOVED/ASK + 拓扑刷新。
    44. Proxy 方案? → Codis/Twemproxy/HAProxy/云代理;屏蔽拓扑但多一跳。
    45. 多 AZ 怎么部署? → quorum/多数派跨 AZ,副本跨 AZ,接受跨 AZ 延迟。
    46. 故障演练怎么做? → kill master、网络分区、切换、客户端重连、校验 RTO/RPO。
    47. Sentinel 和 Cluster 怎么选? → 单分片/简单用 Sentinel;大容量/多分片用 Cluster。
    48. 云 Redis 高可用? → 托管主从/集群、多 AZ、自动 failover;看 SLA/RPO/切换策略。
  • 生产案例/取舍(示例,替换成你的项目):

    • 单主 Redis 用 3 Sentinel + 1 主 2 从;kill master 后 10s 级切换,客户端重连。
    • Sentinel quorum 配 1,网络抖动误切换;改为 2/3,并加 min-replicas-to-write。
    • 旧主网络隔离仍接受写,切换后分叉数据丢失;用 Proxy 切流 + 业务补偿。
    • Cluster 3 主 3 从跨 AZ;单 master 故障,多数派选主,槽自动接管。
    • Cluster 迁移槽时客户端报 ASK;客户端实现 ASKING 后恢复。
    • 跨 slot MGET 报 CROSSSLOT;用 hash tag 把同用户 key 绑同槽。
    • cluster-require-full-coverage yes 导致一个槽不可用整个集群拒绝服务;评估改为 no + 业务降级。
    • 副本落后太多被选为新主,丢更多数据;调 cluster-replica-validity-factor。
    • WAIT 1 100 降低丢写窗口,但主库 RT 上升;核心写按需使用。
    • 取舍:Sentinel 简单但单分片;Cluster 扩展但多 key/事务受限;异步复制换性能,代价是 RPO;WAIT 换低丢写,代价是延迟;Proxy 换透明,代价是多一跳/单点。
  • 易错点:

    • 认为主从复制是强一致。
    • 认为 WAIT 能保证绝对不丢数据。
    • 认为 Sentinel quorum 就是 failover 多数派。
    • 认为 2 个 Sentinel 就高可用。
    • 认为 Sentinel 能分片。
    • 认为 Sentinel 切换一定不丢数据。
    • 认为 Cluster 需要 Sentinel。
    • 认为 Cluster 支持跨 slot 多 key/事务/Lua。
    • 认为 Cluster 有 16384 个节点。
    • 认为 MOVED 和 ASK 一样。
    • 认为 cluster-require-full-coverage 能防脑裂。
    • 认为 Cluster 是 CP。
    • 认为旧主恢复后会自动合并分叉数据。
    • 认为 TAKEOVER 没有风险。
    • 认为副本越多切换越快。
    • 认为 min-replicas-to-write 能绝对防脑裂。
    • 忽略跨 AZ 网络延迟/分区。
    • 忽略客户端拓扑刷新/重连。
    • 忽略复制 backlog 太小导致全量同步。
    • 忽略 AOF 与复制的区别。
    • 不做故障演练。
    • 认为云 Redis 不需要理解高可用。
  • 30 秒口述稿:

Redis 高可用分两层:单分片用主从 + Sentinel,多分片用 Cluster。复制是异步的,全量走 RDB,断线用 PSYNC + backlog 做部分同步;Sentinel 用 SDOWN/ODOWN 判下线,quorum 只判 ODOWN,failover 还要多数 Sentinel 授权,选 priority 高、offset 新的副本。Cluster 用 16384 槽和 CRC16 路由,master 故障由多数 master 选主,客户端处理 MOVED/ASK。两者都可能有脑裂和丢写:旧主隔离后仍可能写,网络恢复被降为 replica,分叉数据丢失;靠奇数节点、多数派、fencing、min-replicas-to-write 降低风险,但不能把 Redis 当 CP。

  • 3 分钟展开顺序:结论(HA 组合 + RPO)→ 复制全量/部分/backlog → Sentinel SDOWN/ODOWN/quorum/选举/切换 → Cluster 槽/路由/MOVED/ASK/选主 → 脑裂场景与缓解 → 客户端/Proxy/多 AZ → 监控/演练 → 生产案例与取舍。