Appearance
4.2-5 Redis 高可用:主从、哨兵、Cluster、脑裂
所属:04 数据存储 / 4.2 Redis 分级:A 状态:◐ 初稿 关联:4.2-1、4.2-2、4.2-4、4.2-6、4.2-9、4.2-12
题型:原理 / 对比 / 场景 / 排障
一句话结论:Redis 高可用不是“配个主从 + 哨兵”就结束,而是 复制(RPO)、故障检测(quorum/timeout)、选主(优先级/offset)、切换(客户端/代理)、防脑裂(多数派/fencing/min-replicas) 的组合。单分片用 主从 + Sentinel,多分片用 Cluster;两者都是异步复制,故障切换可能丢写,不是强一致系统。
分层要点:
- 先定义 HA 目标:RTO(多久恢复)和 RPO(丢多少数据)决定方案。Redis 复制默认异步,主库提交成功不等于从库收到;故障切换可能丢最近写入。
WAIT、min-replicas-to-write、AOF 只能缩小窗口,不能把 Redis 变成 CP。 - 复制是基础:全量同步走 RDB + 增量 backlog;断线重连用
PSYNC做部分同步。关键状态是master_replid、master_repl_offset、repl_backlog;从库晋升后 replid 变化,旧主重连要走全量/部分同步。 - Sentinel 管单分片:多个 Sentinel 监控 master/replicas,SDOWN(单点主观下线)达到 quorum 变 ODOWN(客观下线),再选 leader 执行 failover。quorum 只用于判定 ODOWN,failover 还需要多数 Sentinel 授权;客户端通过 Sentinel 发现新 master。
- Cluster 管多分片:16384 个 hash slot,
CRC16(key) % 16384路由;每个 master 负责一部分槽,replica 跟随。节点间 gossip,master 故障由多数 master 参与选主;客户端处理MOVED/ASK重定向。Cluster 自带 failover,不需要 Sentinel。 - 脑裂是异步复制的必然风险:网络分区时,旧 master 可能仍在接受写,另一边 Sentinel/Cluster 已把 replica 提升为新 master;网络恢复后旧 master 被降为 replica,分叉写入被全量同步覆盖,造成丢数据。多数派、fencing、
min-replicas-to-write只能降低概率,不能绝对消除。 - 选主与切换:Sentinel 按
replica-priority(越小越优先)、复制 offset(越大越新)、runid 选;Cluster 由多数 master 投票、选 offset 最新的 replica,cluster-replica-validity-factor限制落后太多的副本。切换后客户端要刷新拓扑,旧主回来要被正确降级。 - 客户端与架构:Sentinel 客户端(Jedis/Lettuce Sentinel)订阅
+switch-master;Cluster 客户端缓存 slot 映射并处理重定向;也可用 Proxy/云托管屏蔽拓扑。多 AZ 部署要把 quorum/多数派放在不同故障域,读写分离要接受 replica 旧读。 - 运维与演练:监控
INFO replication、SENTINEL masters、CLUSTER INFO/NODES、redis-cli --cluster check;告警主库下线、复制延迟、failover、槽覆盖、脑裂迹象;定期做 kill master、网络分区、切换演练,验证 RTO/RPO 和客户端重连。
- 先定义 HA 目标:RTO(多久恢复)和 RPO(丢多少数据)决定方案。Redis 复制默认异步,主库提交成功不等于从库收到;故障切换可能丢最近写入。
图/流程:
text
主从复制:
master
├─ 全量:fork RDB → 发送 → replica 加载
└─ 增量:repl_backlog → PSYNC offset
replica
├─ 断线重连:带 replid + offset 请求部分同步
└─ 偏移不在 backlog → 退化为全量同步text
Sentinel:
sentinel-1 ─┐
sentinel-2 ─┼─ 监控 master/replicas
sentinel-3 ─┘
│
├─ SDOWN:单个 Sentinel 认为 master 下线
├─ ODOWN:quorum 个 Sentinel 同意
├─ leader 选举:多数 Sentinel 授权
└─ failover:选 replica → 提升 → 其他 replica 跟随text
Cluster:
16384 slots
key → CRC16(key) % 16384 → slot → master
master-A: 0-5460
master-B: 5461-10922
master-C: 10923-16383
每个 master 可挂 replicatext
Cluster 重定向:
客户端请求 slot 不在当前节点
├─ MOVED slot host:port → 槽已永久迁移,更新本地缓存
└─ ASK slot host:port → 槽正在迁移,先 ASKING 再发命令text
脑裂(Sentinel):
网络分区
├─ 旧 master 侧:客户端仍可写,旧 master 继续接受写
└─ Sentinel 侧:达到 quorum → 提升 replica 为新 master
网络恢复:旧 master 降为 replica → 全量同步 → 分叉写丢失text
脑裂(Cluster):
少数派分区:仍持有部分槽的 master 可能继续写
多数派分区:多数 master 选主,提升 replica
网络恢复:旧 master 变 replica,分叉写被覆盖版本/源码锚点:
- Redis 2.8:
PSYNC部分同步;Redis 3.0:Cluster;Redis 4.0:UNLINK/lazyfree;Redis 5.0:Stream;Redis 6.0:多线程 IO、ACL、TLS;Redis 7.0:CLUSTER SHARDS、sharded pub/sub。 - 复制参数:
repl-backlog-size(默认 1MB)、repl-backlog-ttl(3600s)、replica-priority(100)、replica-read-only(yes)、min-replicas-to-write(0)、min-replicas-max-lag(10s)。 - Sentinel 参数:
sentinel monitor <master> <ip> <port> <quorum>、down-after-milliseconds(30000ms)、failover-timeout(180000ms)、parallel-syncs(1)。 - Cluster 参数:
cluster-enabled yes、cluster-node-timeout(15000ms)、cluster-require-full-coverage yes、cluster-migration-barrier 1、cluster-replica-validity-factor 10、cluster-announce-ip/port/bus-port。 - 源码:
src/replication.c、src/sentinel.c、src/cluster.c、src/cluster_legacy.c、src/server.c。
- Redis 2.8:
复制关键点:
| 概念 | 作用 | 注意 |
|---|---|---|
| 全量同步 | RDB + 增量 | fork/网络/加载成本高 |
| 部分同步 | PSYNC + replid/offset | 依赖 backlog 覆盖 |
repl_backlog | 环形缓冲 | 太小会退化为全量 |
master_replid | 复制链标识 | 晋升后会变化 |
master_repl_offset | 主库写入偏移 | 选主看谁更新 |
WAIT | 等待 N 个副本 ACK | 只保证内存 ACK,不是强一致 |
min-replicas-to-write | 健康副本不足拒绝写 | 降低脑裂丢写,不绝对 |
min-replicas-max-lag | 副本延迟上限 | 配合上一个参数 |
- Sentinel 状态/流程:
| 状态/动作 | 含义 | 关键点 |
|---|---|---|
| SDOWN | 单个 Sentinel 认为下线 | 主观,可能误判 |
| ODOWN | quorum 个 Sentinel 同意 | quorum 只用于下线判定 |
| Leader 选举 | 选一个 Sentinel 执行 failover | 需要多数授权 |
| 选 replica | priority → offset → runid | offset 最新优先 |
| 提升新主 | REPLICAOF NO ONE | 旧主回来降为 replica |
| 通知客户端 | +switch-master | 客户端刷新连接 |
parallel-syncs | 同时重配的副本数 | 太大可能压垮新主 |
- Sentinel vs Cluster:
| 维度 | Sentinel | Cluster |
|---|---|---|
| 解决问题 | 单分片高可用 | 分片 + 高可用 |
| 数据分片 | 无 | 16384 slots |
| 故障检测 | Sentinel 集群 | master 多数派 gossip |
| 选主 | Sentinel leader | master 投票 |
| 客户端 | Sentinel 发现 master | 处理 MOVED/ASK |
| 多 key | 无限制 | 必须同 slot |
| 运维复杂度 | 中 | 高 |
| 适用 | 单主/小规模 | 大容量/高吞吐 |
- Cluster 关键点:
| 项 | 说明 |
|---|---|
| slot | 16384,CRC16(key) % 16384 |
| hash tag | {user:1000} 让相关 key 同 slot |
MOVED | 槽永久迁移,更新客户端缓存 |
ASK | 槽迁移中,先 ASKING 再发命令 |
| 多 key | MGET/事务/Lua 必须同 slot |
| DB | 只有 db0,不支持 SELECT |
| 故障检测 | gossip + cluster-node-timeout |
| 选主 | 多数 master 投票,副本 offset 新者优先 |
| 全槽覆盖 | cluster-require-full-coverage 控制不可用范围 |
| 手动切换 | CLUSTER FAILOVER [FORCE/TAKEOVER] |
| 扩容 | redis-cli --cluster reshard/rebalance + MIGRATE |
- 脑裂场景与缓解:
| 场景 | 现象 | 缓解 |
|---|---|---|
| Sentinel 网络分区 | 旧主仍在写,新主已提升 | 奇数 Sentinel、quorum+多数、fencing、min-replicas-to-write |
| Cluster 少数派 | 少数派 master 仍接受本槽写 | 奇数 master、副本跨 AZ、多数派、min-replicas-to-write |
| 旧主恢复 | 被降为 replica,分叉写丢失 | 切换前 fencing、切换后校验、业务补偿 |
| 副本落后 | 新主丢更多写 | 选 offset 最新副本、cluster-replica-validity-factor |
| 客户端双写 | 客户端仍连旧主 | VIP/Proxy 切换、客户端拓扑刷新、旧主只读 |
| 误操作 | TAKEOVER 强行提升 | 严格权限/审批,只用于灾难场景 |
- 超时/默认值(常见):
| 参数 | 默认 | 作用 |
|---|---|---|
repl-backlog-size | 1MB | 部分同步缓冲 |
repl-backlog-ttl | 3600s | 无副本后保留时间 |
replica-priority | 100 | 越小越优先 |
min-replicas-to-write | 0 | 健康副本不足拒绝写 |
min-replicas-max-lag | 10s | 副本最大延迟 |
down-after-milliseconds | 30000ms | Sentinel 判 SDOWN |
failover-timeout | 180000ms | failover 超时 |
parallel-syncs | 1 | 同时重配副本数 |
cluster-node-timeout | 15000ms | 节点失联判定 |
cluster-require-full-coverage | yes | 槽不全时是否整体不可用 |
深挖点(面试官常追的 6 个):
- 全量同步 vs 部分同步:首次复制/offset 不在 backlog 时走全量:master fork 生成 RDB,发送给 replica,期间写命令进 backlog,replica 加载完再补增量。断线重连带
replid + offset,offset 仍在 backlog 就部分同步,否则退化全量。repl-backlog-size太小、断线太久都会导致全量,引发 fork/网络/加载抖动。 - Sentinel 的 quorum 不等于多数派:
quorum只是“多少个 Sentinel 认为 master 下线才标记 ODOWN”;真正执行 failover 的 leader 需要多数 Sentinel 授权。3 个 Sentinel、quorum=2 是常见配置;2 个 Sentinel 容错差,挂一个就无法形成多数。quorum 配小可能误切换,配大可能迟迟不切换。 - Cluster 的 MOVED/ASK 与 hash tag:
MOVED表示槽已永久归属新节点,客户端应更新 slot 缓存;ASK表示槽正在迁移,客户端先发ASKING再发命令,不能更新缓存。多 key 操作必须同 slot,用{tag}把相关 key 绑到同一槽;否则CROSSSLOT。Cluster 只有 db0,事务/Lua 也受同槽限制。 - Cluster 故障切换不是强一致:master 故障后,多数 master 投票选 replica;选 offset 最新、通过 validity factor 的副本。故障期间旧 master 可能仍接受写,新 master 也可能少最后几条写;网络恢复后旧 master 变 replica,分叉数据被覆盖。
cluster-require-full-coverage只决定“槽不全时是否整体拒绝服务”,不防脑裂。 - Sentinel 脑裂与
min-replicas-to-write:旧 master 被分区隔离但客户端可达时,它仍会接受写;Sentinel 侧提升新 master,形成双主。min-replicas-to-write 1+min-replicas-max-lag 10能让“没有任何健康副本”的旧 master 拒绝写,但如果旧 master 侧还有副本,仍可能写。最终要靠网络/ fencing/Proxy 切流/业务补偿。 - Redis 不是 CP:异步复制 + 故障切换决定 RPO > 0。
WAIT只能等副本内存 ACK,不能保证落盘、不能保证新主一定包含;AOFeverysec也可能丢 1 秒。要强一致得换系统(如基于共识的存储),或者接受最终一致 + 业务补偿。
- 全量同步 vs 部分同步:首次复制/offset 不在 backlog 时走全量:master fork 生成 RDB,发送给 replica,期间写命令进 backlog,replica 加载完再补增量。断线重连带
追问链:
- Redis 高可用有哪些方案? → 主从 + Sentinel(单分片)、Cluster(分片 + HA)、Proxy/云托管。
- 主从复制流程? → 全量 RDB + backlog 增量;断线 PSYNC 部分同步。
- 全量同步什么时候发生? → 首次复制、offset 不在 backlog、replid 不匹配。
- 部分同步原理? → replica 带 replid/offset,master 从 backlog 补缺失命令。
repl-backlog-size作用? → 环形缓冲,太小导致全量同步。- 复制是同步还是异步? → 默认异步;
WAIT可等 ACK,但不是强一致。 WAIT能保证不丢数据吗? → 不能绝对保证;只保证 N 个副本内存 ACK。min-replicas-to-write作用? → 健康副本不足时拒绝写,降低脑裂丢写。- Sentinel 怎么判断下线? → SDOWN 单点主观,quorum 达成 ODOWN。
- quorum 和多数派区别? → quorum 判定 ODOWN;failover leader 需多数授权。
- Sentinel 怎么选主? → priority、offset、runid;offset 最新优先。
- Sentinel 至少几个? → 奇数,生产常见 3/5;2 个容错差。
- Sentinel 怎么通知客户端? →
+switch-master事件,客户端刷新 master 地址。 - Sentinel 能分片吗? → 不能;只做单 master 高可用。
- Cluster 多少槽? → 16384。
- key 怎么路由? →
CRC16(key) % 16384。 - hash tag 作用? → 让相关 key 落同一槽,支持多 key 操作。
- MOVED 和 ASK 区别? → MOVED 永久迁移;ASK 迁移中临时重定向。
- ASK 怎么处理? → 先
ASKING,再发命令,不更新缓存。 - Cluster 支持多 key 吗? → 同 slot 可以;跨 slot 报 CROSSSLOT。
- Cluster 支持 SELECT 吗? → 只有 db0,不支持多库。
- Cluster 怎么做故障检测? → gossip +
cluster-node-timeout。 - Cluster 怎么选主? → 多数 master 投票,副本 offset/priority。
cluster-replica-validity-factor作用? → 过滤落后太多的副本,避免选到旧数据。cluster-require-full-coverage作用? → 槽不全时是否整体不可用;不是防脑裂。- Cluster 怎么扩容? →
--cluster reshard/rebalance,MIGRATE迁槽。 - 迁移时客户端怎么处理? → ASK + ASKING;完成后 MOVED。
- Cluster 支持事务/Lua 吗? → 同 slot 可以;跨 slot 不支持。
- Cluster 支持 pub/sub 吗? → 7.0 前全局;7.0 sharded pub/sub。
- Cluster 需要 Sentinel 吗? → 不需要;自带 failover。
- 脑裂是什么? → 网络分区导致两个 master 同时接受写。
- Sentinel 脑裂怎么发生? → 旧主隔离但仍可写,Sentinel 提升新主。
- Cluster 脑裂怎么发生? → 少数派 master 仍接受本槽写,多数派选新主。
- 脑裂怎么防? → 奇数节点、quorum/多数、fencing、min-replicas、网络冗余。
- 脑裂后数据怎么办? → 旧主降 replica,分叉写丢失;业务补偿/校验。
CLUSTER FAILOVER TAKEOVER风险? → 不经过多数派,强行提升,可能丢数据。- Redis 是 CP 还是 AP? → 偏向 AP/最终一致;异步复制,failover 可能丢写。
- 怎么降低 RPO? →
WAIT、min-replicas、AOF、同步复制方案/换系统。 - AOF 能替代复制吗? → 不能;AOF 是本地持久化,不提供节点级 HA。
- 主从延迟怎么监控? →
INFO replication的 offset/lag,WAIT,外部探针。 - Sentinel 怎么监控? →
SENTINEL masters/replicas/sentinels。 - Cluster 怎么监控? →
CLUSTER INFO/NODES/SLOTS/SHARDS,--cluster check。 - 客户端怎么发现拓扑? → Sentinel 事件;Cluster MOVED/ASK + 拓扑刷新。
- Proxy 方案? → Codis/Twemproxy/HAProxy/云代理;屏蔽拓扑但多一跳。
- 多 AZ 怎么部署? → quorum/多数派跨 AZ,副本跨 AZ,接受跨 AZ 延迟。
- 故障演练怎么做? → kill master、网络分区、切换、客户端重连、校验 RTO/RPO。
- Sentinel 和 Cluster 怎么选? → 单分片/简单用 Sentinel;大容量/多分片用 Cluster。
- 云 Redis 高可用? → 托管主从/集群、多 AZ、自动 failover;看 SLA/RPO/切换策略。
生产案例/取舍(示例,替换成你的项目):
- 单主 Redis 用 3 Sentinel + 1 主 2 从;kill master 后 10s 级切换,客户端重连。
- Sentinel quorum 配 1,网络抖动误切换;改为 2/3,并加
min-replicas-to-write。 - 旧主网络隔离仍接受写,切换后分叉数据丢失;用 Proxy 切流 + 业务补偿。
- Cluster 3 主 3 从跨 AZ;单 master 故障,多数派选主,槽自动接管。
- Cluster 迁移槽时客户端报 ASK;客户端实现
ASKING后恢复。 - 跨 slot
MGET报 CROSSSLOT;用 hash tag 把同用户 key 绑同槽。 cluster-require-full-coverage yes导致一个槽不可用整个集群拒绝服务;评估改为 no + 业务降级。- 副本落后太多被选为新主,丢更多数据;调
cluster-replica-validity-factor。 WAIT 1 100降低丢写窗口,但主库 RT 上升;核心写按需使用。- 取舍:Sentinel 简单但单分片;Cluster 扩展但多 key/事务受限;异步复制换性能,代价是 RPO;
WAIT换低丢写,代价是延迟;Proxy 换透明,代价是多一跳/单点。
易错点:
- 认为主从复制是强一致。
- 认为
WAIT能保证绝对不丢数据。 - 认为 Sentinel quorum 就是 failover 多数派。
- 认为 2 个 Sentinel 就高可用。
- 认为 Sentinel 能分片。
- 认为 Sentinel 切换一定不丢数据。
- 认为 Cluster 需要 Sentinel。
- 认为 Cluster 支持跨 slot 多 key/事务/Lua。
- 认为 Cluster 有 16384 个节点。
- 认为 MOVED 和 ASK 一样。
- 认为
cluster-require-full-coverage能防脑裂。 - 认为 Cluster 是 CP。
- 认为旧主恢复后会自动合并分叉数据。
- 认为
TAKEOVER没有风险。 - 认为副本越多切换越快。
- 认为
min-replicas-to-write能绝对防脑裂。 - 忽略跨 AZ 网络延迟/分区。
- 忽略客户端拓扑刷新/重连。
- 忽略复制 backlog 太小导致全量同步。
- 忽略 AOF 与复制的区别。
- 不做故障演练。
- 认为云 Redis 不需要理解高可用。
30 秒口述稿:
Redis 高可用分两层:单分片用主从 + Sentinel,多分片用 Cluster。复制是异步的,全量走 RDB,断线用 PSYNC + backlog 做部分同步;Sentinel 用 SDOWN/ODOWN 判下线,quorum 只判 ODOWN,failover 还要多数 Sentinel 授权,选 priority 高、offset 新的副本。Cluster 用 16384 槽和 CRC16 路由,master 故障由多数 master 选主,客户端处理 MOVED/ASK。两者都可能有脑裂和丢写:旧主隔离后仍可能写,网络恢复被降为 replica,分叉数据丢失;靠奇数节点、多数派、fencing、
min-replicas-to-write降低风险,但不能把 Redis 当 CP。
- 3 分钟展开顺序:结论(HA 组合 + RPO)→ 复制全量/部分/backlog → Sentinel SDOWN/ODOWN/quorum/选举/切换 → Cluster 槽/路由/MOVED/ASK/选主 → 脑裂场景与缓解 → 客户端/Proxy/多 AZ → 监控/演练 → 生产案例与取舍。