Appearance
6.1-4 幂等、去重、顺序与补偿的设计模式
所属:06 分布式与架构 / 6.1 分布式理论 分级:A 状态:◐ 初稿 关联:5.1-2、5.1-3、5.3-6、5.4-6、6.1-3、6.5-13、6.7-3、6.7-5
题型:场景 / 设计
一句话结论:分布式系统里重复、乱序、部分失败都是常态,设计目标不是“让它们不发生”,而是“发生了也无害”。四件套是:至少一次投递 + 幂等执行(业务键/唯一索引/状态机/去重表)+ 顺序标识(业务键路由 + 版本号/序列号)+ 补偿与对账(重试、反向补偿、T+1 对账、人工兜底)。所谓 exactly-once,本质是「至少一次 + 幂等」的工程近似(Kafka EOS 只在 Kafka 内部成立,见 5.4-6)。
分层要点:
- 重复从哪来:生产端超时重试、ack 丢失、消费位点提交前崩溃、Rebalance/重平衡重投、人工重放、双写与补偿重试。只要跨进程、跨网络,就一定有重复;同理,多线程/多分区/多实例也一定带来乱序。设计的第一句话应该是“我假设会重复、会乱序”。
- 幂等的四种落点:① 天然幂等:
set x = 固定值、delete by id、按绝对值更新;② 唯一键:insert靠唯一索引,冲突即视为已处理;③ 状态机:update ... where status = '待支付',用“旧状态”做条件,天然拒绝重复与乱序;④ 去重表/幂等表:记录业务键 + 处理状态,先插入再处理。 - 幂等键怎么选:用业务唯一键 + 操作类型(如
orderId + PAY),而不是消息 ID / 请求 ID——重试会换msgId,换了就防不住。例外:客户端生成的幂等 token(如支付下单的requestId),由调用方保证同一次业务重试复用同一个 token,这时 token 才是正确的键。 - 去重 ≠ 幂等:去重是“识别出这是重复请求”,幂等是“重复执行结果一致”。去重表需要存储与清理(TTL/归档);布隆过滤器只能判断“可能存在”,假阳性会误杀正常请求、且不支持删除,只适合做前置拦截,不能做最终判据。去重表必须先插入(占位)再处理,否则并发下两个请求都会去查且都查不到。
- 顺序的三段:① 生产端:同业务键路由到同一分区/队列(Kafka key、RocketMQ
MessageQueueSelector),并关闭可能导致乱序的并发重试;② 存储端:单分区内 append-only 天然有序;③ 消费端:单分区单线程(或按 key 串行),多线程下要保证同一 key 不被并发处理。全局有序代价极高,绝大多数业务只需要“同一订单/同一用户有序”。 - 乱序的消费端兜底:即使路由正确,重试、Rebalance、多线程仍可能乱序。用版本号/序列号在消费端拒绝旧数据:
update ... where version < :newVersion;状态机同理(只允许待支付 → 已支付,拒绝回退)。无法拒绝时用缓冲重排(按序列号排序窗口),但要设超时与上限,防止内存膨胀。 - 补偿的四种手段:① 重试:指数退避 + 抖动 + 幂等,设置最大次数;② 反向补偿:Saga 的 Cancel、TCC 的 Cancel,必须幂等、可重入、能处理空回滚与悬挂(6.1-3);③ 对账:T+1 或准实时比对两边流水,发现差异自动补单/冲正(6.5-13);④ 人工兜底:工单、告警、死信队列。补偿不是“再试一次”,而是“把已发生的副作用撤销或修正”。
- 模式组合才是答案:
outbox/事务消息保证“动作最终会发生”→至少一次投递→幂等执行→顺序标识→补偿/对账兜底。单独用任何一个都有洞:只做幂等不保证最终成功;只做重试会放大重复;只做对账发现太晚。设计时要画出**“失败 → 重试 → 补偿 → 对账 → 人工”**的完整闭环,并给出每一环的监控指标。
图/流程:
text
重复来源 → 防护:
生产重试 ─┐
ack 丢失 ─┤
提交前崩溃 ┼─▶ 至少一次投递 ─▶ 幂等执行(业务键)
Rebalance ┤
人工重放 ─┘text
幂等四落点(从强到弱):
唯一索引(DB 兜底,最可靠)
> 状态机条件更新(where status=旧值)
> 去重表(先占位再处理,需清理)
> 分布式锁/Redis SETNX(只能挡并发,不防重放)
> 先查后写(有并发窗口,最不可靠)text
顺序三段:
生产:key=orderId → 同一分区
存储:分区内 append-only 有序
消费:单分区单线程 / 按 key 串行
兜底:version 比较,拒绝旧版本text
补偿闭环:
失败 → 重试(退避+幂等,N 次)
→ 仍失败 → 反向补偿(Cancel/冲正)
→ 补偿失败 → 死信 + 告警
→ 对账发现差异 → 自动补单/人工版本/源码锚点:
- 幂等与去重:MySQL 唯一索引、
INSERT ... ON DUPLICATE KEY UPDATE、update ... where status=...;RedisSET NX(只挡并发)。 - 顺序:Kafka 分区 key + 单分区消费(5.1-3);RocketMQ
MessageQueueSelector+MessageListenerOrderly;RabbitMQx-single-active-consumer(3.8+)。 - 事务性投递:RocketMQ 事务消息 / 本地消息表(5.3-6、6.1-3);Kafka 事务与 EOS 边界(5.4-6)。
- 补偿:Seata Saga 状态机、TCC(6.1-3);对账与巡检(6.5-13);订单超时取消(6.7-3)。
- 幂等 token:支付/下单接口的
requestId、Stripe 的Idempotency-Key模式。
- 幂等与去重:MySQL 唯一索引、
幂等实现对比:
| 方式 | 原理 | 并发安全 | 成本 | 适用 |
|---|---|---|---|---|
| 天然幂等 | 覆盖写/删除 | 是 | 低 | 配置、状态覆盖 |
| 唯一索引 | DB 约束 | 是 | 低 | 插入型业务 |
| 状态机 | where status=旧值 | 是 | 低 | 状态流转 |
| 去重表 | 先插入再处理 | 是(唯一键) | 中(存储+清理) | 通用 |
| 分布式锁 | 互斥 | 是(锁失效除外) | 中 | 短临界区 |
| 先查后写 | 查询判断 | 否 | 低 | 不推荐 |
| 布隆过滤器 | 概率判断 | — | 低 | 仅前置拦截 |
- 顺序保证层级:
| 层级 | 手段 | 代价 | 适用 |
|---|---|---|---|
| 全局有序 | 单分区/单队列 | 吞吐极低 | 几乎不用 |
| 业务键有序 | key 路由 + 单线程消费 | 中 | 订单、账户、库存 |
| 版本兜底 | 版本号/状态机拒绝旧值 | 低 | 所有异步链路 |
| 重排缓冲 | 序列号窗口排序 | 中(内存/超时) | 乱序可感知的场景 |
- 补偿手段对比:
| 手段 | 触发 | 幂等要求 | 时效 | 适用 |
|---|---|---|---|---|
| 重试 | 瞬时失败 | 必须 | 秒级 | 网络抖动、锁冲突 |
| 反向补偿 | 业务失败 | 必须 | 秒/分钟 | Saga、TCC |
| 对账 | 定时比对 | 必须 | T+1/准实时 | 资金、订单、库存 |
| 人工 | 自动失败 | — | 小时/天 | 复杂差异、兜底 |
- 失效场景与定位:
| 现象 | 根因 | 处理 |
|---|---|---|
| 重复扣款 | 用 msgId 做幂等键 | 改业务键 + 唯一索引 |
| 并发下仍重复 | 先查后写有窗口 | 唯一索引/状态机 |
| 去重表越来越大 | 无 TTL/归档 | 定期清理、按业务保留 |
| 正常请求被误杀 | 布隆假阳性 | 只做前置,最终靠 DB |
| 旧状态覆盖新状态 | 无版本号 | 条件更新/版本比较 |
| 同一订单并发处理 | key 路由错误/多线程 | 按 key 串行 |
| 补偿又失败 | 补偿不幂等/依赖不可用 | 重试 + 死信 + 对账 |
| 空回滚/悬挂 | TCC 无事务控制表 | 状态机判 Try/Cancel |
| 对账才发现少单 | 无实时校验 | 准实时对账 + 告警 |
| 重试风暴 | 无退避/无上限 | 指数退避 + 熔断 |
| 消息重复但业务无感 | 幂等生效 | 正常,监控重复率 |
| 顺序错乱导致状态回退 | 未校验版本 | 版本号拒绝旧值 |
深挖点(面试官常追的 6 个):
- 为什么不能用 msgId 做幂等键:消息重投时
msgId可能被重新生成(尤其是生产端重试、跨集群转发),同一个业务动作会带上不同 ID,去重直接失效。正确做法是业务唯一号 + 操作类型(orderId:PAY);如果业务号本身会重复(如同一订单多次支付),再加业务流水号或客户端生成的幂等 token。面试时补一句“ID 的生成方和稳定性决定它能不能当键”,比背结论更有说服力。 - 去重表为什么要“先插入再处理”:如果先查再处理,两个并发请求会同时查到“不存在”,然后都去执行;先插入(唯一键)则只有一个能成功,另一个直接返回“处理中/已处理”。插入与业务处理要在同一事务里,或者用状态机(
PROCESSING → DONE)配合超时补偿;否则会出现“占位了但业务没做完”的中间态。 - 布隆过滤器能不能做去重:不能作为最终判据。它有假阳性(可能误判已存在,导致正常请求被拒)、不支持删除、重启/扩容后状态丢失。适合放在最前面挡掉绝大部分重复,减少 DB/Redis 压力;最终仍要靠唯一索引或去重表确认。面试官问“布隆能不能替代去重表”,答案一定是“不能”。
- 版本号怎么同时解决重复和乱序:消费端执行
update ... set status=:new, version=:v where id=:id and version < :v。重复消息版本相同 → 影响行数 0;乱序的旧消息版本更小 → 也被拒绝。版本号是“幂等 + 顺序”的共同载体,比单独做去重表更轻。前提是版本单调递增(DB 自增、业务序列号、逻辑时钟),且更新必须原子。 - 补偿为什么必须幂等、可重入:补偿本身也可能超时、重试、被重复调度;如果 Cancel 不幂等,就会重复退款/重复释放库存。补偿还要能处理空回滚(正向没执行就补偿)与悬挂(补偿先于正向执行),这需要事务控制表记录状态(6.1-3)。补偿失败不能静默,必须进死信、告警,并由对账兜底——没有对账的补偿体系是不完整的。
- “exactly-once”到底怎么说:严格意义上分布式系统做不到(两将军问题);工程上是 at-least-once + idempotence = effectively once。Kafka 的 EOS 只在“Kafka 内部、消费—处理—生产闭环”成立(5.4-6),覆盖不到外部 DB;RocketMQ 事务消息只保证“本地事务与消息投递”的最终一致(5.3-6)。面试时先说边界,再说组合手段,比直接答“用事务”可信。
- 为什么不能用 msgId 做幂等键:消息重投时
追问链:
- 为什么会有重复? → 重试、ack 丢失、崩溃、Rebalance。
- 为什么会有乱序? → 多线程、多分区、重试、网络。
- 设计目标? → 重复/乱序无害。
- 幂等是什么? → 多次执行结果一致。
- 天然幂等例子? → 覆盖写、删除。
- 插入型怎么幂等? → 唯一索引。
- 状态流转怎么幂等? →
where status=旧值。 - 通用方案? → 去重表。
- 去重表先插入还是先查? → 先插入。
- 为什么? → 并发窗口。
- 插入后业务失败? → 状态机 + 超时补偿。
- 去重表怎么清理? → TTL/归档。
- 幂等键用什么? → 业务键 + 操作类型。
- 为什么不用 msgId? → 重试会变。
- 客户端 token 呢? → 可以,需调用方复用。
- 布隆能做去重吗? → 只能前置。
- 为什么? → 假阳性/不可删/会丢。
- 去重和幂等区别? → 识别重复 vs 结果一致。
- 顺序怎么保证? → 同 key 同分区 + 单线程。
- 全局有序呢? → 代价太高。
- 生产端怎么路由? → Kafka key / MessageQueueSelector。
- 消费端怎么串行? → 单分区单线程/按 key 加锁。
- 多线程还能保序吗? → 同一 key 不能并发。
- Rebalance 会乱序吗? → 可能,需要版本兜底。
- 版本号怎么用? → 条件更新拒绝旧值。
- 状态机怎么拒旧值? → 只允许合法迁移。
- 能重排吗? → 可以,需窗口+超时。
- 补偿是什么? → 撤销或修正副作用。
- 有哪些补偿? → 重试、反向补偿、对账、人工。
- 重试要注意? → 退避、上限、幂等。
- 反向补偿例子? → Saga Cancel、TCC Cancel。
- 补偿要幂等吗? → 必须。
- 补偿失败? → 死信+告警+对账。
- 空回滚/悬挂? → 事务控制表。
- 对账多久一次? → T+1 或准实时。
- 对账发现差异? → 补单/冲正/人工。
- outbox 解决什么? → 动作最终发生。
- 和幂等关系? → 组合使用。
- 事务消息能替代幂等吗? → 不能。
- Kafka EOS 覆盖外部吗? → 不覆盖。
- exactly-once 存在吗? → 严格意义不存在。
- 正确说法? → 至少一次 + 幂等。
- 怎么监控? → 重复率、乱序率、补偿失败率。
- 重复率高说明什么? → 重试策略/幂等失效。
- 乱序率高? → 路由/并发问题。
- 补偿积压? → 下游不可用/逻辑错。
- 和锁的关系? → 锁防并发,不防重放。
- 和分布式事务关系? → 事务保原子,幂等保重复无害。
- 设计顺序? → 先幂等键 → 唯一约束 → 顺序路由 → 补偿对账。
- 面试怎么总结? → 假设重复与乱序 → 幂等四落点 → 顺序三段 → 补偿闭环。
生产案例/取舍(示例,替换成你的项目):
- 支付回调重复通知,用
msgId去重失效导致重复入账;改outTradeNo + 操作类型唯一索引。 - 库存扣减“先查再扣”,并发下超卖;改
update stock set n=n-1 where n>0+ 流水唯一键。 - 去重表两年没清理,单表 8 亿行;加按月分区 + TTL 归档。
- 用布隆过滤器挡重复请求,误杀正常下单;改为只做前置、最终靠唯一索引。
- 订单状态乱序到达,已取消的订单又被置为已支付;加版本号条件更新。
- 同一订单消息被两个消费线程处理,重复发货;改按 orderId 哈希到单线程。
- Saga 补偿重复执行导致重复退款;补偿加唯一键与状态机。
- 补偿服务下线,失败任务堆在内存;改死信队列 + 告警 + 对账。
- 对账每天凌晨跑,白天差异要等一天;改准实时对账 + 差异告警。
- 重试没有退避,下游故障时放大 10 倍流量;加指数退避 + 熔断。
- 团队用分布式锁做幂等,锁过期后仍重复;改唯一索引兜底。
- 取舍:唯一索引换可靠,代价是 DB 写入与冲突处理;去重表换通用,代价是存储与清理;版本号换轻量,代价是版本生成与更新改造;对账换兜底,代价是延迟发现;强顺序换吞吐,代价是并发度下降。
- 支付回调重复通知,用
易错点:
- 认为分布式系统能做到严格 exactly-once。
- 认为 MQ 能保证“只消费一次”。
- 认为用 msgId 就能幂等。
- 认为请求 ID 一定稳定。
- 认为先查后写可以防并发。
- 认为去重表先查后插没问题。
- 认为去重表不需要清理。
- 认为布隆过滤器可以替代去重表。
- 认为布隆没有假阳性。
- 认为幂等等于去重。
- 认为天然幂等不需要设计。
- 认为唯一索引会拖慢所有写入(可评估)。
- 认为状态机不需要版本。
- 认为单分区就一定不乱序。
- 认为 Rebalance 不影响顺序。
- 认为多线程消费还能保序。
- 认为全局有序很容易。
- 认为版本号只能防重复不能防乱序。
- 认为重排缓冲没有内存风险。
- 认为补偿就是重试。
- 认为补偿不需要幂等。
- 认为补偿一定成功。
- 认为空回滚不会发生。
- 认为对账是可选项。
- 认为对账只能 T+1。
- 认为事务消息能替代幂等。
- 认为 Kafka EOS 覆盖外部系统。
- 认为锁能防重放。
30 秒口述稿:
分布式系统里重复和乱序是常态,设计目标不是让它们不发生,而是让它们无害。四件套:至少一次投递、幂等执行、顺序标识、补偿对账。幂等有四个落点:天然幂等、唯一索引、状态机条件更新、去重表;幂等键必须用业务键加操作类型,不能用 msgId,因为重试会换 ID。去重表要先插入再处理,否则并发下有窗口;布隆过滤器只能做前置拦截,不能替代去重表。顺序上只保证业务键级别有序:同 key 同分区、单线程消费,再用版本号拒绝旧值兜底。补偿有重试、反向补偿、对账、人工四种,补偿本身必须幂等、可重入,还要处理空回滚和悬挂。所谓 exactly-once,严格意义不存在,工程上就是至少一次加幂等,Kafka 的 EOS 也只覆盖 Kafka 内部。
- 3 分钟展开顺序:结论(重复/乱序是常态 + 四件套)→ 重复与乱序的来源清单 → 幂等四落点与强弱排序 → 幂等键的选择(业务键 vs msgId vs 客户端 token)→ 去重表的先占位、与业务同事务、清理 → 布隆过滤器的定位与局限 → 顺序三段(生产路由/存储/消费串行)与版本号兜底 → 重排缓冲的代价 → 补偿四手段与「补偿必须幂等」→ 空回滚/悬挂(接 6.1-3)→ outbox/事务消息在闭环中的位置 → exactly-once 的正确表述 → 监控指标与案例。