Skip to content

6.7-16 线上问题案例复盘 ​

所属:06 分布式与架构 / 6.7 系统设计 分级:A 状态:◐ 初稿 关联:6.5-1、6.5-3、6.5-4、6.5-5、6.5-9、6.5-11、6.7-4

  • 题型:项目 / 排查

  • 一句话结论:面试考的不是“你背过哪些故障”,而是你有没有独立 owner 过线上问题:能不能在压力下先止损再定位、用指标而不是猜测定界、把根因追到机制层、并把一次故障沉淀成不再复发的机制。讲一个案例的标准结构是:影响面 → 时间线 → 定位证据 → 根因 → 止损与修复 → 长期改进,全程有数字、有取舍、有反思。

  • 分层要点:

    1. 面试官在听什么:① 这事是不是你干的(能不能说出只有当事人才知道的细节);② 你的判断链是否成立(看到什么指标 → 排除了什么 → 锁定什么);③ 你有没有止损意识(先恢复还是先找根因);④ 根因是否到机制层(不是“下游挂了”而是“为什么下游挂了会打垮我们”);⑤ 有没有沉淀(监控、预案、演练、代码规范);⑥ 表达是否克制(不甩锅、不夸大、不泄露敏感信息)。
    2. 六段式复盘模板:背景与影响(业务、时间点、影响用户/订单/资损、SLO 偏离)→ 时间线(发现 → 响应 → 止损 → 恢复,精确到分钟)→ 定位过程(看了哪些指标、排除了哪些假设、关键证据)→ 根因(直接原因 + 根本原因 + 为什么监控没提前发现)→ 止损与修复(临时手段、恢复验证)→ 长期改进(技术、流程、组织,带 owner 与 deadline)。六段里最容易讲砸的是“定位过程”,因为它最能证明你真在现场。
    3. 排查方法论:先止损、后定位(影响面还在扩大时,回滚/开关/限流优先级最高);从外到内分层排除(入口 QPS/错误率 → 应用 RT/线程池 → 依赖 RT/超时 → 中间件 → DB);对比变更(发布时间、配置推送、流量曲线、依赖版本,80% 故障由变更引起);用数据说话(P99、错误率、GC 次数、连接数、队列长度,不看单条日志下结论);复现与验证(压测/回放/单机复现);同类排查(同一模式还有哪些接口/服务)。
    4. 案例一:Full GC 风暴打挂订单接口——本地缓存无上限,大促流量翻 10 倍,堆被 ConcurrentHashMap 撑满,Full GC 每 20s 一次、单次 1.8s,接口 P99 从 80ms 涨到 3.2s、错误率 12%。止损是摘流 + 扩容 + 清缓存开关,根因是缓存没有容量上限与过期策略,长期改进是 Caffeine maximumSize + expireAfterWrite + 缓存 size/命中率监控 + 压测增加内存增长观测。
    5. 案例二:热点 key + 缓存击穿打挂 DB——明星爆料导致商品详情 QPS 从 2k 冲到 60k,单分片 Redis CPU 100%,回源全部打到 MySQL,连接池耗尽,商品域整体不可用。止损是本地缓存兜底 + 限流 + 降级兜底页 + 只读副本,根因是热 key 没有拆分、缓存失效瞬间没有互斥回源,长期是热点探测、key 拆分多副本、singleflight 合并回源、大促容量预案。
    6. 案例三:重试风暴引发全站雪崩——下游 RT 从 50ms 涨到 2s,上游三层各重试 3 次,流量放大近 9 倍,线程池打满,非核心接口也被拖死。止损是关重试开关 + 熔断 + 线程池隔离 + 降级,根因是没有超时预算、重试无退避无上限、同步调用共用线程池,长期是超时分层、指数退避 + 抖动、重试白名单、熔断与隔离、混沌演练。
    7. 案例库(备选):慢 SQL/深分页拖垮 DB;连接池泄漏;MQ 积压导致状态不同步;分布式锁主从切换丢锁导致超卖;支付回调重复导致重复发货;配置全量推送引发重启风暴;证书/DNS 过期;发布引入依赖冲突。每个都要能三句话说清:现象 → 根因 → 改了什么。
    8. 表达技巧:用 STAR 但不要背模板;开头先给影响面(“影响 12 万用户下单,持续 38 分钟,无资损”);时间线用“发现—判断—动作”而不是流水账;主动讲你当时判断错的地方(比只讲成功更可信);量化改进(“MTTR 从 45 分钟降到 8 分钟”“同类故障 0 复发”);保密边界——不报公司名、不报真实用户数据、不泄露未公开架构,用“某电商/某支付系统”替代。
  • 图/流程:

text
故障处理时间线:
  T0 变更/流量突增
  T+3m  监控告警(P99/错误率/饱和度)
  T+5m  值班响应、拉群、定级
  T+8m  止损(回滚/开关/限流/降级)  ← 优先于根因
  T+15m 影响面收敛、开始定位
  T+40m 根因确认、修复上线
  T+60m 恢复验证、观察
  T+1d  复盘会、改进项排期
text
分层排除(从外到内):
  入口:QPS、4xx/5xx、网关超时
    ↓
  应用:RT、线程池活跃/队列、GC、CPU
    ↓
  依赖:RPC RT/错误率、连接池、超时
    ↓
  中间件:Redis 慢查询/热 key、MQ 积压
    ↓
  存储:慢 SQL、锁等待、连接数、磁盘
  每一层都问:是“量”的问题还是“质”的问题?
text
六段式复盘:
  1 背景与影响(谁、何时、多大)
  2 时间线(发现→止损→恢复)
  3 定位(证据链、排除项)
  4 根因(直接 + 根本 + 监控缺口)
  5 止损与修复(临时 + 永久)
  6 长期改进(技术/流程/组织,owner + deadline)
text
根因三层(复盘必须写到第二层):
  直接原因:本地缓存把堆撑满 → Full GC
  根本原因:缓存无上限/无过期,容量评审缺失
  系统性原因:上线 checklist 无内存增长项,压测不覆盖长稳
  • 版本/源码锚点:

    • JVM 诊断:jstack、jmap -dump、jcmd、JDK 9+ 统一日志 -Xlog:gc*:file=gc.log:time,uptime(JDK 8 是 -XX:+PrintGCDetails -Xloggc:)、JFR(jcmd <pid> JFR.start)、MAT/jvisualvm。
    • 在线诊断:Arthas(dashboard、thread -n、trace、watch、heapdump)、async-profiler。
    • 监控:Prometheus + Grafana、Micrometer、Spring Boot Actuator /actuator/metrics、SkyWalking/Zipkin 链路。
    • 中间件:Redis SLOWLOG、INFO、--hotkeys、MONITOR(慎用);MySQL slow_query_log、performance_schema、SHOW PROCESSLIST;RocketMQ consumerProgress、Kafka consumer lag。
    • 容器与发布:K8s kubectl describe/top/logs、HPA 事件、滚动发布记录、配置中心推送历史。
    • 相关卡片:容量与压测 6.5-1、限流熔断 6.5-3/6.5-4、超时重试 6.5-5、应急预案 6.5-9、可观测性 6.5-11、异步线程 6.7-4。
  • 故障分级:

级别判定响应止损时限
P0核心链路全不可用 / 资损全员、立即5–10 分钟
P1核心功能部分不可用 / 大面积超时值班 + owner15 分钟
P2非核心功能异常 / 小范围当班处理1 小时
P3体验问题 / 无业务影响排期次工作日
  • 黄金信号(RED / USE):
维度指标异常信号
流量QPS、入口请求数突增/突降
错误5xx、业务错误码、超时率错误率 > 基线 3 倍
延迟P99/P999、依赖 RTP99 翻倍
饱和度CPU、内存、线程池、连接池、队列> 70–80% 持续
GCFull GC 次数/耗时、老年代占用Full GC > 1 次/分钟
中间件Redis 热 key/慢查询、MQ 积压lag 持续增长
  • 常见根因 → 证据 → 工具:
根因关键证据工具
内存泄漏/缓存无界老年代持续上涨、Full GC 后不降GC 日志、MAT dominator tree
线程池打满活跃线程=上限、队列堆积Arthas thread、Micrometer
慢 SQL慢日志、锁等待、扫描行数大slow_query_log、EXPLAIN
热 key单分片 CPU 高、单 key QPS 极高Redis --hotkeys、分片监控
缓存击穿失效瞬间 DB QPS 尖刺链路追踪、DB 监控
消息积压consumer lag 持续增长RocketMQ/Kafka 监控
重试放大下游 QPS ≈ 上游 × 重试次数网关/RPC 指标
发布引入故障时间与发布/配置推送吻合发布记录、配置变更历史
锁失效同一资源并发写、主从切换时间点业务日志、Redis 主从事件
依赖故障下游错误率/RT 先行恶化依赖面板、链路
  • 三个案例速查:
案例现象根因止损长期
Full GCP99 3.2s、错误率 12%、CPU 98%本地缓存无上限摘流/扩容/清缓存容量上限 + 过期 + 监控
热 key单分片 CPU 100%、DB 连接耗尽热 key + 击穿无互斥本地缓存/限流/降级热点探测 + 拆分 + singleflight
重试风暴下游流量 ×9、线程池满无超时预算、重试无退避关重试 + 熔断 + 隔离超时分层 + 退避 + 演练
  • 止损手段优先级:
顺序手段适用代价
1回滚变更引起丢失新功能
2开关关闭功能可降级部分用户不可用
3限流流量突增拒绝部分请求
4熔断/降级依赖故障返回兜底
5扩容容量不足成本、冷启动
6重启内存/连接泄漏中断、可能复发
7修数据已产生脏数据风险最高,需审批
  • 深挖点(面试官常追的 6 个):

    1. 怎么快速判断是不是发布引起的:先看时间相关性——故障曲线起点是否落在发布/配置推送/扩缩容时间点附近;再看变更范围——只有改动的服务/接口异常,还是全站;然后回滚验证——回滚后指标是否恢复(这是最强证据)。工程上要求每次发布有变更单、灰度分批、可一键回滚,配置推送有历史和灰度;没有这些,“是不是发布引起”就只能靠猜。
    2. Full GC 怎么定位到具体对象:先看 GC 日志确认是 Full GC 频繁且回收后老年代不降(排除“只是堆小”),再看 CPU/RT 与 GC 时间是否吻合;然后摘流后 dump(避免 dump 时 STW 加重故障),用 MAT 看 dominator tree 与直方图,找占比最高的类与 GC Root 引用链;常见是本地缓存、ThreadLocal、静态集合、连接/流未关闭。定位后要能说明“为什么以前没爆、这次爆了”(流量、数据量、代码变更)。
    3. 怎么证明是热 key 而不是普遍慢:看分片维度——如果只有某个 Redis 分片 CPU/带宽打满,而同集群其他分片正常,基本是热 key;再看单 key 维度(--hotkeys、采样 MONITOR、代理层统计);应用侧看同一 key 的 QPS 与来源。若所有分片都高,是总量问题,不是热 key。热 key 的解法是拆(key 后缀分片/多副本)、挡(本地缓存)、限(限流),不是加机器。
    4. 消息积压怎么处理:先判断是消费慢还是生产快(看消费 TPS 与生产 TPS);消费慢则看单条处理耗时、下游依赖、是否有同步阻塞;应急可扩容消费者(受分区数限制)、临时提高并发、跳过非关键逻辑,严重时转存到临时 topic 后续补。根因治理是消费幂等 + 批量 + 异步化 + 容量水位告警;要注意扩容上限是分区数,加机器不一定有用。
    5. 怎么防止同类故障复发:分三层——技术(容量上限、超时、熔断、隔离、限流、缓存策略)、流程(变更评审、灰度、回滚预案、上线 checklist)、组织(演练、值班、复盘跟踪、故障库)。关键是改进项要有 owner 和 deadline 并被验收,否则复盘就是写作文;同时做同类排查(同样的模式在哪些服务存在),把单点修复变成批量治理。
    6. 面试讲故障的边界:讲机制与判断,不讲敏感数据;公司名、真实用户量、资损金额、未公开架构都做模糊化(“某电商大促”“千万级用户”);重点放在“我做了什么判断、为什么、结果如何”,而不是“我们系统多牛”;如果故障涉及他人,讲协作不甩锅;如果自己是主要责任方,坦诚讲反思与改进,大厂更看重可恢复性与学习能力,而不是“从没出过事”。
  • 追问链:

    1. 讲一个你负责的线上故障。 → 六段式。
    2. 影响面多大? → 用户/订单/时长/资损。
    3. 怎么发现的? → 监控告警还是客诉。
    4. 多久响应? → 值班与定级。
    5. 先做什么? → 先止损。
    6. 为什么不先定位? → 影响还在扩大。
    7. 止损手段? → 回滚/开关/限流/降级。
    8. 怎么定级? → P0–P3。
    9. 怎么判断范围? → 分层排除。
    10. 看哪些指标? → RED/USE。
    11. 为什么看 P99? → 尾部体验。
    12. 怎么排除发布? → 时间相关性 + 回滚验证。
    13. 怎么定位到 JVM? → GC 日志 + dump。
    14. dump 有风险吗? → STW,先摘流。
    15. MAT 看什么? → dominator tree。
    16. 根因是什么? → 缓存无上限。
    17. 为什么以前没爆? → 流量/数据量变化。
    18. 直接原因和根本原因? → 要写到第二层。
    19. 监控为什么没提前发现? → 缺容量水位。
    20. 怎么修的? → 临时 + 永久。
    21. 怎么验证恢复? → 指标回到基线。
    22. 有没有资损? → 对账确认。
    23. 脏数据怎么处理? → 修复脚本 + 审批。
    24. 热 key 怎么发现? → 分片维度。
    25. 热 key 怎么解? → 拆/挡/限。
    26. 缓存击穿怎么办? → 互斥回源。
    27. singleflight 是什么? → 合并回源。
    28. 本地缓存怎么防打爆? → 上限 + TTL。
    29. 重试为什么会雪崩? → 流量放大。
    30. 重试要有哪些前提? → 幂等 + 退避 + 上限。
    31. 超时怎么设? → 分层预算。
    32. 熔断和限流区别? → 保护自己 vs 保护下游。
    33. 线程池为什么要隔离? → 防拖垮。
    34. MQ 积压怎么查? → 生产/消费 TPS。
    35. 积压怎么应急? → 扩容/转存/跳过。
    36. 扩容有上限吗? → 分区数。
    37. 锁失效导致超卖怎么发现? → 对账/唯一索引。
    38. 怎么防重复? → 幂等 + 唯一索引。
    39. 发布怎么防? → 灰度 + 回滚。
    40. 配置推送有风险吗? → 全量/错误配置。
    41. 怎么做演练? → 混沌工程。
    42. 演练和真实故障区别? → 可控性。
    43. 复盘会怎么开? → 对事不对人。
    44. 改进项怎么跟踪? → owner + deadline。
    45. 怎么衡量改进有效? → MTTR/复发率。
    46. 同类排查怎么做? → 模式化治理。
    47. 你犯过什么错? → 坦诚 + 反思。
    48. 如果重来怎么做? → 前置预防。
    49. 怎么讲不泄密? → 模糊化。
    50. 一句话总结? → 止损优先、证据定位、机制防复发。
  • 生产案例/取舍(示例,替换成你的项目):

    • 大促前本地缓存无上限,流量翻 10 倍后 Full GC,P99 3.2s;改 Caffeine 上限 + TTL。
    • 故障时先查代码而不是止损,影响从 5 分钟扩大到 40 分钟;改为“先止损”预案。
    • 只看平均 RT 没发现长尾,P99 已恶化 10 倍;补 P99/P999 告警。
    • dump 时未摘流,STW 叠加导致请求大面积超时;改为先摘流再 dump。
    • 热 key 误判为“Redis 容量不足”,加机器无效;改按分片定位 + 拆分。
    • 缓存失效瞬间 DB QPS 尖刺,连接池打满;加 singleflight + 逻辑过期。
    • 下游抖动触发三层重试,流量放大 9 倍;关重试开关 + 熔断止损。
    • 重试无退避,故障期间持续加压;改指数退避 + 抖动 + 上限。
    • MQ 积压 200 万条,扩容到分区上限仍不够;临时转存 + 事后补。
    • 发布后依赖冲突,类加载失败;灰度 1 台即发现,回滚 2 分钟恢复。
    • 支付回调重复导致重复发货;补幂等键 + 唯一索引 + 对账。
    • 复盘写了 20 条改进,3 个月后只完成 4 条;引入 owner + deadline + 月度验收。
    • 取舍:先止损换恢复速度,代价是可能掩盖现场(需保留 dump/日志);回滚换快速恢复,代价是丢新功能;扩容换容量,代价是成本与冷启动;限流换稳定,代价是拒绝用户;复盘公开换组织学习,代价是心理压力与表达成本。
  • 易错点:

    • 认为复盘就是讲 bug。
    • 认为故障讲得越惨越真实。
    • 认为面试要说“我们从没出过故障”。
    • 认为只讲技术细节就够。
    • 认为不用讲影响面。
    • 认为时间线可以模糊。
    • 认为不用量化。
    • 认为根因写到“下游挂了”就行。
    • 认为直接原因就是根本原因。
    • 认为监控没告警不重要。
    • 认为先定位再止损。
    • 认为重启就算解决。
    • 认为扩容能解决一切。
    • 认为加机器就能解决热 key。
    • 认为 Full GC 就是堆太小。
    • 认为 dump 随时可以做。
    • 认为平均 RT 能代表体验。
    • 认为重试越多越可靠。
    • 认为熔断等于限流。
    • 认为线程池可以共用。
    • 认为 MQ 积压加机器一定有用。
    • 认为锁能保证不超卖。
    • 认为有幂等就不会重复。
    • 认为发布不会引起故障。
    • 认为配置推送没有风险。
    • 认为演练没必要。
    • 认为复盘会就是追责。
    • 认为改进项写完就等于做完。
    • 认为同类问题不会再有。
    • 认为面试可以随便报公司数据。
  • 30 秒口述稿:

我讲一个我 owner 过的故障:大促期间订单接口 P99 从 80 毫秒涨到 3.2 秒,错误率 12%,影响大约 12 万用户下单,持续 38 分钟,没有资损。我们先是摘流、扩容、打开清缓存开关把影响面收住,然后看 GC 日志发现 Full GC 每 20 秒一次、单次 1.8 秒,摘流后 dump 用 MAT 定位到本地缓存占堆 78%——缓存 key 没有上限也没有过期,流量翻十倍就撑爆了。临时修复是回滚缓存逻辑,长期改成 Caffeine 设 maximumSize 和 expireAfterWrite,补了缓存 size、命中率和老年代水位监控,压测也加了长稳内存观测。复盘后我们把“缓存必须有界”写进了上线 checklist。

  • 3 分钟展开顺序:面试意图(owner 视角、判断链、止损意识、机制沉淀)→ 六段式模板 → 先止损后定位的方法论 → 分层排除与黄金信号 → 案例一 Full GC(时间线、证据、根因三层、改进)→ 案例二 热 key + 击穿(分片定位、拆/挡/限、singleflight)→ 案例三 重试风暴(流量放大、超时预算、隔离)→ 案例库速查 → 长期机制(监控、预案、演练、复盘跟踪)→ 表达边界与反思。