Appearance
6.7-16 线上问题案例复盘
所属:06 分布式与架构 / 6.7 系统设计 分级:A 状态:◐ 初稿 关联:6.5-1、6.5-3、6.5-4、6.5-5、6.5-9、6.5-11、6.7-4
题型:项目 / 排查
一句话结论:面试考的不是“你背过哪些故障”,而是你有没有独立 owner 过线上问题:能不能在压力下先止损再定位、用指标而不是猜测定界、把根因追到机制层、并把一次故障沉淀成不再复发的机制。讲一个案例的标准结构是:影响面 → 时间线 → 定位证据 → 根因 → 止损与修复 → 长期改进,全程有数字、有取舍、有反思。
分层要点:
- 面试官在听什么:① 这事是不是你干的(能不能说出只有当事人才知道的细节);② 你的判断链是否成立(看到什么指标 → 排除了什么 → 锁定什么);③ 你有没有止损意识(先恢复还是先找根因);④ 根因是否到机制层(不是“下游挂了”而是“为什么下游挂了会打垮我们”);⑤ 有没有沉淀(监控、预案、演练、代码规范);⑥ 表达是否克制(不甩锅、不夸大、不泄露敏感信息)。
- 六段式复盘模板:背景与影响(业务、时间点、影响用户/订单/资损、SLO 偏离)→ 时间线(发现 → 响应 → 止损 → 恢复,精确到分钟)→ 定位过程(看了哪些指标、排除了哪些假设、关键证据)→ 根因(直接原因 + 根本原因 + 为什么监控没提前发现)→ 止损与修复(临时手段、恢复验证)→ 长期改进(技术、流程、组织,带 owner 与 deadline)。六段里最容易讲砸的是“定位过程”,因为它最能证明你真在现场。
- 排查方法论:先止损、后定位(影响面还在扩大时,回滚/开关/限流优先级最高);从外到内分层排除(入口 QPS/错误率 → 应用 RT/线程池 → 依赖 RT/超时 → 中间件 → DB);对比变更(发布时间、配置推送、流量曲线、依赖版本,80% 故障由变更引起);用数据说话(P99、错误率、GC 次数、连接数、队列长度,不看单条日志下结论);复现与验证(压测/回放/单机复现);同类排查(同一模式还有哪些接口/服务)。
- 案例一:Full GC 风暴打挂订单接口——本地缓存无上限,大促流量翻 10 倍,堆被
ConcurrentHashMap撑满,Full GC 每 20s 一次、单次 1.8s,接口 P99 从 80ms 涨到 3.2s、错误率 12%。止损是摘流 + 扩容 + 清缓存开关,根因是缓存没有容量上限与过期策略,长期改进是 CaffeinemaximumSize+expireAfterWrite+ 缓存 size/命中率监控 + 压测增加内存增长观测。 - 案例二:热点 key + 缓存击穿打挂 DB——明星爆料导致商品详情 QPS 从 2k 冲到 60k,单分片 Redis CPU 100%,回源全部打到 MySQL,连接池耗尽,商品域整体不可用。止损是本地缓存兜底 + 限流 + 降级兜底页 + 只读副本,根因是热 key 没有拆分、缓存失效瞬间没有互斥回源,长期是热点探测、key 拆分多副本、singleflight 合并回源、大促容量预案。
- 案例三:重试风暴引发全站雪崩——下游 RT 从 50ms 涨到 2s,上游三层各重试 3 次,流量放大近 9 倍,线程池打满,非核心接口也被拖死。止损是关重试开关 + 熔断 + 线程池隔离 + 降级,根因是没有超时预算、重试无退避无上限、同步调用共用线程池,长期是超时分层、指数退避 + 抖动、重试白名单、熔断与隔离、混沌演练。
- 案例库(备选):慢 SQL/深分页拖垮 DB;连接池泄漏;MQ 积压导致状态不同步;分布式锁主从切换丢锁导致超卖;支付回调重复导致重复发货;配置全量推送引发重启风暴;证书/DNS 过期;发布引入依赖冲突。每个都要能三句话说清:现象 → 根因 → 改了什么。
- 表达技巧:用 STAR 但不要背模板;开头先给影响面(“影响 12 万用户下单,持续 38 分钟,无资损”);时间线用“发现—判断—动作”而不是流水账;主动讲你当时判断错的地方(比只讲成功更可信);量化改进(“MTTR 从 45 分钟降到 8 分钟”“同类故障 0 复发”);保密边界——不报公司名、不报真实用户数据、不泄露未公开架构,用“某电商/某支付系统”替代。
图/流程:
text
故障处理时间线:
T0 变更/流量突增
T+3m 监控告警(P99/错误率/饱和度)
T+5m 值班响应、拉群、定级
T+8m 止损(回滚/开关/限流/降级) ← 优先于根因
T+15m 影响面收敛、开始定位
T+40m 根因确认、修复上线
T+60m 恢复验证、观察
T+1d 复盘会、改进项排期text
分层排除(从外到内):
入口:QPS、4xx/5xx、网关超时
↓
应用:RT、线程池活跃/队列、GC、CPU
↓
依赖:RPC RT/错误率、连接池、超时
↓
中间件:Redis 慢查询/热 key、MQ 积压
↓
存储:慢 SQL、锁等待、连接数、磁盘
每一层都问:是“量”的问题还是“质”的问题?text
六段式复盘:
1 背景与影响(谁、何时、多大)
2 时间线(发现→止损→恢复)
3 定位(证据链、排除项)
4 根因(直接 + 根本 + 监控缺口)
5 止损与修复(临时 + 永久)
6 长期改进(技术/流程/组织,owner + deadline)text
根因三层(复盘必须写到第二层):
直接原因:本地缓存把堆撑满 → Full GC
根本原因:缓存无上限/无过期,容量评审缺失
系统性原因:上线 checklist 无内存增长项,压测不覆盖长稳版本/源码锚点:
- JVM 诊断:
jstack、jmap -dump、jcmd、JDK 9+ 统一日志-Xlog:gc*:file=gc.log:time,uptime(JDK 8 是-XX:+PrintGCDetails -Xloggc:)、JFR(jcmd <pid> JFR.start)、MAT/jvisualvm。 - 在线诊断:Arthas(
dashboard、thread -n、trace、watch、heapdump)、async-profiler。 - 监控:Prometheus + Grafana、Micrometer、Spring Boot Actuator
/actuator/metrics、SkyWalking/Zipkin 链路。 - 中间件:Redis
SLOWLOG、INFO、--hotkeys、MONITOR(慎用);MySQLslow_query_log、performance_schema、SHOW PROCESSLIST;RocketMQconsumerProgress、Kafkaconsumer lag。 - 容器与发布:K8s
kubectl describe/top/logs、HPA 事件、滚动发布记录、配置中心推送历史。 - 相关卡片:容量与压测 6.5-1、限流熔断 6.5-3/6.5-4、超时重试 6.5-5、应急预案 6.5-9、可观测性 6.5-11、异步线程 6.7-4。
- JVM 诊断:
故障分级:
| 级别 | 判定 | 响应 | 止损时限 |
|---|---|---|---|
| P0 | 核心链路全不可用 / 资损 | 全员、立即 | 5–10 分钟 |
| P1 | 核心功能部分不可用 / 大面积超时 | 值班 + owner | 15 分钟 |
| P2 | 非核心功能异常 / 小范围 | 当班处理 | 1 小时 |
| P3 | 体验问题 / 无业务影响 | 排期 | 次工作日 |
- 黄金信号(RED / USE):
| 维度 | 指标 | 异常信号 |
|---|---|---|
| 流量 | QPS、入口请求数 | 突增/突降 |
| 错误 | 5xx、业务错误码、超时率 | 错误率 > 基线 3 倍 |
| 延迟 | P99/P999、依赖 RT | P99 翻倍 |
| 饱和度 | CPU、内存、线程池、连接池、队列 | > 70–80% 持续 |
| GC | Full GC 次数/耗时、老年代占用 | Full GC > 1 次/分钟 |
| 中间件 | Redis 热 key/慢查询、MQ 积压 | lag 持续增长 |
- 常见根因 → 证据 → 工具:
| 根因 | 关键证据 | 工具 |
|---|---|---|
| 内存泄漏/缓存无界 | 老年代持续上涨、Full GC 后不降 | GC 日志、MAT dominator tree |
| 线程池打满 | 活跃线程=上限、队列堆积 | Arthas thread、Micrometer |
| 慢 SQL | 慢日志、锁等待、扫描行数大 | slow_query_log、EXPLAIN |
| 热 key | 单分片 CPU 高、单 key QPS 极高 | Redis --hotkeys、分片监控 |
| 缓存击穿 | 失效瞬间 DB QPS 尖刺 | 链路追踪、DB 监控 |
| 消息积压 | consumer lag 持续增长 | RocketMQ/Kafka 监控 |
| 重试放大 | 下游 QPS ≈ 上游 × 重试次数 | 网关/RPC 指标 |
| 发布引入 | 故障时间与发布/配置推送吻合 | 发布记录、配置变更历史 |
| 锁失效 | 同一资源并发写、主从切换时间点 | 业务日志、Redis 主从事件 |
| 依赖故障 | 下游错误率/RT 先行恶化 | 依赖面板、链路 |
- 三个案例速查:
| 案例 | 现象 | 根因 | 止损 | 长期 |
|---|---|---|---|---|
| Full GC | P99 3.2s、错误率 12%、CPU 98% | 本地缓存无上限 | 摘流/扩容/清缓存 | 容量上限 + 过期 + 监控 |
| 热 key | 单分片 CPU 100%、DB 连接耗尽 | 热 key + 击穿无互斥 | 本地缓存/限流/降级 | 热点探测 + 拆分 + singleflight |
| 重试风暴 | 下游流量 ×9、线程池满 | 无超时预算、重试无退避 | 关重试 + 熔断 + 隔离 | 超时分层 + 退避 + 演练 |
- 止损手段优先级:
| 顺序 | 手段 | 适用 | 代价 |
|---|---|---|---|
| 1 | 回滚 | 变更引起 | 丢失新功能 |
| 2 | 开关关闭 | 功能可降级 | 部分用户不可用 |
| 3 | 限流 | 流量突增 | 拒绝部分请求 |
| 4 | 熔断/降级 | 依赖故障 | 返回兜底 |
| 5 | 扩容 | 容量不足 | 成本、冷启动 |
| 6 | 重启 | 内存/连接泄漏 | 中断、可能复发 |
| 7 | 修数据 | 已产生脏数据 | 风险最高,需审批 |
深挖点(面试官常追的 6 个):
- 怎么快速判断是不是发布引起的:先看时间相关性——故障曲线起点是否落在发布/配置推送/扩缩容时间点附近;再看变更范围——只有改动的服务/接口异常,还是全站;然后回滚验证——回滚后指标是否恢复(这是最强证据)。工程上要求每次发布有变更单、灰度分批、可一键回滚,配置推送有历史和灰度;没有这些,“是不是发布引起”就只能靠猜。
- Full GC 怎么定位到具体对象:先看 GC 日志确认是 Full GC 频繁且回收后老年代不降(排除“只是堆小”),再看 CPU/RT 与 GC 时间是否吻合;然后摘流后 dump(避免 dump 时 STW 加重故障),用 MAT 看 dominator tree 与直方图,找占比最高的类与 GC Root 引用链;常见是本地缓存、ThreadLocal、静态集合、连接/流未关闭。定位后要能说明“为什么以前没爆、这次爆了”(流量、数据量、代码变更)。
- 怎么证明是热 key 而不是普遍慢:看分片维度——如果只有某个 Redis 分片 CPU/带宽打满,而同集群其他分片正常,基本是热 key;再看单 key 维度(
--hotkeys、采样MONITOR、代理层统计);应用侧看同一 key 的 QPS 与来源。若所有分片都高,是总量问题,不是热 key。热 key 的解法是拆(key 后缀分片/多副本)、挡(本地缓存)、限(限流),不是加机器。 - 消息积压怎么处理:先判断是消费慢还是生产快(看消费 TPS 与生产 TPS);消费慢则看单条处理耗时、下游依赖、是否有同步阻塞;应急可扩容消费者(受分区数限制)、临时提高并发、跳过非关键逻辑,严重时转存到临时 topic 后续补。根因治理是消费幂等 + 批量 + 异步化 + 容量水位告警;要注意扩容上限是分区数,加机器不一定有用。
- 怎么防止同类故障复发:分三层——技术(容量上限、超时、熔断、隔离、限流、缓存策略)、流程(变更评审、灰度、回滚预案、上线 checklist)、组织(演练、值班、复盘跟踪、故障库)。关键是改进项要有 owner 和 deadline 并被验收,否则复盘就是写作文;同时做同类排查(同样的模式在哪些服务存在),把单点修复变成批量治理。
- 面试讲故障的边界:讲机制与判断,不讲敏感数据;公司名、真实用户量、资损金额、未公开架构都做模糊化(“某电商大促”“千万级用户”);重点放在“我做了什么判断、为什么、结果如何”,而不是“我们系统多牛”;如果故障涉及他人,讲协作不甩锅;如果自己是主要责任方,坦诚讲反思与改进,大厂更看重可恢复性与学习能力,而不是“从没出过事”。
追问链:
- 讲一个你负责的线上故障。 → 六段式。
- 影响面多大? → 用户/订单/时长/资损。
- 怎么发现的? → 监控告警还是客诉。
- 多久响应? → 值班与定级。
- 先做什么? → 先止损。
- 为什么不先定位? → 影响还在扩大。
- 止损手段? → 回滚/开关/限流/降级。
- 怎么定级? → P0–P3。
- 怎么判断范围? → 分层排除。
- 看哪些指标? → RED/USE。
- 为什么看 P99? → 尾部体验。
- 怎么排除发布? → 时间相关性 + 回滚验证。
- 怎么定位到 JVM? → GC 日志 + dump。
- dump 有风险吗? → STW,先摘流。
- MAT 看什么? → dominator tree。
- 根因是什么? → 缓存无上限。
- 为什么以前没爆? → 流量/数据量变化。
- 直接原因和根本原因? → 要写到第二层。
- 监控为什么没提前发现? → 缺容量水位。
- 怎么修的? → 临时 + 永久。
- 怎么验证恢复? → 指标回到基线。
- 有没有资损? → 对账确认。
- 脏数据怎么处理? → 修复脚本 + 审批。
- 热 key 怎么发现? → 分片维度。
- 热 key 怎么解? → 拆/挡/限。
- 缓存击穿怎么办? → 互斥回源。
- singleflight 是什么? → 合并回源。
- 本地缓存怎么防打爆? → 上限 + TTL。
- 重试为什么会雪崩? → 流量放大。
- 重试要有哪些前提? → 幂等 + 退避 + 上限。
- 超时怎么设? → 分层预算。
- 熔断和限流区别? → 保护自己 vs 保护下游。
- 线程池为什么要隔离? → 防拖垮。
- MQ 积压怎么查? → 生产/消费 TPS。
- 积压怎么应急? → 扩容/转存/跳过。
- 扩容有上限吗? → 分区数。
- 锁失效导致超卖怎么发现? → 对账/唯一索引。
- 怎么防重复? → 幂等 + 唯一索引。
- 发布怎么防? → 灰度 + 回滚。
- 配置推送有风险吗? → 全量/错误配置。
- 怎么做演练? → 混沌工程。
- 演练和真实故障区别? → 可控性。
- 复盘会怎么开? → 对事不对人。
- 改进项怎么跟踪? → owner + deadline。
- 怎么衡量改进有效? → MTTR/复发率。
- 同类排查怎么做? → 模式化治理。
- 你犯过什么错? → 坦诚 + 反思。
- 如果重来怎么做? → 前置预防。
- 怎么讲不泄密? → 模糊化。
- 一句话总结? → 止损优先、证据定位、机制防复发。
生产案例/取舍(示例,替换成你的项目):
- 大促前本地缓存无上限,流量翻 10 倍后 Full GC,P99 3.2s;改 Caffeine 上限 + TTL。
- 故障时先查代码而不是止损,影响从 5 分钟扩大到 40 分钟;改为“先止损”预案。
- 只看平均 RT 没发现长尾,P99 已恶化 10 倍;补 P99/P999 告警。
- dump 时未摘流,STW 叠加导致请求大面积超时;改为先摘流再 dump。
- 热 key 误判为“Redis 容量不足”,加机器无效;改按分片定位 + 拆分。
- 缓存失效瞬间 DB QPS 尖刺,连接池打满;加 singleflight + 逻辑过期。
- 下游抖动触发三层重试,流量放大 9 倍;关重试开关 + 熔断止损。
- 重试无退避,故障期间持续加压;改指数退避 + 抖动 + 上限。
- MQ 积压 200 万条,扩容到分区上限仍不够;临时转存 + 事后补。
- 发布后依赖冲突,类加载失败;灰度 1 台即发现,回滚 2 分钟恢复。
- 支付回调重复导致重复发货;补幂等键 + 唯一索引 + 对账。
- 复盘写了 20 条改进,3 个月后只完成 4 条;引入 owner + deadline + 月度验收。
- 取舍:先止损换恢复速度,代价是可能掩盖现场(需保留 dump/日志);回滚换快速恢复,代价是丢新功能;扩容换容量,代价是成本与冷启动;限流换稳定,代价是拒绝用户;复盘公开换组织学习,代价是心理压力与表达成本。
易错点:
- 认为复盘就是讲 bug。
- 认为故障讲得越惨越真实。
- 认为面试要说“我们从没出过故障”。
- 认为只讲技术细节就够。
- 认为不用讲影响面。
- 认为时间线可以模糊。
- 认为不用量化。
- 认为根因写到“下游挂了”就行。
- 认为直接原因就是根本原因。
- 认为监控没告警不重要。
- 认为先定位再止损。
- 认为重启就算解决。
- 认为扩容能解决一切。
- 认为加机器就能解决热 key。
- 认为 Full GC 就是堆太小。
- 认为 dump 随时可以做。
- 认为平均 RT 能代表体验。
- 认为重试越多越可靠。
- 认为熔断等于限流。
- 认为线程池可以共用。
- 认为 MQ 积压加机器一定有用。
- 认为锁能保证不超卖。
- 认为有幂等就不会重复。
- 认为发布不会引起故障。
- 认为配置推送没有风险。
- 认为演练没必要。
- 认为复盘会就是追责。
- 认为改进项写完就等于做完。
- 认为同类问题不会再有。
- 认为面试可以随便报公司数据。
30 秒口述稿:
我讲一个我 owner 过的故障:大促期间订单接口 P99 从 80 毫秒涨到 3.2 秒,错误率 12%,影响大约 12 万用户下单,持续 38 分钟,没有资损。我们先是摘流、扩容、打开清缓存开关把影响面收住,然后看 GC 日志发现 Full GC 每 20 秒一次、单次 1.8 秒,摘流后 dump 用 MAT 定位到本地缓存占堆 78%——缓存 key 没有上限也没有过期,流量翻十倍就撑爆了。临时修复是回滚缓存逻辑,长期改成 Caffeine 设 maximumSize 和 expireAfterWrite,补了缓存 size、命中率和老年代水位监控,压测也加了长稳内存观测。复盘后我们把“缓存必须有界”写进了上线 checklist。
- 3 分钟展开顺序:面试意图(owner 视角、判断链、止损意识、机制沉淀)→ 六段式模板 → 先止损后定位的方法论 → 分层排除与黄金信号 → 案例一 Full GC(时间线、证据、根因三层、改进)→ 案例二 热 key + 击穿(分片定位、拆/挡/限、singleflight)→ 案例三 重试风暴(流量放大、超时预算、隔离)→ 案例库速查 → 长期机制(监控、预案、演练、复盘跟踪)→ 表达边界与反思。