Appearance
2.3-12 线上 CPU 100%、内存飙升、线程卡死的完整排查
所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-10、2.3-11、2.4-6、2.4-10、2.4-11
题型:排查 / 流程 / 场景
一句话结论:线上故障先取证再止血,按“资源层 → JVM 层 → 应用层”定位:CPU 高先做线程映射和火焰图,内存高先分堆内/堆外再决定是否 dump,线程卡死先多次 jstack 区分死锁/锁竞争/IO/池耗尽;容器场景还要先排除 cgroup OOMKilled 和 CPU throttling,最后做修复验证和复盘。
分层要点:
- 第 0 步:确认影响面与取证:先确认是单实例还是全集群、何时开始、最近有无发布/配置/流量/下游变更;记录
date、jcmd VM.uptime、VM.command_line、VM.flags、VM.system_properties。在不加重故障的前提下保留现场:线程 dump 至少 3 次(间隔 5–10 秒)、GC 日志、jstat采样、JFR、必要的 heap dump、容器事件和监控曲线。除非完全不可用,不要先重启;重启会丢掉最重要的现场。 - CPU 100%:
top -Hp <pid>/ps -L找高 CPU 线程,TID 转十六进制后在jstack -l里搜nid=0x...;连续 3 次 dump 看栈是否稳定。业务线程稳定在同一热点,用 async-profiler/JFR 看火焰图;GC Thread#高说明在频繁 GC,转jstat -gcutil+-Xlog:gc*+ heap dump;CompilerThread高看 JIT;大量线程同时 RUNNABLE 看线程数、线程池和上下文切换;容器还要看 CPU throttling,JVM 看到的核数可能小于宿主机。 - 内存飙升/OOM:先用
jcmd GC.heap_info、jstat -gc判断堆内是否真的涨;堆内涨且 FGC 后不降,做 heap dump + MAT 找 Dominator Tree/Retained Heap/Path to GC Roots;堆内正常但进程 RSS 高,查 Metaspace、DirectByteBuffer/Netty、线程栈、CodeCache、JNI 等堆外内存,用 NMT、pmap -x、VM.metaspace、VM.classloader_stats。OOM 可能是 Java heap、Metaspace、Direct buffer、unable to create native thread,也可能是容器 OOMKilled(exit 137),两者排查路径不同。 - 线程卡死:连续多次
jstack -l/jcmd Thread.print -l,看线程状态和栈是否固定。BLOCKED+waiting to lock是 monitor 竞争;WAITING在Object.wait/park/Condition.await/join是等通知;TIMED_WAITING看超时是否合理;RUNNABLE在socketRead0/epollWait/文件读是 IO 等待,不要误判成 CPU 热点。Found one Java-level deadlock直接给死锁环;线程池所有 worker 卡在同一依赖,是池耗尽/下游故障,不是简单加线程能解决。 - 容器与运行时特殊性:容器里先看 cgroup 限制:CPU throttling 看
cpu.stat的nr_throttled/throttled_time或container_cpu_cfs_throttled_seconds_total;内存看memory.current/max、memory.events、dmesg的 OOM 记录、Pod 的OOMKilled/exit 137。JVM 要开UseContainerSupport(JDK 10+ 默认),用MaxRAMPercentage留出 Metaspace/直接内存/线程栈/CodeCache 的余量;PID namespace 不一致时jcmd连不上,需要进容器或nsenter。 - 止血、修复与复盘:止血手段包括限流/降级、摘流量、回滚、扩容、重启(取证后)、调大超时/队列(临时);根因修复包括修热点代码、修泄漏、调缓存/池、加下游超时和熔断、调整锁粒度。修复后用压测/灰度/监控验证,最后做时间线复盘:现象、影响、根因、 促成因素、发现方式、响应过程、改进项和负责人。
- 第 0 步:确认影响面与取证:先确认是单实例还是全集群、何时开始、最近有无发布/配置/流量/下游变更;记录
图/流程:
text
线上异常
│
├─ 先取证:date / uptime / flags / 3 次 thread dump / jstat / GC log / 监控
│
├─ CPU 100%
│ ├─ top -Hp → TID → hex → jstack 搜 nid
│ ├─ 业务热点 → async-profiler / JFR 火焰图
│ ├─ GC Thread → jstat / -Xlog:gc* / heap dump
│ ├─ CompilerThread → jstat -compiler / PrintCompilation
│ └─ 容器 throttling → cpu.stat / throttled 指标
│
├─ 内存飙升/OOM
│ ├─ 堆内 → jcmd GC.heap_info → heap dump → MAT
│ ├─ 堆外 → NMT / pmap / VM.metaspace / classloader_stats
│ └─ 容器 → memory.events / OOMKilled / exit 137
│
└─ 线程卡死
├─ BLOCKED → monitor 竞争,找锁持有者
├─ WAITING → wait/park/await,找通知者
├─ RUNNABLE + socketRead → IO/下游
├─ 全部 worker 等待 → 池耗尽/下游故障
└─ 虚拟线程 → Thread.dump_to_file / JFRbash
# 黄金 5 分钟:先取证,再决定是否重启
date; jcmd <pid> VM.uptime; jcmd <pid> VM.flags; jcmd <pid> VM.command_line
top -Hp <pid>
jstat -gcutil <pid> 1000 5
jcmd <pid> Thread.print -l > /tmp/td1.txt
sleep 10; jcmd <pid> Thread.print -l > /tmp/td2.txt
sleep 10; jcmd <pid> Thread.print -l > /tmp/td3.txt版本/运行时锚点:
- JDK 8/11/17/21:
jcmd、jstat、jstack、JFR、-Xlog的可用性随版本增强。 - JDK 9:统一日志
-Xlog;jhat移除。 - JDK 10+:
UseContainerSupport,容器内按 cgroup 识别 CPU/内存。 - JDK 11:JFR 开源;JDK 14:JFR 事件流。
- JDK 21:虚拟线程;
jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json可导出虚拟线程;JFR 有jdk.VirtualThreadPinned。 - JDK 24:JEP 491,
synchronized不再 pin 虚拟线程。 - 容器:cgroup v1/v2、Kubernetes
OOMKilled、exit 137、CPU CFS throttling。
- JDK 8/11/17/21:
CPU 高分类:
| 现象 | 可能原因 | 下一步 |
|---|---|---|
| 业务线程 RUNNABLE,栈稳定在同一方法 | 死循环、正则回溯、序列化/加密、大集合 | async-profiler/JFR 火焰图 |
GC Thread# 高,FGC 频繁 | 内存不足、泄漏、大对象、GC 参数不当 | jstat、GC 日志、heap dump |
CompilerThread 高 | JIT 编译风暴、大量动态类 | jstat -compiler、-XX:+PrintCompilation |
| 大量线程同时 RUNNABLE | 线程数过多、上下文切换、池过大 | 线程数、pidstat -w、vmstat |
栈里是 native/[unknown] | JNI、Netty、加密/压缩库 | async-profiler native、perf |
| CPU 不高但 RT 高 | 不是 CPU 问题,查 IO/锁/下游 | jstack、trace、下游指标 |
| 容器 CPU 被 throttle | cgroup 限额、JVM 核数识别 | cpu.stat、ActiveProcessorCount |
- 内存高分类:
| 现象 | 方向 | 工具 |
|---|---|---|
| Old 区持续上涨,FGC 后不降 | 堆内泄漏/大对象 | heap dump + MAT |
| Eden 频繁满、YGC 多 | 分配率高/新生代小 | jstat -gc、分配火焰图 |
| Metaspace/CCS 上涨 | 动态类、类加载器泄漏 | VM.metaspace、VM.classloader_stats |
| 堆正常但 RSS 高 | DirectBuffer、Netty、线程栈、CodeCache、JNI | NMT、pmap -x、BufferPoolMXBean |
| 容器 OOMKilled | RSS 超过 cgroup limit | memory.events、dmesg、Pod 事件 |
unable to create native thread | 线程数/栈内存/pid 限制 | 线程数、ulimit、-Xss |
- 线程状态分类:
| 状态 | 含义 | 常见原因 |
|---|---|---|
BLOCKED | 等 monitor | synchronized 竞争、锁粒度大 |
WAITING | 无限等待 | Object.wait、park、Condition.await、join |
TIMED_WAITING | 限时等待 | sleep、wait(timeout)、parkNanos |
RUNNABLE | 运行或 native 阻塞 | CPU 热点、socketRead、文件 IO |
| 大量 worker 同一栈 | 池耗尽/下游慢 | DB、RPC、HTTP、锁 |
- 取证清单:
| 证据 | 命令/来源 | 用途 |
|---|---|---|
| 线程 dump ×3 | jcmd Thread.print -l | 判断稳定栈/死锁/池耗尽 |
| GC 趋势 | jstat -gcutil 1000 | 判断 GC/内存压力 |
| GC 日志 | -Xlog:gc*:file=gc.log:time,uptime:filecount=5,filesize=50M | 停顿、晋升、Humongous |
| 堆转储 | jcmd GC.heap_dump / OOM 自动 | MAT 分析泄漏 |
| JFR | jcmd JFR.start ... | CPU/分配/锁/IO/虚拟线程 |
| 容器事件 | kubectl describe pod、dmesg、memory.events | OOMKilled/throttling |
| 变更记录 | 发布/配置/流量/下游 | 时间线关联 |
追问链:
- 线上 CPU 100% 的完整排查步骤? → 先确认影响面和变更,
top -Hp找高 CPU 线程,TID 转十六进制到jstack -l搜nid,连续 3 次 dump 看稳定栈;业务热点用 async-profiler/JFR,GC 高转jstat/GC 日志,容器再看 throttling。 - 为什么线程 dump 要连续做多次? → 单次只能看到瞬间;多次间隔采样能区分“稳定卡在同一栈”的真实热点/死锁,和“快速变化”的正常调度/短任务。
- TID 怎么映射到 jstack? →
top -Hp的 TID 是十进制,printf "%x\n" <tid>转十六进制,然后在jstack里搜nid=0x...;注意容器内外的 PID namespace。 - CPU 高但 jstack 里没有明显热点怎么办? → 可能 CPU 在 GC/JIT/native/内核;看
GC Thread#、CompilerThread、async-profiler native 栈、perf top,以及容器 CPU throttling。 - 怎么判断是 GC 导致 CPU 高? →
jstat -gcutil看 FGC 频率和耗时,-Xlog:gc*看停顿,jstack里GC Thread#占 CPU;再结合 heap dump 判断泄漏/大对象。 - 内存飙升怎么区分堆内和堆外? →
jcmd GC.heap_info/jstat看堆使用,pmap -x/RSS 看进程;堆内正常但 RSS 高,查 Metaspace、DirectBuffer、线程栈、CodeCache、JNI,用 NMT 和VM.metaspace。 - heap dump 什么时候做?要注意什么? → 怀疑堆内泄漏/大对象时做;
livedump 会触发 Full GC/STW,文件大小接近堆大小,要确认磁盘、路径、权限,尽量在单实例/低峰做,先保证现场再重启。 - 常见 OOM 类型有哪些? → Java heap space、GC overhead limit exceeded、Metaspace、Compressed class space、Direct buffer memory、unable to create native thread、Requested array size exceeds VM limit,以及容器 OOMKilled。
- OOMKilled 和 Java OOM 有什么区别? → OOMKilled 是容器 cgroup 内存超限被内核杀,进程 exit 137,通常没有 Java 异常/堆 dump;Java OOM 是 JVM 抛
OutOfMemoryError,可能留下 heap dump。两者要看 cgroup 和 JVM 两套指标。 - 线程卡死怎么区分死锁、锁竞争和 IO 等待? →
jstack -l看Found one Java-level deadlock;BLOCKED+waiting to lock是 monitor 竞争;WAITING在 wait/park/await 是等通知;RUNNABLE在 socketRead/epollWait 是 IO。 - 线程池耗尽怎么排查? →
jstack看所有 worker 是否卡在同一依赖/同一锁,结合 pool active/queue/reject、下游 RT/错误率;不是简单加线程,常常要加超时、隔离、熔断和背压。 - 虚拟线程卡住怎么排查? → 传统
jstack不覆盖虚拟线程,用jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json;JFR 看jdk.VirtualThreadPinned/Start/End;关注 carrier 是否被 pin、下游是否阻塞。 - Arthas 在故障中怎么用?风险是什么? →
dashboard、thread -n/-b、watch、trace、monitor、tt快速定位;但字节码增强有开销,热点方法上更明显,用完stop,避免长期挂载。 jstack -F/kill -3什么时候用? → 正常 attach 失败或进程挂死时用jstack -F;kill -3让 JVM 把线程 dump 打到标准输出;两者都可能不完整/有侵入性,优先常规jcmd。- 线上先重启还是先取证? → 除非完全不可用,先取证:线程 dump、GC 日志、监控、必要 heap dump;重启会丢失现场。若必须重启,尽量先抓关键证据并记录时间线。
- 容器 CPU throttling 怎么排查? → 看 cgroup
cpu.stat的nr_throttled/throttled_time、Prometheus 的container_cpu_cfs_throttled_seconds_total;JVM 用UseContainerSupport识别限额,必要时ActiveProcessorCount校准。 - 怎么做时间线复盘? → 对齐监控、日志、发布、下游、GC、线程 dump 的时间戳;按“现象→影响→根因→ 促成因素→发现→响应→改进”写,避免只写“某个线程卡了”。
- 怎么验证修复有效? → 压测/回放故障流量、灰度发布、观察 CPU/内存/GC/线程池/RT/错误率;对比修复前后的火焰图、GC 日志、heap dump。
- 怎么避免二次故障? → 限流降级、超时/重试预算、熔断、隔离舱、队列上限、缓存保护、容量评估、变更灰度、回滚预案;不要用“加大堆/加大线程池”掩盖根因。
- 怎么建立监控告警? → CPU/load/throttling、堆/GC 停顿/FGC、线程池 active/queue/reject、RT/错误率、下游依赖、容器 RSS/limit、OOMKilled;告警要分级、去抖、带 runbook。
- 内存泄漏和内存溢出有什么区别? → 泄漏是对象不再使用但被强引用,GC 回收不了,表现为老年代持续上涨;溢出是申请内存超过可用上限,抛 OOM。泄漏最终会导致溢出,但 OOM 不一定都是泄漏。
- 大对象/缓存/ThreadLocal 怎么排查? → heap dump 的 Histogram 看大对象和数组,Dominator Tree 看 retained heap,Path to GC Roots 看引用链;缓存看命中率/容量/过期,ThreadLocal 看线程池 worker 的 map 是否残留。
- 线上 CPU 100% 的完整排查步骤? → 先确认影响面和变更,
生产案例/取舍(示例,替换成你的项目):
- 接口 CPU 打满,
jstack多次都停在正则匹配,async-profiler 火焰图确认 catastrophic backtracking;限制输入长度/换正则后恢复。 - FGC 每秒多次、CPU 高,
jstat老年代 100%,heap dump 发现本地缓存无上限;加容量/过期策略后恢复。 - 内存缓慢上涨,MAT Dominator Tree 指向线程池 worker 的 ThreadLocal 大 Map;补
remove()并改成ScopedValue后稳定。 - 堆内存正常但 Pod 被 OOMKilled,NMT/
pmap发现 Netty DirectByteBuffer 超限;设置MaxDirectMemorySize、修泄漏检测后恢复。 - 线程全部卡住,
jstack -l显示两个线程互相等锁;统一锁顺序 +tryLock超时后解决。 - 线程池 200 个 worker 全部
WAITING在同一个慢 SQL,接口超时;加 SQL 超时、隔离池、熔断,而不是继续加线程。 - 容器 CPU 被 throttle,JVM 以为有 8 核但 cgroup 只给 2 核;设置
ActiveProcessorCount/调整 limit 后稳定。 - 取舍:先止血还是先取证取决于影响面;扩容/重启能快速恢复但会掩盖根因;根因修复要配合监控和压测,避免同类故障复发。
- 接口 CPU 打满,
易错点:
- 一上来就重启,丢掉线程 dump、GC 日志和堆现场。
- 只做一次 jstack,看到瞬态栈就下结论。
jstack不加-l,漏掉ReentrantLock/ownable synchronizer。- 把
RUNNABLE的socketRead0当成 CPU 热点;它可能只是 IO 等待。 - CPU 高只查业务线程,忽略 GC/JIT/native/容器 throttling。
- 内存高只看堆,忽略 Metaspace、DirectBuffer、线程栈、CodeCache、JNI。
- 容器里用宿主机内存估算
-Xmx,没留 Metaspace/直接内存/线程栈余量,导致 OOMKilled。 - 把 OOMKilled 当成 Java OOM,去找不存在的 heap dump。
jmap -histo:live/heap dump 在高峰期反复执行,加重 STW。- heap dump 路径不可写/磁盘不足,故障时拿不到文件。
- 线程池耗尽就盲目加线程/队列,忽略下游容量和超时。
- 死锁只重启不定位锁顺序,下一次还会发生。
- 虚拟线程卡住仍用 jstack,找不到线程。
- Arthas
trace/watch挂在高频方法上,排障本身变成故障源。 - 不做时间线复盘,只记录“重启恢复”,无法防止复发。
30 秒口述稿:
线上故障先取证再止血:确认影响面、时间和变更,抓 3 次线程 dump、jstat、GC 日志和监控。CPU 高用 top -Hp 找线程,TID 转十六进制到 jstack 搜 nid,再用 async-profiler/JFR 看火焰图;GC 高就查 jstat 和 heap dump。内存高先分堆内/堆外,堆内 dump + MAT,堆外看 NMT、pmap、Metaspace、DirectBuffer;容器还要看 OOMKilled 和 CPU throttling。线程卡死用 jstack -l 区分死锁、锁竞争、IO 和池耗尽。修复后压测/灰度验证并复盘。
- 3 分钟展开顺序:结论(先取证再止血,资源→JVM→应用)→ 第 0 步取证清单 → CPU 高定位与分类 → 内存高/堆内堆外/OOM 类型 → 线程卡死/死锁/池耗尽 → 容器 OOMKilled/throttling → 止血与根因修复 → 验证、复盘、监控告警。