Skip to content

2.3-12 线上 CPU 100%、内存飙升、线程卡死的完整排查 ​

所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-10、2.3-11、2.4-6、2.4-10、2.4-11

  • 题型:排查 / 流程 / 场景

  • 一句话结论:线上故障先取证再止血,按“资源层 → JVM 层 → 应用层”定位:CPU 高先做线程映射和火焰图,内存高先分堆内/堆外再决定是否 dump,线程卡死先多次 jstack 区分死锁/锁竞争/IO/池耗尽;容器场景还要先排除 cgroup OOMKilled 和 CPU throttling,最后做修复验证和复盘。

  • 分层要点:

    1. 第 0 步:确认影响面与取证:先确认是单实例还是全集群、何时开始、最近有无发布/配置/流量/下游变更;记录 date、jcmd VM.uptime、VM.command_line、VM.flags、VM.system_properties。在不加重故障的前提下保留现场:线程 dump 至少 3 次(间隔 5–10 秒)、GC 日志、jstat 采样、JFR、必要的 heap dump、容器事件和监控曲线。除非完全不可用,不要先重启;重启会丢掉最重要的现场。
    2. CPU 100%:top -Hp <pid> / ps -L 找高 CPU 线程,TID 转十六进制后在 jstack -l 里搜 nid=0x...;连续 3 次 dump 看栈是否稳定。业务线程稳定在同一热点,用 async-profiler/JFR 看火焰图;GC Thread# 高说明在频繁 GC,转 jstat -gcutil + -Xlog:gc* + heap dump;CompilerThread 高看 JIT;大量线程同时 RUNNABLE 看线程数、线程池和上下文切换;容器还要看 CPU throttling,JVM 看到的核数可能小于宿主机。
    3. 内存飙升/OOM:先用 jcmd GC.heap_info、jstat -gc 判断堆内是否真的涨;堆内涨且 FGC 后不降,做 heap dump + MAT 找 Dominator Tree/Retained Heap/Path to GC Roots;堆内正常但进程 RSS 高,查 Metaspace、DirectByteBuffer/Netty、线程栈、CodeCache、JNI 等堆外内存,用 NMT、pmap -x、VM.metaspace、VM.classloader_stats。OOM 可能是 Java heap、Metaspace、Direct buffer、unable to create native thread,也可能是容器 OOMKilled(exit 137),两者排查路径不同。
    4. 线程卡死:连续多次 jstack -l / jcmd Thread.print -l,看线程状态和栈是否固定。BLOCKED + waiting to lock 是 monitor 竞争;WAITING 在 Object.wait/park/Condition.await/join 是等通知;TIMED_WAITING 看超时是否合理;RUNNABLE 在 socketRead0/epollWait/文件读是 IO 等待,不要误判成 CPU 热点。Found one Java-level deadlock 直接给死锁环;线程池所有 worker 卡在同一依赖,是池耗尽/下游故障,不是简单加线程能解决。
    5. 容器与运行时特殊性:容器里先看 cgroup 限制:CPU throttling 看 cpu.stat 的 nr_throttled/throttled_time 或 container_cpu_cfs_throttled_seconds_total;内存看 memory.current/max、memory.events、dmesg 的 OOM 记录、Pod 的 OOMKilled/exit 137。JVM 要开 UseContainerSupport(JDK 10+ 默认),用 MaxRAMPercentage 留出 Metaspace/直接内存/线程栈/CodeCache 的余量;PID namespace 不一致时 jcmd 连不上,需要进容器或 nsenter。
    6. 止血、修复与复盘:止血手段包括限流/降级、摘流量、回滚、扩容、重启(取证后)、调大超时/队列(临时);根因修复包括修热点代码、修泄漏、调缓存/池、加下游超时和熔断、调整锁粒度。修复后用压测/灰度/监控验证,最后做时间线复盘:现象、影响、根因、 促成因素、发现方式、响应过程、改进项和负责人。
  • 图/流程:

text
线上异常
  │
  ├─ 先取证:date / uptime / flags / 3 次 thread dump / jstat / GC log / 监控
  │
  ├─ CPU 100%
  │    ├─ top -Hp → TID → hex → jstack 搜 nid
  │    ├─ 业务热点 → async-profiler / JFR 火焰图
  │    ├─ GC Thread → jstat / -Xlog:gc* / heap dump
  │    ├─ CompilerThread → jstat -compiler / PrintCompilation
  │    └─ 容器 throttling → cpu.stat / throttled 指标
  │
  ├─ 内存飙升/OOM
  │    ├─ 堆内 → jcmd GC.heap_info → heap dump → MAT
  │    ├─ 堆外 → NMT / pmap / VM.metaspace / classloader_stats
  │    └─ 容器 → memory.events / OOMKilled / exit 137
  │
  └─ 线程卡死
       ├─ BLOCKED → monitor 竞争,找锁持有者
       ├─ WAITING → wait/park/await,找通知者
       ├─ RUNNABLE + socketRead → IO/下游
       ├─ 全部 worker 等待 → 池耗尽/下游故障
       └─ 虚拟线程 → Thread.dump_to_file / JFR
bash
# 黄金 5 分钟:先取证,再决定是否重启
date; jcmd <pid> VM.uptime; jcmd <pid> VM.flags; jcmd <pid> VM.command_line
top -Hp <pid>
jstat -gcutil <pid> 1000 5
jcmd <pid> Thread.print -l > /tmp/td1.txt
sleep 10; jcmd <pid> Thread.print -l > /tmp/td2.txt
sleep 10; jcmd <pid> Thread.print -l > /tmp/td3.txt
  • 版本/运行时锚点:

    • JDK 8/11/17/21:jcmd、jstat、jstack、JFR、-Xlog 的可用性随版本增强。
    • JDK 9:统一日志 -Xlog;jhat 移除。
    • JDK 10+:UseContainerSupport,容器内按 cgroup 识别 CPU/内存。
    • JDK 11:JFR 开源;JDK 14:JFR 事件流。
    • JDK 21:虚拟线程;jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json 可导出虚拟线程;JFR 有 jdk.VirtualThreadPinned。
    • JDK 24:JEP 491,synchronized 不再 pin 虚拟线程。
    • 容器:cgroup v1/v2、Kubernetes OOMKilled、exit 137、CPU CFS throttling。
  • CPU 高分类:

现象可能原因下一步
业务线程 RUNNABLE,栈稳定在同一方法死循环、正则回溯、序列化/加密、大集合async-profiler/JFR 火焰图
GC Thread# 高,FGC 频繁内存不足、泄漏、大对象、GC 参数不当jstat、GC 日志、heap dump
CompilerThread 高JIT 编译风暴、大量动态类jstat -compiler、-XX:+PrintCompilation
大量线程同时 RUNNABLE线程数过多、上下文切换、池过大线程数、pidstat -w、vmstat
栈里是 native/[unknown]JNI、Netty、加密/压缩库async-profiler native、perf
CPU 不高但 RT 高不是 CPU 问题,查 IO/锁/下游jstack、trace、下游指标
容器 CPU 被 throttlecgroup 限额、JVM 核数识别cpu.stat、ActiveProcessorCount
  • 内存高分类:
现象方向工具
Old 区持续上涨,FGC 后不降堆内泄漏/大对象heap dump + MAT
Eden 频繁满、YGC 多分配率高/新生代小jstat -gc、分配火焰图
Metaspace/CCS 上涨动态类、类加载器泄漏VM.metaspace、VM.classloader_stats
堆正常但 RSS 高DirectBuffer、Netty、线程栈、CodeCache、JNINMT、pmap -x、BufferPoolMXBean
容器 OOMKilledRSS 超过 cgroup limitmemory.events、dmesg、Pod 事件
unable to create native thread线程数/栈内存/pid 限制线程数、ulimit、-Xss
  • 线程状态分类:
状态含义常见原因
BLOCKED等 monitorsynchronized 竞争、锁粒度大
WAITING无限等待Object.wait、park、Condition.await、join
TIMED_WAITING限时等待sleep、wait(timeout)、parkNanos
RUNNABLE运行或 native 阻塞CPU 热点、socketRead、文件 IO
大量 worker 同一栈池耗尽/下游慢DB、RPC、HTTP、锁
  • 取证清单:
证据命令/来源用途
线程 dump ×3jcmd Thread.print -l判断稳定栈/死锁/池耗尽
GC 趋势jstat -gcutil 1000判断 GC/内存压力
GC 日志-Xlog:gc*:file=gc.log:time,uptime:filecount=5,filesize=50M停顿、晋升、Humongous
堆转储jcmd GC.heap_dump / OOM 自动MAT 分析泄漏
JFRjcmd JFR.start ...CPU/分配/锁/IO/虚拟线程
容器事件kubectl describe pod、dmesg、memory.eventsOOMKilled/throttling
变更记录发布/配置/流量/下游时间线关联
  • 追问链:

    1. 线上 CPU 100% 的完整排查步骤? → 先确认影响面和变更,top -Hp 找高 CPU 线程,TID 转十六进制到 jstack -l 搜 nid,连续 3 次 dump 看稳定栈;业务热点用 async-profiler/JFR,GC 高转 jstat/GC 日志,容器再看 throttling。
    2. 为什么线程 dump 要连续做多次? → 单次只能看到瞬间;多次间隔采样能区分“稳定卡在同一栈”的真实热点/死锁,和“快速变化”的正常调度/短任务。
    3. TID 怎么映射到 jstack? → top -Hp 的 TID 是十进制,printf "%x\n" <tid> 转十六进制,然后在 jstack 里搜 nid=0x...;注意容器内外的 PID namespace。
    4. CPU 高但 jstack 里没有明显热点怎么办? → 可能 CPU 在 GC/JIT/native/内核;看 GC Thread#、CompilerThread、async-profiler native 栈、perf top,以及容器 CPU throttling。
    5. 怎么判断是 GC 导致 CPU 高? → jstat -gcutil 看 FGC 频率和耗时,-Xlog:gc* 看停顿,jstack 里 GC Thread# 占 CPU;再结合 heap dump 判断泄漏/大对象。
    6. 内存飙升怎么区分堆内和堆外? → jcmd GC.heap_info/jstat 看堆使用,pmap -x/RSS 看进程;堆内正常但 RSS 高,查 Metaspace、DirectBuffer、线程栈、CodeCache、JNI,用 NMT 和 VM.metaspace。
    7. heap dump 什么时候做?要注意什么? → 怀疑堆内泄漏/大对象时做;live dump 会触发 Full GC/STW,文件大小接近堆大小,要确认磁盘、路径、权限,尽量在单实例/低峰做,先保证现场再重启。
    8. 常见 OOM 类型有哪些? → Java heap space、GC overhead limit exceeded、Metaspace、Compressed class space、Direct buffer memory、unable to create native thread、Requested array size exceeds VM limit,以及容器 OOMKilled。
    9. OOMKilled 和 Java OOM 有什么区别? → OOMKilled 是容器 cgroup 内存超限被内核杀,进程 exit 137,通常没有 Java 异常/堆 dump;Java OOM 是 JVM 抛 OutOfMemoryError,可能留下 heap dump。两者要看 cgroup 和 JVM 两套指标。
    10. 线程卡死怎么区分死锁、锁竞争和 IO 等待? → jstack -l 看 Found one Java-level deadlock;BLOCKED + waiting to lock 是 monitor 竞争;WAITING 在 wait/park/await 是等通知;RUNNABLE 在 socketRead/epollWait 是 IO。
    11. 线程池耗尽怎么排查? → jstack 看所有 worker 是否卡在同一依赖/同一锁,结合 pool active/queue/reject、下游 RT/错误率;不是简单加线程,常常要加超时、隔离、熔断和背压。
    12. 虚拟线程卡住怎么排查? → 传统 jstack 不覆盖虚拟线程,用 jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json;JFR 看 jdk.VirtualThreadPinned/Start/End;关注 carrier 是否被 pin、下游是否阻塞。
    13. Arthas 在故障中怎么用?风险是什么? → dashboard、thread -n/-b、watch、trace、monitor、tt 快速定位;但字节码增强有开销,热点方法上更明显,用完 stop,避免长期挂载。
    14. jstack -F / kill -3 什么时候用? → 正常 attach 失败或进程挂死时用 jstack -F;kill -3 让 JVM 把线程 dump 打到标准输出;两者都可能不完整/有侵入性,优先常规 jcmd。
    15. 线上先重启还是先取证? → 除非完全不可用,先取证:线程 dump、GC 日志、监控、必要 heap dump;重启会丢失现场。若必须重启,尽量先抓关键证据并记录时间线。
    16. 容器 CPU throttling 怎么排查? → 看 cgroup cpu.stat 的 nr_throttled/throttled_time、Prometheus 的 container_cpu_cfs_throttled_seconds_total;JVM 用 UseContainerSupport 识别限额,必要时 ActiveProcessorCount 校准。
    17. 怎么做时间线复盘? → 对齐监控、日志、发布、下游、GC、线程 dump 的时间戳;按“现象→影响→根因→ 促成因素→发现→响应→改进”写,避免只写“某个线程卡了”。
    18. 怎么验证修复有效? → 压测/回放故障流量、灰度发布、观察 CPU/内存/GC/线程池/RT/错误率;对比修复前后的火焰图、GC 日志、heap dump。
    19. 怎么避免二次故障? → 限流降级、超时/重试预算、熔断、隔离舱、队列上限、缓存保护、容量评估、变更灰度、回滚预案;不要用“加大堆/加大线程池”掩盖根因。
    20. 怎么建立监控告警? → CPU/load/throttling、堆/GC 停顿/FGC、线程池 active/queue/reject、RT/错误率、下游依赖、容器 RSS/limit、OOMKilled;告警要分级、去抖、带 runbook。
    21. 内存泄漏和内存溢出有什么区别? → 泄漏是对象不再使用但被强引用,GC 回收不了,表现为老年代持续上涨;溢出是申请内存超过可用上限,抛 OOM。泄漏最终会导致溢出,但 OOM 不一定都是泄漏。
    22. 大对象/缓存/ThreadLocal 怎么排查? → heap dump 的 Histogram 看大对象和数组,Dominator Tree 看 retained heap,Path to GC Roots 看引用链;缓存看命中率/容量/过期,ThreadLocal 看线程池 worker 的 map 是否残留。
  • 生产案例/取舍(示例,替换成你的项目):

    • 接口 CPU 打满,jstack 多次都停在正则匹配,async-profiler 火焰图确认 catastrophic backtracking;限制输入长度/换正则后恢复。
    • FGC 每秒多次、CPU 高,jstat 老年代 100%,heap dump 发现本地缓存无上限;加容量/过期策略后恢复。
    • 内存缓慢上涨,MAT Dominator Tree 指向线程池 worker 的 ThreadLocal 大 Map;补 remove() 并改成 ScopedValue 后稳定。
    • 堆内存正常但 Pod 被 OOMKilled,NMT/pmap 发现 Netty DirectByteBuffer 超限;设置 MaxDirectMemorySize、修泄漏检测后恢复。
    • 线程全部卡住,jstack -l 显示两个线程互相等锁;统一锁顺序 + tryLock 超时后解决。
    • 线程池 200 个 worker 全部 WAITING 在同一个慢 SQL,接口超时;加 SQL 超时、隔离池、熔断,而不是继续加线程。
    • 容器 CPU 被 throttle,JVM 以为有 8 核但 cgroup 只给 2 核;设置 ActiveProcessorCount/调整 limit 后稳定。
    • 取舍:先止血还是先取证取决于影响面;扩容/重启能快速恢复但会掩盖根因;根因修复要配合监控和压测,避免同类故障复发。
  • 易错点:

    • 一上来就重启,丢掉线程 dump、GC 日志和堆现场。
    • 只做一次 jstack,看到瞬态栈就下结论。
    • jstack 不加 -l,漏掉 ReentrantLock/ownable synchronizer。
    • 把 RUNNABLE 的 socketRead0 当成 CPU 热点;它可能只是 IO 等待。
    • CPU 高只查业务线程,忽略 GC/JIT/native/容器 throttling。
    • 内存高只看堆,忽略 Metaspace、DirectBuffer、线程栈、CodeCache、JNI。
    • 容器里用宿主机内存估算 -Xmx,没留 Metaspace/直接内存/线程栈余量,导致 OOMKilled。
    • 把 OOMKilled 当成 Java OOM,去找不存在的 heap dump。
    • jmap -histo:live/heap dump 在高峰期反复执行,加重 STW。
    • heap dump 路径不可写/磁盘不足,故障时拿不到文件。
    • 线程池耗尽就盲目加线程/队列,忽略下游容量和超时。
    • 死锁只重启不定位锁顺序,下一次还会发生。
    • 虚拟线程卡住仍用 jstack,找不到线程。
    • Arthas trace/watch 挂在高频方法上,排障本身变成故障源。
    • 不做时间线复盘,只记录“重启恢复”,无法防止复发。
  • 30 秒口述稿:

线上故障先取证再止血:确认影响面、时间和变更,抓 3 次线程 dump、jstat、GC 日志和监控。CPU 高用 top -Hp 找线程,TID 转十六进制到 jstack 搜 nid,再用 async-profiler/JFR 看火焰图;GC 高就查 jstat 和 heap dump。内存高先分堆内/堆外,堆内 dump + MAT,堆外看 NMT、pmap、Metaspace、DirectBuffer;容器还要看 OOMKilled 和 CPU throttling。线程卡死用 jstack -l 区分死锁、锁竞争、IO 和池耗尽。修复后压测/灰度验证并复盘。

  • 3 分钟展开顺序:结论(先取证再止血,资源→JVM→应用)→ 第 0 步取证清单 → CPU 高定位与分类 → 内存高/堆内堆外/OOM 类型 → 线程卡死/死锁/池耗尽 → 容器 OOMKilled/throttling → 止血与根因修复 → 验证、复盘、监控告警。