Appearance
2.3-11 JVM 诊断工具链:jstat、jmap、jstack、jcmd、MAT、arthas、JFR、async-profiler
所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-10、2.3-12、2.4-6、2.4-10、2.4-11
题型:工具 / 排查 / 场景
一句话结论:诊断工具按开销分层:
jps/jstat/jcmd是轻量入口,jstack看线程,jmap/heap dump + MAT 看内存,JFR/async-profiler 做低开销采样,Arthas 做在线字节码级排查;生产上先用低开销手段定位方向,再在可控窗口做重型 dump,不要把jmap -histo:live、Arthas trace当日常监控。分层要点:
- 轻量入口:jps / jstat / jcmd / jinfo:
jps -lvm找 PID 和启动参数;jstat -gcutil <pid> 1000 10看 GC 趋势;jcmd <pid> VM.flags/VM.command_line/GC.heap_info是统一入口,jcmd <pid> help列出可用命令;jinfo -flags看/改部分动态参数。jstat的S0/S1/E/O/M/CCS是各区域使用率,YGC/YGCT/FGC/FGCT/GCT是次数和耗时;OU接近OC且FGC频繁,通常说明老年代压力或泄漏;FGC后OU不降,优先怀疑泄漏或大对象。 - 线程:jstack / Thread.print / kill -3:
jstack -l <pid>输出线程栈并附带锁和 ownable synchronizer 信息;jcmd <pid> Thread.print -l等价且更适合容器;kill -3 <pid>把线程 dump 打到标准输出。看BLOCKED等 monitor、WAITING等 notify/park、TIMED_WAITING等超时;Found one Java-level deadlock会直接给出死锁环。CPU 高时用top -Hp找线程 TID,转十六进制后到jstack里搜nid=0x...。虚拟线程不在传统jstack里,用jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json。 - 内存:jmap / heap dump / MAT:
jmap -histo[:live] <pid>看类实例数和占用,live会触发 Full GC;jcmd <pid> GC.class_histogram也可看类直方图,默认存活统计、可能触发 GC;jmap -dump:live,format=b,file=/tmp/heap.hprof <pid>或jcmd GC.heap_dump生成堆转储;-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=...在 OOM 时自动落盘。MAT 里看 Leak Suspects、Histogram、Dominator Tree、Retained Heap、Path to GC Roots、Duplicate Classes;jcmd VM.classloader_stats/jmap -clstats看类加载器数量,jcmd VM.native_memory summary看堆外内存。 - 采样:JFR / async-profiler / 火焰图:JFR 是 JDK 内置的低开销事件记录器,
jcmd JFR.start name=profile settings=profile duration=60s filename=/tmp/app.jfr,可记录 GC、线程、锁、Socket/File IO、分配采样、虚拟线程 pinning;JMC 或jfr print分析。async-profiler 用asprof -d 30 -e cpu -f /tmp/cpu.html <pid>生成火焰图,支持cpu/wall/alloc/lock等模式,CPU 模式基于 perf_events,通常不受 safepoint bias 影响。 - 在线诊断:Arthas:
dashboard看实时线程/内存/GC;thread -n 3看 CPU 最高线程,thread -b找阻塞线程;watch看入参/返回值/异常,trace看调用路径和耗时,stack看调用栈,monitor做调用统计,tt做时间隧道回放;profiler集成 async-profiler,heapdump导出堆,vmtool查堆对象,redefine/retransform做热替换。Arthas 方便但会做字节码增强,热点方法上trace/watch有开销,用完要stop。 - 场景化排查与开销:CPU 高走
top -Hp → jstack/async-profiler/JFR;内存高/OOM 走jstat → heap dump → MAT/NMT;线程卡死走jstack -l/Thread.print → 死锁/锁竞争;GC 停顿走jstat/-Xlog:gc*/JFR;类加载器泄漏走VM.classloader_stats/jmap -clstats/MAT;堆外内存走 NMT/pmap。重型操作(live histo、heap dump、Arthas trace、jstack -F)要评估 STW、磁盘、CPU 和权限,尽量在低峰或灰度实例执行。
- 轻量入口:jps / jstat / jcmd / jinfo:
图/流程:
text
症状
├─ CPU 高 → top -Hp → jstack/async-profiler/JFR
├─ 内存高/OOM → jstat/jcmd GC.heap_info → heap dump → MAT/NMT
├─ 线程卡死 → jstack -l / Thread.print → 死锁/锁竞争
├─ GC 停顿 → jstat -gcutil / -Xlog:gc* / JFR
└─ 类加载/元空间 → VM.classloader_stats / jmap -clstats / MATbash
jps -lvm
jstat -gcutil <pid> 1000 10
jcmd <pid> GC.heap_info
jcmd <pid> Thread.print -l
jcmd <pid> GC.heap_dump /tmp/heap.hprof
jcmd <pid> JFR.start name=profile settings=profile duration=60s filename=/tmp/app.jfr
jstack -l <pid>
jmap -histo:live <pid> | head
asprof -d 30 -e cpu -f /tmp/cpu.html <pid>版本/源码锚点:
- JDK 5:
jps、jstat、jmap、jstack、jinfo。 - JDK 7:
jcmd引入,逐步成为统一诊断入口。 - JDK 9:
jhsdb、统一日志-Xlog;jhat移除。 - JDK 11:JFR 开源(JEP 328);JMC 7。
- JDK 14:JFR 事件流(JEP 349)。
- JDK 21:虚拟线程;
jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json可导出虚拟线程;JFR 提供jdk.VirtualThreadStart/End/Pinned。 - JDK 24:JEP 491,
synchronized不再 pin 虚拟线程。 - 第三方:async-profiler 3.x(
asprof)、Arthas 4.x、Eclipse MAT 1.15+。
- JDK 5:
工具矩阵:
| 工具 | 主要用途 | 开销 | 生产建议 |
|---|---|---|---|
jps | 查 Java 进程/启动参数 | 低 | 入口 |
jstat | GC、类加载、JIT 统计 | 低 | 定时采样 |
jstack | 线程栈、死锁、锁信息 | 低-中(短暂 STW) | 卡死/CPU 高 |
jmap | 类直方图、堆转储、类加载器 | histo:live/dump 高 | 谨慎,评估 STW/磁盘 |
jcmd | 统一诊断命令 | 取决于子命令 | 首选入口 |
| JFR | 事件、采样、GC、IO、锁 | 低(可配置) | 生产持续记录 |
| async-profiler | CPU/alloc/lock/wall 火焰图 | 低-中 | 性能热点 |
| Arthas | 在线 watch/trace/监控 | 中-高(字节码增强) | 临时排障,及时 stop |
| MAT | 离线堆转储分析 | 离线 | 内存泄漏 |
jhsdb | 进程/核心转储底层分析 | 中 | attach 失败/崩溃 |
- jstat 关键列:
| 列 | 含义 | 读法 |
|---|---|---|
S0/S1 | Survivor 使用率 | 长期接近 100% 需看对象年龄 |
E | Eden 使用率 | 高且 YGC 频繁,分配率高/新生代小 |
O | Old 使用率 | 持续上涨且 FGC 后不降,怀疑泄漏 |
M/CCS | Metaspace/压缩类空间 | 持续上涨看类加载器泄漏 |
YGC/YGCT | Young GC 次数/耗时 | 频繁但单次短,先看分配率 |
FGC/FGCT | Full GC 次数/耗时 | 频繁且 OU 不降,重点排查 |
GCT | GC 总耗时 | 结合业务 RT 看停顿影响 |
- 堆转储方式:
| 方式 | 命令 | 注意 |
|---|---|---|
jmap | jmap -dump:live,format=b,file=heap.hprof <pid> | live 触发 Full GC |
jcmd | jcmd <pid> GC.heap_dump /tmp/heap.hprof | 默认存活对象,-all 含不可达 |
| OOM 自动 | -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp | 生产建议开启 |
| 容器 | 路径挂载到持久卷 | 注意磁盘和权限 |
- JFR vs async-profiler:
| 维度 | JFR | async-profiler |
|---|---|---|
| 来源 | JDK 内置 | 第三方 agent |
| 事件 | GC、线程、锁、IO、分配、pin | CPU/wall/alloc/lock |
| 火焰图 | JMC 可看 | 原生 HTML 火焰图 |
| 开销 | 低,可配置 | CPU 低,alloc/wall 较高 |
| 偏差 | 执行采样有 safepoint 偏差 | perf_events CPU 采样偏差小 |
| 场景 | 生产持续记录、事后分析 | 现场热点、分配、锁竞争 |
追问链:
- 线上 CPU 100% 怎么排查? →
top -Hp找高 CPU 线程,TID 转十六进制,jstack搜nid=0x...看栈;再用 async-profiler/JFR 看热点方法,区分业务循环、GC、JIT、锁自旋。 - 内存泄漏/OOM 怎么排查? →
jstat -gcutil看老年代和 FGC,jcmd GC.heap_info看各区域;开HeapDumpOnOutOfMemoryError或手动 dump,MAT 看 Dominator Tree/Retained Heap/Path to GC Roots;堆外再用 NMT。 - 线程死锁/卡死怎么排查? →
jstack -l或jcmd Thread.print -l,看Found one Java-level deadlock、BLOCKED和锁持有者;Arthasthread -b找阻塞线程;必要时jstack -F或kill -3。 - GC 频繁/停顿长怎么排查? →
jstat -gcutil 1000看 YGC/FGC 趋势,-Xlog:gc*看每次停顿和原因,JFR 看 GC 事件;结合堆大小、晋升速率、Humongous、元空间判断。 - jstat 的
OU、OC、FGC怎么读? →OU是老年代已用,OC是当前容量;OU接近OC且FGC频繁、FGC 后不降,说明老年代压力大或对象泄漏。 jmap -histo和 heap dump 怎么选? → 只想快速看类实例排名用-histo,live会 Full GC;要分析引用链、Dominator Tree、泄漏根因必须 heap dump + MAT。jstack -l的-l有什么用? → 额外输出 ownable synchronizers(如ReentrantLock)和锁信息,便于判断谁持有锁、谁在等待;不加-l容易漏掉显式锁。jcmd相比jmap/jstack的优势? → 一个入口覆盖 VM、GC、线程、JFR、NMT、类加载器等命令,容器里更容易使用;但底层能力相近,具体子命令仍有开销差异。- JFR 的原理和开销? → JVM 内置的事件记录器,事件写入线程本地/全局缓冲区,按配置落盘;默认开销低,可用
settings=profile提高采样密度,连续记录要设maxage/maxsize。 - async-profiler 的原理? → 基于 perf_events/信号采样,抓 Java 和 native 栈,生成火焰图;CPU 模式偏差小,alloc 模式按 TLAB 采样,lock 模式看竞争,wall 模式包含阻塞时间。
- 火焰图怎么看? → 横轴是采样占比(不是时间),纵轴是调用栈深度;宽的平台是热点,顶部窄函数是被调用者;结合
[kernel]、[libjvm]、[JIT]区分 native/JVM/JIT。 - Arthas 常用命令有哪些? →
dashboard、thread -n/-b、watch、trace、stack、monitor、tt、profiler、heapdump、vmtool、sc/sm、jad、redefine。 - Arthas 生产风险? →
watch/trace做字节码增强,热点方法上有开销;redefine可能不兼容;attach 和类加载器可能带来泄漏;用完stop,避免长期挂载。 - MAT 怎么定位内存泄漏? → 先看 Leak Suspects,再看 Dominator Tree 找 retained heap 最大的对象,Histogram 看类实例数,Path to GC Roots 排除弱/软引用,最后回到代码找生命周期。
- 堆外内存怎么排查? → 开
-XX:NativeMemoryTracking=summary,jcmd VM.native_memory summary/detail看 JVM 内部;pmap -x看进程映射;DirectByteBuffer、Netty、JNI、线程栈、Metaspace 分别排查。 - 类加载器泄漏怎么排查? →
jcmd VM.classloader_stats、jmap -clstats看类加载器数量,MAT 的 Duplicate Classes/Class Loader Explorer 看重复类,结合动态代理、ThreadLocal、JDBC 驱动、热部署。 - 容器里工具连不上怎么办? → 工具要在同一 PID namespace 内执行,或
nsenter进容器;检查 attach socket、/tmp权限、-XX:+DisableAttachMechanism;jstack -F/kill -3可兜底。 - 什么时候用 jhsdb? → attach 工具失效、JVM 挂死、只有 core dump 时;
jhsdb jmap --heap/--binaryheap、jhsdb jstack直接从进程/core 读;需要同版本 JDK 和 ptrace 权限。 - JFR 和 async-profiler 怎么选? → 生产常开、要 GC/IO/线程/虚拟线程事件用 JFR;现场 CPU/分配/锁热点、要原生火焰图用 async-profiler;两者可以同时用,但注意采样开销。
- 怎么做持续 profiling? → JFR 持续记录 + 按需 dump;async-profiler 定时短采样;配合 Micrometer/Prometheus 指标和 GC 日志;不要长期挂 Arthas trace。
- 虚拟线程怎么 dump? → 传统
jstack不覆盖虚拟线程,用jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json;JFR 看jdk.VirtualThreadPinned/Start/End;关注 pinning 和载体线程。 - 生产环境工具使用的安全边界? → 优先只读、低开销工具;heap dump/live histo 评估 STW 和磁盘;Arthas 字节码增强要审批和回滚;避免
jstatd暴露 RMI;诊断完清理临时文件和 agent。
- 线上 CPU 100% 怎么排查? →
生产案例/取舍(示例,替换成你的项目):
- 接口 CPU 突然打满:
top -Hp找到线程,jstack看到大量线程卡在正则回溯;async-profiler 火焰图确认热点方法,改成预编译/限制输入后恢复。 - 老年代持续上涨,FGC 后不降:
jstat -gcutil确认,jcmd GC.heap_dump落盘,MAT Dominator Tree 找到 ThreadLocal 持有的大 Map;修复 remove 后稳定。 - 线程池任务全部卡住:
jstack -l发现BLOCKED在一个锁上,Arthasthread -b定位持锁线程;修复锁粒度和超时。 - G1 出现长停顿:
-Xlog:gc*看到 Humongous 分配和 Mixed GC,JFR 确认大对象;调整 Region Size/对象分配后改善。 - 堆内存正常但进程 RSS 高:NMT
summary看到 Metaspace/线程栈/直接内存,pmap对齐;定位到 Netty 直接内存和类加载器泄漏。 - 生产上用 Arthas
trace追一个高频方法,RT 明显上升;改成低频采样 + 灰度实例,排查完立即stop。 - 取舍:轻量工具适合常开和快速定位,重型工具适合受控窗口;JFR 适合持续,async-profiler 适合现场;Arthas 方便但不要长期挂。
- 接口 CPU 突然打满:
易错点:
- 把
jmap -histo:live或jmap -dump:live当无开销操作,忽略 Full GC/STW。 - heap dump 路径不可写或磁盘不足,OOM 时没拿到 dump。
jstack不加-l,漏掉ReentrantLock等 ownable synchronizer。- 用
jstack找虚拟线程,发现“线程不见了”;应该用Thread.dump_to_file/JFR。 - 只看
jstat的百分比,不看FGC次数、YGCT/FGCT和业务 RT。 - 把
OU高直接等同于泄漏,忽略容量OC和 GC 后回收情况。 - 容器里在宿主机执行
jcmd,PID namespace 不一致连不上。 -XX:+DisableAttachMechanism或/tmp权限导致 attach 失败,却没尝试kill -3/jhsdb。- JFR 一直开着但不设
maxage/maxsize,磁盘被写满。 - async-profiler 在容器里没有 perf_events 权限,
cpu模式失败;可用itimer兜底。 - Arthas
trace/watch挂在高频方法上,造成额外延迟;用完不stop。 - MAT 打开大 dump 内存不足,或把 shallow heap 当 retained heap。
jhat早已移除,仍按旧资料使用。jhsdb版本不匹配、权限不足,或 GC 实现不支持。
- 把
30 秒口述稿:
诊断工具按开销分层:jps/jstat/jcmd 是轻量入口,jstack 看线程和死锁,jmap/heap dump 加 MAT 看内存,JFR 和 async-profiler 做低开销采样,Arthas 做在线 watch/trace。CPU 高用 top -Hp 加 jstack/火焰图;内存高用 jstat 加 heap dump 加 MAT;线程卡死用 jstack -l;GC 停顿看 jstat 和 -Xlog:gc*。重型操作如 live histo、heap dump、Arthas trace 要评估 STW、磁盘和权限,生产优先低开销、受控窗口。
- 3 分钟展开顺序:结论(按开销分层)→ jps/jstat/jcmd 轻量入口 → jstack/Thread.print 线程与死锁 → jmap/heap dump/MAT 内存 → JFR/async-profiler 采样与火焰图 → Arthas 在线诊断 → 场景化流程(CPU/内存/线程/GC/堆外)→ 容器与权限 → 生产开销与取舍。