Skip to content

2.3-11 JVM 诊断工具链:jstat、jmap、jstack、jcmd、MAT、arthas、JFR、async-profiler ​

所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-10、2.3-12、2.4-6、2.4-10、2.4-11

  • 题型:工具 / 排查 / 场景

  • 一句话结论:诊断工具按开销分层:jps/jstat/jcmd 是轻量入口,jstack 看线程,jmap/heap dump + MAT 看内存,JFR/async-profiler 做低开销采样,Arthas 做在线字节码级排查;生产上先用低开销手段定位方向,再在可控窗口做重型 dump,不要把 jmap -histo:live、Arthas trace 当日常监控。

  • 分层要点:

    1. 轻量入口:jps / jstat / jcmd / jinfo:jps -lvm 找 PID 和启动参数;jstat -gcutil <pid> 1000 10 看 GC 趋势;jcmd <pid> VM.flags/VM.command_line/GC.heap_info 是统一入口,jcmd <pid> help 列出可用命令;jinfo -flags 看/改部分动态参数。jstat 的 S0/S1/E/O/M/CCS 是各区域使用率,YGC/YGCT/FGC/FGCT/GCT 是次数和耗时;OU 接近 OC 且 FGC 频繁,通常说明老年代压力或泄漏;FGC 后 OU 不降,优先怀疑泄漏或大对象。
    2. 线程:jstack / Thread.print / kill -3:jstack -l <pid> 输出线程栈并附带锁和 ownable synchronizer 信息;jcmd <pid> Thread.print -l 等价且更适合容器;kill -3 <pid> 把线程 dump 打到标准输出。看 BLOCKED 等 monitor、WAITING 等 notify/park、TIMED_WAITING 等超时;Found one Java-level deadlock 会直接给出死锁环。CPU 高时用 top -Hp 找线程 TID,转十六进制后到 jstack 里搜 nid=0x...。虚拟线程不在传统 jstack 里,用 jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json。
    3. 内存:jmap / heap dump / MAT:jmap -histo[:live] <pid> 看类实例数和占用,live 会触发 Full GC;jcmd <pid> GC.class_histogram 也可看类直方图,默认存活统计、可能触发 GC;jmap -dump:live,format=b,file=/tmp/heap.hprof <pid> 或 jcmd GC.heap_dump 生成堆转储;-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=... 在 OOM 时自动落盘。MAT 里看 Leak Suspects、Histogram、Dominator Tree、Retained Heap、Path to GC Roots、Duplicate Classes;jcmd VM.classloader_stats / jmap -clstats 看类加载器数量,jcmd VM.native_memory summary 看堆外内存。
    4. 采样:JFR / async-profiler / 火焰图:JFR 是 JDK 内置的低开销事件记录器,jcmd JFR.start name=profile settings=profile duration=60s filename=/tmp/app.jfr,可记录 GC、线程、锁、Socket/File IO、分配采样、虚拟线程 pinning;JMC 或 jfr print 分析。async-profiler 用 asprof -d 30 -e cpu -f /tmp/cpu.html <pid> 生成火焰图,支持 cpu/wall/alloc/lock 等模式,CPU 模式基于 perf_events,通常不受 safepoint bias 影响。
    5. 在线诊断:Arthas:dashboard 看实时线程/内存/GC;thread -n 3 看 CPU 最高线程,thread -b 找阻塞线程;watch 看入参/返回值/异常,trace 看调用路径和耗时,stack 看调用栈,monitor 做调用统计,tt 做时间隧道回放;profiler 集成 async-profiler,heapdump 导出堆,vmtool 查堆对象,redefine/retransform 做热替换。Arthas 方便但会做字节码增强,热点方法上 trace/watch 有开销,用完要 stop。
    6. 场景化排查与开销:CPU 高走 top -Hp → jstack/async-profiler/JFR;内存高/OOM 走 jstat → heap dump → MAT/NMT;线程卡死走 jstack -l/Thread.print → 死锁/锁竞争;GC 停顿走 jstat/-Xlog:gc*/JFR;类加载器泄漏走 VM.classloader_stats/jmap -clstats/MAT;堆外内存走 NMT/pmap。重型操作(live histo、heap dump、Arthas trace、jstack -F)要评估 STW、磁盘、CPU 和权限,尽量在低峰或灰度实例执行。
  • 图/流程:

text
症状
 ├─ CPU 高        → top -Hp → jstack/async-profiler/JFR
 ├─ 内存高/OOM    → jstat/jcmd GC.heap_info → heap dump → MAT/NMT
 ├─ 线程卡死      → jstack -l / Thread.print → 死锁/锁竞争
 ├─ GC 停顿       → jstat -gcutil / -Xlog:gc* / JFR
 └─ 类加载/元空间 → VM.classloader_stats / jmap -clstats / MAT
bash
jps -lvm
jstat -gcutil <pid> 1000 10
jcmd <pid> GC.heap_info
jcmd <pid> Thread.print -l
jcmd <pid> GC.heap_dump /tmp/heap.hprof
jcmd <pid> JFR.start name=profile settings=profile duration=60s filename=/tmp/app.jfr
jstack -l <pid>
jmap -histo:live <pid> | head
asprof -d 30 -e cpu -f /tmp/cpu.html <pid>
  • 版本/源码锚点:

    • JDK 5:jps、jstat、jmap、jstack、jinfo。
    • JDK 7:jcmd 引入,逐步成为统一诊断入口。
    • JDK 9:jhsdb、统一日志 -Xlog;jhat 移除。
    • JDK 11:JFR 开源(JEP 328);JMC 7。
    • JDK 14:JFR 事件流(JEP 349)。
    • JDK 21:虚拟线程;jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json 可导出虚拟线程;JFR 提供 jdk.VirtualThreadStart/End/Pinned。
    • JDK 24:JEP 491,synchronized 不再 pin 虚拟线程。
    • 第三方:async-profiler 3.x(asprof)、Arthas 4.x、Eclipse MAT 1.15+。
  • 工具矩阵:

工具主要用途开销生产建议
jps查 Java 进程/启动参数低入口
jstatGC、类加载、JIT 统计低定时采样
jstack线程栈、死锁、锁信息低-中(短暂 STW)卡死/CPU 高
jmap类直方图、堆转储、类加载器histo:live/dump 高谨慎,评估 STW/磁盘
jcmd统一诊断命令取决于子命令首选入口
JFR事件、采样、GC、IO、锁低(可配置)生产持续记录
async-profilerCPU/alloc/lock/wall 火焰图低-中性能热点
Arthas在线 watch/trace/监控中-高(字节码增强)临时排障,及时 stop
MAT离线堆转储分析离线内存泄漏
jhsdb进程/核心转储底层分析中attach 失败/崩溃
  • jstat 关键列:
列含义读法
S0/S1Survivor 使用率长期接近 100% 需看对象年龄
EEden 使用率高且 YGC 频繁,分配率高/新生代小
OOld 使用率持续上涨且 FGC 后不降,怀疑泄漏
M/CCSMetaspace/压缩类空间持续上涨看类加载器泄漏
YGC/YGCTYoung GC 次数/耗时频繁但单次短,先看分配率
FGC/FGCTFull GC 次数/耗时频繁且 OU 不降,重点排查
GCTGC 总耗时结合业务 RT 看停顿影响
  • 堆转储方式:
方式命令注意
jmapjmap -dump:live,format=b,file=heap.hprof <pid>live 触发 Full GC
jcmdjcmd <pid> GC.heap_dump /tmp/heap.hprof默认存活对象,-all 含不可达
OOM 自动-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp生产建议开启
容器路径挂载到持久卷注意磁盘和权限
  • JFR vs async-profiler:
维度JFRasync-profiler
来源JDK 内置第三方 agent
事件GC、线程、锁、IO、分配、pinCPU/wall/alloc/lock
火焰图JMC 可看原生 HTML 火焰图
开销低,可配置CPU 低,alloc/wall 较高
偏差执行采样有 safepoint 偏差perf_events CPU 采样偏差小
场景生产持续记录、事后分析现场热点、分配、锁竞争
  • 追问链:

    1. 线上 CPU 100% 怎么排查? → top -Hp 找高 CPU 线程,TID 转十六进制,jstack 搜 nid=0x... 看栈;再用 async-profiler/JFR 看热点方法,区分业务循环、GC、JIT、锁自旋。
    2. 内存泄漏/OOM 怎么排查? → jstat -gcutil 看老年代和 FGC,jcmd GC.heap_info 看各区域;开 HeapDumpOnOutOfMemoryError 或手动 dump,MAT 看 Dominator Tree/Retained Heap/Path to GC Roots;堆外再用 NMT。
    3. 线程死锁/卡死怎么排查? → jstack -l 或 jcmd Thread.print -l,看 Found one Java-level deadlock、BLOCKED 和锁持有者;Arthas thread -b 找阻塞线程;必要时 jstack -F 或 kill -3。
    4. GC 频繁/停顿长怎么排查? → jstat -gcutil 1000 看 YGC/FGC 趋势,-Xlog:gc* 看每次停顿和原因,JFR 看 GC 事件;结合堆大小、晋升速率、Humongous、元空间判断。
    5. jstat 的 OU、OC、FGC 怎么读? → OU 是老年代已用,OC 是当前容量;OU 接近 OC 且 FGC 频繁、FGC 后不降,说明老年代压力大或对象泄漏。
    6. jmap -histo 和 heap dump 怎么选? → 只想快速看类实例排名用 -histo,live 会 Full GC;要分析引用链、Dominator Tree、泄漏根因必须 heap dump + MAT。
    7. jstack -l 的 -l 有什么用? → 额外输出 ownable synchronizers(如 ReentrantLock)和锁信息,便于判断谁持有锁、谁在等待;不加 -l 容易漏掉显式锁。
    8. jcmd 相比 jmap/jstack 的优势? → 一个入口覆盖 VM、GC、线程、JFR、NMT、类加载器等命令,容器里更容易使用;但底层能力相近,具体子命令仍有开销差异。
    9. JFR 的原理和开销? → JVM 内置的事件记录器,事件写入线程本地/全局缓冲区,按配置落盘;默认开销低,可用 settings=profile 提高采样密度,连续记录要设 maxage/maxsize。
    10. async-profiler 的原理? → 基于 perf_events/信号采样,抓 Java 和 native 栈,生成火焰图;CPU 模式偏差小,alloc 模式按 TLAB 采样,lock 模式看竞争,wall 模式包含阻塞时间。
    11. 火焰图怎么看? → 横轴是采样占比(不是时间),纵轴是调用栈深度;宽的平台是热点,顶部窄函数是被调用者;结合 [kernel]、[libjvm]、[JIT] 区分 native/JVM/JIT。
    12. Arthas 常用命令有哪些? → dashboard、thread -n/-b、watch、trace、stack、monitor、tt、profiler、heapdump、vmtool、sc/sm、jad、redefine。
    13. Arthas 生产风险? → watch/trace 做字节码增强,热点方法上有开销;redefine 可能不兼容;attach 和类加载器可能带来泄漏;用完 stop,避免长期挂载。
    14. MAT 怎么定位内存泄漏? → 先看 Leak Suspects,再看 Dominator Tree 找 retained heap 最大的对象,Histogram 看类实例数,Path to GC Roots 排除弱/软引用,最后回到代码找生命周期。
    15. 堆外内存怎么排查? → 开 -XX:NativeMemoryTracking=summary,jcmd VM.native_memory summary/detail 看 JVM 内部;pmap -x 看进程映射;DirectByteBuffer、Netty、JNI、线程栈、Metaspace 分别排查。
    16. 类加载器泄漏怎么排查? → jcmd VM.classloader_stats、jmap -clstats 看类加载器数量,MAT 的 Duplicate Classes/Class Loader Explorer 看重复类,结合动态代理、ThreadLocal、JDBC 驱动、热部署。
    17. 容器里工具连不上怎么办? → 工具要在同一 PID namespace 内执行,或 nsenter 进容器;检查 attach socket、/tmp 权限、-XX:+DisableAttachMechanism;jstack -F/kill -3 可兜底。
    18. 什么时候用 jhsdb? → attach 工具失效、JVM 挂死、只有 core dump 时;jhsdb jmap --heap/--binaryheap、jhsdb jstack 直接从进程/core 读;需要同版本 JDK 和 ptrace 权限。
    19. JFR 和 async-profiler 怎么选? → 生产常开、要 GC/IO/线程/虚拟线程事件用 JFR;现场 CPU/分配/锁热点、要原生火焰图用 async-profiler;两者可以同时用,但注意采样开销。
    20. 怎么做持续 profiling? → JFR 持续记录 + 按需 dump;async-profiler 定时短采样;配合 Micrometer/Prometheus 指标和 GC 日志;不要长期挂 Arthas trace。
    21. 虚拟线程怎么 dump? → 传统 jstack 不覆盖虚拟线程,用 jcmd <pid> Thread.dump_to_file -format=json /tmp/threads.json;JFR 看 jdk.VirtualThreadPinned/Start/End;关注 pinning 和载体线程。
    22. 生产环境工具使用的安全边界? → 优先只读、低开销工具;heap dump/live histo 评估 STW 和磁盘;Arthas 字节码增强要审批和回滚;避免 jstatd 暴露 RMI;诊断完清理临时文件和 agent。
  • 生产案例/取舍(示例,替换成你的项目):

    • 接口 CPU 突然打满:top -Hp 找到线程,jstack 看到大量线程卡在正则回溯;async-profiler 火焰图确认热点方法,改成预编译/限制输入后恢复。
    • 老年代持续上涨,FGC 后不降:jstat -gcutil 确认,jcmd GC.heap_dump 落盘,MAT Dominator Tree 找到 ThreadLocal 持有的大 Map;修复 remove 后稳定。
    • 线程池任务全部卡住:jstack -l 发现 BLOCKED 在一个锁上,Arthas thread -b 定位持锁线程;修复锁粒度和超时。
    • G1 出现长停顿:-Xlog:gc* 看到 Humongous 分配和 Mixed GC,JFR 确认大对象;调整 Region Size/对象分配后改善。
    • 堆内存正常但进程 RSS 高:NMT summary 看到 Metaspace/线程栈/直接内存,pmap 对齐;定位到 Netty 直接内存和类加载器泄漏。
    • 生产上用 Arthas trace 追一个高频方法,RT 明显上升;改成低频采样 + 灰度实例,排查完立即 stop。
    • 取舍:轻量工具适合常开和快速定位,重型工具适合受控窗口;JFR 适合持续,async-profiler 适合现场;Arthas 方便但不要长期挂。
  • 易错点:

    • 把 jmap -histo:live 或 jmap -dump:live 当无开销操作,忽略 Full GC/STW。
    • heap dump 路径不可写或磁盘不足,OOM 时没拿到 dump。
    • jstack 不加 -l,漏掉 ReentrantLock 等 ownable synchronizer。
    • 用 jstack 找虚拟线程,发现“线程不见了”;应该用 Thread.dump_to_file/JFR。
    • 只看 jstat 的百分比,不看 FGC 次数、YGCT/FGCT 和业务 RT。
    • 把 OU 高直接等同于泄漏,忽略容量 OC 和 GC 后回收情况。
    • 容器里在宿主机执行 jcmd,PID namespace 不一致连不上。
    • -XX:+DisableAttachMechanism 或 /tmp 权限导致 attach 失败,却没尝试 kill -3/jhsdb。
    • JFR 一直开着但不设 maxage/maxsize,磁盘被写满。
    • async-profiler 在容器里没有 perf_events 权限,cpu 模式失败;可用 itimer 兜底。
    • Arthas trace/watch 挂在高频方法上,造成额外延迟;用完不 stop。
    • MAT 打开大 dump 内存不足,或把 shallow heap 当 retained heap。
    • jhat 早已移除,仍按旧资料使用。
    • jhsdb 版本不匹配、权限不足,或 GC 实现不支持。
  • 30 秒口述稿:

诊断工具按开销分层:jps/jstat/jcmd 是轻量入口,jstack 看线程和死锁,jmap/heap dump 加 MAT 看内存,JFR 和 async-profiler 做低开销采样,Arthas 做在线 watch/trace。CPU 高用 top -Hp 加 jstack/火焰图;内存高用 jstat 加 heap dump 加 MAT;线程卡死用 jstack -l;GC 停顿看 jstat 和 -Xlog:gc*。重型操作如 live histo、heap dump、Arthas trace 要评估 STW、磁盘和权限,生产优先低开销、受控窗口。

  • 3 分钟展开顺序:结论(按开销分层)→ jps/jstat/jcmd 轻量入口 → jstack/Thread.print 线程与死锁 → jmap/heap dump/MAT 内存 → JFR/async-profiler 采样与火焰图 → Arthas 在线诊断 → 场景化流程(CPU/内存/线程/GC/堆外)→ 容器与权限 → 生产开销与取舍。