Appearance
2.3-10 OOM 全类型定位与内存泄漏排查
所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-3、2.3-9、2.3-11、2.3-12、2.4-8
题型:排查
一句话结论:OOM 不是一种错误,而是某块内存区域耗尽;先看异常类型和证据(GC 日志、heap dump、NMT、容器指标),区分堆、Metaspace、直接内存、线程栈和 native,再用“多次 dump → 支配树/引用链 → 代码验证 → soak 验证”定位泄漏。
分层要点:
- 先分清 OOM 类型:
Java heap space是堆对象太多/太大;GC overhead limit exceeded是 GC 花了超过 98% 时间却只回收不到 2%,通常是堆快满或泄漏;Metaspace/Compressed class space是类元数据耗尽,常见于动态生成类、热部署、ClassLoader 泄漏;Direct buffer memory是 NIO/Netty 直接内存超限;unable to create new native thread是线程数/OS 限制;Requested array size exceeds VM limit是数组过大;Native memory allocation (mmap) failed/Out of swap space?是 native/OS 内存不足;容器里还可能是被 OOM killer 杀掉(exit 137)。StackOverflowError是栈溢出,不是 OOM。 - 证据链与工具:生产必须提前配置
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=...,必要时-XX:+ExitOnOutOfMemoryError让实例快速失败重启。堆内用jcmd GC.heap_dump/jmap -dump:live抓 dump,MAT 看支配树、Retained Heap、Path to GC Roots;用jstat -gcutil、jcmd GC.class_histogram、JFR、async-profiler 看增长和分配热点。堆外用-XX:NativeMemoryTracking=summary+jcmd VM.native_memory、pmap/smaps、lsof;容器看 cgroupmemory.max/current/events、exit code 137、dmesg。 - 内存泄漏排查法:先确认“Full GC 后老年代仍持续上涨、GC 频率变高、吞吐下降”,而不是只看一次 OOM。间隔抓 2–3 次 dump 或用
jmap -histo:live对比类实例数和字节数,找持续增长的对象;MAT 用支配树找 Retained Heap 最大的对象,再沿 Path to GC Roots 找到静态字段、线程、ClassLoader、监听器或连接池;最后回到代码验证生命周期,区分“真泄漏”和“有界缓存/大对象/流量突增”。修复后用 24–72 小时 soak、GC 日志、NMT 和堆后水位验证。 - 常见泄漏模式:静态
Map/List无界缓存;ThreadLocal 在业务线程池里忘记remove();监听器/回调注册后未注销;线程池、连接、流、ByteBuf未关闭;ClassLoader 被静态字段、ThreadLocal、JDBC 驱动、日志框架或线程上下文持有;无界队列/生产快于消费;缓存没有过期/容量上限;大数组、大 JSON、Excel 导出;String.intern/常量池;finalize/Cleaner 堆积;JNI/native 分配。 - 堆外与容器:堆 dump 看不到 DirectByteBuffer、Metaspace、线程栈、CodeCache、JNI;Netty 要开 leak detector 并正确
release(),直接内存看MaxDirectMemorySize和BufferPoolMXBean;Metaspace 看类加载数量、动态代理/CGLIB/脚本引擎;容器要保证-Xmx+ Metaspace + CodeCache + Direct + 线程栈 + GC 开销 < cgroup limit,UseContainerSupport/MaxRAMPercentage不是万能的,仍要留余量。OOM 后不要只重启,先保留 dump 和监控快照。
- 先分清 OOM 类型:
图/流程:
text
OOM / 内存持续上涨
├─ 看异常类型、GC 日志、监控、容器事件
├─ 有 dump?→ MAT 支配树 / Retained Heap / Path to GC Roots
├─ 堆内对象增长?→ 对比多次 histogram/dump,找增长类
├─ Metaspace?→ 类加载数量、ClassLoader、动态类
├─ Direct/Thread/Native?→ NMT、pmap、BufferPoolMXBean
└─ 修复 → soak + GC 日志 + NMT + 堆后水位验证- OOM 类型表:
| 错误信息 | 区域 | 首查 |
|---|---|---|
Java heap space | 堆 | heap dump、MAT、GC Roots |
GC overhead limit exceeded | 堆/GC | GC 日志、存活对象、是否泄漏 |
Metaspace / Compressed class space | 类元数据 | 类加载数量、ClassLoader、动态类 |
Direct buffer memory | 堆外直接内存 | Netty/NIO、MaxDirectMemorySize、NMT |
unable to create new native thread | 线程/OS | 线程数、ulimit、pids.max、栈大小 |
Requested array size exceeds VM limit | 堆 | 超大数组/大对象 |
Native memory allocation (mmap) failed | native/OS | NMT、pmap、容器 limit、overcommit |
Out of swap space? | native/OS | 物理内存、swap、容器 |
| 进程 exit 137 / Killed | 容器 | cgroup memory.events、OOM killer |
版本/源码锚点:
- JDK 8+:
HeapDumpOnOutOfMemoryError、jmap、jstat、MAT。 - JDK 9+:
jcmd GC.heap_dump、jcmd VM.native_memory、JFR。 - JDK 10+:
UseContainerSupport默认开启;JDK 8u191+ 也有 backport。 - JDK 11/17/21:JFR、NMT、
MaxRAMPercentage等容器参数延续。
- JDK 8+:
追问链:
- OOM 和 StackOverflowError 有什么区别? → OOM 是某块内存区域耗尽(堆、Metaspace、直接内存、native);StackOverflowError 是线程栈深度超限,通常由递归/超大栈帧引起,不是堆 OOM。
Java heap space怎么定位? → 先拿 heap dump,MAT 看支配树和 Retained Heap,找最大对象和 Path to GC Roots;再用jmap -histo:live/JFR 对比增长类,回到代码看生命周期。- Full GC 后内存降了,是不是就没有泄漏? → 不一定;要看长期趋势。每次 Full GC 后老年代水位仍持续抬升才是泄漏信号;如果回落到稳定基线,可能只是缓存/流量峰值/大对象。
GC overhead limit exceeded是什么? → GC 时间占比超过 98%、回收不到 2% 堆时抛出的保护性错误;它说明堆快满或对象存活率过高,关掉UseGCOverheadLimit只是掩盖症状。- Metaspace OOM 怎么查? → 看类加载数量、ClassLoader 数量、动态代理/CGLIB/脚本/JSP 生成类;MAT 查 ClassLoader 引用链;热部署场景重点查 ThreadLocal、JDBC 驱动、日志框架和线程上下文。
- Direct buffer OOM 怎么查? → heap dump 看不到直接内存;用 NMT、
BufferPoolMXBean、Netty leak detector、MaxDirectMemorySize;检查ByteBuf.release()、池化分配器和 NIOByteBuffer生命周期。 unable to create new native thread是堆不够吗? → 不一定;可能是线程数达到ulimit -u/pids.max、线程栈太大、native 内存不足或容器限制;先看线程数和 OS 限制,不要盲目加堆。- 容器里为什么会被 OOM killer 杀掉? →
-Xmx只限制堆,Metaspace、CodeCache、直接内存、线程栈、GC 结构也占内存;总 RSS 超过 cgroup limit 就会被内核杀,exit code 137;要留余量并看memory.events。 - 怎么抓 dump 对生产影响最小? → 优先
HeapDumpOnOutOfMemoryError自动抓;手动用jcmd GC.heap_dump,避开高峰,确认磁盘空间;jmap -dump:live会触发 GC/STW,大堆要谨慎。 - 支配树和 Retained Heap 是什么? → 支配树描述对象图的支配关系;Retained Heap 是“回收该对象能释放的总内存”,比 shallow size 更能找到泄漏源头。
- 内存泄漏和内存溢出是什么关系? → 泄漏是对象被无意义地长期持有,水位持续上涨;溢出是结果,可能由泄漏、流量突增、大对象或配置不足导致,不是所有 OOM 都是泄漏。
- 修复后怎么验证? → 24–72 小时 soak,观察 Full GC 后老年代水位、GC 频率、NMT、直接内存、容器 RSS;用分配 profiling 确认热点对象不再增长。
生产案例/取舍(示例,替换成你的项目):
- 本地缓存用静态
ConcurrentHashMap存商品,没有容量和过期策略,运行一周后老年代持续上涨;MAT 显示HashMap$Node被静态字段支配,换成 Caffeine 的maximumSize + expireAfter后稳定。 - Web 应用在 Tomcat 线程池里用 ThreadLocal 存用户上下文,异常分支没有
remove();线程复用导致大对象一直被线程持有,MAT 的 Path to GC Roots 指向ThreadLocalMap;在 finally 中清理后恢复。 - Netty 服务直接内存持续上涨,heap dump 正常;NMT 显示 Direct 增长,leak detector 定位到未 release 的
ByteBuf;修复释放逻辑并限制MaxDirectMemorySize。 - 容器 limit 2GB,
-Xmx配了 1800m,加上 Metaspace、CodeCache、直接内存和线程栈后超限,被 OOM killer 杀掉;下调-Xmx/用MaxRAMPercentage留余量,并加ExitOnOutOfMemoryError快速失败。 - 取舍:dump 能定位但占磁盘、可能 STW;NMT 有开销;生产要提前埋好 OOM 参数和监控,而不是等出事再抓。
- 本地缓存用静态
易错点:
- 只看堆,忽略 Metaspace、直接内存、线程栈、CodeCache、native。
- 把
GC overhead limit exceeded当根因,或直接关掉限制。 - 用
jmap -histo的 shallow size 判断泄漏,不看 Retained Heap/引用链。 - 只抓一次 dump,没对比增长趋势。
- 认为 Full GC 后内存下降就一定没有泄漏。
- 容器里
-Xmx配得接近 limit,没给非堆留空间。 - 生产高峰期直接
jmap -dump:live,造成长时间 STW。 - OOM 后直接重启,不保留 dump、GC 日志和监控快照。
- 把 Netty 直接内存泄漏当堆泄漏查,heap dump 里当然找不到。
30 秒口述稿:
OOM 要先看类型:Java heap space 是堆,Metaspace 是类元数据,Direct buffer 是堆外,unable to create native thread 是线程/OS,容器里还可能是 OOM killer。定位靠证据链:GC 日志、heap dump、MAT 支配树和 GC Roots、NMT、容器指标。泄漏排查要多次 dump 对比,找持续增长的对象和引用链,区分真泄漏、缓存和流量峰值;修复后用 soak、GC 日志和 NMT 验证。堆 dump 看不到直接内存和 Metaspace,别只盯着堆。
- 3 分钟展开顺序:结论(先分类型)→ OOM 类型表 → 证据链与工具 → 泄漏排查步骤(多次 dump/支配树/GC Roots)→ 常见泄漏模式 → 堆外与容器 → 生产处置与验证 → 易错点。