Skip to content

2.3-10 OOM 全类型定位与内存泄漏排查 ​

所属:02 Java 运行时 / 2.3 JVM 分级:A 状态:◐ 初稿 关联:2.3-3、2.3-9、2.3-11、2.3-12、2.4-8

  • 题型:排查

  • 一句话结论:OOM 不是一种错误,而是某块内存区域耗尽;先看异常类型和证据(GC 日志、heap dump、NMT、容器指标),区分堆、Metaspace、直接内存、线程栈和 native,再用“多次 dump → 支配树/引用链 → 代码验证 → soak 验证”定位泄漏。

  • 分层要点:

    1. 先分清 OOM 类型:Java heap space 是堆对象太多/太大;GC overhead limit exceeded 是 GC 花了超过 98% 时间却只回收不到 2%,通常是堆快满或泄漏;Metaspace/Compressed class space 是类元数据耗尽,常见于动态生成类、热部署、ClassLoader 泄漏;Direct buffer memory 是 NIO/Netty 直接内存超限;unable to create new native thread 是线程数/OS 限制;Requested array size exceeds VM limit 是数组过大;Native memory allocation (mmap) failed/Out of swap space? 是 native/OS 内存不足;容器里还可能是被 OOM killer 杀掉(exit 137)。StackOverflowError 是栈溢出,不是 OOM。
    2. 证据链与工具:生产必须提前配置 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=...,必要时 -XX:+ExitOnOutOfMemoryError 让实例快速失败重启。堆内用 jcmd GC.heap_dump/jmap -dump:live 抓 dump,MAT 看支配树、Retained Heap、Path to GC Roots;用 jstat -gcutil、jcmd GC.class_histogram、JFR、async-profiler 看增长和分配热点。堆外用 -XX:NativeMemoryTracking=summary + jcmd VM.native_memory、pmap/smaps、lsof;容器看 cgroup memory.max/current/events、exit code 137、dmesg。
    3. 内存泄漏排查法:先确认“Full GC 后老年代仍持续上涨、GC 频率变高、吞吐下降”,而不是只看一次 OOM。间隔抓 2–3 次 dump 或用 jmap -histo:live 对比类实例数和字节数,找持续增长的对象;MAT 用支配树找 Retained Heap 最大的对象,再沿 Path to GC Roots 找到静态字段、线程、ClassLoader、监听器或连接池;最后回到代码验证生命周期,区分“真泄漏”和“有界缓存/大对象/流量突增”。修复后用 24–72 小时 soak、GC 日志、NMT 和堆后水位验证。
    4. 常见泄漏模式:静态 Map/List 无界缓存;ThreadLocal 在业务线程池里忘记 remove();监听器/回调注册后未注销;线程池、连接、流、ByteBuf 未关闭;ClassLoader 被静态字段、ThreadLocal、JDBC 驱动、日志框架或线程上下文持有;无界队列/生产快于消费;缓存没有过期/容量上限;大数组、大 JSON、Excel 导出;String.intern/常量池;finalize/Cleaner 堆积;JNI/native 分配。
    5. 堆外与容器:堆 dump 看不到 DirectByteBuffer、Metaspace、线程栈、CodeCache、JNI;Netty 要开 leak detector 并正确 release(),直接内存看 MaxDirectMemorySize 和 BufferPoolMXBean;Metaspace 看类加载数量、动态代理/CGLIB/脚本引擎;容器要保证 -Xmx + Metaspace + CodeCache + Direct + 线程栈 + GC 开销 < cgroup limit,UseContainerSupport/MaxRAMPercentage 不是万能的,仍要留余量。OOM 后不要只重启,先保留 dump 和监控快照。
  • 图/流程:

text
OOM / 内存持续上涨
  ├─ 看异常类型、GC 日志、监控、容器事件
  ├─ 有 dump?→ MAT 支配树 / Retained Heap / Path to GC Roots
  ├─ 堆内对象增长?→ 对比多次 histogram/dump,找增长类
  ├─ Metaspace?→ 类加载数量、ClassLoader、动态类
  ├─ Direct/Thread/Native?→ NMT、pmap、BufferPoolMXBean
  └─ 修复 → soak + GC 日志 + NMT + 堆后水位验证
  • OOM 类型表:
错误信息区域首查
Java heap space堆heap dump、MAT、GC Roots
GC overhead limit exceeded堆/GCGC 日志、存活对象、是否泄漏
Metaspace / Compressed class space类元数据类加载数量、ClassLoader、动态类
Direct buffer memory堆外直接内存Netty/NIO、MaxDirectMemorySize、NMT
unable to create new native thread线程/OS线程数、ulimit、pids.max、栈大小
Requested array size exceeds VM limit堆超大数组/大对象
Native memory allocation (mmap) failednative/OSNMT、pmap、容器 limit、overcommit
Out of swap space?native/OS物理内存、swap、容器
进程 exit 137 / Killed容器cgroup memory.events、OOM killer
  • 版本/源码锚点:

    • JDK 8+:HeapDumpOnOutOfMemoryError、jmap、jstat、MAT。
    • JDK 9+:jcmd GC.heap_dump、jcmd VM.native_memory、JFR。
    • JDK 10+:UseContainerSupport 默认开启;JDK 8u191+ 也有 backport。
    • JDK 11/17/21:JFR、NMT、MaxRAMPercentage 等容器参数延续。
  • 追问链:

    1. OOM 和 StackOverflowError 有什么区别? → OOM 是某块内存区域耗尽(堆、Metaspace、直接内存、native);StackOverflowError 是线程栈深度超限,通常由递归/超大栈帧引起,不是堆 OOM。
    2. Java heap space 怎么定位? → 先拿 heap dump,MAT 看支配树和 Retained Heap,找最大对象和 Path to GC Roots;再用 jmap -histo:live/JFR 对比增长类,回到代码看生命周期。
    3. Full GC 后内存降了,是不是就没有泄漏? → 不一定;要看长期趋势。每次 Full GC 后老年代水位仍持续抬升才是泄漏信号;如果回落到稳定基线,可能只是缓存/流量峰值/大对象。
    4. GC overhead limit exceeded 是什么? → GC 时间占比超过 98%、回收不到 2% 堆时抛出的保护性错误;它说明堆快满或对象存活率过高,关掉 UseGCOverheadLimit 只是掩盖症状。
    5. Metaspace OOM 怎么查? → 看类加载数量、ClassLoader 数量、动态代理/CGLIB/脚本/JSP 生成类;MAT 查 ClassLoader 引用链;热部署场景重点查 ThreadLocal、JDBC 驱动、日志框架和线程上下文。
    6. Direct buffer OOM 怎么查? → heap dump 看不到直接内存;用 NMT、BufferPoolMXBean、Netty leak detector、MaxDirectMemorySize;检查 ByteBuf.release()、池化分配器和 NIO ByteBuffer 生命周期。
    7. unable to create new native thread 是堆不够吗? → 不一定;可能是线程数达到 ulimit -u/pids.max、线程栈太大、native 内存不足或容器限制;先看线程数和 OS 限制,不要盲目加堆。
    8. 容器里为什么会被 OOM killer 杀掉? → -Xmx 只限制堆,Metaspace、CodeCache、直接内存、线程栈、GC 结构也占内存;总 RSS 超过 cgroup limit 就会被内核杀,exit code 137;要留余量并看 memory.events。
    9. 怎么抓 dump 对生产影响最小? → 优先 HeapDumpOnOutOfMemoryError 自动抓;手动用 jcmd GC.heap_dump,避开高峰,确认磁盘空间;jmap -dump:live 会触发 GC/STW,大堆要谨慎。
    10. 支配树和 Retained Heap 是什么? → 支配树描述对象图的支配关系;Retained Heap 是“回收该对象能释放的总内存”,比 shallow size 更能找到泄漏源头。
    11. 内存泄漏和内存溢出是什么关系? → 泄漏是对象被无意义地长期持有,水位持续上涨;溢出是结果,可能由泄漏、流量突增、大对象或配置不足导致,不是所有 OOM 都是泄漏。
    12. 修复后怎么验证? → 24–72 小时 soak,观察 Full GC 后老年代水位、GC 频率、NMT、直接内存、容器 RSS;用分配 profiling 确认热点对象不再增长。
  • 生产案例/取舍(示例,替换成你的项目):

    • 本地缓存用静态 ConcurrentHashMap 存商品,没有容量和过期策略,运行一周后老年代持续上涨;MAT 显示 HashMap$Node 被静态字段支配,换成 Caffeine 的 maximumSize + expireAfter 后稳定。
    • Web 应用在 Tomcat 线程池里用 ThreadLocal 存用户上下文,异常分支没有 remove();线程复用导致大对象一直被线程持有,MAT 的 Path to GC Roots 指向 ThreadLocalMap;在 finally 中清理后恢复。
    • Netty 服务直接内存持续上涨,heap dump 正常;NMT 显示 Direct 增长,leak detector 定位到未 release 的 ByteBuf;修复释放逻辑并限制 MaxDirectMemorySize。
    • 容器 limit 2GB,-Xmx 配了 1800m,加上 Metaspace、CodeCache、直接内存和线程栈后超限,被 OOM killer 杀掉;下调 -Xmx/用 MaxRAMPercentage 留余量,并加 ExitOnOutOfMemoryError 快速失败。
    • 取舍:dump 能定位但占磁盘、可能 STW;NMT 有开销;生产要提前埋好 OOM 参数和监控,而不是等出事再抓。
  • 易错点:

    • 只看堆,忽略 Metaspace、直接内存、线程栈、CodeCache、native。
    • 把 GC overhead limit exceeded 当根因,或直接关掉限制。
    • 用 jmap -histo 的 shallow size 判断泄漏,不看 Retained Heap/引用链。
    • 只抓一次 dump,没对比增长趋势。
    • 认为 Full GC 后内存下降就一定没有泄漏。
    • 容器里 -Xmx 配得接近 limit,没给非堆留空间。
    • 生产高峰期直接 jmap -dump:live,造成长时间 STW。
    • OOM 后直接重启,不保留 dump、GC 日志和监控快照。
    • 把 Netty 直接内存泄漏当堆泄漏查,heap dump 里当然找不到。
  • 30 秒口述稿:

OOM 要先看类型:Java heap space 是堆,Metaspace 是类元数据,Direct buffer 是堆外,unable to create native thread 是线程/OS,容器里还可能是 OOM killer。定位靠证据链:GC 日志、heap dump、MAT 支配树和 GC Roots、NMT、容器指标。泄漏排查要多次 dump 对比,找持续增长的对象和引用链,区分真泄漏、缓存和流量峰值;修复后用 soak、GC 日志和 NMT 验证。堆 dump 看不到直接内存和 Metaspace,别只盯着堆。

  • 3 分钟展开顺序:结论(先分类型)→ OOM 类型表 → 证据链与工具 → 泄漏排查步骤(多次 dump/支配树/GC Roots)→ 常见泄漏模式 → 堆外与容器 → 生产处置与验证 → 易错点。