Skip to content

1.1-3 TIME_WAIT / CLOSE_WAIT 过多的成因与排查 ​

所属:01 计算机基础 / 1.1 网络协议 分级:A 状态:◐ 初稿 关联:1.1-1、1.1-2、1.1-7、1.2-4、1.3-7

  • 题型:排查

  • 一句话结论:TIME_WAIT 多,说明“主动关闭”发生得太多太快——短连接、连接不复用、连接池太小,或服务端 idle 超时比客户端短,它是行为问题,不是内核 bug;CLOSE_WAIT 多,说明“收到 FIN 后应用没有 close()”,几乎总是代码或连接池的资源泄漏。排查先看本机在这条连接里是服务端还是客户端、谁先关,再改连接模型;CLOSE_WAIT 调内核参数没用,只能改代码。

  • 分层要点:

    1. 两个状态的位置:TIME_WAIT 只出现在主动关闭方,是发出最后一个 ACK 之后等 2MSL(Linux 固定 60s);CLOSE_WAIT 只出现在被动关闭方,是收到对端 FIN、回了 ACK、但应用还没调用 close()。所以“谁多”直接告诉你“谁在关”和“谁没关”。
    2. TIME_WAIT 的成因:① 短连接高 QPS——每个请求新建 TCP,请求结束主动关;② 连接池太小或没开 keep-alive,连接复用率低;③ 服务端 idle 超时短于客户端,服务端先关(Nginx keepalive_timeout 75s vs Tomcat keepAliveTimeout 默认等于 connectionTimeout 60s,Tomcat 先关 → 服务端侧 TIME_WAIT);④ 数据库/RPC 连接池 maxLifetime 小于服务端 wait_timeout;⑤ 客户端 Connection: close。
    3. CLOSE_WAIT 的成因:收到 FIN 后应用没关——HttpClient 的 response/entity 没消费或没 close;JDBC Connection/Statement/ResultSet 在异常路径没关;Socket 没在 finally 里关;连接池归还逻辑错误;线程卡死导致迟迟不 close;第三方 SDK 泄漏。本质是 fd 泄漏,长期会耗尽文件描述符。
    4. 排查第一步:看全局与状态分布:ss -s 看总数与各状态计数;ss -tan state time-wait / state close-wait 看明细;ss -tanp 关联进程(需 root)。netstat 已被 ss 取代,容器里可能只有 ss 或都没有,可 cat /proc/net/tcp。
    5. 关键判据:本机是服务端还是客户端:TIME_WAIT 记录的本地端口是服务端口(80/8080/3306)→ 本机是服务端但主动关了连接(idle 超时太短/业务主动断);本地端口是随机高端口→ 本机作为客户端发起大量短连接。CLOSE_WAIT 的本地端口是服务端口→ 本机服务端没关客户端断开的连接;本地端口随机→ 本机客户端没关服务端断开的连接。
    6. 再看对端聚合:ss -tan state time-wait | awk '{print $4}' | sort | uniq -c | sort -rn | head 按本地地址聚合,$5 按对端聚合;能看出是“打某一个下游”“被某一个上游打”“全端口均匀”。再结合应用日志、连接池指标(HikariCP active/idle/pending、HttpClient 连接数),确认是模型问题还是单点异常。
    7. TIME_WAIT 的处理顺序:先改模型(连接池、HTTP keep-alive、RPC 长连接、减少短连接)→ 对齐 idle 超时(客户端 keepalive 必须小于服务端/LB 的 idle,让客户端先关)→ 扩大端口范围 ip_local_port_range → 出向复用 tcp_tw_reuse=1(需时间戳,NAT 下慎用)→ 多出口 IP/多实例分摊 → 最后才考虑 tcp_max_tw_buckets。不要调 tcp_fin_timeout(它管 FIN_WAIT_2,不是 TIME_WAIT),绝不要开 tcp_tw_recycle(Linux 4.12 已移除,NAT 下随机丢包)。
    8. CLOSE_WAIT 的处理:唯一正解是让应用 close。用 lsof -p <pid>/ss -tanp 看 fd 归属,线程栈(jstack)看卡在哪个调用,连接池开泄漏检测(HikariCP leakDetectionThreshold,默认 0 关闭),代码统一 try-with-resources,HTTP 响应必须消费或关闭,设置读超时避免永久阻塞;监控 CLOSE_WAIT 数量与 fd 使用率,超过阈值告警。
  • 图/流程:

text
两个状态在挥手里的位置:
  主动关闭方:FIN_WAIT_1 → FIN_WAIT_2 → TIME_WAIT(2MSL)→ CLOSED
  被动关闭方:CLOSE_WAIT(收到 FIN、回 ACK、等应用 close)→ LAST_ACK → CLOSED

  推论:
  TIME_WAIT 多 = 本机在“主动关”
  CLOSE_WAIT 多 = 本机在“收到 FIN 但没 close”
text
排查路径:
  ss -s                         # 各状态总量
    → ss -tan state time-wait   # 明细
    → 看本地端口:服务端口 or 随机高端口 → 判断本机角色
    → 按对端聚合:打谁 / 被谁打
    → ss -tanp / lsof -p        # 关联进程
    → 连接池指标 + 应用日志      # 模型问题 or 泄漏
text
端口耗尽的算术:
  ip_local_port_range 默认 32768–60999 ≈ 2.8 万个端口
  TIME_WAIT 占 60s
  单目标 IP:PORT 的理论新建速率 ≈ 28000 / 60 ≈ 466 次/秒
  → 短连接 QPS 超过它就开始 “Cannot assign requested address”
  → 多目标 IP / 多出口可线性放大
text
CLOSE_WAIT 泄漏链:
  对端 FIN → 内核回 ACK → 连接进 CLOSE_WAIT
    → 应用忘了 close(异常路径/没消费响应/没归还池)
    → fd 不释放 → CLOSE_WAIT 只增不减 → fd 耗尽 → too many open files
  • 版本/源码锚点:

    • Linux:ss(iproute2)、/proc/net/tcp、lsof;net.ipv4.ip_local_port_range(默认 32768 60999)、net.ipv4.tcp_tw_reuse、net.ipv4.tcp_timestamps(默认 1)、net.ipv4.tcp_fin_timeout(默认 60,管 FIN_WAIT_2)、net.ipv4.tcp_max_tw_buckets(按内存估算)、net.ipv4.tcp_tw_recycle(4.12 移除)、fs.file-max、ulimit -n。
    • Tomcat 9/10:connectionTimeout 默认 60s,keepAliveTimeout 默认取 connectionTimeout,maxKeepAliveRequests 默认 100;maxConnections NIO 默认 8192。
    • Nginx:keepalive_timeout 默认 75s;keepalive_requests 默认 1000。
    • MySQL 8.0:wait_timeout 默认 28800s(8h),interactive_timeout 同;HikariCP maxLifetime 默认 30min、idleTimeout 10min、leakDetectionThreshold 默认 0(关闭);Druid 有 removeAbandoned。
    • Java:HttpURLConnection 需 disconnect()/读完流;Apache HttpClient 4.5/5.x 必须关闭 CloseableHttpResponse 或 EntityUtils.consume;JDK 11 HttpClient 复用连接;OkHttp 连接池默认 5 个空闲、5 分钟。
    • HTTP/1.1 默认持久连接;HTTP/2 多路复用减少连接数。
    • 相关:握手/挥手与队列见 1.1-1;长连接与心跳见 1.1-7;抓包排障见 1.2-4。
  • 状态归属对比:

维度TIME_WAITCLOSE_WAIT
出现方主动关闭方被动关闭方
触发发出最后一个 ACK收到 FIN 并回 ACK
内核是否自动结束是,2MSL 后否,等应用 close
数量多说明关得多/关得快应用没关
处理方向连接模型 + 参数改代码
危害端口/fd 占用、NAT 问题fd 泄漏,最终 too many open files
  • 成因速查:
现象常见根因处理
客户端 TIME_WAIT 多、本地端口随机短连接高 QPS、无连接池连接池/keep-alive
服务端 TIME_WAIT 多、本地端口是 80/8080服务端 idle 超时短于客户端调大服务端 keepalive 或让客户端先关
服务端 TIME_WAIT 多、对端是 LBLB idle 小于后端对齐超时
数据库侧 TIME_WAIT 多连接池 maxLifetime < wait_timeout调小 maxLifetime 或调大 wait_timeout
Cannot assign requested address端口耗尽扩端口段、多 IP、连接池
CLOSE_WAIT 只增不减未关闭 response/connection修代码 + 泄漏检测
CLOSE_WAIT 集中在某接口异常路径没 finallytry-with-resources
CLOSE_WAIT 伴随线程阻塞读超时缺失/下游卡住设超时、熔断
fd 耗尽上述泄漏长期累积提高 ulimit 只是缓解,先修泄漏
  • 命令速查:
目的命令
状态汇总ss -s
某状态明细ss -tan state time-wait / state close-wait
关联进程ss -tanp(root)
按对端聚合ss -tan state time-wait | awk '{print $5}' | sort | uniq -c | sort -rn | head
按本地端口聚合同上取 $4
fd 归属lsof -p <pid> | wc -l、ls /proc/<pid>/fd | wc -l
内核计数`netstat -s | grep -i -E "listen
端口范围sysctl net.ipv4.ip_local_port_range
  • 深挖点(面试官常追的 6 个):

    1. 为什么 TIME_WAIT 在主动关闭方,为什么必须等 2MSL:主动方发完最后一个 ACK 后,如果立刻关闭,这个 ACK 丢失时对端会重传 FIN,而此时本机已无连接状态,只能回 RST,对端会认为异常;等 2MSL 保证还能重发 ACK。同时让本连接在网络中的旧报文过期,避免相同四元组的新连接收到旧数据。TIME_WAIT 是保护机制,不是故障;只有量大到占满端口或 fd 时才是问题。
    2. 怎么从 ss 判断本机是服务端主动关还是客户端短连接:看 TIME_WAIT 条目的本地端口——如果是 80/8080/3306 这类监听端口,说明本机是服务端,且是它先关(通常是 idle 超时比客户端短,或业务主动断);如果是 32768 以上的随机端口,说明本机是客户端,发起了大量短连接。再看对端地址是集中还是分散:集中指向某个下游 → 对该下游的短连接;分散且本地端口是服务端口 → 服务端普遍主动关。
    3. CLOSE_WAIT 为什么调内核参数没用:CLOSE_WAIT 的内核侧动作已经完成(回了 ACK),它在等应用调用 close();内核不会替应用关,因为可能还有未读数据。所以 tcp_fin_timeout、tcp_tw_reuse 都无效,唯一解法是找到没关连接的代码路径。常见是 HTTP 响应没消费、异常分支漏了 finally、连接池归还失败;用 jstack 看线程卡点、lsof 看 fd 类型、连接池泄漏检测定位。
    4. 端口耗尽怎么算、怎么扩:可用端口是 ip_local_port_range 的区间(默认约 2.8 万),每个 TIME_WAIT 占一个四元组 60s,所以对单个目标 IP:PORT 的新建速率上限约 466/s;超过就 Cannot assign requested address。扩展手段:连接池复用(最有效)、扩大端口范围、增加出口 IP/实例(四元组里的源 IP 变了就重新计数)、减少 TIME_WAIT(让对端先关)。注意这是每目标的上限,不是全局。
    5. tcp_tw_reuse 能开吗,tcp_tw_recycle 为什么被删:tcp_tw_reuse 允许出向连接复用处于 TIME_WAIT 的四元组,前提是开启时间戳且新连接的时间戳更大,一般相对安全,但在 NAT/LB 后面可能误复用;tcp_tw_recycle 曾靠“每主机时间戳递增”快速回收,遇到 NAT 后多台客户端时间戳不一致就会随机丢包,且它破坏了 TIME_WAIT 的保护语义,Linux 4.12 已移除。结论:优先改连接模型,tw_reuse 谨慎用,tw_recycle 不存在了。
    6. 连接池 idle 超时和服务端 keepalive 怎么对齐:原则是让客户端先关——客户端连接池的 idle/keepalive 要小于服务端(Nginx/Tomcat/MySQL/LB)的 idle 超时,这样客户端主动关闭,服务端不会留下大量 TIME_WAIT,也不会出现“复用到已被服务端关闭的连接”报错。典型坑:Nginx 75s、Tomcat 60s,Tomcat 先关;HikariCP maxLifetime 30min 小于 MySQL wait_timeout 8h,是正确方向。反向配置会导致连接被对端 RST、请求偶发失败。
  • 追问链:

    1. TIME_WAIT 为什么会出现? → 主动关闭方等 2MSL。
    2. 为什么是主动方? → 要能重发最后的 ACK。
    3. 2MSL 多久? → Linux 固定 60s。
    4. TIME_WAIT 多是故障吗? → 不一定是,看是否耗尽端口/fd。
    5. TIME_WAIT 多的原因? → 短连接、复用低、服务端先关。
    6. 怎么判断谁先关? → 看本地端口是服务端口还是随机端口。
    7. 服务端为什么会有 TIME_WAIT? → 服务端主动关(idle 超时)。
    8. 怎么减少? → 连接池、keep-alive、对齐超时。
    9. 还能调什么? → 端口范围、tw_reuse。
    10. tw_reuse 安全吗? → 出向+时间戳,NAT 慎用。
    11. tw_recycle 呢? → 4.12 已移除,别用。
    12. tcp_fin_timeout 管什么? → FIN_WAIT_2,不是 TIME_WAIT。
    13. TIME_WAIT 能改短吗? → 内核不支持直接改 2MSL。
    14. 端口耗尽怎么算? → 端口数/60s。
    15. 端口耗尽怎么办? → 连接池、多 IP、扩端口段。
    16. CLOSE_WAIT 是什么? → 收到 FIN 没 close。
    17. 为什么内核不关? → 等应用决定,可能有未读数据。
    18. CLOSE_WAIT 多说明什么? → 应用泄漏。
    19. 怎么查? → ss/lsof/jstack/连接池指标。
    20. 调内核有用吗? → 没用。
    21. 常见泄漏点? → HTTP response、JDBC、Socket、异常路径。
    22. 怎么预防? → try-with-resources、超时、泄漏检测。
    23. CLOSE_WAIT 会自己消失吗? → 应用 close 才消失。
    24. fd 耗尽什么现象? → too many open files。
    25. ulimit 调大有帮助吗? → 缓解,不解决泄漏。
    26. HTTP keep-alive 和 TCP keepalive? → 连接复用 vs 内核探测。
    27. keep-alive 谁先关? → 客户端应早于服务端。
    28. Tomcat 默认超时? → connectionTimeout 60s,keepAliveTimeout 同。
    29. Nginx 默认? → keepalive_timeout 75s。
    30. 谁先关的坑? → 服务端先关 → 服务端 TIME_WAIT + 客户端复用到死连接。
    31. 数据库连接池? → maxLifetime < wait_timeout。
    32. HikariCP 默认? → maxLifetime 30min、idleTimeout 10min。
    33. 泄漏检测怎么开? → leakDetectionThreshold > 0。
    34. RPC 长连接? → 减少 TIME_WAIT、要心跳。
    35. HTTP/2 有帮助吗? → 多路复用减少连接数。
    36. 容器里怎么查? → ss//proc/net/tcp,注意 network namespace。
    37. NAT 下有什么坑? → 时间戳、tw_reuse、连接跟踪表满。
    38. LB 视角? → 后端连接数、idle 超时对齐。
    39. 怎么监控? → ss 采集、端口使用率、fd 使用率。
    40. 告警阈值怎么定? → 相对基线 + 端口/fd 水位。
    41. 压测能复现吗? → 短连接压测可复现 TIME_WAIT。
    42. 怎么验证修复? → TIME_WAIT/CLOSE_WAIT 曲线回落。
    43. TIME_WAIT 影响吞吐吗? → 端口未耗尽前影响很小。
    44. RST 和 TIME_WAIT 关系? → 强制关闭不发 FIN,无 TIME_WAIT。
    45. SO_LINGER=0? → 发 RST,跳过后半段挥手。
    46. 服务端重启后大量 TIME_WAIT? → 主动关闭了所有连接。
    47. 长连接空闲被中间设备断? → 心跳保活。
    48. 怎么讲成排查故事? → 现象→ss→角色判断→改模型→验证。
    49. 先改代码还是先调内核? → 先模型/代码,内核最后。
    50. 一句话总结? → TIME_WAIT 是关得多,CLOSE_WAIT 是没关。
  • 生产案例/取舍(示例,替换成你的项目):

    • 服务调用 QPS 3k、短连接,TIME_WAIT 6 万,偶发 Cannot assign requested address;改连接池后降到千级。
    • 服务端 TIME_WAIT 集中在 8080 本地端口,定位 Tomcat keepAliveTimeout 60s 小于 Nginx 75s,服务端先关;调大 Tomcat 或调小 Nginx。
    • CLOSE_WAIT 两天涨到 3 万,lsof 显示大量 socket,定位 Apache HttpClient 未关闭 response;统一 EntityUtils.consume + try-with-resources。
    • JDBC 连接在异常分支没关,CLOSE_WAIT 缓慢增长,最终 too many open files;连接池开泄漏检测并修 finally。
    • 数据库侧 TIME_WAIT 多,HikariCP maxLifetime 配成 12h、大于 MySQL wait_timeout 8h,服务端先关;改为 30min 并观察。
    • 运维开启 tcp_tw_recycle 后 NAT 用户随机超时;升级内核(4.12+ 已无此参数)并关闭。
    • 端口段只有默认 2.8 万,单目标 QPS 超过 400 就报错;扩到 10240–65000 并加出口 IP。
    • 某接口 CLOSE_WAIT 高但连接池指标正常,jstack 发现线程卡在无超时的读;补读超时。
    • 容器内 netstat 不存在,排障脚本改用 ss 与 /proc/net/tcp。
    • 长连接被 LB 静默断开,客户端复用到死连接报 Connection reset;加心跳 + 客户端先关。
    • 取舍:连接池换复用,代价是连接管理与超时对齐;调大服务端 keepalive 换少 TIME_WAIT,代价是占用连接更久;扩端口换容量,代价是 NAT/安全策略;tw_reuse 换复用,代价是 NAT 风险;提高 ulimit 换时间,代价是掩盖泄漏。
  • 易错点:

    • 认为 TIME_WAIT 是内核 bug。
    • 认为 TIME_WAIT 一定有害。
    • 认为 TIME_WAIT 出现在被动关闭方。
    • 认为服务端不会有 TIME_WAIT。
    • 认为 TIME_WAIT 可以用 tcp_fin_timeout 调短。
    • 认为 2MSL 可以随意改。
    • 认为所有系统 TIME_WAIT 都是 60s。
    • 认为 tcp_tw_recycle 可以开。
    • 认为 tcp_tw_reuse 没有任何风险。
    • 认为 NAT 下复用 TIME_WAIT 没问题。
    • 认为 TIME_WAIT 多就加机器。
    • 认为加机器一定能解决端口耗尽。
    • 认为 CLOSE_WAIT 多要调内核。
    • 认为 CLOSE_WAIT 会自己消失。
    • 认为 CLOSE_WAIT 是网络问题。
    • 认为 CLOSE_WAIT 和 TIME_WAIT 是一回事。
    • 认为 close() 一定关闭连接(还有引用/未读数据)。
    • 认为 HTTP 响应不读也没关系。
    • 认为连接池归还了就一定关闭。
    • 认为 ulimit -n 调大就解决了泄漏。
    • 认为 keep-alive 等于 TCP keepalive。
    • 认为客户端和服务端谁先关无所谓。
    • 认为服务端 keepalive 越长越好。
    • 认为连接池越大越好。
    • 认为 maxLifetime 可以随便大于 wait_timeout。
    • 认为容器里一定能用 netstat。
    • 认为 ss 看到的就是全部(namespace/LB 视角)。
    • 认为 TIME_WAIT 会拖慢吞吐(未耗尽端口时影响很小)。
    • 认为 RST 关闭也会产生 TIME_WAIT。
    • 认为排查要从调参数开始。
  • 30 秒口述稿:

TIME_WAIT 和 CLOSE_WAIT 要看它出现在哪一方。TIME_WAIT 只在主动关闭方,等 2MSL,Linux 是 60 秒;数量多说明连接关得太多太快,常见是短连接高 QPS、连接池复用不足,或者服务端 idle 超时比客户端短导致服务端先关。判断方法看本地端口:是 80、8080 这种服务端口,说明本机服务端主动关;是随机高端口,说明本机作为客户端在发短连接。处理顺序是先改连接模型和对齐超时,再扩端口段,tcp_tw_reuse 只在出向且带时间戳时谨慎用,tcp_tw_recycle 在 4.12 已经移除。CLOSE_WAIT 是收到 FIN 后应用没 close,调内核没用,只能查代码和连接池,常见是 HTTP 响应没消费、异常路径没关连接,靠 try-with-resources 和泄漏检测解决。

  • 3 分钟展开顺序:结论(TIME_WAIT=关得多,CLOSE_WAIT=没关)→ 两个状态在挥手里的位置与归属 → TIME_WAIT 的五类成因 → 用本地端口/对端聚合判断角色 → 端口耗尽的算术 → TIME_WAIT 的处理优先级与参数边界(tw_recycle 已移除)→ CLOSE_WAIT 的泄漏链与常见代码点 → 用 ss/lsof/jstack/连接池指标定位 → idle 超时对齐原则(客户端先关)→ 监控、压测复现与案例。