Appearance
1.1-3 TIME_WAIT / CLOSE_WAIT 过多的成因与排查
所属:01 计算机基础 / 1.1 网络协议 分级:A 状态:◐ 初稿 关联:1.1-1、1.1-2、1.1-7、1.2-4、1.3-7
题型:排查
一句话结论:TIME_WAIT 多,说明“主动关闭”发生得太多太快——短连接、连接不复用、连接池太小,或服务端 idle 超时比客户端短,它是行为问题,不是内核 bug;CLOSE_WAIT 多,说明“收到 FIN 后应用没有
close()”,几乎总是代码或连接池的资源泄漏。排查先看本机在这条连接里是服务端还是客户端、谁先关,再改连接模型;CLOSE_WAIT 调内核参数没用,只能改代码。分层要点:
- 两个状态的位置:
TIME_WAIT只出现在主动关闭方,是发出最后一个 ACK 之后等 2MSL(Linux 固定 60s);CLOSE_WAIT只出现在被动关闭方,是收到对端 FIN、回了 ACK、但应用还没调用close()。所以“谁多”直接告诉你“谁在关”和“谁没关”。 - TIME_WAIT 的成因:① 短连接高 QPS——每个请求新建 TCP,请求结束主动关;② 连接池太小或没开 keep-alive,连接复用率低;③ 服务端 idle 超时短于客户端,服务端先关(Nginx
keepalive_timeout75s vs TomcatkeepAliveTimeout默认等于connectionTimeout60s,Tomcat 先关 → 服务端侧 TIME_WAIT);④ 数据库/RPC 连接池maxLifetime小于服务端wait_timeout;⑤ 客户端Connection: close。 - CLOSE_WAIT 的成因:收到 FIN 后应用没关——
HttpClient的response/entity没消费或没 close;JDBCConnection/Statement/ResultSet在异常路径没关;Socket没在finally里关;连接池归还逻辑错误;线程卡死导致迟迟不 close;第三方 SDK 泄漏。本质是 fd 泄漏,长期会耗尽文件描述符。 - 排查第一步:看全局与状态分布:
ss -s看总数与各状态计数;ss -tan state time-wait/state close-wait看明细;ss -tanp关联进程(需 root)。netstat已被ss取代,容器里可能只有ss或都没有,可cat /proc/net/tcp。 - 关键判据:本机是服务端还是客户端:TIME_WAIT 记录的本地端口是服务端口(80/8080/3306)→ 本机是服务端但主动关了连接(idle 超时太短/业务主动断);本地端口是随机高端口→ 本机作为客户端发起大量短连接。CLOSE_WAIT 的本地端口是服务端口→ 本机服务端没关客户端断开的连接;本地端口随机→ 本机客户端没关服务端断开的连接。
- 再看对端聚合:
ss -tan state time-wait | awk '{print $4}' | sort | uniq -c | sort -rn | head按本地地址聚合,$5按对端聚合;能看出是“打某一个下游”“被某一个上游打”“全端口均匀”。再结合应用日志、连接池指标(HikariCP active/idle/pending、HttpClient 连接数),确认是模型问题还是单点异常。 - TIME_WAIT 的处理顺序:先改模型(连接池、HTTP keep-alive、RPC 长连接、减少短连接)→ 对齐 idle 超时(客户端 keepalive 必须小于服务端/LB 的 idle,让客户端先关)→ 扩大端口范围
ip_local_port_range→ 出向复用tcp_tw_reuse=1(需时间戳,NAT 下慎用)→ 多出口 IP/多实例分摊 → 最后才考虑tcp_max_tw_buckets。不要调tcp_fin_timeout(它管FIN_WAIT_2,不是 TIME_WAIT),绝不要开tcp_tw_recycle(Linux 4.12 已移除,NAT 下随机丢包)。 - CLOSE_WAIT 的处理:唯一正解是让应用 close。用
lsof -p <pid>/ss -tanp看 fd 归属,线程栈(jstack)看卡在哪个调用,连接池开泄漏检测(HikariCPleakDetectionThreshold,默认 0 关闭),代码统一 try-with-resources,HTTP 响应必须消费或关闭,设置读超时避免永久阻塞;监控 CLOSE_WAIT 数量与 fd 使用率,超过阈值告警。
- 两个状态的位置:
图/流程:
text
两个状态在挥手里的位置:
主动关闭方:FIN_WAIT_1 → FIN_WAIT_2 → TIME_WAIT(2MSL)→ CLOSED
被动关闭方:CLOSE_WAIT(收到 FIN、回 ACK、等应用 close)→ LAST_ACK → CLOSED
推论:
TIME_WAIT 多 = 本机在“主动关”
CLOSE_WAIT 多 = 本机在“收到 FIN 但没 close”text
排查路径:
ss -s # 各状态总量
→ ss -tan state time-wait # 明细
→ 看本地端口:服务端口 or 随机高端口 → 判断本机角色
→ 按对端聚合:打谁 / 被谁打
→ ss -tanp / lsof -p # 关联进程
→ 连接池指标 + 应用日志 # 模型问题 or 泄漏text
端口耗尽的算术:
ip_local_port_range 默认 32768–60999 ≈ 2.8 万个端口
TIME_WAIT 占 60s
单目标 IP:PORT 的理论新建速率 ≈ 28000 / 60 ≈ 466 次/秒
→ 短连接 QPS 超过它就开始 “Cannot assign requested address”
→ 多目标 IP / 多出口可线性放大text
CLOSE_WAIT 泄漏链:
对端 FIN → 内核回 ACK → 连接进 CLOSE_WAIT
→ 应用忘了 close(异常路径/没消费响应/没归还池)
→ fd 不释放 → CLOSE_WAIT 只增不减 → fd 耗尽 → too many open files版本/源码锚点:
- Linux:
ss(iproute2)、/proc/net/tcp、lsof;net.ipv4.ip_local_port_range(默认32768 60999)、net.ipv4.tcp_tw_reuse、net.ipv4.tcp_timestamps(默认 1)、net.ipv4.tcp_fin_timeout(默认 60,管FIN_WAIT_2)、net.ipv4.tcp_max_tw_buckets(按内存估算)、net.ipv4.tcp_tw_recycle(4.12 移除)、fs.file-max、ulimit -n。 - Tomcat 9/10:
connectionTimeout默认 60s,keepAliveTimeout默认取connectionTimeout,maxKeepAliveRequests默认 100;maxConnectionsNIO 默认 8192。 - Nginx:
keepalive_timeout默认 75s;keepalive_requests默认 1000。 - MySQL 8.0:
wait_timeout默认 28800s(8h),interactive_timeout同;HikariCPmaxLifetime默认 30min、idleTimeout10min、leakDetectionThreshold默认 0(关闭);Druid 有removeAbandoned。 - Java:
HttpURLConnection需disconnect()/读完流;Apache HttpClient 4.5/5.x 必须关闭CloseableHttpResponse或EntityUtils.consume;JDK 11HttpClient复用连接;OkHttp 连接池默认 5 个空闲、5 分钟。 - HTTP/1.1 默认持久连接;HTTP/2 多路复用减少连接数。
- 相关:握手/挥手与队列见 1.1-1;长连接与心跳见 1.1-7;抓包排障见 1.2-4。
- Linux:
状态归属对比:
| 维度 | TIME_WAIT | CLOSE_WAIT |
|---|---|---|
| 出现方 | 主动关闭方 | 被动关闭方 |
| 触发 | 发出最后一个 ACK | 收到 FIN 并回 ACK |
| 内核是否自动结束 | 是,2MSL 后 | 否,等应用 close |
| 数量多说明 | 关得多/关得快 | 应用没关 |
| 处理方向 | 连接模型 + 参数 | 改代码 |
| 危害 | 端口/fd 占用、NAT 问题 | fd 泄漏,最终 too many open files |
- 成因速查:
| 现象 | 常见根因 | 处理 |
|---|---|---|
| 客户端 TIME_WAIT 多、本地端口随机 | 短连接高 QPS、无连接池 | 连接池/keep-alive |
| 服务端 TIME_WAIT 多、本地端口是 80/8080 | 服务端 idle 超时短于客户端 | 调大服务端 keepalive 或让客户端先关 |
| 服务端 TIME_WAIT 多、对端是 LB | LB idle 小于后端 | 对齐超时 |
| 数据库侧 TIME_WAIT 多 | 连接池 maxLifetime < wait_timeout | 调小 maxLifetime 或调大 wait_timeout |
Cannot assign requested address | 端口耗尽 | 扩端口段、多 IP、连接池 |
| CLOSE_WAIT 只增不减 | 未关闭 response/connection | 修代码 + 泄漏检测 |
| CLOSE_WAIT 集中在某接口 | 异常路径没 finally | try-with-resources |
| CLOSE_WAIT 伴随线程阻塞 | 读超时缺失/下游卡住 | 设超时、熔断 |
| fd 耗尽 | 上述泄漏长期累积 | 提高 ulimit 只是缓解,先修泄漏 |
- 命令速查:
| 目的 | 命令 |
|---|---|
| 状态汇总 | ss -s |
| 某状态明细 | ss -tan state time-wait / state close-wait |
| 关联进程 | ss -tanp(root) |
| 按对端聚合 | ss -tan state time-wait | awk '{print $5}' | sort | uniq -c | sort -rn | head |
| 按本地端口聚合 | 同上取 $4 |
| fd 归属 | lsof -p <pid> | wc -l、ls /proc/<pid>/fd | wc -l |
| 内核计数 | `netstat -s | grep -i -E "listen |
| 端口范围 | sysctl net.ipv4.ip_local_port_range |
深挖点(面试官常追的 6 个):
- 为什么 TIME_WAIT 在主动关闭方,为什么必须等 2MSL:主动方发完最后一个 ACK 后,如果立刻关闭,这个 ACK 丢失时对端会重传 FIN,而此时本机已无连接状态,只能回 RST,对端会认为异常;等 2MSL 保证还能重发 ACK。同时让本连接在网络中的旧报文过期,避免相同四元组的新连接收到旧数据。TIME_WAIT 是保护机制,不是故障;只有量大到占满端口或 fd 时才是问题。
- 怎么从
ss判断本机是服务端主动关还是客户端短连接:看 TIME_WAIT 条目的本地端口——如果是 80/8080/3306 这类监听端口,说明本机是服务端,且是它先关(通常是 idle 超时比客户端短,或业务主动断);如果是 32768 以上的随机端口,说明本机是客户端,发起了大量短连接。再看对端地址是集中还是分散:集中指向某个下游 → 对该下游的短连接;分散且本地端口是服务端口 → 服务端普遍主动关。 - CLOSE_WAIT 为什么调内核参数没用:CLOSE_WAIT 的内核侧动作已经完成(回了 ACK),它在等应用调用
close();内核不会替应用关,因为可能还有未读数据。所以tcp_fin_timeout、tcp_tw_reuse都无效,唯一解法是找到没关连接的代码路径。常见是 HTTP 响应没消费、异常分支漏了finally、连接池归还失败;用jstack看线程卡点、lsof看 fd 类型、连接池泄漏检测定位。 - 端口耗尽怎么算、怎么扩:可用端口是
ip_local_port_range的区间(默认约 2.8 万),每个 TIME_WAIT 占一个四元组 60s,所以对单个目标 IP:PORT 的新建速率上限约 466/s;超过就Cannot assign requested address。扩展手段:连接池复用(最有效)、扩大端口范围、增加出口 IP/实例(四元组里的源 IP 变了就重新计数)、减少 TIME_WAIT(让对端先关)。注意这是每目标的上限,不是全局。 tcp_tw_reuse能开吗,tcp_tw_recycle为什么被删:tcp_tw_reuse允许出向连接复用处于 TIME_WAIT 的四元组,前提是开启时间戳且新连接的时间戳更大,一般相对安全,但在 NAT/LB 后面可能误复用;tcp_tw_recycle曾靠“每主机时间戳递增”快速回收,遇到 NAT 后多台客户端时间戳不一致就会随机丢包,且它破坏了 TIME_WAIT 的保护语义,Linux 4.12 已移除。结论:优先改连接模型,tw_reuse谨慎用,tw_recycle不存在了。- 连接池 idle 超时和服务端 keepalive 怎么对齐:原则是让客户端先关——客户端连接池的 idle/keepalive 要小于服务端(Nginx/Tomcat/MySQL/LB)的 idle 超时,这样客户端主动关闭,服务端不会留下大量 TIME_WAIT,也不会出现“复用到已被服务端关闭的连接”报错。典型坑:Nginx 75s、Tomcat 60s,Tomcat 先关;HikariCP
maxLifetime30min 小于 MySQLwait_timeout8h,是正确方向。反向配置会导致连接被对端 RST、请求偶发失败。
追问链:
- TIME_WAIT 为什么会出现? → 主动关闭方等 2MSL。
- 为什么是主动方? → 要能重发最后的 ACK。
- 2MSL 多久? → Linux 固定 60s。
- TIME_WAIT 多是故障吗? → 不一定是,看是否耗尽端口/fd。
- TIME_WAIT 多的原因? → 短连接、复用低、服务端先关。
- 怎么判断谁先关? → 看本地端口是服务端口还是随机端口。
- 服务端为什么会有 TIME_WAIT? → 服务端主动关(idle 超时)。
- 怎么减少? → 连接池、keep-alive、对齐超时。
- 还能调什么? → 端口范围、tw_reuse。
- tw_reuse 安全吗? → 出向+时间戳,NAT 慎用。
- tw_recycle 呢? → 4.12 已移除,别用。
- tcp_fin_timeout 管什么? → FIN_WAIT_2,不是 TIME_WAIT。
- TIME_WAIT 能改短吗? → 内核不支持直接改 2MSL。
- 端口耗尽怎么算? → 端口数/60s。
- 端口耗尽怎么办? → 连接池、多 IP、扩端口段。
- CLOSE_WAIT 是什么? → 收到 FIN 没 close。
- 为什么内核不关? → 等应用决定,可能有未读数据。
- CLOSE_WAIT 多说明什么? → 应用泄漏。
- 怎么查? → ss/lsof/jstack/连接池指标。
- 调内核有用吗? → 没用。
- 常见泄漏点? → HTTP response、JDBC、Socket、异常路径。
- 怎么预防? → try-with-resources、超时、泄漏检测。
- CLOSE_WAIT 会自己消失吗? → 应用 close 才消失。
- fd 耗尽什么现象? → too many open files。
- ulimit 调大有帮助吗? → 缓解,不解决泄漏。
- HTTP keep-alive 和 TCP keepalive? → 连接复用 vs 内核探测。
- keep-alive 谁先关? → 客户端应早于服务端。
- Tomcat 默认超时? → connectionTimeout 60s,keepAliveTimeout 同。
- Nginx 默认? → keepalive_timeout 75s。
- 谁先关的坑? → 服务端先关 → 服务端 TIME_WAIT + 客户端复用到死连接。
- 数据库连接池? → maxLifetime < wait_timeout。
- HikariCP 默认? → maxLifetime 30min、idleTimeout 10min。
- 泄漏检测怎么开? → leakDetectionThreshold > 0。
- RPC 长连接? → 减少 TIME_WAIT、要心跳。
- HTTP/2 有帮助吗? → 多路复用减少连接数。
- 容器里怎么查? → ss/
/proc/net/tcp,注意 network namespace。 - NAT 下有什么坑? → 时间戳、tw_reuse、连接跟踪表满。
- LB 视角? → 后端连接数、idle 超时对齐。
- 怎么监控? → ss 采集、端口使用率、fd 使用率。
- 告警阈值怎么定? → 相对基线 + 端口/fd 水位。
- 压测能复现吗? → 短连接压测可复现 TIME_WAIT。
- 怎么验证修复? → TIME_WAIT/CLOSE_WAIT 曲线回落。
- TIME_WAIT 影响吞吐吗? → 端口未耗尽前影响很小。
- RST 和 TIME_WAIT 关系? → 强制关闭不发 FIN,无 TIME_WAIT。
- SO_LINGER=0? → 发 RST,跳过后半段挥手。
- 服务端重启后大量 TIME_WAIT? → 主动关闭了所有连接。
- 长连接空闲被中间设备断? → 心跳保活。
- 怎么讲成排查故事? → 现象→ss→角色判断→改模型→验证。
- 先改代码还是先调内核? → 先模型/代码,内核最后。
- 一句话总结? → TIME_WAIT 是关得多,CLOSE_WAIT 是没关。
生产案例/取舍(示例,替换成你的项目):
- 服务调用 QPS 3k、短连接,
TIME_WAIT6 万,偶发Cannot assign requested address;改连接池后降到千级。 - 服务端
TIME_WAIT集中在 8080 本地端口,定位 TomcatkeepAliveTimeout60s 小于 Nginx 75s,服务端先关;调大 Tomcat 或调小 Nginx。 CLOSE_WAIT两天涨到 3 万,lsof显示大量 socket,定位 Apache HttpClient 未关闭 response;统一EntityUtils.consume+ try-with-resources。- JDBC 连接在异常分支没关,
CLOSE_WAIT缓慢增长,最终too many open files;连接池开泄漏检测并修 finally。 - 数据库侧
TIME_WAIT多,HikariCPmaxLifetime配成 12h、大于 MySQLwait_timeout8h,服务端先关;改为 30min 并观察。 - 运维开启
tcp_tw_recycle后 NAT 用户随机超时;升级内核(4.12+ 已无此参数)并关闭。 - 端口段只有默认 2.8 万,单目标 QPS 超过 400 就报错;扩到
10240–65000并加出口 IP。 - 某接口
CLOSE_WAIT高但连接池指标正常,jstack发现线程卡在无超时的读;补读超时。 - 容器内
netstat不存在,排障脚本改用ss与/proc/net/tcp。 - 长连接被 LB 静默断开,客户端复用到死连接报
Connection reset;加心跳 + 客户端先关。 - 取舍:连接池换复用,代价是连接管理与超时对齐;调大服务端 keepalive 换少 TIME_WAIT,代价是占用连接更久;扩端口换容量,代价是 NAT/安全策略;
tw_reuse换复用,代价是 NAT 风险;提高 ulimit 换时间,代价是掩盖泄漏。
- 服务调用 QPS 3k、短连接,
易错点:
- 认为 TIME_WAIT 是内核 bug。
- 认为 TIME_WAIT 一定有害。
- 认为 TIME_WAIT 出现在被动关闭方。
- 认为服务端不会有 TIME_WAIT。
- 认为 TIME_WAIT 可以用
tcp_fin_timeout调短。 - 认为 2MSL 可以随意改。
- 认为所有系统 TIME_WAIT 都是 60s。
- 认为
tcp_tw_recycle可以开。 - 认为
tcp_tw_reuse没有任何风险。 - 认为 NAT 下复用 TIME_WAIT 没问题。
- 认为 TIME_WAIT 多就加机器。
- 认为加机器一定能解决端口耗尽。
- 认为 CLOSE_WAIT 多要调内核。
- 认为 CLOSE_WAIT 会自己消失。
- 认为 CLOSE_WAIT 是网络问题。
- 认为 CLOSE_WAIT 和 TIME_WAIT 是一回事。
- 认为
close()一定关闭连接(还有引用/未读数据)。 - 认为 HTTP 响应不读也没关系。
- 认为连接池归还了就一定关闭。
- 认为
ulimit -n调大就解决了泄漏。 - 认为 keep-alive 等于 TCP keepalive。
- 认为客户端和服务端谁先关无所谓。
- 认为服务端 keepalive 越长越好。
- 认为连接池越大越好。
- 认为
maxLifetime可以随便大于wait_timeout。 - 认为容器里一定能用 netstat。
- 认为
ss看到的就是全部(namespace/LB 视角)。 - 认为 TIME_WAIT 会拖慢吞吐(未耗尽端口时影响很小)。
- 认为 RST 关闭也会产生 TIME_WAIT。
- 认为排查要从调参数开始。
30 秒口述稿:
TIME_WAIT 和 CLOSE_WAIT 要看它出现在哪一方。TIME_WAIT 只在主动关闭方,等 2MSL,Linux 是 60 秒;数量多说明连接关得太多太快,常见是短连接高 QPS、连接池复用不足,或者服务端 idle 超时比客户端短导致服务端先关。判断方法看本地端口:是 80、8080 这种服务端口,说明本机服务端主动关;是随机高端口,说明本机作为客户端在发短连接。处理顺序是先改连接模型和对齐超时,再扩端口段,
tcp_tw_reuse只在出向且带时间戳时谨慎用,tcp_tw_recycle在 4.12 已经移除。CLOSE_WAIT 是收到 FIN 后应用没 close,调内核没用,只能查代码和连接池,常见是 HTTP 响应没消费、异常路径没关连接,靠 try-with-resources 和泄漏检测解决。
- 3 分钟展开顺序:结论(TIME_WAIT=关得多,CLOSE_WAIT=没关)→ 两个状态在挥手里的位置与归属 → TIME_WAIT 的五类成因 → 用本地端口/对端聚合判断角色 → 端口耗尽的算术 → TIME_WAIT 的处理优先级与参数边界(
tw_recycle已移除)→ CLOSE_WAIT 的泄漏链与常见代码点 → 用ss/lsof/jstack/连接池指标定位 → idle 超时对齐原则(客户端先关)→ 监控、压测复现与案例。