Appearance
2.4-6 线程池:源码、参数、拒绝策略、隔离、监控、优雅关闭
所属:02 Java 运行时 / 2.4 并发 分级:A 状态:◐ 初稿 关联:2.4-3、2.4-5、2.4-7、2.4-10、2.4-11、2.4-13
题型:原理 / 场景 / 排查
一句话结论:ThreadPoolExecutor 用
ctl把运行状态和 worker 数打包进一个原子整数,核心流程是“核心线程未满建核心线程 → 否则入队 → 队列满再扩到 maximum → 再满走拒绝策略”;参数、队列和拒绝策略共同决定吞吐、延迟和稳定性,生产上要用有界队列、命名线程、隔离池、监控和优雅关闭,而不是直接用Executors的默认工厂。分层要点:
- 核心结构与 ctl:
ThreadPoolExecutor的关键字段是ctl(AtomicInteger)、workQueue、workers、mainLock、handler、threadFactory、keepAliveTime、allowCoreThreadTimeOut。ctl高 3 位存 runState,低 29 位存 workerCount:COUNT_BITS=29,CAPACITY=(1<<29)-1。runState 有 RUNNING、SHUTDOWN、STOP、TIDYING、TERMINATED,数值上依次递增,代码用runStateAtLeast比较。mainLock保护 workers 集合、largestPoolSize、completedTaskCount;worker 自己还有一把 AQS 非重入锁。 - execute 的主流程:先看
workerCountOf(c) < corePoolSize,是就addWorker(command, true)建核心线程;核心满了就workQueue.offer(command)入队;入队成功后要 recheck:如果线程池已经 shutdown 且任务还能从队列移除,就拒绝;如果 worker 数为 0,就补一个addWorker(null, false)。队列满时才尝试addWorker(command, false)扩到 maximumPoolSize;再失败才调用拒绝策略。关键结论:队列满之前不会扩到 max,所以无界队列会让 maximumPoolSize 失效。 - Worker 与任务执行:Worker 继承 AQS,state 用 0/1 表示是否持有,构造时设为 -1 禁止启动前被中断,
tryAcquire只允许 0→1,因此是非重入锁。runWorker先unlock允许中断,再循环getTask;拿到任务后lock,检查 STOP/中断,执行beforeExecute、task.run()、afterExecute,最后completedTasks++。getTask根据allowCoreThreadTimeOut或wc > corePoolSize决定用poll(keepAlive)还是take();超时返回 null 后 worker 退出。processWorkerExit负责移除 worker、tryTerminate,必要时补充最小 worker。 - 参数、队列与拒绝策略:7 个构造参数是 corePoolSize、maximumPoolSize、keepAliveTime、unit、workQueue、threadFactory、handler;另有
allowCoreThreadTimeOut。队列决定池的行为:SynchronousQueue 不存储、直接 handoff,配合大 max 形成弹性池;ArrayBlockingQueue 有界 FIFO;LinkedBlockingQueue 可界可无界,默认近似无界;PriorityBlockingQueue 按优先级;DelayQueue 延迟任务。拒绝策略:AbortPolicy 抛RejectedExecutionException(默认);CallerRunsPolicy 让提交线程自己跑,形成背压但可能阻塞上游;DiscardPolicy 静默丢弃;DiscardOldestPolicy 丢队头再重试。生产上更推荐 Abort + 监控 + 自定义降级。 - 容量估算、动态调参、隔离与监控:CPU 密集型大约 N+1,IO 密集型用 N×(1+等待时间/计算时间) 或按目标利用率估算,最终要靠压测和线上指标校准;队列容量是延迟和内存的取舍。隔离上按业务/下游拆池,配合有界队列、超时、熔断、信号量,避免一个慢依赖拖垮所有接口;不要让所有任务共用同一个池,也不要让
CompletableFuture默认 commonPool 承担阻塞任务。动态调参可改 core/max/keepAlive/handler,setCorePoolSize/setMaximumPoolSize会调整 worker;但队列容量通常不可变(ArrayBlockingQueue/LinkedBlockingQueue 的 capacity 是 final),需要自定义可扩容队列或重建线程池;调参要配合监控,避免 core > max 这类不一致配置。监控看 activeCount、poolSize、queue.size、completedTaskCount、largestPoolSize、拒绝数、排队时长和任务耗时;用命名 ThreadFactory、Micrometer、jstack、JFR 定位。 - 生命周期与优雅关闭:
shutdown()进入 SHUTDOWN,不再接新任务,但会执行完队列里的任务,并中断空闲 worker;shutdownNow()进入 STOP,中断所有 worker、清空队列并返回未执行任务,但任务是否真的停止取决于它是否响应中断。awaitTermination等待 TERMINATED;tryTerminate在所有 worker 退出且队列满足条件时走 TIDYING → TERMINATED。生产要配合 shutdown hook、Kubernetes preStop、Spring 的waitForTasksToCompleteOnShutdown/awaitTerminationSeconds,先摘流量再停池,避免任务丢失。
- 核心结构与 ctl:
图/流程:
text
execute(command)
│
├─ workerCount < corePoolSize
│ ├─ addWorker(command, true) 成功 → 结束
│ └─ 失败(race/shutdown)→ 继续
│
├─ 核心已满或建核心失败 → workQueue.offer(command)
│ ├─ 成功
│ │ ├─ 已 shutdown 且 remove 成功 → reject
│ │ └─ workerCount == 0 → addWorker(null, false)
│ └─ 失败(队列满)
│ ├─ workerCount < maximumPoolSize → addWorker(command, false)
│ └─ 否则 → reject(command)text
ctl(32 位)
┌──────────────┬──────────────────────────────┐
│ 高 3 位状态 │ 低 29 位 workerCount │
└──────────────┴──────────────────────────────┘
runState:RUNNING → SHUTDOWN → STOP → TIDYING → TERMINATED- runState 表:
| 状态 | 行为 |
|---|---|
| RUNNING | 接收新任务,处理队列任务 |
| SHUTDOWN | 不接收新任务,继续处理队列任务 |
| STOP | 不接收新任务,不处理队列任务,中断执行中任务 |
| TIDYING | 所有任务结束、workerCount 为 0,准备执行 terminated() |
| TERMINATED | terminated() 执行完毕 |
- 队列对比表:
| 队列 | 特点 | 风险/适用 |
|---|---|---|
| SynchronousQueue | 不存储,直接 handoff | 配合大 max 做弹性池;max 过大可能线程爆炸 |
| ArrayBlockingQueue | 有界 FIFO | 容量固定,适合明确背压 |
| LinkedBlockingQueue | 可界可无界,默认近似无界 | 无界会 OOM,且 max 失效 |
| PriorityBlockingQueue | 按优先级出队 | 无界,任务需可比较 |
| DelayQueue | 延迟任务 | 无界,适合定时/重试 |
| LinkedTransferQueue | 支持 transfer | 高吞吐 handoff,使用场景较特殊 |
- 拒绝策略表:
| 策略 | 行为 | 取舍 |
|---|---|---|
| AbortPolicy | 抛 RejectedExecutionException | 默认,失败可见;调用方要处理 |
| CallerRunsPolicy | 提交线程自己执行 | 背压明显,但可能阻塞上游/事件循环 |
| DiscardPolicy | 静默丢弃 | 不推荐,容易丢关键任务 |
| DiscardOldestPolicy | 丢队头再重试 | 可能丢重要任务;优先级队列下语义更怪 |
| 自定义 | 记录、降级、落盘、转异步 | 生产常用,需可观测 |
- 参数与容量表:
| 参数 | 作用 | 常见误区 |
|---|---|---|
| corePoolSize | 常驻核心线程数 | 核心线程默认懒创建,不是构造就建 |
| maximumPoolSize | 最大线程数 | 无界队列下基本不生效 |
| keepAliveTime | 非核心线程空闲存活时间 | allowCoreThreadTimeOut(true) 后核心也受控 |
| workQueue | 排队策略 | 队列容量决定延迟、内存和是否触发扩容 |
| threadFactory | 线程命名/daemon/异常处理 | 不命名会导致 jstack 无法定位 |
| handler | 拒绝策略 | 静默丢弃会掩盖容量问题 |
追问链:
- 线程池 execute 的完整流程? → 核心未满建核心线程;核心满入队;入队成功 recheck shutdown/worker 数;队列满扩到 max;仍失败走拒绝策略。
- 为什么无界队列会让 maximumPoolSize 失效? → 队列永远 offer 成功,代码走不到
addWorker(command, false),线程数最多停在 corePoolSize;任务在队列里堆积,延迟和内存持续上升。 - 核心线程是构造时就创建吗? → 不是,默认懒创建;可以
prestartCoreThread/prestartAllCoreThreads预热,或开启核心线程超时。 - Worker 为什么继承 AQS? → 用一把非重入的 0/1 锁保护 worker 的中断状态和任务执行;
interruptIdleWorkers通过tryLock判断是否空闲,避免误中断正在执行的任务。 - getTask 怎么处理超时和关闭? → SHUTDOWN 且队列空、或 STOP 时返回 null 让 worker 退出;timed 模式用 poll,否则 take;超时后下一轮递减 workerCount 并退出。
- shutdown 和 shutdownNow 有什么区别? → shutdown 是 SHUTDOWN,不接新任务但执行完队列;shutdownNow 是 STOP,中断所有 worker、清空队列并返回未执行任务。
- tryTerminate 什么时候执行? → worker 退出、队列为空且状态满足时,把状态从 SHUTDOWN/STOP 推到 TIDYING,调用
terminated(),再推到 TERMINATED 并唤醒awaitTermination。 - 四种拒绝策略怎么选? → 默认 Abort 让失败可见;需要背压可用 CallerRuns,但要防阻塞上游;Discard 系列会丢任务,生产应自定义记录/降级。
- CallerRunsPolicy 有什么坑? → 提交线程自己跑任务,可能阻塞 Web 容器线程、事件循环或上游 RPC;但它能把压力反传,避免队列无限增长。
- 线程池大小怎么估? → CPU 密集约 N+1;IO 密集按 N×(1+W/C) 或目标利用率估算;最终用压测、CPU、队列等待、TP99 校准。
- 怎么做线程池隔离? → 按业务/下游拆独立池,设置有界队列、超时、熔断、信号量;避免一个慢依赖占满公共池。
- 线程池监控看什么? → active、poolSize、queue size、completed、largest、拒绝数、排队时长、任务耗时;配合命名线程、Micrometer、jstack、JFR。
- 怎么优雅关闭? → 先停止接流量,
shutdown(),awaitTermination等待,超时再shutdownNow();配合 shutdown hook、K8s preStop、Spring 配置。 - Executors 工厂有什么问题? →
newFixedThreadPool/newSingleThreadExecutor用无界队列,可能 OOM;newCachedThreadPoolmax 接近无限,可能线程爆炸;生产应显式 new ThreadPoolExecutor。 - ScheduledThreadPoolExecutor 有什么特殊坑? → 使用 DelayedWorkQueue,max 基本无效;任务抛异常会抑制后续周期执行;取消任务默认可能留在队列,需
setRemoveOnCancelPolicy(true)。 - 线程池里 ThreadLocal/MDC 会怎样? → 线程复用会残留上下文,必须
remove();异步任务用 TaskDecorator/TransmittableThreadLocal 传递,避免内存泄漏和串日志。 - CompletableFuture 默认用什么线程池? → 默认
ForkJoinPool.commonPool;阻塞任务会占满公共池,应传自定义 Executor。 - 虚拟线程还需要线程池吗? → JDK 21 可用
newVirtualThreadPerTaskExecutor做 thread-per-task,不需要池化虚拟线程;用 Semaphore 控并发,注意 synchronized pinning 和 ThreadLocal。 - 线程池能动态调参吗? → core/max/keepAlive/handler 可以动态调整;队列容量通常不可变(ArrayBlockingQueue/LinkedBlockingQueue 的 capacity 是 final),需要自定义可扩容队列或重建线程池;调参后要观察 worker 数、队列和拒绝数。
生产案例/取舍(示例,替换成你的项目):
- 订单服务把所有异步任务放一个
newFixedThreadPool,大促时无界队列堆积导致 OOM;改成按业务拆池 + 有界 ArrayBlockingQueue + AbortPolicy + 监控,队列满时快速失败并降级。 - 下游 RPC 变慢,公共池被占满,其他接口一起超时;按下游拆池并加信号量/熔断,慢依赖只影响自己的池。
CallerRunsPolicy把任务回压到 Tomcat 线程,接口 RT 飙升但避免了任务丢失;后来改成“有界队列 + 快速失败 + 异步补偿”,保护上游。- 线程没有命名,jstack 里全是
pool-1-thread-x,故障定位困难;自定义 ThreadFactory 加上业务名和序号。 - 上线时直接
shutdownNow,队列里的订单任务丢失;改成先摘流量、shutdown、awaitTermination,超时才强制中断并记录未完成任务。 - 取舍:线程池不是越大越好;大队列换吞吐但增加延迟和内存,小队列快速失败但需要降级;隔离会增加资源成本,但能防止故障扩散。
- 订单服务把所有异步任务放一个
易错点:
- 认为 maximumPoolSize 一定会生效,忽略无界队列。
- 认为核心线程在构造时就创建。
- 用
Executors.newFixedThreadPool/newCachedThreadPool直接上生产。 - 拒绝策略选 Discard,任务丢了也没有日志。
- 以为
shutdownNow一定能立刻停止任务,忽略任务不响应中断。 - 不
awaitTermination,进程退出时任务被截断。 - 线程池里不清理 ThreadLocal/MDC,导致内存泄漏和日志串线。
- 所有业务共用一个池,慢依赖拖垮全局。
- 用
getActiveCount做精确计费/限流,它只是近似值。 - ScheduledThreadPoolExecutor 任务异常后不再执行,却没加 try/catch。
- 用
CompletableFuture默认池跑阻塞任务,占满 commonPool。
30 秒口述稿:
ThreadPoolExecutor 用 ctl 把运行状态和 worker 数打包,execute 的顺序是:核心未满建核心线程,核心满入队,队列满再扩到 max,仍失败走拒绝策略;所以无界队列会让 max 失效。Worker 继承 AQS 做非重入锁,runWorker 先解锁再 getTask,执行前后有钩子。生产上要用有界队列、命名线程、按业务隔离、监控 active/queue/拒绝/排队时长,关闭时先 shutdown 再 awaitTermination,超时才 shutdownNow。Executors 的默认工厂有 OOM 和线程爆炸风险,不建议直接用。
- 3 分钟展开顺序:结论(execute 顺序 + 有界队列)→ ctl/runState → execute 源码 → Worker/runWorker/getTask → 参数与队列 → 拒绝策略 → 容量估算、动态调参与隔离 → 监控 → shutdown/awaitTermination/shutdownNow → Executors 坑与虚拟线程。