Appearance
6.7-4 异步请求、同步返回结果的接口设计
所属:06 分布式与架构 / 6.7 系统设计 分级:A 状态:◐ 初稿 关联:6.7-1、6.7-3、6.5-1、6.5-5、6.1-4、6.5-11
题型:场景设计 / 原理
一句话结论:异步请求同步返回的本质是把长耗时处理从请求线程剥离,同时给客户端一个“可等待的结果句柄”:短任务用 Servlet 异步(
DeferredResult/CompletableFuture) 释放容器线程;长任务用 taskId + 轮询/长轮询;要实时进度用 SSE/WebSocket;跨系统用回调/Webhook。无论哪种,都必须有超时、幂等、结果缓存、失败补偿、线程池隔离——不能让客户端无限等,也不能让服务端无限占线程。分层要点:
- 问题本质:同步接口里,Tomcat 工作线程从收到请求到返回一直被占用;下游慢(RPC 3s、报表 30s)会把 200 个线程耗尽,后续请求全部排队,表现为“线程池打满、RT 飙升、雪崩”。异步化的目标是释放请求线程,但客户端仍要“同步”拿到结果,所以真正要设计的是两件事:等待方式(挂起、轮询、推送)和结果存放(内存、Redis、DB)。
- Servlet 异步:Servlet 3.1 的
AsyncContext让请求线程startAsync()后归还容器,业务线程处理完再complete();Spring MVC 封装为Callable(交给 TaskExecutor)、DeferredResult(业务线程setResult)、WebAsyncTask(可配超时/回调)、ResponseBodyEmitter/SseEmitter(流式)。超时由spring.mvc.async.request-timeout或DeferredResult构造参数控制,超时后要返回兜底结果。 - 任务化 + 轮询:提交接口立即返回
202 Accepted+taskId(Location: /tasks/{id}),客户端按间隔轮询GET /tasks/{id};任务状态机PENDING → RUNNING → SUCCESS / FAILED / TIMEOUT,结果存 Redis(带 TTL)或 DB。优点:简单、跨端、断线可恢复;缺点:有轮询延迟、无效请求多,需要退避 + 结果 TTL + 限流。 - 长轮询:客户端发起请求后服务端挂起(
DeferredResult不返回),有结果或到达超时(如 30s)才响应;比短轮询实时、比 WebSocket 简单。实现靠“任务完成事件 → 唤醒挂起的 DeferredResult”,事件源可以是本地ConcurrentHashMap<taskId, DeferredResult>、Redis Pub/Sub 或 MQ;要注意连接数、网关超时、挂起线程释放、超时后客户端重新发起。 - SSE / WebSocket:SSE 是 HTTP 上的单向流,自动重连、兼容性好,适合进度推送、通知、日志流;WebSocket 全双工,适合交互频繁的场景,但要管理连接、心跳、断线重连、网关升级。二者都不替代“提交任务”的接口,通常是“提交 + 订阅”组合;移动端/弱网还要考虑连接数与耗电。
- 回调 / Webhook:跨系统时,调用方提交任务并给出回调 URL,对方处理完 POST 回来;要签名验签、幂等、重试、公网可达、防重放。适合 B 端/开放平台,不适合 C 端同步体验;回调失败要有查询接口兜底。
- 生产要点:超时分三层(客户端、网关、服务端),服务端超时要返回明确状态;幂等用提交幂等键,重复提交返回同一
taskId,避免重复执行;结果缓存设 TTL,避免无限增长;线程池隔离(Web 线程池、业务线程池、回调线程池分开),防止一个慢依赖拖垮全部;背压/限流(队列满时快速失败或排队);监控等待时长、超时率、任务积压、线程池活跃数;降级(快速失败、排队页、结果页轮询)。 - 选型:耗时 < 1s 直接同步;1–30s 用
DeferredResult/CompletableFuture释放线程;分钟级用 taskId + 轮询/长轮询;需要实时进度用 SSE/WebSocket;跨系统用回调;JDK 21 虚拟线程让“阻塞代码”也能低成本扩展,能简化部分异步改造,但不解决下游超时与背压,仍要配超时/限流。
图/流程:
text
同步 vs 异步线程:
同步:请求线程 ────────── 等下游 3s ──────────▶ 返回(线程一直被占)
异步:请求线程 ──提交──▶ 归还线程池
业务线程 ──处理──▶ setResult/complete ──▶ 响应text
taskId 轮询状态机:
提交 → 202 + taskId → PENDING → RUNNING → SUCCESS / FAILED / TIMEOUT
客户端:GET /tasks/{id}(退避 1s/2s/4s…,最多 N 次)
结果存 Redis(TTL) / DB;重复提交同一幂等键返回同一 taskIdtext
长轮询:
客户端 GET /result?taskId=xxx
→ 服务端 DeferredResult 挂起(不占线程)
→ 任务完成:查 Map/Redis Pub/Sub → setResult
→ 30s 超时:返回 204/空,客户端重新发起text
SSE:
GET /tasks/{id}/events (Accept: text/event-stream)
→ data: {"progress":30}
→ data: {"progress":70}
→ data: {"status":"DONE","result":...}
自动重连;适合进度/通知,不替代提交接口版本/源码锚点:
- Servlet 3.1+
AsyncContext;Tomcat 10.1(Boot 3.x)、Jetty/Undertow 均支持。 - Spring MVC 6.x:
Callable、DeferredResult、WebAsyncTask、ResponseBodyEmitter、SseEmitter;配置spring.mvc.async.request-timeout(默认取决于容器,常见 30s 级)。 - JDK 21:虚拟线程(Loom),
Executors.newVirtualThreadPerTaskExecutor();Spring Boot 3.2+ 可开启spring.threads.virtual.enabled=true。 CompletableFuture(JDK 8+):supplyAsync、orTimeout、whenComplete、allOf。- Redis 7.x:结果缓存、Pub/Sub 唤醒;MQ(RocketMQ/Kafka)做任务队列与完成事件。
- WebSocket:Spring
WebSocketHandler/STOMP;SSE 注意代理缓冲(Nginxproxy_buffering off)。 - 相关:超时重试见 6.5-5;幂等见 6.1-4;可观测性见 6.5-11;压测见 6.5-1。
- Servlet 3.1+
方案对比:
| 方案 | 实时性 | 服务端成本 | 客户端复杂度 | 适用 |
|---|---|---|---|---|
| 同步阻塞 | 高 | 高(占线程) | 低 | 短耗时 |
Callable/DeferredResult | 高 | 中(释放请求线程) | 低 | 1–30s |
| taskId 轮询 | 低(间隔) | 低 | 中 | 分钟级、跨端 |
| 长轮询 | 中高 | 中(挂起连接) | 中 | 准实时、兼容性好 |
| SSE | 高(单向) | 中 | 中 | 进度/通知 |
| WebSocket | 高(双向) | 中高(连接管理) | 高 | 交互频繁 |
| 回调/Webhook | 取决于对方 | 低 | 高(公网/验签) | 跨系统 |
- 超时与状态:
| 层 | 配置 | 超时后行为 |
|---|---|---|
| 客户端 | 请求超时/轮询次数 | 提示、重试、查结果 |
| 网关 | proxy_read_timeout | 502/504,需与后端对齐 |
| 服务端异步 | DeferredResult 超时 | 返回兜底结果/错误码 |
| 任务本身 | 业务超时 | 置 TIMEOUT,补偿/告警 |
- 失效场景与定位:
| 现象 | 根因 | 处理 |
|---|---|---|
| 线程池打满、RT 飙升 | 同步等慢下游 | 异步化 + 隔离 + 超时 |
| 异步请求一直不返回 | 忘记 setResult/异常未处理 | 超时兜底 + 异常回调 |
| 客户端收到 504 | 网关超时早于服务端 | 对齐超时/改长轮询 |
| 重复提交重复执行 | 无幂等键 | 提交幂等 + 同一 taskId |
| 轮询打爆服务 | 间隔太短/无退避 | 退避 + 限流 + 长轮询 |
| 结果丢失 | 内存存储/实例重启 | 存 Redis/DB + TTL |
| 长轮询连接堆积 | 挂起不释放/客户端不重连 | 超时释放 + 连接数限制 |
| SSE 不实时 | 代理缓冲 | proxy_buffering off |
| 回调伪造 | 未验签 | 签名 + 时间戳 + nonce |
| 任务积压 | 消费能力不足 | 扩容 + 背压 + 优先级 |
深挖点(面试官常追的 6 个):
DeferredResult为什么能释放线程:请求进来后 Spring 调用startAsync()拿到AsyncContext,把请求交给业务线程/线程池,当前 Tomcat 线程立即归还;业务处理完调用setResult(),容器再派发一次(dispatch)完成响应。它不减少总工作量,但把“等待”从容器线程转移到业务线程/连接上,避免慢请求占满 Tomcat 线程。超时要设,否则客户端和服务端都悬着;异常要走onError/onTimeout回调。- 长轮询和短轮询怎么选:短轮询实现最简单、跨端兼容,但延迟取决于间隔,频繁轮询浪费请求;长轮询由服务端挂起 20–30s,有结果立即返回,实时性好、请求数少,但会占用连接、需要处理超时重连,网关/负载均衡的超时也要对齐。任务耗时秒级、客户端是浏览器/App 时,长轮询通常性价比最高;耗时分钟级、对实时性要求不高,短轮询 + 退避更简单。
- 怎么保证提交幂等:客户端生成幂等键(如业务单号 + 操作类型),服务端用唯一索引/Redis
SETNX占位;重复提交直接返回已有taskId,不重复执行。结果查询接口本身是幂等的(只读)。如果任务已失败,重试要区分“重新执行”还是“返回失败”,避免无限重跑;执行侧还要有任务状态机,防止同一任务被多个 worker 并发处理。 - 线程池为什么要隔离:Web 容器线程池、业务异步线程池、回调/通知线程池要分开;如果共用一个池,慢任务会把处理回调、健康检查的线程也占满,导致“异步了还是雪崩”。线程池要有界队列 + 拒绝策略(快速失败/降级),配合限流和背压;监控活跃线程、队列长度、拒绝次数。JDK 21 虚拟线程能降低“线程数”约束,但下游连接池、DB 连接仍是瓶颈,隔离依然必要。
- SSE、WebSocket、回调怎么选:SSE 是单向服务端推送、基于 HTTP、自动重连,适合进度/通知/日志,实现成本低;WebSocket 全双工,适合聊天、协同编辑、频繁交互,但要管理连接、心跳、鉴权、网关升级;回调/Webhook 适合跨系统异步通知,要求公网可达、签名验签、幂等重试,且必须有查询接口兜底。C 端一次性请求-响应通常不需要长连接,taskId 轮询/长轮询更稳。
- 超时、重试、补偿怎么闭环:客户端超时不等于任务失败,要有查询接口按
taskId查最终状态;服务端任务要有业务超时,超时置 TIMEOUT 并释放资源;重试必须幂等,且区分“提交重试”和“执行重试”;失败任务进死信/补偿队列,人工或定时修复;监控等待时长分布、超时率、任务积压、失败率。异步系统的正确性最终靠“状态可查 + 幂等 + 补偿”,而不是靠一次请求成功。
追问链:
- 为什么要异步? → 同步等慢下游占线程。
- 占线程会怎样? → 池满、排队、雪崩。
- 异步返回给谁? → 客户端仍要结果。
- 有哪几种等待方式? → 挂起、轮询、长轮询、推送、回调。
- Spring 怎么异步? →
DeferredResult/Callable。 - DeferredResult 原理? →
startAsync释放线程,setResult再派发。 - 超时怎么办? → 配置超时 + 兜底。
- 异常怎么办? →
onError/全局处理。 - taskId 模式? → 202 + 查询接口。
- 状态机? → PENDING/RUNNING/SUCCESS/FAILED/TIMEOUT。
- 结果存哪? → Redis/DB + TTL。
- 轮询间隔? → 退避 1/2/4s。
- 轮询太多? → 长轮询/限流。
- 长轮询原理? → 服务端挂起,事件唤醒。
- 怎么唤醒? → Map/Redis Pub/Sub/MQ。
- 长轮询超时? → 20–30s 返回空,客户端重发。
- 连接堆积? → 超时释放 + 限制。
- SSE 是什么? → HTTP 单向流。
- SSE 优点? → 自动重连、简单。
- SSE 坑? → 代理缓冲、连接数。
- WebSocket 呢? → 全双工、连接管理。
- 何时用 WS? → 频繁双向交互。
- 回调/Webhook? → 跨系统通知。
- 回调风险? → 伪造、丢失、重放。
- 怎么防? → 验签、幂等、重试。
- 提交幂等? → 幂等键 + 唯一索引。
- 重复提交? → 返回同一 taskId。
- 任务重复执行? → 状态机 + 锁。
- 线程池要隔离吗? → 要,Web/业务/回调分开。
- 队列满了? → 拒绝/降级/背压。
- 虚拟线程有用吗? → 降低线程成本,不解决下游瓶颈。
- 超时分层? → 客户端/网关/服务端。
- 客户端超时=失败吗? → 不等于,要查任务。
- 重试会重复吗? → 幂等就不回。
- 失败补偿? → 死信/定时/人工。
- 怎么监控? → 等待时长/超时率/积压。
- 怎么压测? → 慢下游 + 并发。
- 网关超时? → 与后端对齐/调大。
- 移动端弱网? → 轮询/断线重连。
- 结果 TTL 多久? → 按业务,几小时~几天。
- 任务优先级? → 多队列/权重。
- 异步和事务? → 别在异步线程里持有事务。
- MDC/ThreadLocal? → 异步会丢,要传递。
- 安全上下文? → 异步线程要透传。
- 能全异步吗? → 简单查询没必要。
- 同步更简单的场景? → 短耗时、强实时。
- 选型看什么? → 耗时、实时性、客户端能力。
- 面试怎么总结? → 释放线程 → 等待方式 → 幂等 → 超时 → 补偿。
- 最终一致性? → 状态可查 + 对账。
- 一句话本质? → 异步执行、同步语义、可靠查询。
生产案例/取舍(示例,替换成你的项目):
- 报表接口同步跑 30s,Tomcat 线程打满;改
DeferredResult+ 业务线程池。 - 异步接口忘记
setResult,客户端一直转圈;加超时兜底 + 异常回调。 - 网关 30s 超时早于服务端 60s,客户端大量 504;对齐超时或改 taskId。
- 重复点击生成多个任务;幂等键 + 唯一索引,返回同一 taskId。
- 轮询间隔 200ms,QPS 放大 5 倍;改退避 + 长轮询。
- 任务结果存 JVM 内存,实例重启全丢;改 Redis + TTL。
- 长轮询连接堆积,LB 连接数打满;超时释放 + 限制并发。
- SSE 经过 Nginx 不实时;关
proxy_buffering。 - 回调未验签被伪造,触发重复发货;签名 + 时间戳 + nonce。
- 异步线程池与 Web 线程池共用,慢任务拖垮健康检查;拆分隔离。
- 虚拟线程上线后 DB 连接池成瓶颈;扩连接池 + 限流。
- 取舍:同步换简单实时,代价是线程占用;DeferredResult 换线程释放,代价是复杂度;轮询换简单,代价是延迟与无效请求;长轮询换实时,代价是连接;SSE/WS 换推送,代价是连接管理;回调换解耦,代价是公网与验签。
- 报表接口同步跑 30s,Tomcat 线程打满;改
易错点:
- 认为异步就是开个线程。
- 认为异步一定更快。
- 认为
DeferredResult减少了总工作量。 - 认为异步不用设超时。
- 认为
setResult一定会被调用。 - 认为异步线程能拿到 ThreadLocal。
- 认为异步线程里事务还生效。
- 认为客户端超时等于任务失败。
- 认为轮询越频繁越好。
- 认为轮询不需要退避。
- 认为结果可以只存内存。
- 认为 taskId 不需要幂等。
- 认为重复提交无所谓。
- 认为长轮询不占连接。
- 认为长轮询不需要超时。
- 认为 SSE 没有代理问题。
- 认为 WebSocket 和 SSE 等价。
- 认为 WebSocket 不用心跳。
- 认为回调一定送达。
- 认为回调不用验签。
- 认为 Webhook 不需要幂等。
- 认为线程池可以共用一个。
- 认为队列可以无限长。
- 认为虚拟线程能解决所有并发问题。
- 认为异步能替代限流。
- 认为异步不需要监控。
- 认为网关超时与后端无关。
- 认为所有接口都该异步。
- 认为异步就没有一致性问题。
- 认为有结果查询就不需要补偿。
30 秒口述稿:
异步请求同步返回,本质是把长耗时处理从请求线程剥离,同时给客户端一个可等待的结果句柄。短任务用 Spring 的
DeferredResult或CompletableFuture,请求线程startAsync后归还容器,业务线程处理完setResult再派发响应;长任务用 taskId,提交返回 202,客户端轮询或长轮询查结果,状态机是 PENDING、RUNNING、SUCCESS、FAILED、TIMEOUT;要实时进度用 SSE 或 WebSocket,跨系统用回调。工程上必须有超时、幂等提交、结果 TTL、线程池隔离和失败补偿,客户端超时不等于任务失败,要能按 taskId 查最终状态。JDK 21 虚拟线程能降低线程成本,但下游连接池和背压仍是瓶颈。
- 3 分钟展开顺序:结论(释放线程 + 等待方式 + 可靠性)→ 同步阻塞的线程模型与雪崩 → Servlet 异步与
DeferredResult原理 → taskId 轮询的状态机、结果存储与退避 → 长轮询的挂起/唤醒/超时 → SSE/WebSocket/回调的适用边界 → 幂等提交与任务防重 → 线程池隔离、背压、限流 → 超时分层、重试、补偿与监控 → 虚拟线程的影响 → 选型与案例。