Skip to content

6.7-4 异步请求、同步返回结果的接口设计 ​

所属:06 分布式与架构 / 6.7 系统设计 分级:A 状态:◐ 初稿 关联:6.7-1、6.7-3、6.5-1、6.5-5、6.1-4、6.5-11

  • 题型:场景设计 / 原理

  • 一句话结论:异步请求同步返回的本质是把长耗时处理从请求线程剥离,同时给客户端一个“可等待的结果句柄”:短任务用 Servlet 异步(DeferredResult/CompletableFuture) 释放容器线程;长任务用 taskId + 轮询/长轮询;要实时进度用 SSE/WebSocket;跨系统用回调/Webhook。无论哪种,都必须有超时、幂等、结果缓存、失败补偿、线程池隔离——不能让客户端无限等,也不能让服务端无限占线程。

  • 分层要点:

    1. 问题本质:同步接口里,Tomcat 工作线程从收到请求到返回一直被占用;下游慢(RPC 3s、报表 30s)会把 200 个线程耗尽,后续请求全部排队,表现为“线程池打满、RT 飙升、雪崩”。异步化的目标是释放请求线程,但客户端仍要“同步”拿到结果,所以真正要设计的是两件事:等待方式(挂起、轮询、推送)和结果存放(内存、Redis、DB)。
    2. Servlet 异步:Servlet 3.1 的 AsyncContext 让请求线程 startAsync() 后归还容器,业务线程处理完再 complete();Spring MVC 封装为 Callable(交给 TaskExecutor)、DeferredResult(业务线程 setResult)、WebAsyncTask(可配超时/回调)、ResponseBodyEmitter/SseEmitter(流式)。超时由 spring.mvc.async.request-timeout 或 DeferredResult 构造参数控制,超时后要返回兜底结果。
    3. 任务化 + 轮询:提交接口立即返回 202 Accepted + taskId(Location: /tasks/{id}),客户端按间隔轮询 GET /tasks/{id};任务状态机 PENDING → RUNNING → SUCCESS / FAILED / TIMEOUT,结果存 Redis(带 TTL)或 DB。优点:简单、跨端、断线可恢复;缺点:有轮询延迟、无效请求多,需要退避 + 结果 TTL + 限流。
    4. 长轮询:客户端发起请求后服务端挂起(DeferredResult 不返回),有结果或到达超时(如 30s)才响应;比短轮询实时、比 WebSocket 简单。实现靠“任务完成事件 → 唤醒挂起的 DeferredResult”,事件源可以是本地 ConcurrentHashMap<taskId, DeferredResult>、Redis Pub/Sub 或 MQ;要注意连接数、网关超时、挂起线程释放、超时后客户端重新发起。
    5. SSE / WebSocket:SSE 是 HTTP 上的单向流,自动重连、兼容性好,适合进度推送、通知、日志流;WebSocket 全双工,适合交互频繁的场景,但要管理连接、心跳、断线重连、网关升级。二者都不替代“提交任务”的接口,通常是“提交 + 订阅”组合;移动端/弱网还要考虑连接数与耗电。
    6. 回调 / Webhook:跨系统时,调用方提交任务并给出回调 URL,对方处理完 POST 回来;要签名验签、幂等、重试、公网可达、防重放。适合 B 端/开放平台,不适合 C 端同步体验;回调失败要有查询接口兜底。
    7. 生产要点:超时分三层(客户端、网关、服务端),服务端超时要返回明确状态;幂等用提交幂等键,重复提交返回同一 taskId,避免重复执行;结果缓存设 TTL,避免无限增长;线程池隔离(Web 线程池、业务线程池、回调线程池分开),防止一个慢依赖拖垮全部;背压/限流(队列满时快速失败或排队);监控等待时长、超时率、任务积压、线程池活跃数;降级(快速失败、排队页、结果页轮询)。
    8. 选型:耗时 < 1s 直接同步;1–30s 用 DeferredResult/CompletableFuture 释放线程;分钟级用 taskId + 轮询/长轮询;需要实时进度用 SSE/WebSocket;跨系统用回调;JDK 21 虚拟线程让“阻塞代码”也能低成本扩展,能简化部分异步改造,但不解决下游超时与背压,仍要配超时/限流。
  • 图/流程:

text
同步 vs 异步线程:
  同步:请求线程 ────────── 等下游 3s ──────────▶ 返回(线程一直被占)
  异步:请求线程 ──提交──▶ 归还线程池
        业务线程 ──处理──▶ setResult/complete ──▶ 响应
text
taskId 轮询状态机:
  提交 → 202 + taskId → PENDING → RUNNING → SUCCESS / FAILED / TIMEOUT
  客户端:GET /tasks/{id}(退避 1s/2s/4s…,最多 N 次)
  结果存 Redis(TTL) / DB;重复提交同一幂等键返回同一 taskId
text
长轮询:
  客户端 GET /result?taskId=xxx
      → 服务端 DeferredResult 挂起(不占线程)
      → 任务完成:查 Map/Redis Pub/Sub → setResult
      → 30s 超时:返回 204/空,客户端重新发起
text
SSE:
  GET /tasks/{id}/events  (Accept: text/event-stream)
      → data: {"progress":30}
      → data: {"progress":70}
      → data: {"status":"DONE","result":...}
  自动重连;适合进度/通知,不替代提交接口
  • 版本/源码锚点:

    • Servlet 3.1+ AsyncContext;Tomcat 10.1(Boot 3.x)、Jetty/Undertow 均支持。
    • Spring MVC 6.x:Callable、DeferredResult、WebAsyncTask、ResponseBodyEmitter、SseEmitter;配置 spring.mvc.async.request-timeout(默认取决于容器,常见 30s 级)。
    • JDK 21:虚拟线程(Loom),Executors.newVirtualThreadPerTaskExecutor();Spring Boot 3.2+ 可开启 spring.threads.virtual.enabled=true。
    • CompletableFuture(JDK 8+):supplyAsync、orTimeout、whenComplete、allOf。
    • Redis 7.x:结果缓存、Pub/Sub 唤醒;MQ(RocketMQ/Kafka)做任务队列与完成事件。
    • WebSocket:Spring WebSocketHandler/STOMP;SSE 注意代理缓冲(Nginx proxy_buffering off)。
    • 相关:超时重试见 6.5-5;幂等见 6.1-4;可观测性见 6.5-11;压测见 6.5-1。
  • 方案对比:

方案实时性服务端成本客户端复杂度适用
同步阻塞高高(占线程)低短耗时
Callable/DeferredResult高中(释放请求线程)低1–30s
taskId 轮询低(间隔)低中分钟级、跨端
长轮询中高中(挂起连接)中准实时、兼容性好
SSE高(单向)中中进度/通知
WebSocket高(双向)中高(连接管理)高交互频繁
回调/Webhook取决于对方低高(公网/验签)跨系统
  • 超时与状态:
层配置超时后行为
客户端请求超时/轮询次数提示、重试、查结果
网关proxy_read_timeout502/504,需与后端对齐
服务端异步DeferredResult 超时返回兜底结果/错误码
任务本身业务超时置 TIMEOUT,补偿/告警
  • 失效场景与定位:
现象根因处理
线程池打满、RT 飙升同步等慢下游异步化 + 隔离 + 超时
异步请求一直不返回忘记 setResult/异常未处理超时兜底 + 异常回调
客户端收到 504网关超时早于服务端对齐超时/改长轮询
重复提交重复执行无幂等键提交幂等 + 同一 taskId
轮询打爆服务间隔太短/无退避退避 + 限流 + 长轮询
结果丢失内存存储/实例重启存 Redis/DB + TTL
长轮询连接堆积挂起不释放/客户端不重连超时释放 + 连接数限制
SSE 不实时代理缓冲proxy_buffering off
回调伪造未验签签名 + 时间戳 + nonce
任务积压消费能力不足扩容 + 背压 + 优先级
  • 深挖点(面试官常追的 6 个):

    1. DeferredResult 为什么能释放线程:请求进来后 Spring 调用 startAsync() 拿到 AsyncContext,把请求交给业务线程/线程池,当前 Tomcat 线程立即归还;业务处理完调用 setResult(),容器再派发一次(dispatch)完成响应。它不减少总工作量,但把“等待”从容器线程转移到业务线程/连接上,避免慢请求占满 Tomcat 线程。超时要设,否则客户端和服务端都悬着;异常要走 onError/onTimeout 回调。
    2. 长轮询和短轮询怎么选:短轮询实现最简单、跨端兼容,但延迟取决于间隔,频繁轮询浪费请求;长轮询由服务端挂起 20–30s,有结果立即返回,实时性好、请求数少,但会占用连接、需要处理超时重连,网关/负载均衡的超时也要对齐。任务耗时秒级、客户端是浏览器/App 时,长轮询通常性价比最高;耗时分钟级、对实时性要求不高,短轮询 + 退避更简单。
    3. 怎么保证提交幂等:客户端生成幂等键(如业务单号 + 操作类型),服务端用唯一索引/Redis SETNX 占位;重复提交直接返回已有 taskId,不重复执行。结果查询接口本身是幂等的(只读)。如果任务已失败,重试要区分“重新执行”还是“返回失败”,避免无限重跑;执行侧还要有任务状态机,防止同一任务被多个 worker 并发处理。
    4. 线程池为什么要隔离:Web 容器线程池、业务异步线程池、回调/通知线程池要分开;如果共用一个池,慢任务会把处理回调、健康检查的线程也占满,导致“异步了还是雪崩”。线程池要有界队列 + 拒绝策略(快速失败/降级),配合限流和背压;监控活跃线程、队列长度、拒绝次数。JDK 21 虚拟线程能降低“线程数”约束,但下游连接池、DB 连接仍是瓶颈,隔离依然必要。
    5. SSE、WebSocket、回调怎么选:SSE 是单向服务端推送、基于 HTTP、自动重连,适合进度/通知/日志,实现成本低;WebSocket 全双工,适合聊天、协同编辑、频繁交互,但要管理连接、心跳、鉴权、网关升级;回调/Webhook 适合跨系统异步通知,要求公网可达、签名验签、幂等重试,且必须有查询接口兜底。C 端一次性请求-响应通常不需要长连接,taskId 轮询/长轮询更稳。
    6. 超时、重试、补偿怎么闭环:客户端超时不等于任务失败,要有查询接口按 taskId 查最终状态;服务端任务要有业务超时,超时置 TIMEOUT 并释放资源;重试必须幂等,且区分“提交重试”和“执行重试”;失败任务进死信/补偿队列,人工或定时修复;监控等待时长分布、超时率、任务积压、失败率。异步系统的正确性最终靠“状态可查 + 幂等 + 补偿”,而不是靠一次请求成功。
  • 追问链:

    1. 为什么要异步? → 同步等慢下游占线程。
    2. 占线程会怎样? → 池满、排队、雪崩。
    3. 异步返回给谁? → 客户端仍要结果。
    4. 有哪几种等待方式? → 挂起、轮询、长轮询、推送、回调。
    5. Spring 怎么异步? → DeferredResult/Callable。
    6. DeferredResult 原理? → startAsync 释放线程,setResult 再派发。
    7. 超时怎么办? → 配置超时 + 兜底。
    8. 异常怎么办? → onError/全局处理。
    9. taskId 模式? → 202 + 查询接口。
    10. 状态机? → PENDING/RUNNING/SUCCESS/FAILED/TIMEOUT。
    11. 结果存哪? → Redis/DB + TTL。
    12. 轮询间隔? → 退避 1/2/4s。
    13. 轮询太多? → 长轮询/限流。
    14. 长轮询原理? → 服务端挂起,事件唤醒。
    15. 怎么唤醒? → Map/Redis Pub/Sub/MQ。
    16. 长轮询超时? → 20–30s 返回空,客户端重发。
    17. 连接堆积? → 超时释放 + 限制。
    18. SSE 是什么? → HTTP 单向流。
    19. SSE 优点? → 自动重连、简单。
    20. SSE 坑? → 代理缓冲、连接数。
    21. WebSocket 呢? → 全双工、连接管理。
    22. 何时用 WS? → 频繁双向交互。
    23. 回调/Webhook? → 跨系统通知。
    24. 回调风险? → 伪造、丢失、重放。
    25. 怎么防? → 验签、幂等、重试。
    26. 提交幂等? → 幂等键 + 唯一索引。
    27. 重复提交? → 返回同一 taskId。
    28. 任务重复执行? → 状态机 + 锁。
    29. 线程池要隔离吗? → 要,Web/业务/回调分开。
    30. 队列满了? → 拒绝/降级/背压。
    31. 虚拟线程有用吗? → 降低线程成本,不解决下游瓶颈。
    32. 超时分层? → 客户端/网关/服务端。
    33. 客户端超时=失败吗? → 不等于,要查任务。
    34. 重试会重复吗? → 幂等就不回。
    35. 失败补偿? → 死信/定时/人工。
    36. 怎么监控? → 等待时长/超时率/积压。
    37. 怎么压测? → 慢下游 + 并发。
    38. 网关超时? → 与后端对齐/调大。
    39. 移动端弱网? → 轮询/断线重连。
    40. 结果 TTL 多久? → 按业务,几小时~几天。
    41. 任务优先级? → 多队列/权重。
    42. 异步和事务? → 别在异步线程里持有事务。
    43. MDC/ThreadLocal? → 异步会丢,要传递。
    44. 安全上下文? → 异步线程要透传。
    45. 能全异步吗? → 简单查询没必要。
    46. 同步更简单的场景? → 短耗时、强实时。
    47. 选型看什么? → 耗时、实时性、客户端能力。
    48. 面试怎么总结? → 释放线程 → 等待方式 → 幂等 → 超时 → 补偿。
    49. 最终一致性? → 状态可查 + 对账。
    50. 一句话本质? → 异步执行、同步语义、可靠查询。
  • 生产案例/取舍(示例,替换成你的项目):

    • 报表接口同步跑 30s,Tomcat 线程打满;改 DeferredResult + 业务线程池。
    • 异步接口忘记 setResult,客户端一直转圈;加超时兜底 + 异常回调。
    • 网关 30s 超时早于服务端 60s,客户端大量 504;对齐超时或改 taskId。
    • 重复点击生成多个任务;幂等键 + 唯一索引,返回同一 taskId。
    • 轮询间隔 200ms,QPS 放大 5 倍;改退避 + 长轮询。
    • 任务结果存 JVM 内存,实例重启全丢;改 Redis + TTL。
    • 长轮询连接堆积,LB 连接数打满;超时释放 + 限制并发。
    • SSE 经过 Nginx 不实时;关 proxy_buffering。
    • 回调未验签被伪造,触发重复发货;签名 + 时间戳 + nonce。
    • 异步线程池与 Web 线程池共用,慢任务拖垮健康检查;拆分隔离。
    • 虚拟线程上线后 DB 连接池成瓶颈;扩连接池 + 限流。
    • 取舍:同步换简单实时,代价是线程占用;DeferredResult 换线程释放,代价是复杂度;轮询换简单,代价是延迟与无效请求;长轮询换实时,代价是连接;SSE/WS 换推送,代价是连接管理;回调换解耦,代价是公网与验签。
  • 易错点:

    • 认为异步就是开个线程。
    • 认为异步一定更快。
    • 认为 DeferredResult 减少了总工作量。
    • 认为异步不用设超时。
    • 认为 setResult 一定会被调用。
    • 认为异步线程能拿到 ThreadLocal。
    • 认为异步线程里事务还生效。
    • 认为客户端超时等于任务失败。
    • 认为轮询越频繁越好。
    • 认为轮询不需要退避。
    • 认为结果可以只存内存。
    • 认为 taskId 不需要幂等。
    • 认为重复提交无所谓。
    • 认为长轮询不占连接。
    • 认为长轮询不需要超时。
    • 认为 SSE 没有代理问题。
    • 认为 WebSocket 和 SSE 等价。
    • 认为 WebSocket 不用心跳。
    • 认为回调一定送达。
    • 认为回调不用验签。
    • 认为 Webhook 不需要幂等。
    • 认为线程池可以共用一个。
    • 认为队列可以无限长。
    • 认为虚拟线程能解决所有并发问题。
    • 认为异步能替代限流。
    • 认为异步不需要监控。
    • 认为网关超时与后端无关。
    • 认为所有接口都该异步。
    • 认为异步就没有一致性问题。
    • 认为有结果查询就不需要补偿。
  • 30 秒口述稿:

异步请求同步返回,本质是把长耗时处理从请求线程剥离,同时给客户端一个可等待的结果句柄。短任务用 Spring 的 DeferredResult 或 CompletableFuture,请求线程 startAsync 后归还容器,业务线程处理完 setResult 再派发响应;长任务用 taskId,提交返回 202,客户端轮询或长轮询查结果,状态机是 PENDING、RUNNING、SUCCESS、FAILED、TIMEOUT;要实时进度用 SSE 或 WebSocket,跨系统用回调。工程上必须有超时、幂等提交、结果 TTL、线程池隔离和失败补偿,客户端超时不等于任务失败,要能按 taskId 查最终状态。JDK 21 虚拟线程能降低线程成本,但下游连接池和背压仍是瓶颈。

  • 3 分钟展开顺序:结论(释放线程 + 等待方式 + 可靠性)→ 同步阻塞的线程模型与雪崩 → Servlet 异步与 DeferredResult 原理 → taskId 轮询的状态机、结果存储与退避 → 长轮询的挂起/唤醒/超时 → SSE/WebSocket/回调的适用边界 → 幂等提交与任务防重 → 线程池隔离、背压、限流 → 超时分层、重试、补偿与监控 → 虚拟线程的影响 → 选型与案例。