Skip to content

6.5-1 容量评估、单机压测与全链路压测 ​

所属:06 分布式与架构 / 6.5 稳定性 分级:A 状态:◐ 初稿 关联:6.5-2、6.5-3、6.5-7、6.5-10、6.7-1、6.7-5

  • 题型:场景 / 流程 / 排查

  • 一句话结论:容量评估是一条闭环:业务量 → 峰值 QPS(含放大系数)→ 单机安全容量(压测拐点,不是极限值)→ 实例数(含 N+2 冗余)→ 全链路压测验证。单机压测回答“一台机器在 P99/错误率达标时能扛多少”,全链路压测回答“整条链路和下游在水位线内能扛多少”;两者的分水岭是流量模型是否真实、数据是否隔离、压测标识是否贯穿。容量永远是按瓶颈资源算的(CPU、GC、连接池、DB、下游配额),不是按 CPU 一个指标拍系数。

  • 分层要点:

    1. 先有输入,再谈容量:容量评估的输入是业务指标 + SLA + 资源模型。业务侧:DAU、日订单/请求量、峰值时段、增长预期;技术侧:P99 目标、错误率上限、可接受的降级程度。没有 SLA 的“能扛多少 QPS”没有意义——同一套机器,P99 50ms 和 500ms 的容量可能差一倍以上。
    2. QPS 估算与逐层放大:日请求量 ÷ 86400 得日均 QPS,再乘峰值系数(普通业务 3–5,促销 10–20,秒杀 100+)。沿调用链逐层放大:读放大(一次列表页 N 次详情)、写放大(一次下单多张表 + MQ + 缓存)、缓存 miss 放大(穿透到 DB 的倍数)、重试放大(超时重试 1.1–3 倍)。最终每个依赖都要有自己的目标 QPS,而不是只算入口。
    3. 单机容量靠压测,不靠猜:固定环境(机型、内核、JVM/GC、线程池、连接池、数据量、热点分布),逐步加压,找拐点:吞吐不再线性增长、P99 陡升、错误率抬头、GC 频率上升、连接池打满。安全容量取拐点的 60%–70%,而不是压到极限的 TPS;极限值只能说明“会崩在哪”,不能用于规划。
    4. 压测模型比工具重要:要还原接口配比、参数分布(热点 key、长尾)、读写比例、思考时间、用户行为路径。**开环(固定 RPS)**更接近真实入口——RT 变长时请求照样打进来;**闭环(固定并发)**会随 RT 退化自动降载,容易高估容量。压测机自身要分布式、连接数与带宽不能成为瓶颈,否则测的是压测机。
    5. 压测环境与数据要同构:机型/规格、内核参数、JVM 参数、中间件版本、网络拓扑尽量与生产一致;数据量要接近生产,否则索引选择性、缓存命中率、分页深度全都不真实(小表压测出来的 QPS 没有参考价值)。生产数据用脱敏副本或影子库,压测请求打 trace/header 标识。
    6. 全链路压测的核心是隔离:从网关到服务、缓存、DB、MQ、第三方,按真实链路施压。三件事必须做:流量染色(压测标贯穿全链路)、影子链路(影子库/影子表、影子 topic、缓存 key 前缀)、数据隔离(压测数据不进生产报表、不触发真实短信/支付/物流)。第三方不可压时用 mock 或按其配额限流。
    7. 结果解读看短板与水位:端到端看 P99/P999、错误率、超时率、队列积压;逐层看 CPU、GC、线程池、连接池、DB 慢 SQL、Redis 命中率、MQ lag、下游限流。容量由木桶最短板决定——入口 CPU 只有 30%,但 DB 连接池已 90%,那瓶颈就是 DB。安全水位通常按 CPU 40%–60%、DB 连接 <70%、MQ 无持续积压来定。
    8. 规划、弹性与闭环:实例数 = ceil(目标 QPS ÷ 单机安全容量) × (1 + 冗余),常规 N+2;同城双活按“单边能承载全量”算,异地多活按单元化后的单元容量算。弹性扩容要算冷启动:JVM 预热、连接池建连、缓存预热、镜像拉取,HPA 扩容往往赶不上秒级尖峰,所以大促靠提前扩容 + 压测 + 限流预案。最后闭环:评估 → 压测 → 调优 → 扩容 → 演练 → 监控 → 复盘,容量不是一次算完的。
  • 图/流程:

text
容量评估链路:
  业务指标(DAU/订单/增长)
      ↓ × 峰值系数(3~5 / 10~20 / 100+)
  入口峰值 QPS
      ↓ 读放大 / 写放大 / miss 放大 / 重试放大
  各依赖目标 QPS(服务 / 缓存 / DB / MQ / 第三方)
      ↓ 单机压测拐点 × 安全系数(0.6~0.7)
  单机安全容量 → 实例数 = ceil(目标 / 单机) × (1+冗余)
      ↓
  全链路压测验证 → 找短板 → 调优/扩容 → 预案
text
单机压测拐点:
  TPS
   │            ╭── 拐点(P99 陡升、错误率抬头)
   │        ╭───╯
   │    ╭───╯
   │╭───╯
   └──────────────▶ 并发/压力
  安全容量 = 拐点 × 0.6~0.7;极限 TPS 只用于判断崩溃点
text
全链路压测隔离:
  压测流量(header: x-shadow: true)
      ↓ 网关 → 服务(透传) → 缓存(key 前缀) → DB(影子库/影子表)
                              → MQ(影子 topic) → 第三方(mock/限流)
  生产流量与压测流量在存储层物理/逻辑隔离,报表只统计生产标
text
冗余与多活:
  单机房:N + 2(N 为承载峰值所需实例)
  同城双活:每边按“全量峰值”建设,故障切换不掉容量
  异地多活:按单元拆分,单单元故障只影响该单元用户
  弹性:HPA 扩容 + 冷启动时间,尖峰靠提前扩容与限流兜底
  • 版本/源码锚点:

    • 压测工具:JMeter 5.6(分布式压测、Backend Listener)、wrk2(固定 RPS、延迟直方图)、Gatling 3.10(DSL、报告)、k6(脚本化、云执行)。
    • 观测:Micrometer + Prometheus + Grafana;Arthas(dashboard/thread/profiler);async-profiler(CPU/alloc/lock);JFR(JDK 17/21)。
    • JVM:G1(JDK 17 默认)、ZGC(JDK 21 低延迟);-Xmx、MaxGCPauseMillis、线程池队列长度。
    • 中间件:MySQL 8.0(连接池 HikariCP 默认 10)、Redis 7(maxmemory-policy、连接数)、Kafka 3.x(分区数、linger.ms)。
    • 弹性:Kubernetes HPA(CPU/自定义指标)、启动探针、就绪探针;镜像预热。
    • 相关:限流算法见 6.5-2;Sentinel 见 6.5-3;多活见 6.5-7;监控指标见 6.5-10;秒杀场景见 6.7-1。
  • 容量估算要素:

项取值/公式说明
日均 QPS日请求量 ÷ 86400注意业务集中在白天
峰值系数3–5 普通 / 10–20 促销 / 100+ 秒杀按历史峰值与业务形态定
读放大1 次入口 → N 次依赖调用列表页、聚合服务常见
写放大1 次写 → 多表 + MQ + 缓存下单、支付链路
缓存 miss 放大1/(1-命中率)命中率 95% → DB 压力 ×20
重试放大1 + 重试率 × 重试次数超时重试会二次放大
安全系数拐点 × 0.6–0.7留出抖动与 GC 空间
  • 单机压测 vs 全链路压测:
维度单机压测全链路压测
目标单实例最大安全吞吐端到端容量与依赖水位
环境单服务 + 依赖 mock/真实接近生产的完整链路
流量固定接口/混合比例真实用户行为与配比
数据可控、可造脱敏副本/影子库
隔离天然隔离必须染色 + 影子链路
产出单机容量、拐点、瓶颈短板、扩容数、限流阈值
风险低高(脏数据、真实副作用)
  • 瓶颈定位表:
现象可能瓶颈排查手段
CPU 打满、P99 上升计算密集/序列化/GCasync-profiler、火焰图
GC 频繁、停顿长堆不足/对象创建多GC 日志、JFR、堆分析
线程池队列积压下游慢/池太小Arthas thread、池指标
连接池耗尽DB 慢/连接泄漏HikariCP 指标、慢 SQL
DB CPU 高慢 SQL/缺索引/锁慢查询日志、explain
Redis 命中率下降热点/大 key/过期集中INFO、慢日志、大 key 扫描
MQ lag 持续增长消费能力不足/分区少lag 监控、消费线程数
下游 429/超时配额/限流下游监控、配额申请
网络重传/带宽满大包/跨机房ss、网卡指标
  • 冗余与多活容量:
形态容量算法代价
单机房 N+2峰值所需 N + 2 台冗余成本可控,机房级故障不可用
同城双活每边按全量峰值建设成本 ×2,切换不掉容量
异地多活(单元化)每单元按本单元用户峰值架构复杂,跨单元数据一致难
弹性扩容基线 + 突发靠 HPA冷启动慢,尖峰可能来不及
大促提前扩容 + 压测 + 限流资源闲置,但确定性高
  • 深挖点(面试官常追的 6 个):

    1. QPS 到底怎么估:从业务指标出发,不要从机器出发。日订单 100 万、峰值系数 5、每单 20 次读 + 5 次写,就能推出入口与依赖的目标 QPS;再叠加缓存 miss、重试、读写放大。关键是每一层都算,并且写下假设——面试时说“我按峰值系数 5、缓存命中 95%、重试 10% 估”,比说“大概几千 QPS”可信得多。估算结果要留 30%–50% buffer,并用压测校准。
    2. 单机压测怎么定“安全容量”:不是压到最大 TPS,而是找拐点——继续加压后 TPS 不涨、P99 陡增、错误率上升、GC 变密。安全容量取拐点的 60%–70%,因为生产有流量抖动、GC、日志、监控开销、依赖抖动。压测时要固定变量(数据量、热点分布、JVM 参数),否则每次结果不可比;还要区分稳态与冷启动,JVM 未预热时的容量明显偏低。
    3. 开环和闭环有什么区别:闭环是固定并发数,RT 变长时实际 RPS 自动下降,相当于系统“自己限流”,会高估容量;开环是固定 RPS,不管 RT 多长都按目标速率打,更接近真实入口流量,能暴露排队与雪崩。压测入口服务建议开环(wrk2/k6 的 constant-arrival-rate),压测下游依赖可用闭环找拐点。很多“压测很稳、上线就崩”就是只用闭环压的。
    4. 全链路压测怎么保证不污染生产:三层隔离——流量染色(入口打标,HTTP header/trace 上下文透传全链路)、影子链路(影子库/影子表、影子 MQ topic、缓存 key 前缀、影子配置)、数据隔离(压测数据不写生产表、不进报表、不触发短信/支付/物流)。第三方用 mock 或按其配额限流。压测结束后清理影子数据,并校验生产数据零污染。没有隔离的全链路压测等于生产事故。
    5. 压测环境和生产不一致怎么办:优先同构;做不到时用等比缩放 + 模型校准:小规模压测得出单机容量,再按机型/核数折算,并用生产监控数据反向校准(真实 QPS 与资源水位的比例)。但要注意非线性因素:数据量、缓存命中率、网络、DB 连接数、GC 行为都不能简单线性外推。结论要标注置信度,关键系统在大促前仍要在生产或准生产做一次全链路验证。
    6. 冗余和弹性怎么算进容量:常规 N+2 应对单机/单 AZ 故障;同城双活要求单边能扛全量,否则切换即雪崩;异地多活按单元算,单元内自洽。弹性扩容看似能省容量,但 HPA 有冷启动(拉镜像、JVM 预热、连接池、缓存预热),分钟级,扛不住秒级尖峰;所以大促容量 = 基线扩容 + 限流阈值 + 降级预案,弹性只作为兜底。容量规划要写清“故障场景下还剩多少容量”。
  • 追问链:

    1. 容量评估第一步? → 明确业务量与 SLA。
    2. QPS 怎么算? → 日请求/86400 × 峰值系数。
    3. 峰值系数取多少? → 普通 3–5,促销 10–20。
    4. 还要算什么? → 读写放大、miss 放大、重试放大。
    5. 为什么要逐层算? → 瓶颈可能在 DB/下游。
    6. 单机容量怎么来? → 压测。
    7. 压到极限吗? → 不,取拐点 60–70%。
    8. 怎么找拐点? → TPS 不涨、P99 陡升、错误率涨。
    9. 看平均还是 P99? → P99/P999。
    10. 为什么要固定环境? → 结果可比。
    11. 数据量影响大吗? → 很大,缓存/索引/分页。
    12. JVM 预热呢? → 冷启动容量低。
    13. 压测工具选什么? → JMeter/wrk2/Gatling/k6。
    14. 工具会成瓶颈吗? → 会,要分布式施压。
    15. 开环闭环区别? → 固定 RPS vs 固定并发。
    16. 哪个更真实? → 开环。
    17. 闭环会怎样? → 高估容量。
    18. 全链路压测是什么? → 端到端按真实链路压。
    19. 和单机压测区别? → 看短板与依赖水位。
    20. 最大风险? → 脏数据/真实副作用。
    21. 怎么隔离? → 染色 + 影子链路 + 数据隔离。
    22. 染色怎么透传? → header/trace 上下文。
    23. 影子库是什么? → 与生产同构的压测库。
    24. MQ 怎么隔离? → 影子 topic/消费组。
    25. 缓存怎么隔离? → key 前缀。
    26. 第三方怎么办? → mock/配额限流。
    27. 压测数据要清理吗? → 要,并校验零污染。
    28. 结果怎么看? → 端到端 P99 + 各层水位。
    29. 容量由什么决定? → 最短板。
    30. CPU 30% 就安全吗? → 不一定,看 DB/池。
    31. 安全水位多少? → CPU 40–60%,连接 <70%。
    32. 瓶颈怎么定位? → 火焰图/GC/线程/慢 SQL。
    33. CPU 高查什么? → 火焰图、序列化、GC。
    34. GC 怎么查? → GC 日志、JFR。
    35. 线程池积压? → 下游慢/池小。
    36. 连接池耗尽? → 慢 SQL/泄漏。
    37. DB 慢怎么查? → 慢日志、explain。
    38. Redis 慢? → 大 key/热点/慢日志。
    39. 实例数怎么算? → ceil(目标/单机) × 冗余。
    40. 冗余多少? → N+2。
    41. 同城双活容量? → 单边全量。
    42. 异地多活? → 按单元算。
    43. 弹性够吗? → 冷启动慢,尖峰不够。
    44. 冷启动多久? → 分钟级。
    45. 大促怎么保? → 提前扩容 + 压测 + 限流。
    46. 压测频率? → 大促前/大变更前/季度。
    47. 压测后做什么? → 调优、扩容、预案、复盘。
    48. 怎么验证容量? → 演练 + 监控 + 故障注入。
    49. 容量会漂移吗? → 会,数据增长/依赖变化。
    50. 面试怎么总结? → 估算 → 单机拐点 → 实例数 → 全链路 → 短板 → 冗余 → 闭环。
  • 生产案例/取舍(示例,替换成你的项目):

    • 只按 CPU 估容量,上线后 DB 连接池先打满;改为按最短板(DB)规划。
    • 单机压测压到极限 TPS 做规划,生产 P99 超标;改取拐点 65%。
    • 压测用 1 万条数据,生产 1 亿,QPS 差 5 倍;改用脱敏生产数据副本。
    • 闭环压测很稳,开环后大量超时;入口压测改固定 RPS。
    • 压测机网卡打满,误判服务瓶颈;改分布式施压 + 监控压测机。
    • 全链路压测未隔离,压测订单进了生产报表;补染色与影子表。
    • 压测触发真实短信,用户收到测试短信;第三方改 mock + 白名单。
    • HPA 扩容跟不上秒杀尖峰,冷启动 3 分钟;改提前扩容 + 限流。
    • 同城双活按“各扛一半”建设,切换后单边过载;改为单边全量。
    • 大促前没压测,MQ 消费能力不足导致积压;补全链路压测与分区扩容。
    • 缓存命中率从 95% 掉到 80%,DB 压力翻 4 倍;加本地缓存与热点预热。
    • 取舍:极限容量换成本低,代价是无冗余;N+2 换可用性,代价是资源;同城双活换机房级容灾,代价是双倍成本;弹性换成本,代价是冷启动;提前扩容换确定性,代价是闲置。
  • 易错点:

    • 认为容量评估就是拍个 QPS 乘系数。
    • 认为只看入口 QPS 就够。
    • 认为峰值系数对所有业务一样。
    • 认为不用算读放大/写放大。
    • 认为缓存命中率不影响容量。
    • 认为重试不放大流量。
    • 认为单机压测要压到极限 TPS。
    • 认为极限 TPS 可以直接做规划。
    • 认为平均值达标就行。
    • 认为压测环境可以随便搭。
    • 认为小数据量能代表生产。
    • 认为 JVM 不需要预热。
    • 认为压测机不会成为瓶颈。
    • 认为闭环压测更真实。
    • 认为固定并发等于固定 RPS。
    • 认为单机压测能代替全链路压测。
    • 认为全链路压测不用隔离。
    • 认为打个 header 就算染色。
    • 认为影子表和生产表可以混用。
    • 认为压测不会触发真实副作用。
    • 认为压测数据不用清理。
    • 认为 CPU 低就没有瓶颈。
    • 认为容量由 CPU 决定。
    • 认为扩容能解决所有容量问题。
    • 认为 HPA 能扛住秒杀尖峰。
    • 认为同城双活各扛一半就行。
    • 认为异地多活不需要单元化。
    • 认为容量算一次就一劳永逸。
    • 认为压测完不用复盘。
    • 认为有监控就不需要压测。
  • 30 秒口述稿:

容量评估是从业务到资源的闭环。先拿业务量和 SLA,算出日均 QPS,乘峰值系数,再沿链路算读放大、写放大、缓存 miss 和重试放大,得到每一层的目标 QPS。单机容量靠压测,但不是压到极限,而是找拐点——TPS 不涨、P99 陡升、错误率抬头——安全容量取拐点的六到七成。压测模型比工具重要,要用开环固定 RPS 模拟真实入口,数据量要接近生产,压测机不能成为瓶颈。全链路压测是从网关到 DB、MQ、第三方的端到端验证,核心是流量染色、影子链路和数据隔离,否则就是生产事故。最后按最短板算实例数,留 N+2 冗余,同城双活按单边全量,弹性要考虑冷启动,大促靠提前扩容加压测加限流,形成评估、压测、调优、演练、监控的闭环。

  • 3 分钟展开顺序:结论(业务 → QPS → 单机拐点 → 实例数 → 全链路验证)→ QPS 估算与四类放大 → SLA 与安全容量的定义 → 单机压测的固定变量、拐点与 60–70% 安全系数 → 开环/闭环与工具选择 → 压测环境与数据同构 → 全链路压测的染色、影子链路、数据隔离 → 结果解读与最短板定位 → 冗余(N+2/同城/异地)与弹性冷启动 → 大促预案与闭环 → 案例与取舍。