Appearance
6.5-1 容量评估、单机压测与全链路压测
所属:06 分布式与架构 / 6.5 稳定性 分级:A 状态:◐ 初稿 关联:6.5-2、6.5-3、6.5-7、6.5-10、6.7-1、6.7-5
题型:场景 / 流程 / 排查
一句话结论:容量评估是一条闭环:业务量 → 峰值 QPS(含放大系数)→ 单机安全容量(压测拐点,不是极限值)→ 实例数(含 N+2 冗余)→ 全链路压测验证。单机压测回答“一台机器在 P99/错误率达标时能扛多少”,全链路压测回答“整条链路和下游在水位线内能扛多少”;两者的分水岭是流量模型是否真实、数据是否隔离、压测标识是否贯穿。容量永远是按瓶颈资源算的(CPU、GC、连接池、DB、下游配额),不是按 CPU 一个指标拍系数。
分层要点:
- 先有输入,再谈容量:容量评估的输入是业务指标 + SLA + 资源模型。业务侧:DAU、日订单/请求量、峰值时段、增长预期;技术侧:P99 目标、错误率上限、可接受的降级程度。没有 SLA 的“能扛多少 QPS”没有意义——同一套机器,P99 50ms 和 500ms 的容量可能差一倍以上。
- QPS 估算与逐层放大:日请求量 ÷ 86400 得日均 QPS,再乘峰值系数(普通业务 3–5,促销 10–20,秒杀 100+)。沿调用链逐层放大:读放大(一次列表页 N 次详情)、写放大(一次下单多张表 + MQ + 缓存)、缓存 miss 放大(穿透到 DB 的倍数)、重试放大(超时重试 1.1–3 倍)。最终每个依赖都要有自己的目标 QPS,而不是只算入口。
- 单机容量靠压测,不靠猜:固定环境(机型、内核、JVM/GC、线程池、连接池、数据量、热点分布),逐步加压,找拐点:吞吐不再线性增长、P99 陡升、错误率抬头、GC 频率上升、连接池打满。安全容量取拐点的 60%–70%,而不是压到极限的 TPS;极限值只能说明“会崩在哪”,不能用于规划。
- 压测模型比工具重要:要还原接口配比、参数分布(热点 key、长尾)、读写比例、思考时间、用户行为路径。**开环(固定 RPS)**更接近真实入口——RT 变长时请求照样打进来;**闭环(固定并发)**会随 RT 退化自动降载,容易高估容量。压测机自身要分布式、连接数与带宽不能成为瓶颈,否则测的是压测机。
- 压测环境与数据要同构:机型/规格、内核参数、JVM 参数、中间件版本、网络拓扑尽量与生产一致;数据量要接近生产,否则索引选择性、缓存命中率、分页深度全都不真实(小表压测出来的 QPS 没有参考价值)。生产数据用脱敏副本或影子库,压测请求打 trace/header 标识。
- 全链路压测的核心是隔离:从网关到服务、缓存、DB、MQ、第三方,按真实链路施压。三件事必须做:流量染色(压测标贯穿全链路)、影子链路(影子库/影子表、影子 topic、缓存 key 前缀)、数据隔离(压测数据不进生产报表、不触发真实短信/支付/物流)。第三方不可压时用 mock 或按其配额限流。
- 结果解读看短板与水位:端到端看 P99/P999、错误率、超时率、队列积压;逐层看 CPU、GC、线程池、连接池、DB 慢 SQL、Redis 命中率、MQ lag、下游限流。容量由木桶最短板决定——入口 CPU 只有 30%,但 DB 连接池已 90%,那瓶颈就是 DB。安全水位通常按 CPU 40%–60%、DB 连接 <70%、MQ 无持续积压来定。
- 规划、弹性与闭环:实例数 = ceil(目标 QPS ÷ 单机安全容量) × (1 + 冗余),常规 N+2;同城双活按“单边能承载全量”算,异地多活按单元化后的单元容量算。弹性扩容要算冷启动:JVM 预热、连接池建连、缓存预热、镜像拉取,HPA 扩容往往赶不上秒级尖峰,所以大促靠提前扩容 + 压测 + 限流预案。最后闭环:评估 → 压测 → 调优 → 扩容 → 演练 → 监控 → 复盘,容量不是一次算完的。
图/流程:
text
容量评估链路:
业务指标(DAU/订单/增长)
↓ × 峰值系数(3~5 / 10~20 / 100+)
入口峰值 QPS
↓ 读放大 / 写放大 / miss 放大 / 重试放大
各依赖目标 QPS(服务 / 缓存 / DB / MQ / 第三方)
↓ 单机压测拐点 × 安全系数(0.6~0.7)
单机安全容量 → 实例数 = ceil(目标 / 单机) × (1+冗余)
↓
全链路压测验证 → 找短板 → 调优/扩容 → 预案text
单机压测拐点:
TPS
│ ╭── 拐点(P99 陡升、错误率抬头)
│ ╭───╯
│ ╭───╯
│╭───╯
└──────────────▶ 并发/压力
安全容量 = 拐点 × 0.6~0.7;极限 TPS 只用于判断崩溃点text
全链路压测隔离:
压测流量(header: x-shadow: true)
↓ 网关 → 服务(透传) → 缓存(key 前缀) → DB(影子库/影子表)
→ MQ(影子 topic) → 第三方(mock/限流)
生产流量与压测流量在存储层物理/逻辑隔离,报表只统计生产标text
冗余与多活:
单机房:N + 2(N 为承载峰值所需实例)
同城双活:每边按“全量峰值”建设,故障切换不掉容量
异地多活:按单元拆分,单单元故障只影响该单元用户
弹性:HPA 扩容 + 冷启动时间,尖峰靠提前扩容与限流兜底版本/源码锚点:
- 压测工具:JMeter 5.6(分布式压测、Backend Listener)、wrk2(固定 RPS、延迟直方图)、Gatling 3.10(DSL、报告)、k6(脚本化、云执行)。
- 观测:Micrometer + Prometheus + Grafana;Arthas(
dashboard/thread/profiler);async-profiler(CPU/alloc/lock);JFR(JDK 17/21)。 - JVM:G1(JDK 17 默认)、ZGC(JDK 21 低延迟);
-Xmx、MaxGCPauseMillis、线程池队列长度。 - 中间件:MySQL 8.0(连接池 HikariCP 默认 10)、Redis 7(
maxmemory-policy、连接数)、Kafka 3.x(分区数、linger.ms)。 - 弹性:Kubernetes HPA(CPU/自定义指标)、启动探针、就绪探针;镜像预热。
- 相关:限流算法见 6.5-2;Sentinel 见 6.5-3;多活见 6.5-7;监控指标见 6.5-10;秒杀场景见 6.7-1。
容量估算要素:
| 项 | 取值/公式 | 说明 |
|---|---|---|
| 日均 QPS | 日请求量 ÷ 86400 | 注意业务集中在白天 |
| 峰值系数 | 3–5 普通 / 10–20 促销 / 100+ 秒杀 | 按历史峰值与业务形态定 |
| 读放大 | 1 次入口 → N 次依赖调用 | 列表页、聚合服务常见 |
| 写放大 | 1 次写 → 多表 + MQ + 缓存 | 下单、支付链路 |
| 缓存 miss 放大 | 1/(1-命中率) | 命中率 95% → DB 压力 ×20 |
| 重试放大 | 1 + 重试率 × 重试次数 | 超时重试会二次放大 |
| 安全系数 | 拐点 × 0.6–0.7 | 留出抖动与 GC 空间 |
- 单机压测 vs 全链路压测:
| 维度 | 单机压测 | 全链路压测 |
|---|---|---|
| 目标 | 单实例最大安全吞吐 | 端到端容量与依赖水位 |
| 环境 | 单服务 + 依赖 mock/真实 | 接近生产的完整链路 |
| 流量 | 固定接口/混合比例 | 真实用户行为与配比 |
| 数据 | 可控、可造 | 脱敏副本/影子库 |
| 隔离 | 天然隔离 | 必须染色 + 影子链路 |
| 产出 | 单机容量、拐点、瓶颈 | 短板、扩容数、限流阈值 |
| 风险 | 低 | 高(脏数据、真实副作用) |
- 瓶颈定位表:
| 现象 | 可能瓶颈 | 排查手段 |
|---|---|---|
| CPU 打满、P99 上升 | 计算密集/序列化/GC | async-profiler、火焰图 |
| GC 频繁、停顿长 | 堆不足/对象创建多 | GC 日志、JFR、堆分析 |
| 线程池队列积压 | 下游慢/池太小 | Arthas thread、池指标 |
| 连接池耗尽 | DB 慢/连接泄漏 | HikariCP 指标、慢 SQL |
| DB CPU 高 | 慢 SQL/缺索引/锁 | 慢查询日志、explain |
| Redis 命中率下降 | 热点/大 key/过期集中 | INFO、慢日志、大 key 扫描 |
| MQ lag 持续增长 | 消费能力不足/分区少 | lag 监控、消费线程数 |
| 下游 429/超时 | 配额/限流 | 下游监控、配额申请 |
| 网络重传/带宽满 | 大包/跨机房 | ss、网卡指标 |
- 冗余与多活容量:
| 形态 | 容量算法 | 代价 |
|---|---|---|
| 单机房 N+2 | 峰值所需 N + 2 台冗余 | 成本可控,机房级故障不可用 |
| 同城双活 | 每边按全量峰值建设 | 成本 ×2,切换不掉容量 |
| 异地多活(单元化) | 每单元按本单元用户峰值 | 架构复杂,跨单元数据一致难 |
| 弹性扩容 | 基线 + 突发靠 HPA | 冷启动慢,尖峰可能来不及 |
| 大促 | 提前扩容 + 压测 + 限流 | 资源闲置,但确定性高 |
深挖点(面试官常追的 6 个):
- QPS 到底怎么估:从业务指标出发,不要从机器出发。日订单 100 万、峰值系数 5、每单 20 次读 + 5 次写,就能推出入口与依赖的目标 QPS;再叠加缓存 miss、重试、读写放大。关键是每一层都算,并且写下假设——面试时说“我按峰值系数 5、缓存命中 95%、重试 10% 估”,比说“大概几千 QPS”可信得多。估算结果要留 30%–50% buffer,并用压测校准。
- 单机压测怎么定“安全容量”:不是压到最大 TPS,而是找拐点——继续加压后 TPS 不涨、P99 陡增、错误率上升、GC 变密。安全容量取拐点的 60%–70%,因为生产有流量抖动、GC、日志、监控开销、依赖抖动。压测时要固定变量(数据量、热点分布、JVM 参数),否则每次结果不可比;还要区分稳态与冷启动,JVM 未预热时的容量明显偏低。
- 开环和闭环有什么区别:闭环是固定并发数,RT 变长时实际 RPS 自动下降,相当于系统“自己限流”,会高估容量;开环是固定 RPS,不管 RT 多长都按目标速率打,更接近真实入口流量,能暴露排队与雪崩。压测入口服务建议开环(wrk2/k6 的 constant-arrival-rate),压测下游依赖可用闭环找拐点。很多“压测很稳、上线就崩”就是只用闭环压的。
- 全链路压测怎么保证不污染生产:三层隔离——流量染色(入口打标,HTTP header/trace 上下文透传全链路)、影子链路(影子库/影子表、影子 MQ topic、缓存 key 前缀、影子配置)、数据隔离(压测数据不写生产表、不进报表、不触发短信/支付/物流)。第三方用 mock 或按其配额限流。压测结束后清理影子数据,并校验生产数据零污染。没有隔离的全链路压测等于生产事故。
- 压测环境和生产不一致怎么办:优先同构;做不到时用等比缩放 + 模型校准:小规模压测得出单机容量,再按机型/核数折算,并用生产监控数据反向校准(真实 QPS 与资源水位的比例)。但要注意非线性因素:数据量、缓存命中率、网络、DB 连接数、GC 行为都不能简单线性外推。结论要标注置信度,关键系统在大促前仍要在生产或准生产做一次全链路验证。
- 冗余和弹性怎么算进容量:常规 N+2 应对单机/单 AZ 故障;同城双活要求单边能扛全量,否则切换即雪崩;异地多活按单元算,单元内自洽。弹性扩容看似能省容量,但 HPA 有冷启动(拉镜像、JVM 预热、连接池、缓存预热),分钟级,扛不住秒级尖峰;所以大促容量 = 基线扩容 + 限流阈值 + 降级预案,弹性只作为兜底。容量规划要写清“故障场景下还剩多少容量”。
追问链:
- 容量评估第一步? → 明确业务量与 SLA。
- QPS 怎么算? → 日请求/86400 × 峰值系数。
- 峰值系数取多少? → 普通 3–5,促销 10–20。
- 还要算什么? → 读写放大、miss 放大、重试放大。
- 为什么要逐层算? → 瓶颈可能在 DB/下游。
- 单机容量怎么来? → 压测。
- 压到极限吗? → 不,取拐点 60–70%。
- 怎么找拐点? → TPS 不涨、P99 陡升、错误率涨。
- 看平均还是 P99? → P99/P999。
- 为什么要固定环境? → 结果可比。
- 数据量影响大吗? → 很大,缓存/索引/分页。
- JVM 预热呢? → 冷启动容量低。
- 压测工具选什么? → JMeter/wrk2/Gatling/k6。
- 工具会成瓶颈吗? → 会,要分布式施压。
- 开环闭环区别? → 固定 RPS vs 固定并发。
- 哪个更真实? → 开环。
- 闭环会怎样? → 高估容量。
- 全链路压测是什么? → 端到端按真实链路压。
- 和单机压测区别? → 看短板与依赖水位。
- 最大风险? → 脏数据/真实副作用。
- 怎么隔离? → 染色 + 影子链路 + 数据隔离。
- 染色怎么透传? → header/trace 上下文。
- 影子库是什么? → 与生产同构的压测库。
- MQ 怎么隔离? → 影子 topic/消费组。
- 缓存怎么隔离? → key 前缀。
- 第三方怎么办? → mock/配额限流。
- 压测数据要清理吗? → 要,并校验零污染。
- 结果怎么看? → 端到端 P99 + 各层水位。
- 容量由什么决定? → 最短板。
- CPU 30% 就安全吗? → 不一定,看 DB/池。
- 安全水位多少? → CPU 40–60%,连接 <70%。
- 瓶颈怎么定位? → 火焰图/GC/线程/慢 SQL。
- CPU 高查什么? → 火焰图、序列化、GC。
- GC 怎么查? → GC 日志、JFR。
- 线程池积压? → 下游慢/池小。
- 连接池耗尽? → 慢 SQL/泄漏。
- DB 慢怎么查? → 慢日志、explain。
- Redis 慢? → 大 key/热点/慢日志。
- 实例数怎么算? → ceil(目标/单机) × 冗余。
- 冗余多少? → N+2。
- 同城双活容量? → 单边全量。
- 异地多活? → 按单元算。
- 弹性够吗? → 冷启动慢,尖峰不够。
- 冷启动多久? → 分钟级。
- 大促怎么保? → 提前扩容 + 压测 + 限流。
- 压测频率? → 大促前/大变更前/季度。
- 压测后做什么? → 调优、扩容、预案、复盘。
- 怎么验证容量? → 演练 + 监控 + 故障注入。
- 容量会漂移吗? → 会,数据增长/依赖变化。
- 面试怎么总结? → 估算 → 单机拐点 → 实例数 → 全链路 → 短板 → 冗余 → 闭环。
生产案例/取舍(示例,替换成你的项目):
- 只按 CPU 估容量,上线后 DB 连接池先打满;改为按最短板(DB)规划。
- 单机压测压到极限 TPS 做规划,生产 P99 超标;改取拐点 65%。
- 压测用 1 万条数据,生产 1 亿,QPS 差 5 倍;改用脱敏生产数据副本。
- 闭环压测很稳,开环后大量超时;入口压测改固定 RPS。
- 压测机网卡打满,误判服务瓶颈;改分布式施压 + 监控压测机。
- 全链路压测未隔离,压测订单进了生产报表;补染色与影子表。
- 压测触发真实短信,用户收到测试短信;第三方改 mock + 白名单。
- HPA 扩容跟不上秒杀尖峰,冷启动 3 分钟;改提前扩容 + 限流。
- 同城双活按“各扛一半”建设,切换后单边过载;改为单边全量。
- 大促前没压测,MQ 消费能力不足导致积压;补全链路压测与分区扩容。
- 缓存命中率从 95% 掉到 80%,DB 压力翻 4 倍;加本地缓存与热点预热。
- 取舍:极限容量换成本低,代价是无冗余;N+2 换可用性,代价是资源;同城双活换机房级容灾,代价是双倍成本;弹性换成本,代价是冷启动;提前扩容换确定性,代价是闲置。
易错点:
- 认为容量评估就是拍个 QPS 乘系数。
- 认为只看入口 QPS 就够。
- 认为峰值系数对所有业务一样。
- 认为不用算读放大/写放大。
- 认为缓存命中率不影响容量。
- 认为重试不放大流量。
- 认为单机压测要压到极限 TPS。
- 认为极限 TPS 可以直接做规划。
- 认为平均值达标就行。
- 认为压测环境可以随便搭。
- 认为小数据量能代表生产。
- 认为 JVM 不需要预热。
- 认为压测机不会成为瓶颈。
- 认为闭环压测更真实。
- 认为固定并发等于固定 RPS。
- 认为单机压测能代替全链路压测。
- 认为全链路压测不用隔离。
- 认为打个 header 就算染色。
- 认为影子表和生产表可以混用。
- 认为压测不会触发真实副作用。
- 认为压测数据不用清理。
- 认为 CPU 低就没有瓶颈。
- 认为容量由 CPU 决定。
- 认为扩容能解决所有容量问题。
- 认为 HPA 能扛住秒杀尖峰。
- 认为同城双活各扛一半就行。
- 认为异地多活不需要单元化。
- 认为容量算一次就一劳永逸。
- 认为压测完不用复盘。
- 认为有监控就不需要压测。
30 秒口述稿:
容量评估是从业务到资源的闭环。先拿业务量和 SLA,算出日均 QPS,乘峰值系数,再沿链路算读放大、写放大、缓存 miss 和重试放大,得到每一层的目标 QPS。单机容量靠压测,但不是压到极限,而是找拐点——TPS 不涨、P99 陡升、错误率抬头——安全容量取拐点的六到七成。压测模型比工具重要,要用开环固定 RPS 模拟真实入口,数据量要接近生产,压测机不能成为瓶颈。全链路压测是从网关到 DB、MQ、第三方的端到端验证,核心是流量染色、影子链路和数据隔离,否则就是生产事故。最后按最短板算实例数,留 N+2 冗余,同城双活按单边全量,弹性要考虑冷启动,大促靠提前扩容加压测加限流,形成评估、压测、调优、演练、监控的闭环。
- 3 分钟展开顺序:结论(业务 → QPS → 单机拐点 → 实例数 → 全链路验证)→ QPS 估算与四类放大 → SLA 与安全容量的定义 → 单机压测的固定变量、拐点与 60–70% 安全系数 → 开环/闭环与工具选择 → 压测环境与数据同构 → 全链路压测的染色、影子链路、数据隔离 → 结果解读与最短板定位 → 冗余(N+2/同城/异地)与弹性冷启动 → 大促预案与闭环 → 案例与取舍。