Appearance
4.1-16 分库分表:分片键、跨分片查询、扩容
所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-13、4.1-14、4.1-15、4.1-17、4.1-18、4.2-10
题型:场景 / 设计 / 取舍
一句话结论:分库分表不是“表大了就拆”,而是在单机 容量、写入、连接数、备份恢复、DDL 窗口 达到瓶颈后的最后手段。核心不是“拆”,而是 分片键、跨分片查询/事务、扩容迁移、全局 ID、热点与一致性 的可控取舍;优先垂直拆分、归档、分区、读写分离、缓存和 SQL/索引优化,最后才水平分片。
分层要点:
- 先判断该不该拆:看单表行数/数据量、QPS/TPS、连接数、Buffer Pool 命中、磁盘/IO、备份恢复时长、DDL 窗口、慢查询比例。没有量化瓶颈就拆,通常是把一个数据库问题变成十个分布式问题。
- 拆分顺序:先按业务域 垂直分库,再按冷热/大字段 垂直分表,最后才按分片键 水平分库分表。垂直拆分边界清晰、跨库事务少;水平拆分解决单表/单库容量与写入,但引入路由、跨分片查询、分布式事务和扩容问题。
- 分片键决定一切:分片键要满足“高频查询能带分片键、数据分布均匀、未来可扩容、事务能收敛在同一分片”。订单常用
user_id或order_id;商家维度查询多则考虑merchant_id;租户系统用tenant_id。分片键选错,后面所有问题都会被放大。 - 分片算法与路由:
HASH分布均匀但扩容要 rehash;RANGE范围查询友好但易热点;RANGE + HASH兼顾;一致性哈希迁移少但有倾斜;基因法把查询键的分片位编码进主键,支持双维度路由。路由层可用 ShardingSphere-JDBC/Proxy、MyCat、Vitess 或自研。 - 跨分片查询是最大成本:无分片键的查询会广播到所有分片;JOIN 尽量用绑定表/广播表/冗余宽表/ES;聚合、排序、分页要在内存归并,深分页代价极高;
COUNT/DISTINCT/AVG需要改写为可归并的形态。 - 分布式事务尽量规避:同一分片内用本地事务;跨分片用 XA/2PC、TCC、SAGA、本地消息表、事务消息,优先最终一致。按聚合根/用户维度分片,让一笔业务尽量落在一个分片,是比选事务框架更有效的设计。
- 全局 ID 要有序、可路由:Snowflake、号段、Redis INCR、数据库步长、UUIDv7 各有取舍;Snowflake 要处理时钟回拨和 workerId 分配;号段简单但依赖 DB;UUID 无序会造成索引碎片。ID 最好能和分片键对齐(基因法)。
- 扩容必须提前设计:翻倍扩容
N → 2N只迁移约一半数据;一致性哈希迁移少但可能倾斜;范围分片按边界分裂。迁移用双写 + 全量 copy + 增量 binlog + 校验 + 切读 + 停写 + 回滚,不能“停机导数据”。 - 运维与替代:分片后备份/恢复、DDL、监控、连接池、慢查询都要按分片编排;热点大客户要独立分片/加盐;能不上分片就不上,TiDB/OceanBase 等 NewSQL、分区表、归档、读写分离、缓存、ES 都是替代或补充。
图/流程:
text
演进路径:
单库单表
→ SQL/索引优化 + 归档/分区
→ 读写分离 + 缓存
→ 垂直分库/分表
→ 水平分库分表
→ NewSQL / 分布式数据库(可选)
每走一步都要有量化瓶颈,不要跳步text
分片路由:
SQL → 解析 → 提取分片键 → 分片算法 → 目标库/表
├─ 有分片键 → 单分片/有限分片
├─ 无分片键 → 广播/全路由(代价高)
└─ 绑定表 → 同分片 JOINtext
基因法:
分片数 N = 1024(2 的幂)
order_id 低位嵌入 user_id 的分片位
→ order_id % 1024 == user_id % 1024
按 user_id 查、按 order_id 查都能落到同一分片text
跨分片查询:
查询 → 各分片并行执行 → 结果归并
├─ ORDER BY → 归并排序
├─ LIMIT → 各分片取 offset+size,再归并
├─ GROUP BY → 分片预聚合 + 二次聚合
└─ JOIN → 绑定表/广播表/冗余/EStext
扩容迁移:
双写新旧集群
→ 全量 copy 历史数据
→ 增量 binlog 追平
→ 校验(行数/checksum/抽样)
→ 切读(灰度)
→ 停旧写
→ 观察/回滚窗口text
分布式事务选择:
同一分片 → 本地事务
跨分片、强一致、短事务 → XA/2PC
跨服务、可补偿 → TCC/SAGA
最终一致 → 本地消息表/事务消息版本/源码锚点:
- MySQL 8.0:分区表、Online DDL、GTID、组复制;分区表是单实例内的数据管理手段,不等于分布式分片。
- ShardingSphere 5.x:
ShardingSphere-JDBC、ShardingSphere-Proxy、ShardingSphere-Scaling;配置actual-data-nodes、sharding-column、binding-tables、broadcast-tables、sharding-algorithm。 - MyCat 1.6/2.x:Proxy 模式,社区活跃度下降;Vitess:YouTube 开源的 MySQL 分片/编排系统;云上 DRDS/PolarDB-X 等。
- 分布式 ID:Snowflake、美团 Leaf、滴滴 TinyID、百度 UidGenerator;Snowflake 64 位 = 1 符号 + 41 时间戳 + 10 workerId + 12 序列号。
- 源码/实现:ShardingSphere 的
ShardingRule/ShardingAlgorithm/SQLRouter;MySQL 分区partition_info;TiDB/OceanBase 的 Region/Tablet 分片与自动分裂。
何时考虑分库分表:
| 维度 | 典型信号 | 先尝试 |
|---|---|---|
| 单表数据量 | 千万到亿级、索引/DDL/备份变慢 | 归档、分区、索引优化 |
| 写入 | 单库 TPS 接近上限、锁竞争严重 | 垂直拆分、批量、异步、分片 |
| 读 | QPS 高、BP 命中低 | 读写分离、缓存、覆盖索引 |
| 连接数 | 连接池打满、Threads_connected 高 | 优化连接池、Proxy、分库 |
| 备份恢复 | 备份窗口/恢复时间不可接受 | 分片、增量备份、云备份 |
| DDL | 大表 DDL 窗口不可控 | Online DDL、gh-ost、归档 |
| 磁盘/IO | 单机磁盘/IOPS 瓶颈 | 扩容、冷热分离、分片 |
- 拆分方式对比:
| 方式 | 拆什么 | 优点 | 代价 | 适用 |
|---|---|---|---|---|
| 垂直分库 | 按业务域拆库 | 边界清晰、故障隔离 | 跨库 JOIN/事务 | 业务耦合重的单体库 |
| 垂直分表 | 冷热/大字段拆表 | 主表更小、IO 更省 | 关联查询 | 大字段、低频字段 |
| 水平分表 | 同结构按分片键拆表 | 单表变小 | 路由、跨分片 | 单表过大 |
| 水平分库 | 同结构按分片键拆库 | 写入/容量扩展 | 分布式事务、扩容 | 单库写入瓶颈 |
| 分区表 | 单实例内分区 | 管理/归档方便 | 不跨节点、不解决写入 | 时间序列、归档 |
- 分片键选择:
| 候选键 | 优点 | 风险 | 适用 |
|---|---|---|---|
user_id | 用户维度查询天然单分片 | 商家/运营维度跨分片 | C 端订单、账户 |
order_id | 订单查询直接路由 | 用户订单列表跨分片 | 订单详情为主 |
merchant_id | 商家维度单分片 | 用户维度跨分片 | B 端、商家后台 |
tenant_id | 租户隔离、易扩容 | 大租户热点 | SaaS |
create_time | 范围归档友好 | 当前写入热点 | 日志、流水 |
| 基因法 | 双维度路由 | ID 生成复杂 | 订单 + 用户双查 |
- 分片算法:
| 算法 | 分布 | 范围查询 | 扩容 | 注意 |
|---|---|---|---|---|
HASH | 均匀 | 差 | rehash 多 | 最常用,分片数取 2 的幂 |
RANGE | 可能倾斜 | 好 | 分裂/迁移 | 时间/ID 范围 |
RANGE + HASH | 较均匀 | 较好 | 按范围扩 | 常用组合 |
| 一致性哈希 | 较均匀 | 差 | 迁移少 | 虚拟节点防倾斜 |
| 基因法 | 均匀 | 按基因键 | 受位宽限制 | 分片数 2 的幂 |
| 查表映射 | 灵活 | 按映射 | 改映射 | 大客户/特殊路由 |
- 跨分片问题与方案:
| 问题 | 代价 | 方案 |
|---|---|---|
| 无分片键查询 | 广播所有分片 | 补分片键、二级索引表、ES、冗余 |
| JOIN | 跨库/跨表归并 | 绑定表、广播表、冗余宽表、ES |
ORDER BY | 归并排序 | 各分片排序 + 内存归并 |
LIMIT 深分页 | 每分片取 offset+size | 二次查询、search_after、禁止大 offset |
GROUP BY | 分片预聚合 + 二次聚合 | 预聚合表、ES、离线数仓 |
COUNT/DISTINCT | 归并/去重 | 汇总表、近似算法、ES |
| 跨分片事务 | 2PC/TCC/SAGA | 同分片设计、最终一致 |
- 分布式事务方案:
| 方案 | 一致性 | 性能 | 复杂度 | 适用 |
|---|---|---|---|---|
| 本地事务 | 强 | 高 | 低 | 同一分片 |
| XA/2PC | 强 | 低 | 中 | 短事务、强一致 |
| TCC | 最终一致 | 较高 | 高 | 资金/库存,需补偿 |
| SAGA | 最终一致 | 高 | 高 | 长流程、可补偿 |
| 本地消息表 | 最终一致 | 高 | 中 | 异步可靠消息 |
| 事务消息 | 最终一致 | 高 | 中 | MQ 生态 |
- 全局 ID 方案:
| 方案 | 有序 | 性能 | 依赖 | 注意 |
|---|---|---|---|---|
| Snowflake | 趋势递增 | 高 | workerId | 时钟回拨、workerId 分配 |
| 号段 | 趋势递增 | 高 | DB | 双 buffer、号段浪费 |
| Redis INCR | 递增 | 高 | Redis | 持久化/集群 |
| DB 步长 | 递增 | 中 | DB | 扩容/重平衡难 |
| UUID/UUIDv7 | v7 趋势有序 | 高 | 无 | v4 无序、索引碎片 |
- 扩容方案:
| 方案 | 迁移量 | 优点 | 缺点 |
|---|---|---|---|
翻倍扩容 N→2N | 约 50% | 规则简单、rehash 可控 | 需要双倍容量 |
| 一致性哈希 | 少 | 迁移少 | 倾斜、虚拟节点 |
| 范围分裂 | 按边界 | 局部迁移 | 热点/边界设计 |
| 双写迁移 | 全量 + 增量 | 可回滚、平滑 | 复杂度高、双写一致性 |
| 停机迁移 | 全量 | 简单 | 停机不可接受 |
- 中间件/方案对比:
| 方案 | 形态 | 优点 | 代价 |
|---|---|---|---|
| ShardingSphere-JDBC | 客户端 SDK | 无额外跳、性能好 | 应用耦合、版本升级 |
| ShardingSphere-Proxy | 独立代理 | 多语言/异构客户端 | 多一跳、代理运维 |
| MyCat | 代理 | 成熟、SQL 兼容 | 社区活跃度下降 |
| Vitess | 代理 + 编排 | 大规模 MySQL、K8s | 运维复杂 |
| 云 DRDS/PolarDB-X | 托管 | 运维省心 | 厂商锁定/成本 |
| NewSQL(TiDB/OceanBase) | 分布式数据库 | 自动分片、强一致 | 成本/延迟/运维 |
- 监控与治理:
| 指标 | 作用 | 告警 |
|---|---|---|
| 各分片行数/容量 | 数据倾斜 | 偏差超阈值 |
| 各分片 QPS/TPS | 热点 | 单分片过高 |
| 慢查询/全路由 | 路由退化 | 广播查询增长 |
| 连接池使用率 | 连接数 | 接近上限 |
| 跨分片事务/补偿 | 一致性风险 | 失败率 |
| 迁移延迟/校验 | 扩容 | 追平/差异 |
| 备份/恢复时长 | 可用性 | 超窗口 |
深挖点(面试官常追的 6 个):
- 分片键选错是最大返工:分片键要匹配最高频查询和事务边界,而不是“主键是什么就按什么拆”。订单按
user_id分片,用户订单列表天然单分片;按order_id分片则用户列表要广播。双维度查询可用基因法或映射表,但会增加 ID/写入复杂度。 - 跨分片 JOIN/分页/聚合是持续成本:绑定表要求同分片键、同算法;广播表适合字典;冗余宽表/ES 适合复杂检索。深分页不能简单
LIMIT 100000, 20,要在各分片取offset+size后归并,或改二次查询/search_after。聚合要改写成可归并的SUM/COUNT,AVG要拆成SUM/COUNT。 - 分布式事务优先规避,不是优先选框架:同一聚合根/同一用户落同一分片,能用本地事务就不要跨分片;必须跨分片时,短事务强一致用 XA,长流程用 SAGA/TCC,异步最终一致用本地消息表/事务消息。XA 有阻塞和协调者单点问题,TCC 要处理空回滚/悬挂/幂等。
- 扩容要按“双写 + 全量 + 增量 + 校验 + 切流”做:翻倍扩容只迁移约一半数据,但前提是分片算法可重hash;一致性哈希迁移少但可能倾斜;范围分片按边界分裂。迁移期间双写要保证顺序/幂等,增量用 binlog,切读灰度,保留回滚窗口,切完校验行数/checksum/抽样。
- 全局 ID 要趋势递增且可路由:Snowflake 有时钟回拨和 workerId 问题;号段依赖 DB 但简单;UUIDv4 无序会造成 B+ 树页分裂;UUIDv7 趋势有序。ID 最好嵌入分片位(基因法),让按 ID 查询也能单分片路由。
- 热点与倾斜是分片后的新问题:大商家/大租户/时间范围分片都会产生热点;可用独立分片、加盐、二级分片、缓存、异步削峰。监控要按分片看行数/QPS/慢查询,而不是只看集群总量。分片不是“均匀”就结束,业务分布往往长期倾斜。
- 分片键选错是最大返工:分片键要匹配最高频查询和事务边界,而不是“主键是什么就按什么拆”。订单按
追问链:
- 什么时候需要分库分表? → 单机容量/写入/连接/备份恢复/DDL 达到瓶颈,且优化/归档/分区/读写分离/缓存不够时。
- 分库分表能解决什么问题? → 单库容量、写入吞吐、连接数、备份恢复窗口;不解决所有慢查询。
- 拆分顺序? → 垂直分库 → 垂直分表 → 水平分库分表。
- 垂直拆分和水平拆分区别? → 按业务/字段拆 vs 按行/分片键拆。
- 分片键怎么选? → 高频查询、数据均匀、事务同分片、可扩容;订单常用 user_id/order_id。
- 分片键选错会怎样? → 大量广播查询、跨分片 JOIN/事务、热点、返工。
- 分片算法有哪些? → HASH、RANGE、RANGE+HASH、一致性哈希、基因法、映射表。
- HASH 分片怎么扩容? → 翻倍扩容 rehash,约 50% 数据迁移;或一致性哈希。
- 一致性哈希优缺点? → 迁移少,但可能倾斜,需要虚拟节点。
- 基因法是什么? → 把查询键的分片位编码进主键,支持双维度单分片路由。
- 全局 ID 怎么生成? → Snowflake、号段、Redis INCR、DB 步长、UUIDv7。
- Snowflake 结构? → 1 符号 + 41 时间戳 + 10 workerId + 12 序列。
- Snowflake 时钟回拨怎么办? → 等待/拒绝/切换 worker/告警;不要直接生成。
- 号段模式? → DB 批量取号,内存双 buffer 发放。
- UUID 能做主键吗? → v4 无序、索引碎片;v7 趋势有序可用。
- 跨分片查询怎么处理? → 补分片键、广播、绑定表、冗余、ES、归并。
- 跨分片 JOIN 怎么办? → 绑定表/广播表/冗余宽表/ES,避免大 JOIN。
- 绑定表是什么? → 同分片键、同算法的一组表,JOIN 不跨分片。
- 广播表是什么? → 每个分片都存一份的小字典表。
- 跨分片分页? → 各分片取 offset+size 归并;深分页用二次查询/search_after。
- 跨分片聚合? → 分片预聚合 + 二次聚合;AVG 拆 SUM/COUNT。
- 跨分片事务怎么办? → 同分片本地事务;跨分片 XA/TCC/SAGA/消息表。
- XA 有什么问题? → 阻塞、协调者单点、性能差、长时间锁。
- TCC 空回滚/悬挂? → 事务控制表、幂等、防悬挂。
- SAGA 适用什么? → 长流程、可补偿、最终一致。
- 本地消息表? → 业务与消息同库事务,异步投递 + 重试。
- 事务消息? → MQ 半消息 + 回查,保证最终一致。
- 怎么避免跨分片事务? → 按聚合根/用户分片,同一业务落同一分片。
- 扩容怎么做? → 双写 + 全量 + 增量 + 校验 + 切读 + 停写 + 回滚。
- 翻倍扩容为什么迁移一半? →
N→2N只有一半 key 的模值改变。 - 迁移怎么保证一致性? → 双写幂等/顺序、binlog 增量、checksum、灰度切读。
- 怎么回滚? → 保留旧集群、双写窗口、切回读、补偿差异。
- 分片后怎么做 DDL? → 按分片编排、Online DDL/gh-ost、低峰、监控延迟。
- 分片后怎么备份恢复? → 按分片并行备份、一致性快照、恢复演练。
- 分片后连接池怎么算? → 总连接 = 单分片池 × 分片数,注意 DB max_connections。
- 数据倾斜怎么办? → 独立大客户、加盐、二级分片、缓存、异步。
- 热点 key/大租户? → 拆分、加盐、独立分片、限流。
- 分片中间件怎么选? → JDBC vs Proxy、ShardingSphere/MyCat/Vitess/云产品。
- ShardingSphere-JDBC 和 Proxy 区别? → SDK 无额外跳 vs 代理多语言/多一跳。
- 分片后 SQL 兼容性? → 避免跨分片 JOIN/子查询/复杂聚合;看中间件支持矩阵。
- 分片后怎么做分页排序? → 归并排序/二次查询;禁止大 offset。
- 分片后怎么做全局唯一约束? → 全局 ID、唯一索引按分片键、分布式锁/去重表。
- 分片键能改吗? → 代价极高,通常重建/迁移;设计时一次选对。
- 什么时候用 NewSQL? → 需要自动分片/强一致/弹性,但能接受成本/延迟/运维。
- 分区表等于分库分表吗? → 不等于;分区在单实例内,不跨节点、不解决写入扩展。
- 分库分表最大的坑? → 分片键选错、跨分片查询/事务、扩容没设计、热点倾斜。
- 怎么监控分片? → 分片行数/QPS/慢查询/连接/复制延迟/迁移校验。
- 分片和读写分离/缓存关系? → 互补;先读写分离/缓存,仍不够再分片。
生产案例/取舍(示例,替换成你的项目):
- 订单表 5 亿行,按
user_idHASH 分 16 库 64 表;order_id用基因法嵌入用户分片位,订单详情和用户列表都单分片。 - 商家后台按
merchant_id查询跨分片;冗余商家订单索引表 + ES 解决。 - 深分页
LIMIT 100000, 20拖垮分片;改二次查询/search_after。 - 8 库扩 16 库,双写 + 全量 + binlog 增量 + checksum,灰度切读后下线旧库。
- 跨分片扣库存用 TCC,处理空回滚/悬挂/幂等;非核心流水用本地消息表最终一致。
- 大商家订单集中在单分片;独立分片 + 缓存 + 异步削峰。
- Snowflake 时钟回拨导致重复 ID;加告警/等待/worker 切换。
- 分片后 DDL 按库编排,低峰执行,监控从库延迟。
- 分片键选
order_id导致用户订单列表广播;重建为user_id分片,代价高。 - 对比:分片换扩展性,代价是分布式复杂度;NewSQL 换自动分片/强一致,代价是成本/延迟;分区表换管理便利,不解决跨节点扩展。
- 取舍:HASH 换均匀,代价是扩容 rehash;RANGE 换范围查询,代价是热点;基因法换双维度路由,代价是 ID 复杂度;冗余表换查询性能,代价是一致性维护。
- 订单表 5 亿行,按
易错点:
- 为拆而拆,没有量化瓶颈。
- 分片键选错,导致大量广播查询。
- 只按时间范围分片,当前写入全压一个分片。
- 认为 HASH 扩容不用迁移。
- 忽略跨分片 JOIN/分页/聚合成本。
- 深分页直接
LIMIT offset, size。 - 滥用 XA/分布式事务。
- 认为分片后还能随便跨分片事务。
- 全局 ID 用 UUIDv4 做聚簇主键。
- 忽略 Snowflake 时钟回拨/workerId。
- 不用绑定表/广播表,所有 JOIN 都跨分片。
- 忽略数据倾斜/大客户。
- 不设计扩容方案。
- 忽略分片后的备份恢复。
- 忽略分片 DDL 编排。
- 连接池按单库算,分片后打满。
- 认为分片能解决所有慢查询。
- 忽略跨分片聚合内存/网络开销。
- 忽略分布式事务补偿/幂等。
- 忽略中间件单点/SQL 兼容。
- 不做分片级监控。
- 认为分片越多越好。
30 秒口述稿:
分库分表是单机容量、写入、连接、备份恢复达到瓶颈后的最后手段,先垂直拆分、归档、分区、读写分离、缓存。核心是分片键:要匹配高频查询、数据均匀、事务同分片、可扩容;订单常按
user_id,双维度查询用基因法。跨分片查询靠绑定表、广播表、冗余、ES 和归并,深分页要二次查询;跨分片事务优先规避,必须时用 XA/TCC/SAGA/消息表。扩容用翻倍 + 双写 + 全量 + 增量 + 校验 + 切流。分片不是银弹,热点、倾斜、运维复杂度都会放大。
- 3 分钟展开顺序:结论(最后手段 + 五个核心取舍)→ 何时拆/量化指标 → 拆分顺序(垂直→水平)→ 分片键与算法(HASH/RANGE/基因法)→ 跨分片查询(JOIN/分页/聚合)→ 分布式事务 → 全局 ID → 扩容迁移 → 中间件/监控/替代 → 生产案例与取舍。