Skip to content

4.1-16 分库分表:分片键、跨分片查询、扩容 ​

所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-13、4.1-14、4.1-15、4.1-17、4.1-18、4.2-10

  • 题型:场景 / 设计 / 取舍

  • 一句话结论:分库分表不是“表大了就拆”,而是在单机 容量、写入、连接数、备份恢复、DDL 窗口 达到瓶颈后的最后手段。核心不是“拆”,而是 分片键、跨分片查询/事务、扩容迁移、全局 ID、热点与一致性 的可控取舍;优先垂直拆分、归档、分区、读写分离、缓存和 SQL/索引优化,最后才水平分片。

  • 分层要点:

    1. 先判断该不该拆:看单表行数/数据量、QPS/TPS、连接数、Buffer Pool 命中、磁盘/IO、备份恢复时长、DDL 窗口、慢查询比例。没有量化瓶颈就拆,通常是把一个数据库问题变成十个分布式问题。
    2. 拆分顺序:先按业务域 垂直分库,再按冷热/大字段 垂直分表,最后才按分片键 水平分库分表。垂直拆分边界清晰、跨库事务少;水平拆分解决单表/单库容量与写入,但引入路由、跨分片查询、分布式事务和扩容问题。
    3. 分片键决定一切:分片键要满足“高频查询能带分片键、数据分布均匀、未来可扩容、事务能收敛在同一分片”。订单常用 user_id 或 order_id;商家维度查询多则考虑 merchant_id;租户系统用 tenant_id。分片键选错,后面所有问题都会被放大。
    4. 分片算法与路由:HASH 分布均匀但扩容要 rehash;RANGE 范围查询友好但易热点;RANGE + HASH 兼顾;一致性哈希迁移少但有倾斜;基因法把查询键的分片位编码进主键,支持双维度路由。路由层可用 ShardingSphere-JDBC/Proxy、MyCat、Vitess 或自研。
    5. 跨分片查询是最大成本:无分片键的查询会广播到所有分片;JOIN 尽量用绑定表/广播表/冗余宽表/ES;聚合、排序、分页要在内存归并,深分页代价极高;COUNT/DISTINCT/AVG 需要改写为可归并的形态。
    6. 分布式事务尽量规避:同一分片内用本地事务;跨分片用 XA/2PC、TCC、SAGA、本地消息表、事务消息,优先最终一致。按聚合根/用户维度分片,让一笔业务尽量落在一个分片,是比选事务框架更有效的设计。
    7. 全局 ID 要有序、可路由:Snowflake、号段、Redis INCR、数据库步长、UUIDv7 各有取舍;Snowflake 要处理时钟回拨和 workerId 分配;号段简单但依赖 DB;UUID 无序会造成索引碎片。ID 最好能和分片键对齐(基因法)。
    8. 扩容必须提前设计:翻倍扩容 N → 2N 只迁移约一半数据;一致性哈希迁移少但可能倾斜;范围分片按边界分裂。迁移用双写 + 全量 copy + 增量 binlog + 校验 + 切读 + 停写 + 回滚,不能“停机导数据”。
    9. 运维与替代:分片后备份/恢复、DDL、监控、连接池、慢查询都要按分片编排;热点大客户要独立分片/加盐;能不上分片就不上,TiDB/OceanBase 等 NewSQL、分区表、归档、读写分离、缓存、ES 都是替代或补充。
  • 图/流程:

text
演进路径:
  单库单表
    → SQL/索引优化 + 归档/分区
    → 读写分离 + 缓存
    → 垂直分库/分表
    → 水平分库分表
    → NewSQL / 分布式数据库(可选)
  每走一步都要有量化瓶颈,不要跳步
text
分片路由:
  SQL → 解析 → 提取分片键 → 分片算法 → 目标库/表
    ├─ 有分片键 → 单分片/有限分片
    ├─ 无分片键 → 广播/全路由(代价高)
    └─ 绑定表 → 同分片 JOIN
text
基因法:
  分片数 N = 1024(2 的幂)
  order_id 低位嵌入 user_id 的分片位
  → order_id % 1024 == user_id % 1024
  按 user_id 查、按 order_id 查都能落到同一分片
text
跨分片查询:
  查询 → 各分片并行执行 → 结果归并
    ├─ ORDER BY → 归并排序
    ├─ LIMIT → 各分片取 offset+size,再归并
    ├─ GROUP BY → 分片预聚合 + 二次聚合
    └─ JOIN → 绑定表/广播表/冗余/ES
text
扩容迁移:
  双写新旧集群
    → 全量 copy 历史数据
    → 增量 binlog 追平
    → 校验(行数/checksum/抽样)
    → 切读(灰度)
    → 停旧写
    → 观察/回滚窗口
text
分布式事务选择:
  同一分片 → 本地事务
  跨分片、强一致、短事务 → XA/2PC
  跨服务、可补偿 → TCC/SAGA
  最终一致 → 本地消息表/事务消息
  • 版本/源码锚点:

    • MySQL 8.0:分区表、Online DDL、GTID、组复制;分区表是单实例内的数据管理手段,不等于分布式分片。
    • ShardingSphere 5.x:ShardingSphere-JDBC、ShardingSphere-Proxy、ShardingSphere-Scaling;配置 actual-data-nodes、sharding-column、binding-tables、broadcast-tables、sharding-algorithm。
    • MyCat 1.6/2.x:Proxy 模式,社区活跃度下降;Vitess:YouTube 开源的 MySQL 分片/编排系统;云上 DRDS/PolarDB-X 等。
    • 分布式 ID:Snowflake、美团 Leaf、滴滴 TinyID、百度 UidGenerator;Snowflake 64 位 = 1 符号 + 41 时间戳 + 10 workerId + 12 序列号。
    • 源码/实现:ShardingSphere 的 ShardingRule/ShardingAlgorithm/SQLRouter;MySQL 分区 partition_info;TiDB/OceanBase 的 Region/Tablet 分片与自动分裂。
  • 何时考虑分库分表:

维度典型信号先尝试
单表数据量千万到亿级、索引/DDL/备份变慢归档、分区、索引优化
写入单库 TPS 接近上限、锁竞争严重垂直拆分、批量、异步、分片
读QPS 高、BP 命中低读写分离、缓存、覆盖索引
连接数连接池打满、Threads_connected 高优化连接池、Proxy、分库
备份恢复备份窗口/恢复时间不可接受分片、增量备份、云备份
DDL大表 DDL 窗口不可控Online DDL、gh-ost、归档
磁盘/IO单机磁盘/IOPS 瓶颈扩容、冷热分离、分片
  • 拆分方式对比:
方式拆什么优点代价适用
垂直分库按业务域拆库边界清晰、故障隔离跨库 JOIN/事务业务耦合重的单体库
垂直分表冷热/大字段拆表主表更小、IO 更省关联查询大字段、低频字段
水平分表同结构按分片键拆表单表变小路由、跨分片单表过大
水平分库同结构按分片键拆库写入/容量扩展分布式事务、扩容单库写入瓶颈
分区表单实例内分区管理/归档方便不跨节点、不解决写入时间序列、归档
  • 分片键选择:
候选键优点风险适用
user_id用户维度查询天然单分片商家/运营维度跨分片C 端订单、账户
order_id订单查询直接路由用户订单列表跨分片订单详情为主
merchant_id商家维度单分片用户维度跨分片B 端、商家后台
tenant_id租户隔离、易扩容大租户热点SaaS
create_time范围归档友好当前写入热点日志、流水
基因法双维度路由ID 生成复杂订单 + 用户双查
  • 分片算法:
算法分布范围查询扩容注意
HASH均匀差rehash 多最常用,分片数取 2 的幂
RANGE可能倾斜好分裂/迁移时间/ID 范围
RANGE + HASH较均匀较好按范围扩常用组合
一致性哈希较均匀差迁移少虚拟节点防倾斜
基因法均匀按基因键受位宽限制分片数 2 的幂
查表映射灵活按映射改映射大客户/特殊路由
  • 跨分片问题与方案:
问题代价方案
无分片键查询广播所有分片补分片键、二级索引表、ES、冗余
JOIN跨库/跨表归并绑定表、广播表、冗余宽表、ES
ORDER BY归并排序各分片排序 + 内存归并
LIMIT 深分页每分片取 offset+size二次查询、search_after、禁止大 offset
GROUP BY分片预聚合 + 二次聚合预聚合表、ES、离线数仓
COUNT/DISTINCT归并/去重汇总表、近似算法、ES
跨分片事务2PC/TCC/SAGA同分片设计、最终一致
  • 分布式事务方案:
方案一致性性能复杂度适用
本地事务强高低同一分片
XA/2PC强低中短事务、强一致
TCC最终一致较高高资金/库存,需补偿
SAGA最终一致高高长流程、可补偿
本地消息表最终一致高中异步可靠消息
事务消息最终一致高中MQ 生态
  • 全局 ID 方案:
方案有序性能依赖注意
Snowflake趋势递增高workerId时钟回拨、workerId 分配
号段趋势递增高DB双 buffer、号段浪费
Redis INCR递增高Redis持久化/集群
DB 步长递增中DB扩容/重平衡难
UUID/UUIDv7v7 趋势有序高无v4 无序、索引碎片
  • 扩容方案:
方案迁移量优点缺点
翻倍扩容 N→2N约 50%规则简单、rehash 可控需要双倍容量
一致性哈希少迁移少倾斜、虚拟节点
范围分裂按边界局部迁移热点/边界设计
双写迁移全量 + 增量可回滚、平滑复杂度高、双写一致性
停机迁移全量简单停机不可接受
  • 中间件/方案对比:
方案形态优点代价
ShardingSphere-JDBC客户端 SDK无额外跳、性能好应用耦合、版本升级
ShardingSphere-Proxy独立代理多语言/异构客户端多一跳、代理运维
MyCat代理成熟、SQL 兼容社区活跃度下降
Vitess代理 + 编排大规模 MySQL、K8s运维复杂
云 DRDS/PolarDB-X托管运维省心厂商锁定/成本
NewSQL(TiDB/OceanBase)分布式数据库自动分片、强一致成本/延迟/运维
  • 监控与治理:
指标作用告警
各分片行数/容量数据倾斜偏差超阈值
各分片 QPS/TPS热点单分片过高
慢查询/全路由路由退化广播查询增长
连接池使用率连接数接近上限
跨分片事务/补偿一致性风险失败率
迁移延迟/校验扩容追平/差异
备份/恢复时长可用性超窗口
  • 深挖点(面试官常追的 6 个):

    1. 分片键选错是最大返工:分片键要匹配最高频查询和事务边界,而不是“主键是什么就按什么拆”。订单按 user_id 分片,用户订单列表天然单分片;按 order_id 分片则用户列表要广播。双维度查询可用基因法或映射表,但会增加 ID/写入复杂度。
    2. 跨分片 JOIN/分页/聚合是持续成本:绑定表要求同分片键、同算法;广播表适合字典;冗余宽表/ES 适合复杂检索。深分页不能简单 LIMIT 100000, 20,要在各分片取 offset+size 后归并,或改二次查询/search_after。聚合要改写成可归并的 SUM/COUNT,AVG 要拆成 SUM/COUNT。
    3. 分布式事务优先规避,不是优先选框架:同一聚合根/同一用户落同一分片,能用本地事务就不要跨分片;必须跨分片时,短事务强一致用 XA,长流程用 SAGA/TCC,异步最终一致用本地消息表/事务消息。XA 有阻塞和协调者单点问题,TCC 要处理空回滚/悬挂/幂等。
    4. 扩容要按“双写 + 全量 + 增量 + 校验 + 切流”做:翻倍扩容只迁移约一半数据,但前提是分片算法可重hash;一致性哈希迁移少但可能倾斜;范围分片按边界分裂。迁移期间双写要保证顺序/幂等,增量用 binlog,切读灰度,保留回滚窗口,切完校验行数/checksum/抽样。
    5. 全局 ID 要趋势递增且可路由:Snowflake 有时钟回拨和 workerId 问题;号段依赖 DB 但简单;UUIDv4 无序会造成 B+ 树页分裂;UUIDv7 趋势有序。ID 最好嵌入分片位(基因法),让按 ID 查询也能单分片路由。
    6. 热点与倾斜是分片后的新问题:大商家/大租户/时间范围分片都会产生热点;可用独立分片、加盐、二级分片、缓存、异步削峰。监控要按分片看行数/QPS/慢查询,而不是只看集群总量。分片不是“均匀”就结束,业务分布往往长期倾斜。
  • 追问链:

    1. 什么时候需要分库分表? → 单机容量/写入/连接/备份恢复/DDL 达到瓶颈,且优化/归档/分区/读写分离/缓存不够时。
    2. 分库分表能解决什么问题? → 单库容量、写入吞吐、连接数、备份恢复窗口;不解决所有慢查询。
    3. 拆分顺序? → 垂直分库 → 垂直分表 → 水平分库分表。
    4. 垂直拆分和水平拆分区别? → 按业务/字段拆 vs 按行/分片键拆。
    5. 分片键怎么选? → 高频查询、数据均匀、事务同分片、可扩容;订单常用 user_id/order_id。
    6. 分片键选错会怎样? → 大量广播查询、跨分片 JOIN/事务、热点、返工。
    7. 分片算法有哪些? → HASH、RANGE、RANGE+HASH、一致性哈希、基因法、映射表。
    8. HASH 分片怎么扩容? → 翻倍扩容 rehash,约 50% 数据迁移;或一致性哈希。
    9. 一致性哈希优缺点? → 迁移少,但可能倾斜,需要虚拟节点。
    10. 基因法是什么? → 把查询键的分片位编码进主键,支持双维度单分片路由。
    11. 全局 ID 怎么生成? → Snowflake、号段、Redis INCR、DB 步长、UUIDv7。
    12. Snowflake 结构? → 1 符号 + 41 时间戳 + 10 workerId + 12 序列。
    13. Snowflake 时钟回拨怎么办? → 等待/拒绝/切换 worker/告警;不要直接生成。
    14. 号段模式? → DB 批量取号,内存双 buffer 发放。
    15. UUID 能做主键吗? → v4 无序、索引碎片;v7 趋势有序可用。
    16. 跨分片查询怎么处理? → 补分片键、广播、绑定表、冗余、ES、归并。
    17. 跨分片 JOIN 怎么办? → 绑定表/广播表/冗余宽表/ES,避免大 JOIN。
    18. 绑定表是什么? → 同分片键、同算法的一组表,JOIN 不跨分片。
    19. 广播表是什么? → 每个分片都存一份的小字典表。
    20. 跨分片分页? → 各分片取 offset+size 归并;深分页用二次查询/search_after。
    21. 跨分片聚合? → 分片预聚合 + 二次聚合;AVG 拆 SUM/COUNT。
    22. 跨分片事务怎么办? → 同分片本地事务;跨分片 XA/TCC/SAGA/消息表。
    23. XA 有什么问题? → 阻塞、协调者单点、性能差、长时间锁。
    24. TCC 空回滚/悬挂? → 事务控制表、幂等、防悬挂。
    25. SAGA 适用什么? → 长流程、可补偿、最终一致。
    26. 本地消息表? → 业务与消息同库事务,异步投递 + 重试。
    27. 事务消息? → MQ 半消息 + 回查,保证最终一致。
    28. 怎么避免跨分片事务? → 按聚合根/用户分片,同一业务落同一分片。
    29. 扩容怎么做? → 双写 + 全量 + 增量 + 校验 + 切读 + 停写 + 回滚。
    30. 翻倍扩容为什么迁移一半? → N→2N 只有一半 key 的模值改变。
    31. 迁移怎么保证一致性? → 双写幂等/顺序、binlog 增量、checksum、灰度切读。
    32. 怎么回滚? → 保留旧集群、双写窗口、切回读、补偿差异。
    33. 分片后怎么做 DDL? → 按分片编排、Online DDL/gh-ost、低峰、监控延迟。
    34. 分片后怎么备份恢复? → 按分片并行备份、一致性快照、恢复演练。
    35. 分片后连接池怎么算? → 总连接 = 单分片池 × 分片数,注意 DB max_connections。
    36. 数据倾斜怎么办? → 独立大客户、加盐、二级分片、缓存、异步。
    37. 热点 key/大租户? → 拆分、加盐、独立分片、限流。
    38. 分片中间件怎么选? → JDBC vs Proxy、ShardingSphere/MyCat/Vitess/云产品。
    39. ShardingSphere-JDBC 和 Proxy 区别? → SDK 无额外跳 vs 代理多语言/多一跳。
    40. 分片后 SQL 兼容性? → 避免跨分片 JOIN/子查询/复杂聚合;看中间件支持矩阵。
    41. 分片后怎么做分页排序? → 归并排序/二次查询;禁止大 offset。
    42. 分片后怎么做全局唯一约束? → 全局 ID、唯一索引按分片键、分布式锁/去重表。
    43. 分片键能改吗? → 代价极高,通常重建/迁移;设计时一次选对。
    44. 什么时候用 NewSQL? → 需要自动分片/强一致/弹性,但能接受成本/延迟/运维。
    45. 分区表等于分库分表吗? → 不等于;分区在单实例内,不跨节点、不解决写入扩展。
    46. 分库分表最大的坑? → 分片键选错、跨分片查询/事务、扩容没设计、热点倾斜。
    47. 怎么监控分片? → 分片行数/QPS/慢查询/连接/复制延迟/迁移校验。
    48. 分片和读写分离/缓存关系? → 互补;先读写分离/缓存,仍不够再分片。
  • 生产案例/取舍(示例,替换成你的项目):

    • 订单表 5 亿行,按 user_id HASH 分 16 库 64 表;order_id 用基因法嵌入用户分片位,订单详情和用户列表都单分片。
    • 商家后台按 merchant_id 查询跨分片;冗余商家订单索引表 + ES 解决。
    • 深分页 LIMIT 100000, 20 拖垮分片;改二次查询/search_after。
    • 8 库扩 16 库,双写 + 全量 + binlog 增量 + checksum,灰度切读后下线旧库。
    • 跨分片扣库存用 TCC,处理空回滚/悬挂/幂等;非核心流水用本地消息表最终一致。
    • 大商家订单集中在单分片;独立分片 + 缓存 + 异步削峰。
    • Snowflake 时钟回拨导致重复 ID;加告警/等待/worker 切换。
    • 分片后 DDL 按库编排,低峰执行,监控从库延迟。
    • 分片键选 order_id 导致用户订单列表广播;重建为 user_id 分片,代价高。
    • 对比:分片换扩展性,代价是分布式复杂度;NewSQL 换自动分片/强一致,代价是成本/延迟;分区表换管理便利,不解决跨节点扩展。
    • 取舍:HASH 换均匀,代价是扩容 rehash;RANGE 换范围查询,代价是热点;基因法换双维度路由,代价是 ID 复杂度;冗余表换查询性能,代价是一致性维护。
  • 易错点:

    • 为拆而拆,没有量化瓶颈。
    • 分片键选错,导致大量广播查询。
    • 只按时间范围分片,当前写入全压一个分片。
    • 认为 HASH 扩容不用迁移。
    • 忽略跨分片 JOIN/分页/聚合成本。
    • 深分页直接 LIMIT offset, size。
    • 滥用 XA/分布式事务。
    • 认为分片后还能随便跨分片事务。
    • 全局 ID 用 UUIDv4 做聚簇主键。
    • 忽略 Snowflake 时钟回拨/workerId。
    • 不用绑定表/广播表,所有 JOIN 都跨分片。
    • 忽略数据倾斜/大客户。
    • 不设计扩容方案。
    • 忽略分片后的备份恢复。
    • 忽略分片 DDL 编排。
    • 连接池按单库算,分片后打满。
    • 认为分片能解决所有慢查询。
    • 忽略跨分片聚合内存/网络开销。
    • 忽略分布式事务补偿/幂等。
    • 忽略中间件单点/SQL 兼容。
    • 不做分片级监控。
    • 认为分片越多越好。
  • 30 秒口述稿:

分库分表是单机容量、写入、连接、备份恢复达到瓶颈后的最后手段,先垂直拆分、归档、分区、读写分离、缓存。核心是分片键:要匹配高频查询、数据均匀、事务同分片、可扩容;订单常按 user_id,双维度查询用基因法。跨分片查询靠绑定表、广播表、冗余、ES 和归并,深分页要二次查询;跨分片事务优先规避,必须时用 XA/TCC/SAGA/消息表。扩容用翻倍 + 双写 + 全量 + 增量 + 校验 + 切流。分片不是银弹,热点、倾斜、运维复杂度都会放大。

  • 3 分钟展开顺序:结论(最后手段 + 五个核心取舍)→ 何时拆/量化指标 → 拆分顺序(垂直→水平)→ 分片键与算法(HASH/RANGE/基因法)→ 跨分片查询(JOIN/分页/聚合)→ 分布式事务 → 全局 ID → 扩容迁移 → 中间件/监控/替代 → 生产案例与取舍。