Appearance
4.1-13 主从复制、半同步、并行复制、GTID
所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-2、4.1-11、4.1-12、4.1-14、4.1-15、4.1-16、4.1-18
题型:原理 / 对比 / 运维
一句话结论:MySQL 复制是“主库写 binlog → dump 线程发送 → 从库 IO 线程写 relay log → SQL 线程/并行 worker 回放”的异步链路;半同步在提交路径上等待从库 ACK,提高可靠性但增加 RT;并行复制按组提交/逻辑时钟并行回放,降低延迟;GTID 用全局事务 ID 简化切换与故障恢复。核心取舍是 一致性、延迟、吞吐、可用性,没有一种模式全赢。
分层要点:
- 复制链路:主库
Binlog Dump线程读 binlog 发给从库;从库Replica IO线程写 relay log;Replica SQL线程(或并行 worker)回放 relay log。关键位点:Source_Log_File/Read_Source_Log_Pos、Relay_Log_File/Relay_Log_Pos、Exec_Source_Log_Pos、Retrieved_Gtid_Set/Executed_Gtid_Set。 - binlog 格式:
STATEMENT记录 SQL,日志小但非确定性语句不安全;ROW记录行变更,最安全、最常用;MIXED自动切换。binlog_row_image=FULL记录前后镜像,MINIMAL省空间但部分工具/回放场景不够。sync_binlog=1+innodb_flush_log_at_trx_commit=1保证本地崩溃安全。 - 异步复制:主库提交后立即返回,不等待从库;性能最好,但主库崩溃时可能丢失尚未传到从库的事务。默认模式,适合对一致性要求不极端的读扩展、备份、报表。
- 半同步复制:主库提交路径上等待至少 N 个从库 ACK;
AFTER_SYNC先刷 binlog、等 ACK、再提交,是更常用的无损半同步;BEFORE_SYNC顺序不同,故障语义有差异。超时(rpl_semi_sync_source_timeout)后退化为异步,可靠性下降;从库慢/网络抖动会直接推高主库 RT。 - 并行复制:5.6 起步,5.7
LOGICAL_CLOCK基于组提交并行,8.0 增加WRITESET依赖跟踪;replica_parallel_workers开 worker,replica_preserve_commit_order=ON保证提交顺序。单事务、DDL、大事务不能并行;无主键/无唯一索引的 ROW 回放可能退化为全表扫描。 - GTID:全局事务 ID(
source_uuid:transaction_id),gtid_mode=ON+enforce_gtid_consistency=ON;gtid_executed记录已执行,gtid_purged记录已清理,AUTO_POSITION=1让从库自动请求缺失事务。切换时不用算 binlog 位点,简化 failover;但不等于强一致,仍要配合半同步/MGR。 - 复制延迟:从库回放能力不足(单线程/大事务/DDL/无主键/锁等待)、从库负载高、网络带宽/延迟、主库写入突增、binlog 量大、并行度不足都会造成延迟。
Seconds_Behind_Source是估算,可能失真;用pt-heartbeat或WAIT_FOR_EXECUTED_GTID_SET做更可靠的判断。 - 高可用与读写分离:主从切换要选 GTID 最全、延迟最小的从库,fencing 旧主防止脑裂;读写分离要处理“读己之写”,可路由主库、粘性会话、
WAIT_FOR_EXECUTED_GTID_SET或半同步。MHA/Orchestrator/MGR/云 RDS 是不同层次的方案(4.1-15)。
- 复制链路:主库
图/流程:
text
MySQL 复制链路:
主库
├─ 事务提交 → 写 binlog
└─ Binlog Dump 线程 → 网络 → 从库
├─ Replica IO 线程 → relay log
└─ Replica SQL/worker → 回放 → 从库数据text
半同步 AFTER_SYNC:
主库:写 binlog → sync binlog → 等从库 ACK → 提交
从库:收 binlog → 写 relay log → ACK
超时 → 退化为异步,主库继续提交text
并行复制 LOGICAL_CLOCK:
主库组提交:T1,T2,T3 同一组 → 可并行
从库:worker1=T1, worker2=T2, worker3=T3
replica_preserve_commit_order=ON → 按原顺序提交
大事务/DDL → 单 worker,仍是瓶颈text
GTID 切换:
旧主:gtid_executed = uuid:1-1000
新主:gtid_executed = uuid:1-1005
从库:CHANGE REPLICATION SOURCE TO ... SOURCE_AUTO_POSITION=1
→ 自动请求缺失的 1001-1005text
延迟归因:
从库回放慢
├─ 单线程/并行度低
├─ 大事务/DDL
├─ 无主键/无唯一索引 → ROW 回放扫全表
├─ 锁等待/长事务
├─ 从库 CPU/IO/BP 不足
└─ 网络带宽/延迟版本/源码锚点:
- MySQL 5.6:GTID、并行复制雏形、半同步;5.7:
LOGICAL_CLOCK并行复制、AFTER_SYNC半同步、多源复制、WAIT_UNTIL_SQL_THREAD_AFTER_GTIDS。 - MySQL 8.0:
WRITESET依赖跟踪、WAIT_FOR_EXECUTED_GTID_SET、CHANGE REPLICATION SOURCE TO/SHOW REPLICA STATUS新术语、原子 DDL、binlog_expire_logs_seconds。 - 关键参数:
binlog_format=ROW、binlog_row_image=FULL、sync_binlog=1、innodb_flush_log_at_trx_commit=1、rpl_semi_sync_source_enabled、rpl_semi_sync_source_timeout=10000ms、rpl_semi_sync_source_wait_for_replica_count=1、rpl_semi_sync_source_wait_point=AFTER_SYNC、replica_parallel_workers、replica_preserve_commit_order=ON、binlog_transaction_dependency_tracking=WRITESET。 - 源码/实现:
sql/binlog.cc(binlog 写入/组提交)、sql/rpl_source.cc/rpl_replica.cc(复制线程)、sql/log_event.cc(事件回放)、sql/rpl_parallel.cc(并行复制)、sql/rpl_gtid.cc(GTID)、plugin/semisync(半同步)。
- MySQL 5.6:GTID、并行复制雏形、半同步;5.7:
复制线程/状态:
| 线程/状态 | 位置 | 作用 | 关注 |
|---|---|---|---|
Binlog Dump | 主库 | 读 binlog 发送 | 连接数、发送阻塞 |
Replica IO | 从库 | 拉取 binlog 写 relay log | Last_IO_Error、网络 |
Replica SQL/worker | 从库 | 回放 relay log | Last_SQL_Error、延迟 |
Source_Log_File/Read_Source_Log_Pos | 从库 | IO 线程读到的主库位点 | 是否追上 |
Relay_Log_File/Relay_Log_Pos | 从库 | SQL 线程回放位点 | 回放进度 |
Exec_Source_Log_Pos | 从库 | 已执行的主库位点 | 与读取位点比较 |
Retrieved_Gtid_Set | 从库 | 已拉取的 GTID | 与 Executed_Gtid_Set 比较 |
Executed_Gtid_Set | 从库 | 已执行的 GTID | 切换选主依据 |
Seconds_Behind_Source | 从库 | 估算延迟 | 可能失真 |
- binlog 格式:
| 格式 | 记录内容 | 优点 | 缺点 | 适用 |
|---|---|---|---|---|
STATEMENT | SQL 语句 | 日志小 | 非确定性语句不安全 | 旧系统/特殊场景 |
ROW | 行前后镜像 | 安全、可审计 | 日志大、批量 DML 膨胀 | 默认推荐 |
MIXED | 自动选择 | 兼顾 | 行为不够直观 | 过渡 |
| 参数 | 作用 | 建议 |
|---|---|---|
binlog_format=ROW | 行复制 | 生产默认 |
binlog_row_image=FULL | 记录完整前后镜像 | gh-ost/审计/回滚需要 |
sync_binlog=1 | 每次提交刷 binlog | 崩溃安全,性能有代价 |
innodb_flush_log_at_trx_commit=1 | 每次提交刷 redo | 崩溃安全 |
binlog_expire_logs_seconds | binlog 过期 | 按备份/复制需求设置 |
- 复制模式对比:
| 模式 | 主库提交是否等从库 | 可靠性 | 延迟/吞吐 | 适用 |
|---|---|---|---|---|
| 异步 | 否 | 主库崩溃可能丢数据 | 最好 | 读扩展、备份、报表 |
| 半同步 | 等 ACK(可配置数量) | 较高,超时会退化 | RT 增加 | 核心业务、容忍一定延迟 |
| 组复制 MGR | 多数派认证/提交 | 高,自动选主 | 网络/多数派影响大 | 高可用核心库 |
| 增强半同步 | AFTER_SYNC | 减少丢失窗口 | 仍有超时退化 | 金融/交易类 |
- 半同步关键参数:
| 参数 | 默认/常见 | 作用 | 注意 |
|---|---|---|---|
rpl_semi_sync_source_enabled | OFF | 主库开启半同步 | 需插件 |
rpl_semi_sync_replica_enabled | OFF | 从库开启半同步 | 需插件 |
rpl_semi_sync_source_timeout | 10000ms | 等 ACK 超时 | 超时退化异步 |
rpl_semi_sync_source_wait_for_replica_count | 1 | 至少几个从库 ACK | 越多越稳、越慢 |
rpl_semi_sync_source_wait_point | AFTER_SYNC | 等待点 | BEFORE_SYNC 语义不同 |
Rpl_semi_sync_source_status | ON/OFF | 当前是否半同步 | 超时后变 OFF |
- 并行复制关键参数:
| 参数 | 作用 | 注意 |
|---|---|---|
replica_parallel_workers | worker 数量 | 0 表示关闭;按 CPU/延迟调 |
replica_parallel_type | LOGICAL_CLOCK/DATABASE | 8.0 推荐 LOGICAL_CLOCK |
replica_preserve_commit_order | 保持提交顺序 | 建议 ON |
binlog_transaction_dependency_tracking | COMMIT_ORDER/WRITESET/WRITESET_SESSION | 8.0;WRITESET 提升并行度 |
transaction_write_set_extraction | 写集提取算法 | XXHASH64 |
slave_rows_search_algorithms | ROW 回放查找算法 | 无主键时影响大 |
log_replica_updates | 从库是否写 binlog | 级联复制需要 |
- GTID 关键点:
| 项 | 说明 | 注意 |
|---|---|---|
gtid_mode=ON | 开启 GTID | 需 enforce_gtid_consistency=ON |
gtid_executed | 已执行 GTID 集合 | 切换选主依据 |
gtid_purged | 已清理的 GTID | 新从库搭建/备份恢复要用 |
AUTO_POSITION=1 | 自动定位 | 替代 binlog 位点 |
Retrieved_Gtid_Set | 已拉取 | 与 Executed_Gtid_Set 比较 |
Executed_Gtid_Set | 已执行 | 判断延迟/一致性 |
GTID_SUBTRACT | 差集 | 找缺失/多余事务 |
| errant transaction | 从库本地执行的事务 | 切换前要处理 |
- 延迟原因与处理:
| 原因 | 表现 | 处理 |
|---|---|---|
| 单线程回放 | Seconds_Behind_Source 增长 | 开并行复制、加 worker |
| 大事务 | 一个事务长时间不回放 | 拆小事务、控制批量 |
| DDL | DDL 串行、阻塞后续 | 低峰、gh-ost/pt-osc、Online DDL |
| 无主键/无唯一索引 | ROW 回放扫全表 | 补主键/唯一索引、slave_rows_search_algorithms |
| 锁等待/长事务 | 从库 SQL 线程卡住 | 查 INNODB_TRX、kill 长事务 |
| 从库资源不足 | CPU/IO/BP 打满 | 扩容、调参、只读分流 |
| 网络 | IO 线程慢/断连 | 带宽、延迟、重连 |
| 主库写入突增 | binlog 量暴涨 | 限流、分片、异步化 |
深挖点(面试官常追的 6 个):
- 复制默认是异步,不是强一致:主库提交即返回,从库可能还没收到;半同步也只是等 ACK,不等于从库 SQL 线程已应用。要强一致得靠 MGR/分布式事务/业务补偿,不能把“主从复制”当“强一致”。
- 半同步的
AFTER_SYNC与BEFORE_SYNC:AFTER_SYNC先刷 binlog 再等 ACK 再提交,故障切换时更不容易丢已提交事务;BEFORE_SYNC顺序不同,语义有差异。超时退化异步后,可靠性回到异步水平。 Seconds_Behind_Source不可靠:它用 relay log 事件时间戳估算,可能因时钟、空闲、大事务、SQL 线程卡住而失真;用pt-heartbeat、Retrieved_Gtid_SetvsExecuted_Gtid_Set、WAIT_FOR_EXECUTED_GTID_SET更可靠。- 并行复制的边界:
LOGICAL_CLOCK按组提交并行,WRITESET按写集冲突检测;但单事务、DDL、大事务仍是单 worker,无法拆分。无主键的 ROW 回放可能退化为全表扫描,补主键比加 worker 更有效。 - GTID 简化切换但不解决一致性:
AUTO_POSITION=1让从库自动找缺失事务,failover 不用算位点;但 errant transaction、gtid_purged不匹配、半同步退化仍会导致数据问题。切换前要对比gtid_executed、 fencing 旧主。 - 读写分离的“读己之写”:主从延迟下,用户写完立刻读从库可能读不到;可用写后读主、粘性会话、
WAIT_FOR_EXECUTED_GTID_SET、半同步/强一致读。延迟不是单纯技术指标,会直接变成业务一致性 bug。
追问链:
- MySQL 复制流程? → 主库写 binlog,dump 线程发送,从库 IO 线程写 relay log,SQL/worker 回放。
- 复制有哪几个线程? → 主库
Binlog Dump;从库Replica IO、Replica SQL(或并行 worker)。 - relay log 作用? → 从库存放拉取到的 binlog 事件,SQL 线程从中回放。
- binlog 格式有哪些? → STATEMENT、ROW、MIXED;生产推荐 ROW。
- ROW 和 STATEMENT 区别? → ROW 记录行变更,安全但日志大;STATEMENT 记录 SQL,日志小但非确定性语句不安全。
binlog_row_image是什么? → 控制 ROW 记录前后镜像;FULL 最完整,MINIMAL 省空间。- 异步复制是什么? → 主库提交不等待从库,性能最好,故障可能丢数据。
- 半同步复制是什么? → 主库提交路径等待至少 N 个从库 ACK,提高可靠性但增加 RT。
- 半同步
AFTER_SYNC/BEFORE_SYNC区别? → 等待点不同;AFTER_SYNC 先刷 binlog 再等 ACK 再提交,更常用。 - 半同步超时怎么办? →
rpl_semi_sync_source_timeout超时后退化为异步;要监控Rpl_semi_sync_source_status。 - 半同步能保证不丢数据吗? → 不能绝对保证;超时退化、从库未应用、本地崩溃都可能丢;要配合持久化/MGR。
- 半同步和 MGR 区别? → 半同步是主从 ACK;MGR 是多数派认证/提交、自动选主,强一致能力更强但网络/性能代价更大。
- 并行复制是什么? → 从库多 worker 并行回放,降低延迟。
- LOGICAL_CLOCK 原理? → 基于主库组提交的逻辑时钟,同一组内事务可并行回放。
replica_parallel_workers怎么设? → 按 CPU/IO/延迟调;不是越大越好,要看冲突和提交顺序。replica_preserve_commit_order作用? → 保证从库提交顺序与主库一致,避免并行导致可见性/约束问题。- WRITESET 是什么? → 8.0 基于事务写集冲突的依赖跟踪,提升非冲突事务并行度。
- 大事务为什么延迟? → 一个事务只能由一个 worker 回放,无法拆分;拆小事务/控制批量。
- DDL 能并行吗? → 不能;DDL 串行,且可能阻塞后续,低峰/Online DDL/gh-ost。
- 无主键为什么延迟? → ROW 回放可能退化为全表扫描;补主键/唯一索引、调
slave_rows_search_algorithms。 Seconds_Behind_Source可靠吗? → 不可靠,可能失真;用pt-heartbeat/GTID 差集/WAIT_FOR_EXECUTED_GTID_SET。- 怎么测复制延迟? →
SHOW REPLICA STATUS、pt-heartbeat、Prometheus、GTID 差集、业务探针。 - GTID 是什么? → 全局事务 ID,
source_uuid:transaction_id,唯一标识事务。 gtid_executed/gtid_purged区别? → 已执行集合 vs 已从 binlog 清理的集合;搭建/恢复要看。AUTO_POSITION作用? → 从库自动请求缺失 GTID,替代 binlog 位点。- GTID 怎么切换? → 新主设置
AUTO_POSITION=1,从库自动补齐;选 GTID 最全的从库,fencing 旧主。 - GTID 有什么限制? → 部分非确定性/非事务语句受限,需
enforce_gtid_consistency;版本差异要看文档。 - errant transaction 是什么? → 从库本地执行、主库没有的事务;切换前用
GTID_SUBTRACT检查并处理。 - 主从切换怎么做? → 选主(GTID/延迟)、fencing 旧主、提升新主、重定向流量、校验数据。
- 怎么选主? → GTID 最全、延迟最小、硬件/负载健康;MGR/Orchestrator 可自动。
- 脑裂怎么防? → fencing/STONITH、VIP/Proxy、MGR 多数派、旧主只读。
- 读写分离延迟怎么办? → 写后读主、粘性会话、
WAIT_FOR_EXECUTED_GTID_SET、半同步、缓存。 - 读己之写怎么保证? → 会话粘主、GTID 等待、业务补偿、强一致读。
- 主从数据不一致怎么校验? →
pt-table-checksum、pt-table-sync、checksum、抽样、行数。 pt-table-checksum原理? → 分块 checksum 对比主从,找出差异。- 复制过滤能用吗? → 谨慎;
replicate_wild_do_table等容易漏数据/切换困难,优先分库/分实例。 - 级联复制? → 从库再作为其他从库的主,需要
log_replica_updates=ON。 - 多源复制? → 一个从库从多个主库复制,用
FOR CHANNEL区分通道。 - 半同步从库数量怎么定? →
wait_for_replica_count;越多越稳但 RT 越高,按业务容忍度。 - binlog 怎么清理? →
binlog_expire_logs_seconds、PURGE BINARY LOGS;注意备份/从库依赖。 sync_binlog/innodb_flush_log_at_trx_commit怎么配? → 核心库 1/1 保持久化;牺牲性能换安全。- 复制卡住怎么排查? →
SHOW REPLICA STATUS的Last_IO_Error/Last_SQL_Error、SHOW PROCESSLIST、relay log、GTID 差集。 - 1062 错误怎么处理? → 先修数据;GTID 下用
SET GTID_NEXT注入空事务跳过,不能直接用sql_slave_skip_counter。 - 版本升级复制注意什么? → 复制兼容性、GTID、binlog 格式、并行复制参数;先从库升级/回滚演练。
- 云 RDS 复制? → 看厂商高可用架构、半同步/组复制、只读实例延迟、切换策略。
- 复制和分库分表? → 每分片独立主从;跨分片查询/聚合另做;切换要按分片编排。
- 复制和备份? → 从库备份减少主库压力;注意延迟和一致性快照。
- 复制监控指标? → IO/SQL 线程状态、延迟、GTID 差集、
Relay_Log_Space、错误日志、网络。
生产案例/取舍(示例,替换成你的项目):
- 核心订单库开半同步
AFTER_SYNC,主库 RT 上升但故障切换不丢已提交事务;超时告警监控退化。 - 报表从库延迟高,开
LOGICAL_CLOCK并行复制 + 加 worker,延迟下降。 - 大事务批量更新导致从库延迟几十分钟;拆批 + 控制每批行数后恢复。
- 无主键表 ROW 回放慢,补主键后延迟下降。
- DDL 在从库串行执行导致延迟;低峰 + gh-ost/Online DDL。
- GTID 切换时发现从库有 errant transaction;用
GTID_SUBTRACT定位,重建从库后切换。 - 读写分离下用户写完读不到;写后读主 +
WAIT_FOR_EXECUTED_GTID_SET解决。 - 半同步从库网络抖动,主库 RT 飙升;调超时/降
wait_for_replica_count/异地从库策略。 - 主从切换后旧主仍可写,出现双写;VIP/fencing 隔离旧主。
- 从库备份期间 IO 高,延迟上升;错峰备份/限流。
- 取舍:半同步换可靠性,代价是 RT;并行复制换低延迟,代价是冲突/顺序管理;GTID 换切换简单,代价是限制/运维要求;读写分离换读吞吐,代价是一致性。
- 核心订单库开半同步
易错点:
- 认为主从复制是强一致。
- 认为半同步一定不丢数据。
- 认为半同步 ACK 等于从库已应用。
- 认为半同步超时后仍保持半同步。
- 认为
Seconds_Behind_Source永远准确。 - 认为并行复制能并行一个事务。
- 认为 DDL 可以并行回放。
- 认为加 worker 就能解决所有延迟。
- 认为无主键不影响 ROW 回放。
- 认为 GTID 自动解决数据不一致。
- 认为有 GTID 就不用关心 errant transaction。
- 认为
sql_slave_skip_counter在 GTID 下随便用。 - 认为主从切换只要改 VIP。
- 认为旧主切换后不会继续写。
- 认为读写分离没有一致性风险。
- 认为从库延迟只影响报表。
- 认为 binlog 可以随便清理。
- 认为
sync_binlog=0也安全。 - 认为复制过滤是分库分表替代品。
- 认为云 RDS 不需要理解复制。
- 认为复制延迟只靠加索引解决。
30 秒口述稿:
MySQL 复制是主库写 binlog、dump 线程发送、从库 IO 线程写 relay log、SQL/worker 回放。默认异步,半同步在提交路径等从库 ACK,
AFTER_SYNC更常用,但超时会退化为异步。并行复制用LOGICAL_CLOCK/WRITESET提升回放并行度,但大事务、DDL、无主键仍是瓶颈。GTID 用全局事务 ID 简化切换,AUTO_POSITION=1自动补齐缺失事务,但不等于强一致。治理要看延迟、GTID 差集、半同步状态和切换方案。
- 3 分钟展开顺序:结论(复制链路 + 四种能力取舍)→ 三个线程/位点 → binlog 格式与持久化 → 异步/半同步/
AFTER_SYNC→ 并行复制/LOGICAL_CLOCK/WRITESET→ GTID 与切换 → 延迟归因与读写分离 → 高可用/脑裂/监控 → 生产案例与取舍。