Skip to content

4.1-13 主从复制、半同步、并行复制、GTID ​

所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-2、4.1-11、4.1-12、4.1-14、4.1-15、4.1-16、4.1-18

  • 题型:原理 / 对比 / 运维

  • 一句话结论:MySQL 复制是“主库写 binlog → dump 线程发送 → 从库 IO 线程写 relay log → SQL 线程/并行 worker 回放”的异步链路;半同步在提交路径上等待从库 ACK,提高可靠性但增加 RT;并行复制按组提交/逻辑时钟并行回放,降低延迟;GTID 用全局事务 ID 简化切换与故障恢复。核心取舍是 一致性、延迟、吞吐、可用性,没有一种模式全赢。

  • 分层要点:

    1. 复制链路:主库 Binlog Dump 线程读 binlog 发给从库;从库 Replica IO 线程写 relay log;Replica SQL 线程(或并行 worker)回放 relay log。关键位点:Source_Log_File/Read_Source_Log_Pos、Relay_Log_File/Relay_Log_Pos、Exec_Source_Log_Pos、Retrieved_Gtid_Set/Executed_Gtid_Set。
    2. binlog 格式:STATEMENT 记录 SQL,日志小但非确定性语句不安全;ROW 记录行变更,最安全、最常用;MIXED 自动切换。binlog_row_image=FULL 记录前后镜像,MINIMAL 省空间但部分工具/回放场景不够。sync_binlog=1 + innodb_flush_log_at_trx_commit=1 保证本地崩溃安全。
    3. 异步复制:主库提交后立即返回,不等待从库;性能最好,但主库崩溃时可能丢失尚未传到从库的事务。默认模式,适合对一致性要求不极端的读扩展、备份、报表。
    4. 半同步复制:主库提交路径上等待至少 N 个从库 ACK;AFTER_SYNC 先刷 binlog、等 ACK、再提交,是更常用的无损半同步;BEFORE_SYNC 顺序不同,故障语义有差异。超时(rpl_semi_sync_source_timeout)后退化为异步,可靠性下降;从库慢/网络抖动会直接推高主库 RT。
    5. 并行复制:5.6 起步,5.7 LOGICAL_CLOCK 基于组提交并行,8.0 增加 WRITESET 依赖跟踪;replica_parallel_workers 开 worker,replica_preserve_commit_order=ON 保证提交顺序。单事务、DDL、大事务不能并行;无主键/无唯一索引的 ROW 回放可能退化为全表扫描。
    6. GTID:全局事务 ID(source_uuid:transaction_id),gtid_mode=ON + enforce_gtid_consistency=ON;gtid_executed 记录已执行,gtid_purged 记录已清理,AUTO_POSITION=1 让从库自动请求缺失事务。切换时不用算 binlog 位点,简化 failover;但不等于强一致,仍要配合半同步/MGR。
    7. 复制延迟:从库回放能力不足(单线程/大事务/DDL/无主键/锁等待)、从库负载高、网络带宽/延迟、主库写入突增、binlog 量大、并行度不足都会造成延迟。Seconds_Behind_Source 是估算,可能失真;用 pt-heartbeat 或 WAIT_FOR_EXECUTED_GTID_SET 做更可靠的判断。
    8. 高可用与读写分离:主从切换要选 GTID 最全、延迟最小的从库,fencing 旧主防止脑裂;读写分离要处理“读己之写”,可路由主库、粘性会话、WAIT_FOR_EXECUTED_GTID_SET 或半同步。MHA/Orchestrator/MGR/云 RDS 是不同层次的方案(4.1-15)。
  • 图/流程:

text
MySQL 复制链路:
  主库
   ├─ 事务提交 → 写 binlog
   └─ Binlog Dump 线程 → 网络 → 从库
                               ├─ Replica IO 线程 → relay log
                               └─ Replica SQL/worker → 回放 → 从库数据
text
半同步 AFTER_SYNC:
  主库:写 binlog → sync binlog → 等从库 ACK → 提交
  从库:收 binlog → 写 relay log → ACK
  超时 → 退化为异步,主库继续提交
text
并行复制 LOGICAL_CLOCK:
  主库组提交:T1,T2,T3 同一组 → 可并行
  从库:worker1=T1, worker2=T2, worker3=T3
  replica_preserve_commit_order=ON → 按原顺序提交
  大事务/DDL → 单 worker,仍是瓶颈
text
GTID 切换:
  旧主:gtid_executed = uuid:1-1000
  新主:gtid_executed = uuid:1-1005
  从库:CHANGE REPLICATION SOURCE TO ... SOURCE_AUTO_POSITION=1
        → 自动请求缺失的 1001-1005
text
延迟归因:
  从库回放慢
    ├─ 单线程/并行度低
    ├─ 大事务/DDL
    ├─ 无主键/无唯一索引 → ROW 回放扫全表
    ├─ 锁等待/长事务
    ├─ 从库 CPU/IO/BP 不足
    └─ 网络带宽/延迟
  • 版本/源码锚点:

    • MySQL 5.6:GTID、并行复制雏形、半同步;5.7:LOGICAL_CLOCK 并行复制、AFTER_SYNC 半同步、多源复制、WAIT_UNTIL_SQL_THREAD_AFTER_GTIDS。
    • MySQL 8.0:WRITESET 依赖跟踪、WAIT_FOR_EXECUTED_GTID_SET、CHANGE REPLICATION SOURCE TO/SHOW REPLICA STATUS 新术语、原子 DDL、binlog_expire_logs_seconds。
    • 关键参数:binlog_format=ROW、binlog_row_image=FULL、sync_binlog=1、innodb_flush_log_at_trx_commit=1、rpl_semi_sync_source_enabled、rpl_semi_sync_source_timeout=10000ms、rpl_semi_sync_source_wait_for_replica_count=1、rpl_semi_sync_source_wait_point=AFTER_SYNC、replica_parallel_workers、replica_preserve_commit_order=ON、binlog_transaction_dependency_tracking=WRITESET。
    • 源码/实现:sql/binlog.cc(binlog 写入/组提交)、sql/rpl_source.cc/rpl_replica.cc(复制线程)、sql/log_event.cc(事件回放)、sql/rpl_parallel.cc(并行复制)、sql/rpl_gtid.cc(GTID)、plugin/semisync(半同步)。
  • 复制线程/状态:

线程/状态位置作用关注
Binlog Dump主库读 binlog 发送连接数、发送阻塞
Replica IO从库拉取 binlog 写 relay logLast_IO_Error、网络
Replica SQL/worker从库回放 relay logLast_SQL_Error、延迟
Source_Log_File/Read_Source_Log_Pos从库IO 线程读到的主库位点是否追上
Relay_Log_File/Relay_Log_Pos从库SQL 线程回放位点回放进度
Exec_Source_Log_Pos从库已执行的主库位点与读取位点比较
Retrieved_Gtid_Set从库已拉取的 GTID与 Executed_Gtid_Set 比较
Executed_Gtid_Set从库已执行的 GTID切换选主依据
Seconds_Behind_Source从库估算延迟可能失真
  • binlog 格式:
格式记录内容优点缺点适用
STATEMENTSQL 语句日志小非确定性语句不安全旧系统/特殊场景
ROW行前后镜像安全、可审计日志大、批量 DML 膨胀默认推荐
MIXED自动选择兼顾行为不够直观过渡
参数作用建议
binlog_format=ROW行复制生产默认
binlog_row_image=FULL记录完整前后镜像gh-ost/审计/回滚需要
sync_binlog=1每次提交刷 binlog崩溃安全,性能有代价
innodb_flush_log_at_trx_commit=1每次提交刷 redo崩溃安全
binlog_expire_logs_secondsbinlog 过期按备份/复制需求设置
  • 复制模式对比:
模式主库提交是否等从库可靠性延迟/吞吐适用
异步否主库崩溃可能丢数据最好读扩展、备份、报表
半同步等 ACK(可配置数量)较高,超时会退化RT 增加核心业务、容忍一定延迟
组复制 MGR多数派认证/提交高,自动选主网络/多数派影响大高可用核心库
增强半同步AFTER_SYNC减少丢失窗口仍有超时退化金融/交易类
  • 半同步关键参数:
参数默认/常见作用注意
rpl_semi_sync_source_enabledOFF主库开启半同步需插件
rpl_semi_sync_replica_enabledOFF从库开启半同步需插件
rpl_semi_sync_source_timeout10000ms等 ACK 超时超时退化异步
rpl_semi_sync_source_wait_for_replica_count1至少几个从库 ACK越多越稳、越慢
rpl_semi_sync_source_wait_pointAFTER_SYNC等待点BEFORE_SYNC 语义不同
Rpl_semi_sync_source_statusON/OFF当前是否半同步超时后变 OFF
  • 并行复制关键参数:
参数作用注意
replica_parallel_workersworker 数量0 表示关闭;按 CPU/延迟调
replica_parallel_typeLOGICAL_CLOCK/DATABASE8.0 推荐 LOGICAL_CLOCK
replica_preserve_commit_order保持提交顺序建议 ON
binlog_transaction_dependency_trackingCOMMIT_ORDER/WRITESET/WRITESET_SESSION8.0;WRITESET 提升并行度
transaction_write_set_extraction写集提取算法XXHASH64
slave_rows_search_algorithmsROW 回放查找算法无主键时影响大
log_replica_updates从库是否写 binlog级联复制需要
  • GTID 关键点:
项说明注意
gtid_mode=ON开启 GTID需 enforce_gtid_consistency=ON
gtid_executed已执行 GTID 集合切换选主依据
gtid_purged已清理的 GTID新从库搭建/备份恢复要用
AUTO_POSITION=1自动定位替代 binlog 位点
Retrieved_Gtid_Set已拉取与 Executed_Gtid_Set 比较
Executed_Gtid_Set已执行判断延迟/一致性
GTID_SUBTRACT差集找缺失/多余事务
errant transaction从库本地执行的事务切换前要处理
  • 延迟原因与处理:
原因表现处理
单线程回放Seconds_Behind_Source 增长开并行复制、加 worker
大事务一个事务长时间不回放拆小事务、控制批量
DDLDDL 串行、阻塞后续低峰、gh-ost/pt-osc、Online DDL
无主键/无唯一索引ROW 回放扫全表补主键/唯一索引、slave_rows_search_algorithms
锁等待/长事务从库 SQL 线程卡住查 INNODB_TRX、kill 长事务
从库资源不足CPU/IO/BP 打满扩容、调参、只读分流
网络IO 线程慢/断连带宽、延迟、重连
主库写入突增binlog 量暴涨限流、分片、异步化
  • 深挖点(面试官常追的 6 个):

    1. 复制默认是异步,不是强一致:主库提交即返回,从库可能还没收到;半同步也只是等 ACK,不等于从库 SQL 线程已应用。要强一致得靠 MGR/分布式事务/业务补偿,不能把“主从复制”当“强一致”。
    2. 半同步的 AFTER_SYNC 与 BEFORE_SYNC:AFTER_SYNC 先刷 binlog 再等 ACK 再提交,故障切换时更不容易丢已提交事务;BEFORE_SYNC 顺序不同,语义有差异。超时退化异步后,可靠性回到异步水平。
    3. Seconds_Behind_Source 不可靠:它用 relay log 事件时间戳估算,可能因时钟、空闲、大事务、SQL 线程卡住而失真;用 pt-heartbeat、Retrieved_Gtid_Set vs Executed_Gtid_Set、WAIT_FOR_EXECUTED_GTID_SET 更可靠。
    4. 并行复制的边界:LOGICAL_CLOCK 按组提交并行,WRITESET 按写集冲突检测;但单事务、DDL、大事务仍是单 worker,无法拆分。无主键的 ROW 回放可能退化为全表扫描,补主键比加 worker 更有效。
    5. GTID 简化切换但不解决一致性:AUTO_POSITION=1 让从库自动找缺失事务,failover 不用算位点;但 errant transaction、gtid_purged 不匹配、半同步退化仍会导致数据问题。切换前要对比 gtid_executed、 fencing 旧主。
    6. 读写分离的“读己之写”:主从延迟下,用户写完立刻读从库可能读不到;可用写后读主、粘性会话、WAIT_FOR_EXECUTED_GTID_SET、半同步/强一致读。延迟不是单纯技术指标,会直接变成业务一致性 bug。
  • 追问链:

    1. MySQL 复制流程? → 主库写 binlog,dump 线程发送,从库 IO 线程写 relay log,SQL/worker 回放。
    2. 复制有哪几个线程? → 主库 Binlog Dump;从库 Replica IO、Replica SQL(或并行 worker)。
    3. relay log 作用? → 从库存放拉取到的 binlog 事件,SQL 线程从中回放。
    4. binlog 格式有哪些? → STATEMENT、ROW、MIXED;生产推荐 ROW。
    5. ROW 和 STATEMENT 区别? → ROW 记录行变更,安全但日志大;STATEMENT 记录 SQL,日志小但非确定性语句不安全。
    6. binlog_row_image 是什么? → 控制 ROW 记录前后镜像;FULL 最完整,MINIMAL 省空间。
    7. 异步复制是什么? → 主库提交不等待从库,性能最好,故障可能丢数据。
    8. 半同步复制是什么? → 主库提交路径等待至少 N 个从库 ACK,提高可靠性但增加 RT。
    9. 半同步 AFTER_SYNC/BEFORE_SYNC 区别? → 等待点不同;AFTER_SYNC 先刷 binlog 再等 ACK 再提交,更常用。
    10. 半同步超时怎么办? → rpl_semi_sync_source_timeout 超时后退化为异步;要监控 Rpl_semi_sync_source_status。
    11. 半同步能保证不丢数据吗? → 不能绝对保证;超时退化、从库未应用、本地崩溃都可能丢;要配合持久化/MGR。
    12. 半同步和 MGR 区别? → 半同步是主从 ACK;MGR 是多数派认证/提交、自动选主,强一致能力更强但网络/性能代价更大。
    13. 并行复制是什么? → 从库多 worker 并行回放,降低延迟。
    14. LOGICAL_CLOCK 原理? → 基于主库组提交的逻辑时钟,同一组内事务可并行回放。
    15. replica_parallel_workers 怎么设? → 按 CPU/IO/延迟调;不是越大越好,要看冲突和提交顺序。
    16. replica_preserve_commit_order 作用? → 保证从库提交顺序与主库一致,避免并行导致可见性/约束问题。
    17. WRITESET 是什么? → 8.0 基于事务写集冲突的依赖跟踪,提升非冲突事务并行度。
    18. 大事务为什么延迟? → 一个事务只能由一个 worker 回放,无法拆分;拆小事务/控制批量。
    19. DDL 能并行吗? → 不能;DDL 串行,且可能阻塞后续,低峰/Online DDL/gh-ost。
    20. 无主键为什么延迟? → ROW 回放可能退化为全表扫描;补主键/唯一索引、调 slave_rows_search_algorithms。
    21. Seconds_Behind_Source 可靠吗? → 不可靠,可能失真;用 pt-heartbeat/GTID 差集/WAIT_FOR_EXECUTED_GTID_SET。
    22. 怎么测复制延迟? → SHOW REPLICA STATUS、pt-heartbeat、Prometheus、GTID 差集、业务探针。
    23. GTID 是什么? → 全局事务 ID,source_uuid:transaction_id,唯一标识事务。
    24. gtid_executed/gtid_purged 区别? → 已执行集合 vs 已从 binlog 清理的集合;搭建/恢复要看。
    25. AUTO_POSITION 作用? → 从库自动请求缺失 GTID,替代 binlog 位点。
    26. GTID 怎么切换? → 新主设置 AUTO_POSITION=1,从库自动补齐;选 GTID 最全的从库,fencing 旧主。
    27. GTID 有什么限制? → 部分非确定性/非事务语句受限,需 enforce_gtid_consistency;版本差异要看文档。
    28. errant transaction 是什么? → 从库本地执行、主库没有的事务;切换前用 GTID_SUBTRACT 检查并处理。
    29. 主从切换怎么做? → 选主(GTID/延迟)、fencing 旧主、提升新主、重定向流量、校验数据。
    30. 怎么选主? → GTID 最全、延迟最小、硬件/负载健康;MGR/Orchestrator 可自动。
    31. 脑裂怎么防? → fencing/STONITH、VIP/Proxy、MGR 多数派、旧主只读。
    32. 读写分离延迟怎么办? → 写后读主、粘性会话、WAIT_FOR_EXECUTED_GTID_SET、半同步、缓存。
    33. 读己之写怎么保证? → 会话粘主、GTID 等待、业务补偿、强一致读。
    34. 主从数据不一致怎么校验? → pt-table-checksum、pt-table-sync、checksum、抽样、行数。
    35. pt-table-checksum 原理? → 分块 checksum 对比主从,找出差异。
    36. 复制过滤能用吗? → 谨慎;replicate_wild_do_table 等容易漏数据/切换困难,优先分库/分实例。
    37. 级联复制? → 从库再作为其他从库的主,需要 log_replica_updates=ON。
    38. 多源复制? → 一个从库从多个主库复制,用 FOR CHANNEL 区分通道。
    39. 半同步从库数量怎么定? → wait_for_replica_count;越多越稳但 RT 越高,按业务容忍度。
    40. binlog 怎么清理? → binlog_expire_logs_seconds、PURGE BINARY LOGS;注意备份/从库依赖。
    41. sync_binlog/innodb_flush_log_at_trx_commit 怎么配? → 核心库 1/1 保持久化;牺牲性能换安全。
    42. 复制卡住怎么排查? → SHOW REPLICA STATUS 的 Last_IO_Error/Last_SQL_Error、SHOW PROCESSLIST、relay log、GTID 差集。
    43. 1062 错误怎么处理? → 先修数据;GTID 下用 SET GTID_NEXT 注入空事务跳过,不能直接用 sql_slave_skip_counter。
    44. 版本升级复制注意什么? → 复制兼容性、GTID、binlog 格式、并行复制参数;先从库升级/回滚演练。
    45. 云 RDS 复制? → 看厂商高可用架构、半同步/组复制、只读实例延迟、切换策略。
    46. 复制和分库分表? → 每分片独立主从;跨分片查询/聚合另做;切换要按分片编排。
    47. 复制和备份? → 从库备份减少主库压力;注意延迟和一致性快照。
    48. 复制监控指标? → IO/SQL 线程状态、延迟、GTID 差集、Relay_Log_Space、错误日志、网络。
  • 生产案例/取舍(示例,替换成你的项目):

    • 核心订单库开半同步 AFTER_SYNC,主库 RT 上升但故障切换不丢已提交事务;超时告警监控退化。
    • 报表从库延迟高,开 LOGICAL_CLOCK 并行复制 + 加 worker,延迟下降。
    • 大事务批量更新导致从库延迟几十分钟;拆批 + 控制每批行数后恢复。
    • 无主键表 ROW 回放慢,补主键后延迟下降。
    • DDL 在从库串行执行导致延迟;低峰 + gh-ost/Online DDL。
    • GTID 切换时发现从库有 errant transaction;用 GTID_SUBTRACT 定位,重建从库后切换。
    • 读写分离下用户写完读不到;写后读主 + WAIT_FOR_EXECUTED_GTID_SET 解决。
    • 半同步从库网络抖动,主库 RT 飙升;调超时/降 wait_for_replica_count/异地从库策略。
    • 主从切换后旧主仍可写,出现双写;VIP/fencing 隔离旧主。
    • 从库备份期间 IO 高,延迟上升;错峰备份/限流。
    • 取舍:半同步换可靠性,代价是 RT;并行复制换低延迟,代价是冲突/顺序管理;GTID 换切换简单,代价是限制/运维要求;读写分离换读吞吐,代价是一致性。
  • 易错点:

    • 认为主从复制是强一致。
    • 认为半同步一定不丢数据。
    • 认为半同步 ACK 等于从库已应用。
    • 认为半同步超时后仍保持半同步。
    • 认为 Seconds_Behind_Source 永远准确。
    • 认为并行复制能并行一个事务。
    • 认为 DDL 可以并行回放。
    • 认为加 worker 就能解决所有延迟。
    • 认为无主键不影响 ROW 回放。
    • 认为 GTID 自动解决数据不一致。
    • 认为有 GTID 就不用关心 errant transaction。
    • 认为 sql_slave_skip_counter 在 GTID 下随便用。
    • 认为主从切换只要改 VIP。
    • 认为旧主切换后不会继续写。
    • 认为读写分离没有一致性风险。
    • 认为从库延迟只影响报表。
    • 认为 binlog 可以随便清理。
    • 认为 sync_binlog=0 也安全。
    • 认为复制过滤是分库分表替代品。
    • 认为云 RDS 不需要理解复制。
    • 认为复制延迟只靠加索引解决。
  • 30 秒口述稿:

MySQL 复制是主库写 binlog、dump 线程发送、从库 IO 线程写 relay log、SQL/worker 回放。默认异步,半同步在提交路径等从库 ACK,AFTER_SYNC 更常用,但超时会退化为异步。并行复制用 LOGICAL_CLOCK/WRITESET 提升回放并行度,但大事务、DDL、无主键仍是瓶颈。GTID 用全局事务 ID 简化切换,AUTO_POSITION=1 自动补齐缺失事务,但不等于强一致。治理要看延迟、GTID 差集、半同步状态和切换方案。

  • 3 分钟展开顺序:结论(复制链路 + 四种能力取舍)→ 三个线程/位点 → binlog 格式与持久化 → 异步/半同步/AFTER_SYNC → 并行复制/LOGICAL_CLOCK/WRITESET → GTID 与切换 → 延迟归因与读写分离 → 高可用/脑裂/监控 → 生产案例与取舍。