Skip to content

4.1-2 MySQL 三大日志、redo 两阶段提交与组提交 ​

所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-1、4.1-3、4.1-13、4.1-14、6.5-7

  • 题型:原理 / 流程 / 对比

  • 一句话结论:redo 是 InnoDB 的物理 WAL,保证已提交事务崩溃可恢复;undo 保存前镜像用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。InnoDB 提交时用“redo prepare → binlog write → redo commit”的两阶段提交保证两份日志一致;崩溃恢复根据 binlog 中的 XID 决定 prepare 事务提交还是回滚;组提交把多个事务的 fsync 合并,双 1 配置下兼顾持久化和吞吐。

  • 分层要点:

    1. 三大日志定位:redo 是 InnoDB 的物理页级变更日志(physiological),顺序写、循环使用,用于 crash recovery;undo 记录行的前镜像,支持回滚和 MVCC 快照读,存放在 undo tablespace,由 purge 线程清理;binlog 是 MySQL Server 层的逻辑日志,记录 Statement 或 Row 变更,用于主从复制、PITR、CDC,不参与 InnoDB 的崩溃恢复。三者职责不同,不能互相替代。
    2. redo log 与 WAL:事务修改 Buffer Pool 中的页时,先写 redo 到 log buffer,再在提交时按 innodb_flush_log_at_trx_commit 刷盘;脏页由后台线程/checkpoint 异步刷盘。WAL 的意义是“日志先落盘,数据页可以晚刷”,崩溃后从 checkpoint 开始重放 redo,保证已提交事务不丢。redo 是循环文件,checkpoint 推进后才能复用;redo 太小会导致 checkpoint 频繁、写入等待。
    3. undo log:undo 记录更新前的值,回滚时反向应用;MVCC 通过 undo 版本链 + ReadView 提供一致性读。长事务会让 undo 无法 purge,History list length 上涨,undo 表空间膨胀,同时拖慢崩溃恢复;生产中要监控长事务和 purge lag。
    4. binlog 与格式:binlog 记录逻辑变更,STATEMENT 记录 SQL、文件小但非确定性函数(NOW()、RAND()、UUID())会导致主从不一致;ROW 记录行前后镜像、确定性强、体积大,是生产推荐;MIXED 按语句是否安全自动切换。binlog_row_image=FULL 保留完整前后镜像,MINIMAL 省空间但会影响部分复制/CDC 场景。DDL 仍以 Statement 记录。
    5. redo 与 binlog 的两阶段提交:事务提交时,InnoDB 先写 redo 并进入 TRX_STATE_PREPARED(携带 XID);双 1 下 redo 落盘后写 binlog(事务末尾有 Xid event),binlog fsync 后再写 redo commit 标记。这样崩溃时:prepare 前或 binlog 前崩溃 → 回滚;binlog 已完整、redo 未 commit → 恢复时根据 binlog 的 XID 提交;redo 已 commit → 已提交。它保证 redo 和 binlog 对“事务是否提交”达成一致,是 MySQL 内部的 2PC,不是跨库 XA。
    6. 组提交与持久化配置:innodb_flush_log_at_trx_commit=1 每次提交 flush+fsync redo;sync_binlog=1 每次提交 fsync binlog;两者合称“双 1”,是强持久化组合。组提交把多个事务的 binlog flush/sync/commit 合并:leader 写一组 binlog、fsync 一次、按顺序提交 InnoDB,follower 等待;binlog_group_commit_sync_delay 和 binlog_group_commit_sync_no_delay_count 控制攒批。组提交降低 fsync 次数、提高并发吞吐,但会增加少量延迟。
  • 图/流程:

text
事务提交
  │
  ├─ 修改 Buffer Pool 页,生成 redo 到 log buffer
  │
  ├─ prepare:redo 写盘,标记 TRX_STATE_PREPARED(带 XID)
  │
  ├─ binlog:写事务事件,末尾 Xid event
  │
  └─ commit:redo 写 commit 标记,返回客户端

崩溃恢复:
  redo 从 checkpoint 重放
    ├─ 没有对应 binlog XID 的 prepare → 回滚
    └─ binlog 中有完整 XID 的 prepare → 提交
text
组提交(binlog group commit)
  FLUSH:leader 把一组事务的 binlog 写入文件
  SYNC :leader 对 binlog 做一次 fsync
  COMMIT:按顺序提交 InnoDB 事务
  其他事务作为 follower 等待,共享这次 fsync
  • 版本/源码锚点:

    • MySQL 5.6:binlog group commit;5.7:binlog_group_commit_sync_delay、GTID 成熟。
    • MySQL 8.0:binlog_format=ROW 默认;binlog_expire_logs_seconds;8.0.1 binlog_row_metadata;8.0.20 binlog_transaction_compression;8.0.30 引入 innodb_redo_log_capacity,innodb_log_file_size/innodb_log_files_in_group 逐步弃用。
    • MySQL 8.4:sync_binlog 默认改为 1;binlog_format 逐步弃用,ROW 是事实标准。
    • 源码:storage/innobase/log/log0log.cc、log0write.cc、log0recv.cc;trx/trx0trx.cc、trx0sys.cc;sql/binlog.cc 的 MYSQL_BIN_LOG::prepare/commit/group_commit;sql/log.cc 的 TC_LOG_BINLOG::recover;sql/log_event.cc 的 Xid_event。
    • 配置:innodb_flush_log_at_trx_commit、sync_binlog、innodb_redo_log_capacity、binlog_format、binlog_row_image、binlog_group_commit_sync_delay、binlog_group_commit_sync_no_delay_count、binlog_order_commits。
  • 三大日志对比:

维度redo logundo logbinlog
所属层InnoDBInnoDBMySQL Server
内容物理页级变更行前镜像逻辑变更(Statement/Row)
用途崩溃恢复、WAL回滚、MVCC复制、PITR、CDC
写入时机事务执行中持续写更新前写提交时写
存储循环 redo 文件undo tablespace追加 binlog 文件
是否复制否否是
  • innodb_flush_log_at_trx_commit:
值提交时行为崩溃丢失窗口
0提交时不刷盘,约每秒写+fsyncmysqld/OS 崩溃可能丢约 1 秒
1每次提交 write+fsync正常不丢(依赖存储)
2每次提交 write,约每秒 fsyncmysqld 崩溃不丢,OS/断电可能丢约 1 秒
  • sync_binlog:
值行为取舍
0由 OS 决定刷盘性能好,崩溃可能丢 binlog
1每次提交组 fsync最安全,配合组提交
N每 N 个事务组 fsync折中,崩溃可能丢最多 N 组
  • 两阶段提交崩溃场景:
崩溃点redo 状态binlog 状态恢复动作
prepare 前无 prepare无回滚/未提交
prepare 后、binlog 前PREPARED无完整 XID回滚
binlog 后、redo commit 前PREPARED有 XID提交
redo commit 后COMMITTED有 XID已提交
  • binlog 格式:
格式内容优点风险
STATEMENTSQL 语句文件小非确定性函数导致主从不一致
ROW行前后镜像确定性强、适合复制/CDC文件大、批量更新写放大
MIXED自动选择折中仍有 Statement 边界风险
  • 追问链:

    1. 三大日志分别是什么? → redo 是 InnoDB 物理 WAL,用于崩溃恢复;undo 是行前镜像,用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。
    2. redo log 为什么能保证 crash-safe? → WAL:事务提交前先把 redo 刷盘,数据页可以晚刷;崩溃后从 checkpoint 重放 redo,恢复已提交的页修改。
    3. redo 是物理日志还是逻辑日志? → 物理页级变更(physiological),记录“哪个页做了什么修改”,不是完整 SQL,也不是纯字节拷贝。
    4. undo log 和 redo log 的区别? → undo 存前镜像,用于回滚和 MVCC;redo 存页变更,用于崩溃恢复。undo 本身也受 redo 保护。
    5. binlog 和 redo log 的区别? → redo 是 InnoDB 物理日志、循环写、崩溃恢复;binlog 是 Server 层逻辑日志、追加写、复制/PITR。两者通过 2PC 保持一致。
    6. 为什么需要 redo 和 binlog 的两阶段提交? → redo 和 binlog 是两份独立日志;如果先提交 redo 再写 binlog,崩溃会导致“主库有、从库没有”;如果先写 binlog 再提交 redo,崩溃会导致“从库有、主库没有”。2PC 让两者对提交结果一致。
    7. 两阶段提交的完整流程? → InnoDB prepare 写 redo(TRX_PREPARED + XID)→ 写 binlog(Xid event)→ InnoDB commit 写 redo commit 标记 → 返回客户端。
    8. prepare 后、binlog 前崩溃怎么办? → 恢复时发现 redo 是 PREPARED 但 binlog 没有对应 XID,回滚该事务。
    9. binlog 写完、redo 未 commit 时崩溃怎么办? → 恢复时扫描 binlog,发现完整 XID,提交对应的 prepare 事务;保证 binlog 中的事务最终生效。
    10. 恢复时怎么判断 binlog 完整? → 看事务末尾的 Xid event、binlog checksum 和文件边界;TC_LOG_BINLOG::recover 会扫描 binlog 收集已提交 XID。
    11. innodb_flush_log_at_trx_commit 0/1/2 怎么选? → 强持久化选 1;能容忍约 1 秒丢失且追求吞吐选 0/2;2 在 mysqld 崩溃时不丢,但 OS/断电可能丢。
    12. sync_binlog 0/1/N 怎么选? → 强一致选 1;能容忍丢 binlog 选 0;N 是吞吐和丢失窗口的折中。8.4 默认 1。
    13. “双 1”是什么? → innodb_flush_log_at_trx_commit=1 + sync_binlog=1,每次提交 redo 和 binlog 都 fsync,保证崩溃后已提交事务不丢且两份日志一致。
    14. 组提交的三个阶段? → FLUSH 写 binlog 文件、SYNC fsync binlog、COMMIT 提交 InnoDB;leader 代表一组执行,follower 共享 fsync 结果。
    15. binlog_group_commit_sync_delay 有什么用? → 让 leader 等待一小段时间攒更多事务,减少 fsync 次数、提高吞吐;代价是提交延迟增加,不能调太大。
    16. binlog 格式怎么选? → 生产默认 ROW,确定性强、支持 CDC;STATEMENT 仅适合简单确定 SQL;MIXED 是历史折中。DDL 仍记录为 Statement。
    17. binlog_row_image 怎么选? → 默认 FULL,保留完整前后镜像,复制/CDC 最安全;MINIMAL 省空间,但某些订阅/闪回/审计场景会缺列。
    18. redo log 太小会怎样? → checkpoint 频繁、脏页刷不过来时写入等待,表现为周期性抖动;8.0.30+ 用 innodb_redo_log_capacity 调整,结合写入量和恢复时间评估。
    19. checkpoint 和脏页刷盘是什么关系? → checkpoint 表示“这个 LSN 之前的 redo 对应页已刷盘”,之后 redo 可复用;脏页刷得慢,checkpoint 推不动,redo 写满就会阻塞。
    20. 半同步复制和 2PC 是什么关系? → 2PC 保证本地 redo/binlog 一致;半同步是在 binlog 落盘后等待 replica ACK,决定是否向客户端返回成功。两者解决不同层面的持久化/复制问题。
    21. binlog 能用来做 PITR 吗? → 能。全量备份 + binlog 回放,按时间点/位点/GTID 恢复到故障前;前提是 binlog 没被提前 purge。
    22. 长事务对日志有什么影响? → undo 不能 purge、History list 变长、undo 表空间膨胀;redo/binlog 变大,崩溃恢复变慢;生产中要监控长事务。
  • 生产案例/取舍(示例,替换成你的项目):

    • 支付/订单库使用“双 1”,每次提交两次 fsync,延迟高;通过组提交、批量事务、SSD 和合理的 binlog_group_commit_sync_delay 提升吞吐,但不牺牲持久化。
    • 报表库为了吞吐设置 innodb_flush_log_at_trx_commit=2、sync_binlog=0,明确接受崩溃丢约 1 秒/少量 binlog;核心交易库不这么配。
    • 从库数据不一致,排查发现 binlog_format=STATEMENT 且业务用了 NOW()/UUID();切到 ROW 后恢复一致。
    • CDC 订阅缺列,发现 binlog_row_image=MINIMAL;改成 FULL,并评估 binlog 体积。
    • 大促期间 redo 周期性写等待,SHOW ENGINE INNODB STATUS 看到 checkpoint age 高;调大 innodb_redo_log_capacity 并优化大事务。
    • 磁盘被 binlog 打满,主库写入失败;设置 binlog_expire_logs_seconds、监控 binlog 增速、定期归档/PURGE。
    • 崩溃恢复很慢,原因是长事务导致 undo 膨胀;限制事务大小、监控 History list length。
    • 取舍:双 1 换安全,0/2 换吞吐;ROW 换一致性和 CDC 能力,代价是体积;组提交换吞吐,代价是少量延迟。
  • 易错点:

    • 认为 binlog 能替代 redo 做 InnoDB 崩溃恢复。
    • 认为 redo 是 SQL 日志,或把 redo 当成 binlog。
    • 认为两阶段提交是跨库 XA;它只是 InnoDB redo 与 binlog 的内部协调。
    • 只开 sync_binlog=1 或只开 innodb_flush_log_at_trx_commit=1,就认为一定不丢。
    • 把 innodb_flush_log_at_trx_commit=2 理解为“每次提交都 fsync”。
    • 认为组提交会让每个事务都单独 fsync。
    • 用 STATEMENT 格式记录非确定性 SQL,导致主从不一致。
    • 把 binlog_row_image=MINIMAL 用在 CDC/审计场景,发现缺列。
    • 只关注 redo 大小,忽略长事务导致 undo 膨胀和恢复变慢。
    • binlog 没有过期/归档策略,磁盘被写满。
    • 认为半同步复制能替代本地 2PC;两者解决的问题不同。
    • 崩溃后直接 innodb_force_recovery 起库,不先备份/评估数据一致性。
  • 30 秒口述稿:

MySQL 有三大日志:redo 是 InnoDB 的物理 WAL,保证崩溃恢复;undo 存前镜像,用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。提交时先写 redo prepare,再写 binlog,最后写 redo commit,这就是两阶段提交;崩溃恢复时,binlog 里有 XID 的 prepare 事务提交,没有的回滚。双 1 配置保证持久化,组提交把多个事务的 fsync 合并来提升吞吐。

  • 3 分钟展开顺序:结论(redo/undo/binlog + 2PC)→ 三大日志职责对比 → redo WAL/checkpoint/刷盘参数 → undo 与 MVCC/长事务 → binlog 格式与复制/PITR → 两阶段提交流程与崩溃场景 → 组提交三阶段与参数 → 双 1/性能取舍 → 生产案例与易错点。