Appearance
4.1-2 MySQL 三大日志、redo 两阶段提交与组提交
所属:04 数据存储 / 4.1 MySQL 分级:A 状态:◐ 初稿 关联:4.1-1、4.1-3、4.1-13、4.1-14、6.5-7
题型:原理 / 流程 / 对比
一句话结论:redo 是 InnoDB 的物理 WAL,保证已提交事务崩溃可恢复;undo 保存前镜像用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。InnoDB 提交时用“redo prepare → binlog write → redo commit”的两阶段提交保证两份日志一致;崩溃恢复根据 binlog 中的 XID 决定 prepare 事务提交还是回滚;组提交把多个事务的 fsync 合并,双 1 配置下兼顾持久化和吞吐。
分层要点:
- 三大日志定位:redo 是 InnoDB 的物理页级变更日志(physiological),顺序写、循环使用,用于 crash recovery;undo 记录行的前镜像,支持回滚和 MVCC 快照读,存放在 undo tablespace,由 purge 线程清理;binlog 是 MySQL Server 层的逻辑日志,记录 Statement 或 Row 变更,用于主从复制、PITR、CDC,不参与 InnoDB 的崩溃恢复。三者职责不同,不能互相替代。
- redo log 与 WAL:事务修改 Buffer Pool 中的页时,先写 redo 到 log buffer,再在提交时按
innodb_flush_log_at_trx_commit刷盘;脏页由后台线程/checkpoint 异步刷盘。WAL 的意义是“日志先落盘,数据页可以晚刷”,崩溃后从 checkpoint 开始重放 redo,保证已提交事务不丢。redo 是循环文件,checkpoint 推进后才能复用;redo 太小会导致 checkpoint 频繁、写入等待。 - undo log:undo 记录更新前的值,回滚时反向应用;MVCC 通过 undo 版本链 + ReadView 提供一致性读。长事务会让 undo 无法 purge,History list length 上涨,undo 表空间膨胀,同时拖慢崩溃恢复;生产中要监控长事务和 purge lag。
- binlog 与格式:binlog 记录逻辑变更,
STATEMENT记录 SQL、文件小但非确定性函数(NOW()、RAND()、UUID())会导致主从不一致;ROW记录行前后镜像、确定性强、体积大,是生产推荐;MIXED按语句是否安全自动切换。binlog_row_image=FULL保留完整前后镜像,MINIMAL省空间但会影响部分复制/CDC 场景。DDL 仍以 Statement 记录。 - redo 与 binlog 的两阶段提交:事务提交时,InnoDB 先写 redo 并进入
TRX_STATE_PREPARED(携带 XID);双 1 下 redo 落盘后写 binlog(事务末尾有Xidevent),binlog fsync 后再写 redo commit 标记。这样崩溃时:prepare 前或 binlog 前崩溃 → 回滚;binlog 已完整、redo 未 commit → 恢复时根据 binlog 的 XID 提交;redo 已 commit → 已提交。它保证 redo 和 binlog 对“事务是否提交”达成一致,是 MySQL 内部的 2PC,不是跨库 XA。 - 组提交与持久化配置:
innodb_flush_log_at_trx_commit=1每次提交 flush+fsync redo;sync_binlog=1每次提交 fsync binlog;两者合称“双 1”,是强持久化组合。组提交把多个事务的 binlog flush/sync/commit 合并:leader 写一组 binlog、fsync 一次、按顺序提交 InnoDB,follower 等待;binlog_group_commit_sync_delay和binlog_group_commit_sync_no_delay_count控制攒批。组提交降低 fsync 次数、提高并发吞吐,但会增加少量延迟。
图/流程:
text
事务提交
│
├─ 修改 Buffer Pool 页,生成 redo 到 log buffer
│
├─ prepare:redo 写盘,标记 TRX_STATE_PREPARED(带 XID)
│
├─ binlog:写事务事件,末尾 Xid event
│
└─ commit:redo 写 commit 标记,返回客户端
崩溃恢复:
redo 从 checkpoint 重放
├─ 没有对应 binlog XID 的 prepare → 回滚
└─ binlog 中有完整 XID 的 prepare → 提交text
组提交(binlog group commit)
FLUSH:leader 把一组事务的 binlog 写入文件
SYNC :leader 对 binlog 做一次 fsync
COMMIT:按顺序提交 InnoDB 事务
其他事务作为 follower 等待,共享这次 fsync版本/源码锚点:
- MySQL 5.6:binlog group commit;5.7:
binlog_group_commit_sync_delay、GTID 成熟。 - MySQL 8.0:
binlog_format=ROW默认;binlog_expire_logs_seconds;8.0.1binlog_row_metadata;8.0.20binlog_transaction_compression;8.0.30 引入innodb_redo_log_capacity,innodb_log_file_size/innodb_log_files_in_group逐步弃用。 - MySQL 8.4:
sync_binlog默认改为 1;binlog_format逐步弃用,ROW 是事实标准。 - 源码:
storage/innobase/log/log0log.cc、log0write.cc、log0recv.cc;trx/trx0trx.cc、trx0sys.cc;sql/binlog.cc的MYSQL_BIN_LOG::prepare/commit/group_commit;sql/log.cc的TC_LOG_BINLOG::recover;sql/log_event.cc的Xid_event。 - 配置:
innodb_flush_log_at_trx_commit、sync_binlog、innodb_redo_log_capacity、binlog_format、binlog_row_image、binlog_group_commit_sync_delay、binlog_group_commit_sync_no_delay_count、binlog_order_commits。
- MySQL 5.6:binlog group commit;5.7:
三大日志对比:
| 维度 | redo log | undo log | binlog |
|---|---|---|---|
| 所属层 | InnoDB | InnoDB | MySQL Server |
| 内容 | 物理页级变更 | 行前镜像 | 逻辑变更(Statement/Row) |
| 用途 | 崩溃恢复、WAL | 回滚、MVCC | 复制、PITR、CDC |
| 写入时机 | 事务执行中持续写 | 更新前写 | 提交时写 |
| 存储 | 循环 redo 文件 | undo tablespace | 追加 binlog 文件 |
| 是否复制 | 否 | 否 | 是 |
innodb_flush_log_at_trx_commit:
| 值 | 提交时行为 | 崩溃丢失窗口 |
|---|---|---|
| 0 | 提交时不刷盘,约每秒写+fsync | mysqld/OS 崩溃可能丢约 1 秒 |
| 1 | 每次提交 write+fsync | 正常不丢(依赖存储) |
| 2 | 每次提交 write,约每秒 fsync | mysqld 崩溃不丢,OS/断电可能丢约 1 秒 |
sync_binlog:
| 值 | 行为 | 取舍 |
|---|---|---|
| 0 | 由 OS 决定刷盘 | 性能好,崩溃可能丢 binlog |
| 1 | 每次提交组 fsync | 最安全,配合组提交 |
| N | 每 N 个事务组 fsync | 折中,崩溃可能丢最多 N 组 |
- 两阶段提交崩溃场景:
| 崩溃点 | redo 状态 | binlog 状态 | 恢复动作 |
|---|---|---|---|
| prepare 前 | 无 prepare | 无 | 回滚/未提交 |
| prepare 后、binlog 前 | PREPARED | 无完整 XID | 回滚 |
| binlog 后、redo commit 前 | PREPARED | 有 XID | 提交 |
| redo commit 后 | COMMITTED | 有 XID | 已提交 |
- binlog 格式:
| 格式 | 内容 | 优点 | 风险 |
|---|---|---|---|
STATEMENT | SQL 语句 | 文件小 | 非确定性函数导致主从不一致 |
ROW | 行前后镜像 | 确定性强、适合复制/CDC | 文件大、批量更新写放大 |
MIXED | 自动选择 | 折中 | 仍有 Statement 边界风险 |
追问链:
- 三大日志分别是什么? → redo 是 InnoDB 物理 WAL,用于崩溃恢复;undo 是行前镜像,用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。
- redo log 为什么能保证 crash-safe? → WAL:事务提交前先把 redo 刷盘,数据页可以晚刷;崩溃后从 checkpoint 重放 redo,恢复已提交的页修改。
- redo 是物理日志还是逻辑日志? → 物理页级变更(physiological),记录“哪个页做了什么修改”,不是完整 SQL,也不是纯字节拷贝。
- undo log 和 redo log 的区别? → undo 存前镜像,用于回滚和 MVCC;redo 存页变更,用于崩溃恢复。undo 本身也受 redo 保护。
- binlog 和 redo log 的区别? → redo 是 InnoDB 物理日志、循环写、崩溃恢复;binlog 是 Server 层逻辑日志、追加写、复制/PITR。两者通过 2PC 保持一致。
- 为什么需要 redo 和 binlog 的两阶段提交? → redo 和 binlog 是两份独立日志;如果先提交 redo 再写 binlog,崩溃会导致“主库有、从库没有”;如果先写 binlog 再提交 redo,崩溃会导致“从库有、主库没有”。2PC 让两者对提交结果一致。
- 两阶段提交的完整流程? → InnoDB prepare 写 redo(TRX_PREPARED + XID)→ 写 binlog(Xid event)→ InnoDB commit 写 redo commit 标记 → 返回客户端。
- prepare 后、binlog 前崩溃怎么办? → 恢复时发现 redo 是 PREPARED 但 binlog 没有对应 XID,回滚该事务。
- binlog 写完、redo 未 commit 时崩溃怎么办? → 恢复时扫描 binlog,发现完整 XID,提交对应的 prepare 事务;保证 binlog 中的事务最终生效。
- 恢复时怎么判断 binlog 完整? → 看事务末尾的
Xidevent、binlog checksum 和文件边界;TC_LOG_BINLOG::recover会扫描 binlog 收集已提交 XID。 innodb_flush_log_at_trx_commit0/1/2 怎么选? → 强持久化选 1;能容忍约 1 秒丢失且追求吞吐选 0/2;2 在 mysqld 崩溃时不丢,但 OS/断电可能丢。sync_binlog0/1/N 怎么选? → 强一致选 1;能容忍丢 binlog 选 0;N 是吞吐和丢失窗口的折中。8.4 默认 1。- “双 1”是什么? →
innodb_flush_log_at_trx_commit=1+sync_binlog=1,每次提交 redo 和 binlog 都 fsync,保证崩溃后已提交事务不丢且两份日志一致。 - 组提交的三个阶段? → FLUSH 写 binlog 文件、SYNC fsync binlog、COMMIT 提交 InnoDB;leader 代表一组执行,follower 共享 fsync 结果。
binlog_group_commit_sync_delay有什么用? → 让 leader 等待一小段时间攒更多事务,减少 fsync 次数、提高吞吐;代价是提交延迟增加,不能调太大。- binlog 格式怎么选? → 生产默认 ROW,确定性强、支持 CDC;STATEMENT 仅适合简单确定 SQL;MIXED 是历史折中。DDL 仍记录为 Statement。
binlog_row_image怎么选? → 默认 FULL,保留完整前后镜像,复制/CDC 最安全;MINIMAL 省空间,但某些订阅/闪回/审计场景会缺列。- redo log 太小会怎样? → checkpoint 频繁、脏页刷不过来时写入等待,表现为周期性抖动;8.0.30+ 用
innodb_redo_log_capacity调整,结合写入量和恢复时间评估。 - checkpoint 和脏页刷盘是什么关系? → checkpoint 表示“这个 LSN 之前的 redo 对应页已刷盘”,之后 redo 可复用;脏页刷得慢,checkpoint 推不动,redo 写满就会阻塞。
- 半同步复制和 2PC 是什么关系? → 2PC 保证本地 redo/binlog 一致;半同步是在 binlog 落盘后等待 replica ACK,决定是否向客户端返回成功。两者解决不同层面的持久化/复制问题。
- binlog 能用来做 PITR 吗? → 能。全量备份 + binlog 回放,按时间点/位点/GTID 恢复到故障前;前提是 binlog 没被提前 purge。
- 长事务对日志有什么影响? → undo 不能 purge、History list 变长、undo 表空间膨胀;redo/binlog 变大,崩溃恢复变慢;生产中要监控长事务。
生产案例/取舍(示例,替换成你的项目):
- 支付/订单库使用“双 1”,每次提交两次 fsync,延迟高;通过组提交、批量事务、SSD 和合理的
binlog_group_commit_sync_delay提升吞吐,但不牺牲持久化。 - 报表库为了吞吐设置
innodb_flush_log_at_trx_commit=2、sync_binlog=0,明确接受崩溃丢约 1 秒/少量 binlog;核心交易库不这么配。 - 从库数据不一致,排查发现
binlog_format=STATEMENT且业务用了NOW()/UUID();切到 ROW 后恢复一致。 - CDC 订阅缺列,发现
binlog_row_image=MINIMAL;改成 FULL,并评估 binlog 体积。 - 大促期间 redo 周期性写等待,
SHOW ENGINE INNODB STATUS看到 checkpoint age 高;调大innodb_redo_log_capacity并优化大事务。 - 磁盘被 binlog 打满,主库写入失败;设置
binlog_expire_logs_seconds、监控 binlog 增速、定期归档/PURGE。 - 崩溃恢复很慢,原因是长事务导致 undo 膨胀;限制事务大小、监控 History list length。
- 取舍:双 1 换安全,0/2 换吞吐;ROW 换一致性和 CDC 能力,代价是体积;组提交换吞吐,代价是少量延迟。
- 支付/订单库使用“双 1”,每次提交两次 fsync,延迟高;通过组提交、批量事务、SSD 和合理的
易错点:
- 认为 binlog 能替代 redo 做 InnoDB 崩溃恢复。
- 认为 redo 是 SQL 日志,或把 redo 当成 binlog。
- 认为两阶段提交是跨库 XA;它只是 InnoDB redo 与 binlog 的内部协调。
- 只开
sync_binlog=1或只开innodb_flush_log_at_trx_commit=1,就认为一定不丢。 - 把
innodb_flush_log_at_trx_commit=2理解为“每次提交都 fsync”。 - 认为组提交会让每个事务都单独 fsync。
- 用 STATEMENT 格式记录非确定性 SQL,导致主从不一致。
- 把
binlog_row_image=MINIMAL用在 CDC/审计场景,发现缺列。 - 只关注 redo 大小,忽略长事务导致 undo 膨胀和恢复变慢。
- binlog 没有过期/归档策略,磁盘被写满。
- 认为半同步复制能替代本地 2PC;两者解决的问题不同。
- 崩溃后直接
innodb_force_recovery起库,不先备份/评估数据一致性。
30 秒口述稿:
MySQL 有三大日志:redo 是 InnoDB 的物理 WAL,保证崩溃恢复;undo 存前镜像,用于回滚和 MVCC;binlog 是 Server 层逻辑日志,用于复制和 PITR。提交时先写 redo prepare,再写 binlog,最后写 redo commit,这就是两阶段提交;崩溃恢复时,binlog 里有 XID 的 prepare 事务提交,没有的回滚。双 1 配置保证持久化,组提交把多个事务的 fsync 合并来提升吞吐。
- 3 分钟展开顺序:结论(redo/undo/binlog + 2PC)→ 三大日志职责对比 → redo WAL/checkpoint/刷盘参数 → undo 与 MVCC/长事务 → binlog 格式与复制/PITR → 两阶段提交流程与崩溃场景 → 组提交三阶段与参数 → 双 1/性能取舍 → 生产案例与易错点。