binlog是mysql按时间顺序记录dml/ddl变更的二进制日志,用于主从复制、增量同步、闪回恢复和cdc;必须开启log_bin并配置server_id、row格式及full row image才能保障同步可靠性。
binlog 是 MySQL 的二进制日志,本质是一份按时间顺序记录所有数据变更操作(DML/DDL)的追加写日志。它不记录查询(SELECT),只记录“让数据真正发生变化”的动作:比如 INSERT、UPDATE、DELETE、CREATE TABLE、DROP DATABASE 等。
它的核心用途不是给开发者看的,而是为可靠性与扩展性服务:主从复制靠它,增量同步靠它,闪回恢复靠它,CDC(变更数据捕获)也靠它。没有 binlog,MySQL 就没法做真正的实时数据分发。
为什么必须开 binlog 才能做主从或 Kafka 同步
因为所有下游组件(无论是从库 Slave,还是 go-mysql-transfer、canal、debezium 这类工具)都只能通过伪装成“从库”去拉取 binlog —— 它们主动连接 MySQL,发送 COM_BINLOG_DUMP 协议请求,然后持续接收流式事件。
如果 log_bin 没开启,MySQL 根本不生成任何二进制日志,上游一写,下游就彻底“失明”。这不是配置问题,是能力缺失。
-
log_bin必须在my.cnf中显式启用(例如log_bin = /var/lib/mysql/mysql-bin) -
server_id必须设为非 0 整数,且主从不能重复(否则复制线程拒绝启动) -
binlog_format强烈建议设为ROW:Statement 模式在函数、触发器、非确定SQL 下极易丢数据或主从不一致;Mixed 模式行为不可控,调试困难 -
binlog_row_image = FULL必须开启,否则UPDATE/DELETE只记录变更后数据,丢失原始值,导致下游无法准确构建前后镜像
常见同步失败的三个隐藏原因
很多同步任务跑着跑着就卡住或报错,表面看是网络或权限问题,实际根子常在 binlog 配置或生命周期管理上: