binlog文件分析与mysqlbinlog工具的修改

Binlog与mysqlbinlog工具问题
本文主要带着以下问题进行学习：
1、什么是binlog，有什么作用
2、binlog有哪些格式
3、分析一条典型binlog ，说明从binlog中可以得到哪些信息
4、如何修改mysqlbinlog，使得可以显示最后一条记录
这里主要考虑binlog的使用及相关格式，而不是关注binlog的写入时机。

一、简介
binlog又叫二进制日志文件，它会将mysql中所有修改数据库数据的Query以二进制的形式记录到日志文件中,如：create,insert,drop,update等;（对于select操作则不会被记录到binlog里，因为它并没有修改数据库的数据）。binlog一般存储在数据目录下，并且命名为：mysql-bin.***（这个可以在配置文件中修改my.cnf：log-bin=mysql-bin,就是文件名的前缀；mysqld在每个 binlog 名后面添加一个数字扩展名。每次启动服务器或刷新日志时增加文件的大小大于max_binlog_size，一个事务不会被拆分开）。
binlog主要是用于保证数据完整的，如主从备份，通过从binlog文件中读取操作来在salve机上进行同样的操作，保证主从备份，当然不可能每次都从开始的地方redo，所以每条记录都有一个时间截TIMESTAMP。

二、简单的使用binlog
show binary logs; #显示binlog文件
purge binary logsto 'mysql-bin.**' #删除到**文件
bin/mysqlbinlog binlogfile #解析binlog文件

利用binlog恢复数据：
bin/mysqlbinlog --start-datetime='2011-7-7 18:0:0'--stop-datetime='2011-7-7 20:07:13' data/mysql-bin.000008 |mysql -u root

三、类型
binlog的格式有三种，这也反应了mysql的复制技术：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。相应地，binlog的格式也有三种：STATEMENT，ROW，MIXED。
mysql>showvariables like 'binlog_format' #查看binlog的格式

使用mysqlbinlog解析的binlog：
MIXED（STATEMENT）：
# at 193（开始位置）
#110708 10:03:06（时间截） server id（产生该事件的服务id） 1 end_log_pos（日志的结束位置） 280 Query（事件类型） thread_id=10 exec_time=0 error_code=0
SETTIMESTAMP=1310090586/*!*/;
insert into tvalues(17)
/*!*/;

ROW模式：
BEGIN
/*!*/;
# at 174
# at 214
#110708 10:49:22server id 1 end_log_pos 214 Table_map: `test`.`t` mapped to number 14
#110708 10:49:22server id 1 end_log_pos 248 Write_rows: table id 14 flags: STMT_END_F

BINLOG '
MnAWThMBAAAAKAAAANYAAAAAAA4AAAAAAAEABHRlc3QAAXQAAQMAAQ==
MnAWThcBAAAAIgAAAPgAAAAAAA4AAAAAAAEAAf/+MgAAAA==
'/*!*/;
# at 248
#110708 10:49:22server id 1 end_log_pos 317 Query thread_id=1 exec_time=0 error_code=0
SETTIMESTAMP=1310093362/*!*/;
COMMIT

STATEMENT是基于sql语句级别的binlog,每一条修改数据的sql都会被保存到binlog里；ROW是基于行级别的,他会记录每一行记录的变化,就是将每一行的修改都记录到binlog里面,记录的非常详细，但sql语句并没有在binlog里,在replication里面也不会因为存储过程触发器等造成Master-Slave数据不一致的问题,但是有个致命的缺点日志量比较大.由于要记录每一行的数据变化,当执行update语句后面不加where条件的时候或alter table的时候,产生的日志量是相当的大。MIXED:在默认情况下是statement,但是在某些情况下会切换到row状态，如当一个DML更新一个ndb引擎表，或者是与时间用户相关的函数等。在主从的情况下，在主机上如果是STATEMENT模式，那么binlog就是直接写now()，然而如果这样的话，那么从机进行操作的时间，也执行now()，但明显这两个时间不会是一样的，所以对于这种情况就必须把STATEMENT模式更改为ROW模式，因为ROW模式会直接写值而不是写语句（该案例是错误的，即使是STATEMENT模式也可以使用now()函数，具体原因以后再分析）。同样ROW模式还可以减少从机的相关计算，如在主机中存在统计写入等操作时，从机就可以免掉该计算把值直接写入从机。

四、binlog记录
每个binlog的开始都是由4个字节：fe 62 69 6e，组成的魔数（后面三个字节就是bin）。
然后接下来的就是一条记录的内容它包括：Common-Header，这部分不同版本的大小不一样，4.0以上的都是19个字节。在这个之后就是BODY。
Common-Header格式：（单位：字节）

Timestamp(4)

Type(1)

Server_id(4)

Total_size(4)

End_log_pos(4)

Flag(2)

Timestamp:从1970开始
Type:此log event type如FORMAT_DESCRIPTION_EVENT、QUERY、LOAD_EVENT等，其中每个binlog的第一条记录的类型都是FORMAT_DESCRIPTION_EVENT，它记录了该binlog的相关信息，如版本，这些信息对于后序分析binlog记录是有用的，所以对于任务要读取binlog的内容的工具都必须先读取第一条记录。QUERY包括我们经常操作的如：create,drop,update,insert等。
Server_id：创建这个事件的server id。防止循环主从导致的主机被从写。The master's server id (is preserved in therelay log; used to prevent from infinite loops in circular replication).
Total_size：该记录的大小，包括common_header及body。
End_log_pos：此下一条记录的开始位置。也是此条记录结束位置的上一个字节。
Flag：标志位。

QUERY类型的记录：
QUERY类型的记录除了开始的common-header之外，在body的开头是一个Post-header，然后之后才是真正的body内容。
Query Post-Header：（单位字节）

Thread_id(4)

Exec_time(4)

Db_len(1)

Error_code(2)

Status_var_len(2)

Thread_id：is used to distinguish temporary tables that belong to differentclients.
Exec_time：The time from whenthe query started to when it was logged in the binlog, in seconds.QUERY到达到这个binlog事件生成的时间间隔。
Db_len：当前数据库的名称长度。
Error_code：执行出错的错误号。

五、使用mysqlbinlog显示最后一条log
1. 使用脚本实现：（该脚本可以显示最后n条）

#!/bin/sh #Access to the binlog's last n records #if don't set -n, show the last record. NUM="1" function last_logs() { #get the total records local rec_acc=`./bin/mysqlbinlog $1 | grep -c '^# at [0-9][0-9]*$'` rec_acc=`expr $rec_acc - $NUM` #Skip the first N entries. ./bin/mysqlbinlog -o $rec_acc $1 } if [ $# -lt 1 ] || [ $# -gt 3 ] then echo "Usage: mysqlbinlog [-n0-9] filename" exit elif [ $# -eq 2 ] then if echo $1|grep -q '^-n[0-9][0-9]*$' then NUM=`echo $1 | cut -d "n" -f 2` last_logs $2 else echo "Usage:mysqlbinlog [-n0-9] filename" fi else last_logs $1 fi

此本质是首先利用mysqlbinlog binlogfile打印出所有的记录，然后通过正则表达式（^# at [0-9][0-9]*$）判断记录个数M。最后在使用mysqlbinlog –o M-N binlogfile，来显示最后N条。
脚本的使用方法：./last_logs –n3 binlogfile #显示最后三条，不包括第一条FORMAT_DESCRIPTION_EVENT。

2.直接修改mysqlbinlog.cc
上面的脚本必须两次扫描binlog文件，这对于大的文件来说消耗可能比较大。修改后的工具，主要利用的是：最后一条记录的end_log_pos刚好为文件的大小。利用这个条件来判断是否需要解析打印。下面为主要的代码：

/*begin:xiangzhong.wxd at:2011-7-9 16:30*/ int is_last_flag(int &argc, char **argv) { if (argc == 3 && (!strcmp(argv[1],"-L") || !strcmp(argv[2],"-L"))) { last_flag = 1; if (!strcmp(argv[1],"-L")) { char * temp = argv[1]; argv[1] = argv[2]; argv[2] = temp; } //free(argv[2]); //argv[2] = '\0'; argc--; return 0; } return -1; } /*end:xiangzhong.wxd at:2011-7-9 16:30*/ /*begin:xiangzhong.wxd at:2011-7-9 */ struct stat file_buf; stat(logname, &file_buf); unsigned long file_size = (unsigned long)file_buf.st_size; if((ev_type != FORMAT_DESCRIPTION_EVENT) && last_flag && (ev->log_pos != file_size)) goto end; /*end:xiangzhong.wxd at:2011-7-9 */

其中int is_last_flag函数是判断是否要使用该新功能，如果使用就是在命令行里加个-L，并且只能再使用一个binlogfile作为参数，即与其它的参数如start-position一起使用无效。
使用方法：./bin/mysqlbinlog –L binlogfile
注意：不管是使用上面两种的任意一种，都会打印出#at 4，即第一条记录，所以实质上我们是总共打印了两条记录。（原因见上面的FORMAT_DESCRIPTION_EVENT解释）。
主要涉及的源文件：mysqlbinlog.cc、log_event.cc、log_event.h.
综上可以知道，其实binlog文件就像一个流文件，它每一条记录没有明显的开始及结束标志，它是通过长度来判断一条记录的结束位置，所以在分析binlog文件的时候总是必须从头开始，然后依次一条一条的读取。