有关binlog的那点事(二)(mysql5.7.13)

上次,我们仅仅把binlog做了一个概述,并没有去深入探索(1)binlog file究竟是怎么构成的?(2)binlog file的单元binlog events是怎么构成的?(3)我们能不能伪造出一个mysqlbinlog识别的binlog file? 当然,第三个问题看起来很cool,蛮有挑战性的。

这次我们讨论的是第4版本的binlogfile, 一般5.0.x以上的mysql使用该版本的binlogfile。

首先回答第一个问题

一、binlog file的构成

(1)binlog file的大致构成

这个问题其实之前也回答过,但是很不深入。这次,我会深度探索它,首先我们扒一扒官方的说法;

http://dev.mysql.com/doc/internals/en/binlog-file.html

这块就说了一句话:binlog file是由binlog file header和binlog events构成的,至于binlog file header其实就是0xfe62696e。换言之,binlog file先写了个0xfe62696e,然后后面跟着许多binlog event 。官方的文档还是很给力的,我们可以打开任意一个binlog file,以16进制形式打开,开头就是0xfe62696e。

(2)binlog events的组织方式

许多binlog event是否存在着自己的组织方式呢?答案是肯定的,跟在binlog file header后面的一般先是Binlog::FORMAT_DESCRIPTION_EVENT,这是第4版本的binlog event的开头,这个会在本文的"二、binlog events的构成"中详细提到。

紧接着一般是事务性的binlog events,要强调的是,在binlog file里所有的update, delete, insert语句都是存在于一组事务性的binlog event。

事务性的binlog events的格式如下(SQL代表任一SQL语句,当然一般只包含select,update, delete, insert语句,不包括ddl语句):

sql语句形式 statement格式   row格式
/ Anonymous_gtid_event     Anonymous_gtid_event    
BEGIN      Query_event(BEGIN)  Query_event(BEGIN) 
SQL Query_event(SQL)    Table_map_event & Rows_event      
SQL Query_event(SQL)     Table_map_event & Rows_event
...... ...... ......
COMMIT                      Xid_event   Xid_event 

 

 

 

 

 

 

 

至于mixed格式就是statement格式 和row格式交替出现,三种格式的不同也就在这个上面,至于上面看到的binlog events的格式,我们将在本文的"二、binlog events的构成"中详细提到。

最后会以STOP_EVENT或者ROTATE_EVENT结尾,这两个也会在本文的"二、binlog events的构成"中详细提到。

其他的一些binlog event不是特别重要,有兴趣的可以通过

http://dev.mysql.com/doc/internals/en/binlog-event.html去了解

 二、binlog event的构成

 (1)binlog event的构成

binlog event分为四部分:common header, post header, body以及footor,翻译能力有限,不知道怎么翻译,但是只要明白就好,common header和footor是共有的,而post header, body则是每个event都独有的。

common header 一般包含下面几个

名称 格式 描述
when 4字节整形 事件发生的时间,从1970年开始到现在的秒数
type_code 1字节整形 binglog event的类型
unmasked_server_id 4字节整形 服务器id
data_written 4字节整形 binglog event的长度,即common header的长度 + post header的长度 + body的长度+4
log_pos 4字节整形 下一个binglog event在文件中的位置
flags 2字节整形 binglog 的版本号

 

 

 

 

 

 

 

footor则包含一个crc32校验码,它的格式是4字节的整形。

(2)重要的binlog event的构成

1)FORMAT_DESCRIPTION_EVENT

参考自http://dev.mysql.com/doc/internals/en/format-description-event.html

body:

名称 格式 描述
binlog-version 2字节整形 binlog的版本,一般为4
mysql-server version 50字节字符串 mysql数据库的版本
create timestamp 4字节整形 创建时间
event header length 1字节整形 common header的长度,一般为19
event type header lengths EOF型字符串 各种binlog event的post header的长度

 

 

 

 

 

 

 

2)Xid_event

参考自http://dev.mysql.com/doc/internals/en/xid-event.html

body:

名称 格式 描述
XID 8字节整形 提交的事务id

 

 

 

3) Anonymous_gtid_event

没有可以参考的网站

post header:

名称 格式 描述
commit flag 1字节整形 是否提交,1代表提交,0代表没有提交
ENCODED SID 16字节整形 一般为0
ENCODED GNO 8字节整形 一般为0
TS_TYPE 1字节整形 一般为2

 

 

 

 

 

body:

名称 格式 描述
last_committed 8字节整形 上一次提交的序列号
sequence_number 8字节整形 本次的序列号

 

 

 

 

4)STOP_EVENT

参考自http://dev.mysql.com/doc/internals/en/stop-event.html

没有post header和body

5)ROTATE_EVENT

参考自http://dev.mysql.com/doc/internals/en/rotate-event.html

post header:

名称 格式 描述
position 8字节整形 下一个binlog event的位置

 

 

 

 

body:

名称 格式 描述
name of the next binlog 字符串 下一个binlog event所在的文件名

 

 

 

 

6)Table_map_event 

参考自http://dev.mysql.com/doc/internals/en/table-map-event.html

post header

名称 格式 描述
table id 4字节整形 表id,在mysql数据库中每个表都有一个唯一的id标识
flgas 2字节整形 当前保留,为以后使用

 

 

 

 

body:

名称 格式 描述
schema name length 1字节整形 数据库名长度
schema name NULL字符串 数据库名
table name length 1字节整形 表名长度
table name NULL字符串 表名
column-count 可变的整形 列数量
column-def 字符串 描述每列的数据类型
column-meta-def 字符串 描述每列的元数据
NULL-bitmask 字符串 描述每列的是不是可以为空

 

 

 

 

 

 

 

 

 

7)ROWS_EVENT

参考自http://dev.mysql.com/doc/internals/en/rows-event.html

post header

名称 格式 描述
table id 4字节整形 表id,在mysql数据库中每个表都有一个唯一的id标识
flgas 2字节整形 当前保留,为以后使用

body

名称 格式 描述
var_header_len 4字节整形 表的列数
columns_before_image 字符串 被使用列的比特值,例如,表有3列,只有第1列和第3列被使用,则该值为0xfa,只有第1列和第2列被使用,则该值为0xfc
columns_after_image 字符串 仅用于update命令,即更新后的情况是在这里获取的,delete和insert都没有该项
row 字符串

string.var_len nul-bitmap, length (bits set in 'columns-present-bitmap1'+7)/8
string.var_len value of each field as defined in table-map
这里的包含每一个行,每一行含有 nul-bitmap代表已使用的列是否为null,然后紧接着是数据value of each field as defined in table-map

8) QUERY_EVENT

参考自http://dev.mysql.com/doc/internals/en/query-event.html

post header

名称 格式 描述
slave_proxy_id 4字节整形 从机代理id
execution time 4字节整形 执行时间
schema length 1字节整形 数据库名长度
error-code 2字节整形 错误码
status-vars length 2字节整形 状态长度

body

名称 格式 描述
status-vars 字符串 执行sql语句的mysql的环境变量
schema NULL字符串 数据库名
query EOF字符串 SQL语句

三、伪造的binlog文件

现在通过上面的介绍,我们已经能伪造我们的binlog文件,只不过我们只能伪造statement格式下的binlog,因为row模式下的binlog是需要sql执行时的真实数据的。

四、补充:

1.INTVAR_EVENT

对于写入带有自增列的表时,binlog会在statement模式下增加一个事件,就是INTVAR_EVENT,他会规定插入的语句的自增列数,一般出现在BEGIN的Query_event之后,出现在普通的Query_event之前,mysqlbinlog会把它解析成"SET INSERT_ID = 自增id"语句后

我们可以看到他的格式如图所示

body

名称 格式 描述
type 1字节整形 代表INTVAR_EVENT的类型
value 8字节整形 自增id

关于type类型,我们已经确认的是在上述的情况中类型是INSERT_ID_EVENT,而其他两种类型INVALID_INT_EVENT和LAST_INSERT_ID_EVENT还没有出现过,为此这是待确认的事件,以后补充。

原文地址:https://www.cnblogs.com/onlyac/p/6043595.html