MySQL闪回binlog2sql

功能
提取SQL
生成回滚SQL
 
 
限制:
mysql server必须开启,离线模式下不能解析binlog
binlog格式必须是row模式。
flashback模式只支持DML,DDL将不做输出。
flashback模式,一次性处理的binlog不宜过大,不能超过内存大小(有待优化)。
binlog2sql强烈依赖于MySQL复制协议,如果复制协议发生改变,则该工具将不可用。
 
 
安装
 
如果服务器不能上网,安装方法:
安装setuptools
下载地址:http://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz
tar zxvf setuptools-2.0.tar.gz
cd setuptools-2.0
python setup.py build
python setup.py install
 
再如此安装 

PyMySQL==0.7.11
wheel==0.29.0
mysql-replication==0.13

 
 
把binlog2sql安装包解压即可
下载地址:https://github.com/danfengcao/binlog2sql
unzip binlog2sql-master.zip 
 
自此安装完成。
 
 
MySQL server必须设置以下参数:
 
[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full
 
 
user需要的最小权限集合:
 
select, super/replication client, replication slave
 
建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 
 
权限说明
select:需要读取server端information_schema.COLUMNS表,获取表结构的元信息,拼接成可视化的sql语句
super/replication client:两个权限都可以,需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
replication slave:通过BINLOG_DUMP协议获取binlog内容的权限
 
 
基本用法
 
解析出标准SQL
 
shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 --start-file='mysql-bin.000002'
 
输出:
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 570 end 736
UPDATE `test`.`test3` SET `addtime`='2016-12-10 12:00:00', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
DELETE FROM `test`.`test3` WHERE `addtime`='2016-12-10 13:03:38' AND `data`='english' AND `id`=4 LIMIT 1; #start 981 end 1147
 
解析出回滚SQL
 
shell> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 --start-file='mysql-bin.000002' --start-position=763 --stop-position=1147
 
输出:
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 981 end 1147
UPDATE `test`.`test3` SET `addtime`='2016-12-10 13:03:22', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
 
选项
 
mysql连接配置
 
-h host; -P port; -u user; -p password
 
解析模式
 
 
--stop-never 持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置。
 
-K, --no-primary-key 对INSERT语句去除主键。可选。
 
-B, --flashback 生成回滚语句,可解析大文件,不受内存限制,每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。
 
 
解析范围控制
 
--start-file 起始解析文件。必须。
 
--start-position/--start-pos start-file的起始解析位置。可选。默认为start-file的起始位置。
 
--stop-file/--end-file 末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never,此选项失效。
 
--stop-position/--end-pos stop-file的末尾解析位置。可选。默认为stop-file的最末位置;若解析模式为stop-never,此选项失效。
 
--start-datetime 从哪个时间点的binlog开始解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。
 
--stop-datetime 到哪个时间点的binlog停止解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。
 
 
对象过滤
 
-d, --databases 只输出目标db的sql。可选。默认为空。
 
-t, --tables 只输出目标tables的sql。可选。默认为空。
 
提取SQL示例使用示例:
[root@cdfdb1 binlog2sql]# python binlog2sql.py -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066
INSERT INTO `mydb1`.`tb01`(`id`, `name`) VALUES (100, 'delete_test'); #start 4 end 296 time 2017-05-09 02:35:08
 
生成回滚SQL示例:
[root@cdfdb1 binlog2sql]# python binlog2sql.py -B -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066
DELETE FROM `mydb1`.`tb01` WHERE `id`=100 AND `name`='delete_test' LIMIT 1; #start 4 end 296 time 2017-05-09 02:35:08
原文地址:https://www.cnblogs.com/l10n/p/6821644.html