innobackupx备份原理

1、工具内容
该软件安装完成会有四个工具,如下所示:
usr
├── bin
│ ├── innobackupex
│ ├── xbcrypt
│ ├── xbstream
│ └── xtrabackup
其中最主要的为innobackupx以及xtrabackup,前者为一个perl脚本,后者为c编译程序。xtrabackup是用来备份innodb表的,不能备份非innodb表,和mysqlserver没有交互。而innobackupx是用来备份myisam表,同时会调用xtrabackup进行备份innodb表,同时会和mysqlserver进行交互,获取位点、加读锁等信息。xbcrypt是用来备份文件加密解密用,xbstream类似于tar命令,是percona自己时限内的一种并发写的流文件格式。两者在备份和解压时都会用到。

2、原理

xtrabackup和innobackupx之间的交互协调是通过文件的创建和删除来实现的,主要文件如下:
(
1)xtrabackup_suspended_1 (2)xtrabackup_suspended_2 (3)xtrabackup_log_copied
协调工作过程如下:
(
1)innobackupx在启动xtrabackup进程之后,会一直等待xtrabackup备份完成innodb文件,方式就是等待xtrabackup_suspended_2文件创建出来; (2)xtrabackup在备份完成innodb文件之后,就在指定的文件目录下创建该xtrabackup_suspended_2文件,然后等待innobackupx把文件删除; (3)innobackupx在检测到文件xtrabackup_suspended_2已经被创建出来,就继续向下走去备份非innodb文件; (4)innobackupx在备份完成非innodb表之后,会删除xtrabackup_suspended_2文件,通知xtrabackup继续向下,同时等待xtrabackup_log_copied文件被创建; (5)xtrabackup在检测到xtrabackup_suspended_2文件被删除之后,就继续向下走。

3、备份过程解析


4、备份过程解析


1、innobackupex 在启动后,会先 fork 一个进程,启动 xtrabackup进程,然后就等待 xtrabackup 备份完 ibd 数据文件;

2、xtrabackup 在备份 InnoDB 相关数据时,是有2种线程的,1种是 redo 拷贝线程,负责拷贝 redo 文件;1种是 ibd 拷贝线程,负责拷贝 ibd 文件;redo 拷贝线程只有一个,在 ibd 拷贝线程之前启动,在 ibd 线程结束后结束。xtrabackup 进程开始执行后,先启动 redo 拷贝线程,从最新的 checkpoint 点开始顺序拷贝 redo 日志;然后再启动 ibd 数据拷贝线程,在 xtrabackup 拷贝 ibd 过程中,innobackupex 进程一直处于等待状态(等待文件被创建)。

3、xtrabackup 拷贝完成idb后,通知 innobackupex(通过创建文件),同时自己进入等待(redo 线程仍然继续拷贝);

4、innobackupex 收到 xtrabackup 通知后,执行FLUSH TABLES WITH READ LOCK (FTWRL),取得一致性位点,然后开始备份非 InnoDB 文件(包括 frm、MYD、MYI、CSV、opt、par等)。拷贝非 InnoDB 文件过程中,因为数据库处于全局只读状态,如果在业务的主库备份的话,要特别小心,非 InnoDB 表(主要是MyISAM)比较多的话整库只读时间就会比较长,这个影响一定要评估到。

5、当 innobackupex 拷贝完所有非 InnoDB 表文件后,通知 xtrabackup(通过删文件) ,同时自己进入等待(等待另一个文件被创建);

6、xtrabackup 收到 innobackupex 备份完非 InnoDB 通知后,就停止 redo 拷贝线程,然后通知 innobackupex redo log 拷贝完成(通过创建文件);

7、innobackupex 收到 redo 备份完成通知后,就开始解锁,执行 UNLOCK TABLES;

8、最后 innobackupex 和 xtrabackup 进程各自完成收尾工作,如资源的释放、写备份元数据信息等,innobackupex 等待 xtrabackup 子进程结束后退出。

在上面描述的文件拷贝,都是备份进程直接通过操作系统读取数据文件的,只在执行 SQL 命令时和数据库有交互,基本不影响数据库的运行,在备份非 InnoDB 时会有一段时间只读(如果没有MyISAM表的话,只读时间在几秒左右),在备份 InnoDB 数据文件时,对数据库完全没有影响,是真正的热备。

在上面描述的文件拷贝,都是备份进程直接通过操作系统读取数据文件的,只在执行 SQL 命令时和数据库有交互,基本不影响数据库的运行,在备份非 InnoDB 时会有一段时间只读(如果没有MyISAM表的话,只读时间在几秒左右),在备份 InnoDB 数据文件时,对数据库完全没有影响,是真正的热备。

5、保证数据一致性

InnoDB 和非 InnoDB 文件的备份都是通过拷贝文件来做的,但是实现的方式不同,前者是以page为粒度做的(xtrabackup),后者是 cp 或者 tar 命令(innobackupex),xtrabackup 在读取每个page时会校验 checksum 值,保证数据块是一致的,
而 innobackupex 在 cp MyISAM 文件时已经做了flush(FTWRL),磁盘上的文件也是完整的,所以最终备份集里的数据文件都是写入完整的。

6、增量备份解析

PXB 是支持增量备份的,但是只能对 InnoDB 做增量,InnoDB 每个 page 有个 LSN 号,LSN 是全局递增的,page被更改时会记录当前的 LSN 号,page中的 LSN 越大,说明当前page越新(最近被更新)。
每次备份会记录当前备份到的LSN(xtrabackup_checkpoints 文件中),增量备份就是只拷贝LSN大于上次备份的page,比上次备份小的跳过,每个 ibd 文件最终备份出来的是增量 delta 文件。 MyISAM 是没有增量的机制的,每次增量备份都是全部拷贝的。 增量备份过程和全量备份一样,只是在ibd 文件拷贝上有不同。

7、恢复过程解析

如果看恢复备份集的日志,会发现和 mysqld 启动时非常相似,其实备份集的恢复就是类似 mysqld crash后,做一次 crash recover。

恢复的目的是把备份集中的数据恢复到一个一致性位点,所谓一致就是指原数据库某一时间点各引擎数据的状态,比如 MyISAM 中的数据对应的是
15:00 时间点的,InnoDB 中的数据对应的是 15:20 的,这种状态的数据就是不一致的。
PXB 备份集对应的一致点,就是备份时FTWRL的时间点,恢复出来的数据,就对应原数据库FTWRL时的状态。
因为备份时 FTWRL 后,数据库是处于只读的,非 InnoDB 数据是在持有全局读锁情况下拷贝的,所以非 InnoDB 数据本身就对应 FTWRL 时间点;InnoDB 的 ibd 文件拷贝是在 FTWRL 前做的,拷贝出来的不同 ibd 文件最后更新时间点是不一样的,
这种状态的 ibd 文件是不能直接用的,但是 redo log 是从备份开始一直持续拷贝的,最后的 redo 日志点是在持有 FTWRL 后取得的,所以最终通过 redo 应用后的 ibd 数据时间点也是和 FTWRL 一致的。
所以恢复过程只涉及 InnoDB 文件的恢复,非 InnoDB 数据是不动的。备份恢复完成后,就可以把数据文件拷贝到对应的目录,然后通过mysqld来启动了。
原文地址:https://www.cnblogs.com/crysmile/p/9471565.html