第三十二天-rsync高级同步工具基础

　　1、rsync介绍
　　2、rsync工作方式
　　3、rsync命令使用，参数说明
　　4、rsync服务端，客户端安装配置
　　　 1.服务端安装配置
　　　 2.客户端安装配置
　　5、rsync排错注意

1、rsync介绍

　 Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作平台。
　 rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。
rsync 包括如下的一些特性：

支持拷贝特殊文件如链接文件，设备等；
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能；
可以做到保持原文件或目录的权限，时间，软硬链接，属主、组等所有属性均不改变-p
可实现增量同步，即只同步发生变化的数据，因此数据传输效率很高；
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）；
可以通过socket(进程方式)传输文件和数据；　　
支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像；

2、rsync的工作方式

单个主句本地之间数据传输（此时类似于cp命令）
借助rcp,ssh等通道传输数据（此时类似于scp命令）
以守护进程（socket）的方式传输数据（这个是rsync自身的重要功能）

3、rsync命令使用，参数说明
　　-v, --verbose 　　详细模式输出
　　-z, --compress 　对备份的文件在传输时进行压缩处理
　　-a, --archive 　　归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
　　-r, --recursive　    对子目录以递归模式处理
　　-t, --times 　　　保持文件时间信息
　　-o, --owner 　　　保持文件属主信息
　　-g, --group 　　　保持文件属组信息
　　-p, --perms 　　　保持文件权限
　　-R, --relative 　　使用相对路径信息
　　-b, --backup 　　   创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
　　--backup-dir 　　   将备份文件(如~filename)存放在在目录下。
　　-suffix=SUFFIX      定义备份文件前缀
　　-u, --update 　　　仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
　　-l, --links 　　　　保留软链结
　   -L, --copy-links 　　想对待常规文件一样处理软链结
　　--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
　　--safe-links 　　　忽略指向SRC路径目录树以外的链结
　　-H, --hard-links 　   保留硬链结
　　-q, --quiet 　　　　精简输出模式
　　-D, --devices 　　   保持设备文件信息
　　-S, --sparse 　　　对稀疏文件进行特殊处理以节省DST的空间
　　-n, --dry-run　　　现实哪些文件将被传输
　　-W, --whole-file 　　拷贝文件，不进行增量检测
　　-x, --one-file-system 不要跨越文件系统边界
　　-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
　　-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
　　--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
　　-C, --cvs-exclude 　使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
　　--existing 　　　　仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
　　--delete 　　　　删除那些DST中SRC没有的文件
　　--delete-excluded    同样删除接收端那些被该选项指定排除的文件
　　--delete-after 　　   传输结束以后再删除
　　--ignore-errors 　　及时出现IO错误也进行删除
　　--max-delete=NUM 最多删除NUM个文件
　　--partial 　　　　　保留那些因故没有完全传输的文件，以是加快随后的再次传输
　　--force 　　　　    强制删除目录，即使不为空
　　--numeric-ids 　　　不将数字的用户和组ID匹配为用户名和组名
　　--timeout=TIME 　　 IP超时时间，单位为秒
　　-I, --ignore-times 　不跳过那些有同样的时间和长度的文件
　　--size-only 　　　　当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
　　--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
　　-T --temp-dir=DIR 在DIR中创建临时文件
　　--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
　　-P 等同于 --partial
　　--progress 　　　　　显示备份过程
　　--exclude=PATTERN 指定排除不需要传输的文件模式
　　--include=PATTERN   指定不排除而需要传输的文件模式
　　--exclude-from=FILE 排除FILE中指定模式的文件
　　--include-from=FILE   不排除FILE指定模式匹配的文件
　　--version 　　　　　   打印版本信息
　　--address 　　　　　绑定到特定的地址
　　--config=FILE 　　　   指定其他的配置文件，不使用默认的rsyncd.conf文件
　　--port=PORT 　　　　指定其他的rsync服务端口
　　--blocking-io 　　　　对远程shell使用阻塞IO
　　-stats 　　　　　　　给出某些文件的传输状态
　　--progress 　　　　　在传输时现实传输过程
　　--log-format=formAT     指定日志文件格式
　　--password-file=FILE     从FILE中得到密码
　　--bwlimit=KBPS 　　　限制I/O带宽，KBytes per second
　　-h, --help 　　　　　　显示帮助信息

4、rsync服务端，客户端安装配置
   1、服务端安装配置

以守护进程（socket）的方式传输数据

[oldboy@rsyncserver ~]$ rpm -qa rsync        　　#查看是否安装rsync
rsync-3.0.6-9.el6_4.1.x86_64
[oldboy@rsyncserver ~]$ vim /etc/rsyncd.conf　　 #生成配置文件
#rsync_config_______________start
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[oldboy]
path = /oldboy/
ignore errors
read only = false
list = false
hosts allow = 192.168.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#rsync_config_______________end
~                                  
[root@rsyncserver /]# chown -R rsync.rsync oldboy/            #创建共享目录
[root@rsyncserver ~]# chmod 600 /etc/rsync.password　　　　　　 #将存放用户密码文件修改成最小权限
[root@rsyncserver oldboy]# ls -lh /etc/rsync.password
-rw-------. 1 root root 20 12月 21 14:15 /etc/rsync.password

[root@rsyncserver ~]# cat /etc/rsync.password                  #查看用户密码文件,注意其格式
rsync_backup:123456

[root@rsyncserver ~]# rsync --daemon                           #启动rsync服务,如果想要重启服务的话,先用pkill rsync杀掉进程然后再执行此操作
[root@rsyncserver ~]# ps -ef|grep rsync|grep -v grep
root      1670     1  0 13:56 ?        00:00:00 rsync --daemon

注意：要关闭防火墙和selinux
[oldboy@rsyncserver .ssh]$ sudo /etc/init.d/iptables stop
[sudo] password for oldboy:
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]

[oldboy@rsyncserver .ssh]$ sudo getenforce
Enforcing
[oldboy@rsyncserver .ssh]$ sudo setenforce 0
[oldboy@rsyncserver .ssh]$ getenforce
Permissive

2、客户端安装配置

[root@rsyncclient ~]# rpm -qa rsync
rsync-3.0.6-9.el6_4.1.x86_64

[root@rsyncclient ~]# vim /etc/rsync.password
[root@rsyncclient ~]# chmod 600 /etc/rsync.password 
[root@rsyncclient ~]# useradd -s /sbin/nologin rsync
[root@rsyncclient ~]# cat /etc/rsync.password
123456

　3、同步

SYNOPSIS
       Local:  rsync [OPTION...] SRC... [DEST]

       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

       Access via rsync daemon:
         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
pull:
[root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.100::oldboy /data1 --password-file=/etc/rsync.password
receiving incremental file list
./
a
b

sent 105 bytes  received 224 bytes  658.00 bytes/sec
total size is 8  speedup is 0.02

push:
[root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.100::oldboy /data1 --password-file=/etc/rsync.password
receiving incremental file list
./
a
b

sent 105 bytes  received 224 bytes  658.00 bytes/sec
total size is 8  speedup is 0.02
[root@rsyncclient ~]# rsync -avz /data1 rsync_backup@192.168.1.100::oldboy  --password-file=/etc/rsync.password
sending incremental file list
data1/
data1/a
data1/b

sent 167 bytes  received 50 bytes  144.67 bytes/sec
total size is 8  speedup is 0.04
[root@rsyncclient ~]# rsync -avz /data1/ rsync_backup@192.168.1.100::oldboy  --password-file=/etc/rsync.password         #注意/data1后面有斜杠和没斜杠的区别
sending incremental file list　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 #没有斜杠的话将目录一块同步
./　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 #有斜杠的话只同步目录下面的内容
a
b

sent 152 bytes  received 49 bytes  402.00 bytes/sec
total size is 8  speedup is 0.04

5、rsync排错

1、防火墙和selinux关闭
　　2、/var/log rsyncd.log
　　3、整个部署流程整体考虑排查。
　　4、操作习惯当做一个大事