# 同一个区域网下增量拷贝 -- rsync
rsync既是一个命令，又是一个服务，支持全量备份和增量备份，不支持差异备份,可以实时备份(inotyfi+rsync)，也可以定时定点备份（cron + rsync）
监听端口: 873
rsync运行模式：C/S,客户端/服务端
系统 所有用户 都可以使用rsync的 作为客户端或者服务端
**服务端**：我们把备份的文件放在谁磁盘上，谁就是服务端，（客户端推，服务端拉）
备份文件的格式：2020-05-06_web01_etc.tar.gz
企业采用客户端 推 的方式减少服务端的负载，备份到服务器，#再隐藏到云服务器异地备份
-a ：
-v :显示传输的过程
-z :传输的时候使用gzip 压缩，传输完成立即 解压
-e 'ssh -p 80' ：指定传输的端口
--delete #让目标目录和源目录数据保持一致,可以实现数据的清空
--password-file=xxx #使用密码文件（虚拟用户 bck：密码）
export RSYNC_PASSWORD=123 （export使命令行的密码立即生效 ）
------------------- -a 包含 ------------------
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-D #保持设备文件信息
--------------------- 不包含 -------------------------
-L #保留软连接指向的目标文件（默认只拷贝链接文件）
-e #使用的信道协议,指定替代ssh的shell程序，'ssh -p 80' ：指定传输的端口
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输(限制磁盘的I/O)
--partial #断点续传
--delete #让目标目录和源目录数据保持一致
--password-file=xxx #指定 密码文件
# rsync 的传输模式：
（/etc是指/etc目录，/etc/是指 /etc目录下所有文件或目录）
本地方式---------------------------------------------相当于cp命令
## 拷贝文件
[root@backup ~]# rsync /root/3 /usr/local/src/
## 拷贝目录
[root@backup ~]# rsync -a /etc /usr/local/src/
远程方式------------------------------相当于scp命令，存在普通用户权限不足的情况，存在ssh不安全的情况
# 推：rsync [选项...] 本地文件或目录 用户名@主机IP:路径
rsync -avz /etc root@10.0.0.41:/root # 推
# 拉：rsync [选项...] 用户名@主机IP:路径 本地文件或目录
rsync -avz root@10.0.0.41:/root /etc
同步中科大镜像站，rsync rsync://rsync.mirrors.ustc.edu.cn/repo/ .
守护进程方式-------------------------------------------服务，#不存在普通用户权限不足的情况，不存在不安全的情况(使用22号端口), 守护进程方式只能客户端 推或拉
推：rsrnc -avz 文件或目录 用户@IP或域名::模块
拉：rsync -avz 用户@IP或域名::模块 文件或目录
#服务端（小心注释）-----------------------------------备份的文件放在哪，谁就是服务端
1.[root@web01 ~]# yum install -y rsync
[root@web01 ~]# rpm -q rsync
rsync-3.1.2-10.el7.x86_64 #包名，版本，发布次数，适用系统，架构
[root@web01 ~]# rpm -qc rsync
/etc/rsyncd.conf #配置文件
/etc/sysconfig/rsyncd #从配置文件
[root@web01 ~]# rpm -ql rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
/usr/bin/rsync #启动程序存放路径，在环境变量里面，可以tab，可以不加绝对路径执行
/usr/lib/systemd/system/rsyncd.service #可以使用systemctl来管理
/usr/lib/systemd/system/rsyncd.socket
[root@web01 ~]# cat /etc/passwd|grep rsync #查看rsync用户身份是否存在
[root@web01 ~]# id rsync || echo 不存在
id: rsync: no such user
2.修改配置文件（一般来说是以.conf 或 .cnf 或 .cfg结尾）,
[root@web01 ~]# vim /etc/rsyncd.conf #先删除，再拷贝
#################################### 服务相关配置 ###########################
uid = www
#指定rsync进程启动的用户（打工的）---------useradd
gid = www
#指定rsync进程启动的组
port = 873
#指定rsync使用的监听端口（默认873端口，可以改）
fake super = yes
#无需让rsync以root身份运行，允许接收文件的 完整属性（属主属组不变）
use chroot = no
#禁锢指定的目录（只能推到指定的目录,不紧固的话随便推）
max connections = 200
#最大连接数（同时连接的主机数，减少服务端负载）
timeout = 600
#超时时间
ignore errors
#忽略报错
read only = false
#不只读(可读可写)
list = false
#不允许别人查看模块名
#################################### 命令相关配置 ###########################
auth users = bck
#传输文件的用户（相当于密码，没有实际意义）---------
secrets file = /etc/rsync.passwd
#传输用户文件的密码文件------------vim或echo/600
log file = /var/log/rsyncd.log
#日志文件，使用了rsync之后才会生成
[backupmk]
#模块名，可以随便改,小心大写字母，空格，数字,多模块对应多主机（随便推？）
comment = welcome to oldboyedu backup!
#注释（废物）
path = /backup
#备份的目录-------mkdir/权限属主属组
3.根据配置文件的内容，创建出来需要的用户，目录，密码文件
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
[root@web01 ~]# mkdir /backup
[root@web01 ~]# ll /backup
drwxr-xr-x 2 root root 6 May 6 20:40 backup
[root@web01 ~]# chown www.www /backup/
[root@web01 ~]# ll /backup/ -d
drwxr-xr-x 2 www www 6 May 6 20:40 /backup/
[root@web01 ~]# vim /etc/rsync.passwd
backupmk:123
或
[root@web01 ~]# echo backupmk:123 >/etc/rsync.passwd （虚拟用户名：密码,必须要做）
或
esport RSYNC_PASSWORD=123
#修改传输文件的密码文件的权限
[root@web01 ~]# chmod 600 /etc/rsync.passwd
[root@web01 ~]# ll -d /etc/rsync.passwd
-rw------- 1 root root 18 May 6 20:44 /etc/rsync.passwd
4.启动服务，并且加入开机自启
[root@web01 ~]# systemctl enable rsyncd
Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.
[root@web01 ~]# systemctl start rsyncd
[root@web01 ~]# systemctl status rsyncd
[root@web01 ~]# netstat -lntup|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1483/rsync
tcp6 0 0 :::873 :::* LISTEN 1483/rsync
[root@web01 ~]# ps -ef|grep rsync
root 1483 1 0 20:49 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
root 1493 1117 0 20:51 pts/0 00:00:00 grep --color=auto rsync
#客户端 -------------------------------------------------
rsync客户端不需要修改配置文件,有的服务需要修改客户端配置文件
#方法一
1.安装rsync
[root@backup ~]# yum install -y rsync
2.客户端需要创建一个密码文件
[root@backup ~]# vim /etc/rsync.pass
123
或
[root@backup ~]# echo 123 > /etc/rsync.passwd
3.修改密码文件的权限为600
[root@backup ~]# chmod 600 /etc/rsync.pass # 必须
[root@web01 ~]# systemctl enable rsyncd
[root@web01 ~]# systemctl start rsyncd
[root@web01 ~]# systemctl status rsyncd
4.从客户端往服务端推送重要备份文件
rsync [-avz] 源文件 bck@10.0.0.41::[模块]
rsync -avz /etc rsync_bck@10.0.0.41::backupmk --password-file=/etc/rsync.pass
# 方式二：脚本中使用，强烈推荐方式
[root@nfs01 ~]# export RSYNC_PASSWORD=zls
客户端 拉取Rsync服务端 backupmk 模块数据至本地客户端的 /123目录
[root@nfs01 ~]# export RSYNC_PASSWORD=123 # 临时,密码可以是字母,立即生效
[root@nfs01 ~]# vim /etc/profile.d/rsync.ps.sh #永久，需要重新加载（bash）
export RSYNC_PASSWORD=123
或
[root@nfs01 ~]# echo export RSYNC_PASSWORD=123 >/etc/profile.d/rsync.ps.sh #bash
[root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
Rsync实现数据 无差异 同步 （两边一样，有空目录就完了），可以利用 --delete 实现删除的目的
一定要看好 推拉的目标
推的时候，无论全量备份还是增量备份，是推一次同名覆盖一次
拉的时候，无论全量备份还是增量备份，是拉一次同名覆盖一次，除非拉到别的目录
#拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
[root@nfs01 ~]# export RSYNC_PASSWORD=123
[root@nfs01 ~]# rsync -avz --delete bck@172.16.1.41::backupmk /data/
#推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
[root@nfs01 ~]# export RSYNC_PASSWORD=zls
[root@nfs01 ~]# rsync -avz --delete /data/ rsync_backup@172.16.1.41::backupmk
# 如果推的目录是空目录的话，服务端也被清空了，如果客户端某个重要文件被误删除了，服务端里的相应的数据也被删除了
#企业差异备份和无差异备份可能混合使用
[root@nfs01 ~]# rsync -avz /data/ rsync_backup@172.16.1.41::backupmkbackupmk
[root@nfs01 ~]# rsync -avz --delete /data/ rsync_backup@172.16.1.41::backupmk
Rsync的Limit限速（限制磁盘吞吐量 I/O）
#企业案例: 某DBA使用rsync拉取备份数据时，由于文件过大导致内部交换机带宽被沾满，导致用户的请求无法响应
[root@nfs01 ~]# export RSYNC_PASSWORD=zls
[root@nfs01 ~]# rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup/ /data/
rsync总结
服务端
1.安装rsync
[root@backup ~]# yum install -y rsync
2.修改配置文件
[root@backup ~]# vim /etc/rsyncd.conf
3.创建www用户
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
4.创建密码文件
[root@backup ~]# echo 'bck:123' > /etc/rsync.passwd
或 export RSYNC_PASSWD=123
5.给密码文件授权600，不让其他用户看到用户名和密码(选做)
[root@backup ~]# chmod 600 /etc/rsync.passwd
6.创建备份目录
[root@backup ~]# mkdir /backup
7.授权备份目录的属组和属组为www
[root@backup ~]# chown www.www /backup/
8.启动服务并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
9.检查端口
[root@backup ~]# netstat -lntup|grep 873
10.检查进程
[root@backup ~]# ps -ef|grep [r]sync
rsync客户端
# 安装rsync服务
[root@web01 ~]# yum install -y rsync
[root@web01 ~]# exprot RSYNC_PASSWD=123
# 设置开机自启动
[root@web01 ~]# systemctl enable rsyncd
Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.
[root@web01 ~]# systemctl start rsyncd