现 在硬件越来越便宜了,大家的条件也越来越好。很多人都有了自己的移动硬盘,这个东西是保存数据的良好处所。前段时间一个朋友的笔记本硬盘翘盘了,令我很惊 讶:一切皆有可能。做IT这行当的,Data的重要性就不用说了。我便有一个想能够定期将自己的计算机里的关键数据备份一下,这个备份位置当然是我的移动 硬盘了(本来想是在网络上的,可惜速度太慢。如果我们可以使用教育网,我估计会考虑把自己的数据放到ftp服务器上)。

那就不废话了,把自己写的shell脚本放上来:

Shell代码  收藏代码
  1. #!/bin/bash  
  2. #Copyright(c) 2003-2008 Wang Pengcheng(qianjigui@gmail.com)  
  3. #Backup the important files to the remove-disk   
  4. #Version 0.1.0  
  5. #Support the mtime change, and using the 'find' to increase the behaviour.  
  6. #version 0.0.1  
  7. #basic method  
  8.   
  9. ##############Print the version and the usage#############  
  10. echo 'BackupInfo version 0.1.0'  
  11. echo 'Copyright 2001-2008 by Wang Pengcheng(qianjigui@gmail.com)'  
  12. echo 'Usage: backupInfo [mtime]'  
  13. ###################################################  
  14.   
  15. #the arguments for the rsync  
  16. opts="-a --progress --delete"  
  17. #######################  
  18.   
  19. ######Get the src,dist root Dir##########################  
  20. srcRoot='/home/wpc'  
  21. distRoot='/media/WPC_/backup'  
  22. ##################################################  
  23.   
  24. #########Get backup file List##########################  
  25. runPath='/home/wpc/workspace/MyLib/Shell/bin'  
  26. dicListPath="$runPath/dicList.txt"  
  27. dicList=`cat $dicListPath`  
  28. lastBackTime="$runPath/backupTime.log"  
  29. if test -e $lastBackTime -a $# -lt 1  
  30. then  
  31.   mMin=`cat $lastBackTime`  
  32.   nowTimeS=`date +%s`  
  33.   mMin=`expr $nowTimeS - $mMin`  
  34.   mMin=`expr $mMin / 60`  
  35.   mMin=`expr $mMin + 10`  
  36.   findOpts="-amin +$mMin"  
  37. else  
  38.   if [ $# -eq 1 ]  
  39.   then  
  40.     mDay=$1  
  41.   else  
  42.     mDay=3  
  43.   fi  
  44.   findOpts="-mtime +$mDay"  
  45. fi  
  46. findOpts="$findOpts -type f"  
  47. echo "The exclude files FIND Pattern: $findOpts"  
  48.   
  49. #################Backup the file#####  
  50. for dirName in $dicList  
  51. do  
  52.   echo  
  53.     echo "***Backup the dictionary $dirName***"  
  54.   srcD="$srcRoot/$dirName/"  
  55.   distD="$distRoot/$dirName"  
  56.   
  57.   if [  -e $distD ]  
  58.   then  
  59.     echo "The $distD exists."  
  60.   else  
  61.     echo "Create the dictionary: $distD..."  
  62.     mkdir -p $distD  
  63.   fi  
  64.     
  65.   ##Create the exclude patterns  
  66.   timeC=`date +%s`  
  67.   regPatternFile="/tmp/regPatterFile$timeC.txt"  
  68.   
  69.   find $srcD $findOpts |  sed "s|$srcD||" > $regPatternFile  
  70.   excludePattern="--exclude-from=$regPatternFile"  
  71.     
  72.   #echo "rsync $opts $excludePattern $srcD $distD"  
  73.   rsync $opts $excludePattern $srcD $distD | grep -n '[^/]$'  
  74.     
  75.   #delete tmp files  
  76.   rm $regPatternFile  
  77.   echo "***Backup Finish***"    
  78. done  
  79.   
  80. #Write information to the log file  
  81. echo  
  82. echo "Write Log to the $lastBackTime ..."  
  83. date +%s > $lastBackTime  
  84. echo "Save Log finished."  

需要备份的关键文件(这些目录都是相对于~  ):

配置信息 写道
MyDocuments/MyWork
workspace/MyProject/CreateInterpret
 

小贴士:

  1. 我的/tmp文件夹是挂载在内存里面的,所以个人感觉比放在硬盘上速度快些
  2. 利用了find来过滤一些不必要同步的数据,主要利用了文件自带的最后修改时间和最后访问时间。如果没有find做一次过滤,程序将自动和移动硬盘的所有数据做对比,这个非常耗费时间
  3. 利用日志文件记录上次备份的时间,用以提供find的基准点;如果没有会默认为3天
  4. 由于涉及到文件的删除,所以不能只考虑修改的文件
  5. 文件的简单移动并不能改变这个文件的访问时间和最后修改时间,所以很多时候当碰到很久以前的文件时最后手动激活访问一次(这个也是我后续版本想解决的问题)
  6. 这个同步的东西和SVN还是有很大不同的,主要是本地没有大量的修改记录文件
  7. 采用了简单的需要备份的目录配置信息和脚本分离的方式
  8. Rsync详解
Rsync详解 写道
Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

  Rsync 本来是用于替代rcp的一个工具,目前由rsync.samba.org维护,所以rsync.conf文件的格式类似于samba的主配置文件。 Rsync可以通过rsh或ssh使用,也能以daemon模式去运行,在以daemon方式运行时Rsync server会打开一个873端口,等待客户端去连接。连接时,Rsync server会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,以后则就只需进行增量备份。
  Rsync支持大多数的类Unix系统,无论是Linux、Solaris还是BSD上都经过了良好的测试。此外,它在windows平台下也有相应的版本,如cwRsync和Sync2NAS等工具。

  Rsync的基本特点如下:
  1.可以镜像保存整个目录树和文件系统;
  2.可以很容易做到保持原来文件的权限、时间、软硬链接等;
  3.无须特殊权限即可安装;
  4.优化的流程,文件传输效率高;
  5.可以使用rsh、ssh等方式来传输文件,当然也可以通过直接的socket连接;
  6.支持匿名传输。

2、Rsync同步算法

Rsync只所以同步文件的速度相当快,是因为“Rsync同步算法”能在很短的时间内计算出需要备份的数据,关于Rsync的同步算法描述如下:
假定在1号和2号两台计算机之间同步相似的文件A与B,其中1号对文件A拥有访问权,2号对文件B拥有访问权。并且假定主机1号与2号之间的网络带宽很小。那么rsync算法将通过下面的五个步骤来完成:
1、2号将文件B分割成一组不重叠的固定大小为S字节的数据块,最后一块可能会比S 小。
2、2号对每一个分割好的数据块执行两种校验:一种是32位的滚动弱校验,另一种是128位的MD4强校验。
3、2号将这些校验结果发给1号。
4、1号通过搜索文件A的所有大小为S的数据块(偏移量可以任选,不一定非要是S的倍数),来寻找与文件B的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5、1号发给2号一串指令来生成文件A在2号上的备份。这里的每一条指令要么是对文件B经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件B的任何一个数据块匹配上的。

3、Rsync参数说明
3.1 rsyncd.conf配置文件
-、全局参数
在文件中[module]之前的所有参数都是全局参数,当然也可以在全局参数部分定义模块参数,这时候该参数的值就是所有模块的默认值。
port
指定后台程序使用的端口号,默认为873。

motd file
"motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认是没有motd文件的。

log file
"log file"指定rsync的日志文件,而不将日志发送给syslog。比如可指定为“/var/log/rsyncd.log”。

pid file
指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”。

syslog facility
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。

二、模块参数

主要是定义服务器哪个目录要被同步。其格式必须为“[module]”形式,这个名字就是在rsync 客户端看到的名字,其实有点象Samba服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。我们可以根据自己的需要,来指定多个模块,模块中可以定义以下参数:

comment
给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path
指定该模块的供备份的目录树路径,该参数是必须指定的。

use chroot
如果"use chroot"指定为true,那么rsync在传输文件以前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护,但是缺 点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。

uid
该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是"nobody"。

gid
该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为"nobody"。

max connections
指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。默认值是0,也就是没有限制。

list
该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为false,可以创建隐藏的模块。默认值是true。

read only
该选项设定是否允许客户上载文件。如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的。默认值为true。

exclude
用来指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到exclude列表中。这等同于在客户端命令中使用--exclude来指定模式,一 个模块只能指定一个exclude选项。但是需要注意的一点是该选项有一定的安全性问题,客户很有可能绕过exclude列表,如果希望确保特定的文件不 能被访问,那就最好结合uid/gid选项一起使用。

exclude from
指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义。

include
用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。

include from
指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。

auth users
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果"auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的 challenge/response认证协议。用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

secrets file
该选项指定一个包含定义用户名:密码对的文件。只有在"auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的 secures file名,需要限式指定一个(例如:/etc/rsyncd.passwd)。注意:该文件的权限一定要是600,否则客户端将不能连接服务器。

strict modes
该选项指定是否监测密码文件的权限,如果该选项值为true那么密码文件只能被rsync服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认值为true。

hosts allow
该选项指定哪些IP的客户允许连接该模块。