hadoop rsync

1 rsync用来同步配置文件

rsync用来同步两个文件夹,它拷贝的是二者的差异,因此速度很快。在hadoop脚本中,rsync用来同步配置文件。

2 HADOOP_SLAVE_SLEEP的用途

大型集群启动时,slave几乎是同时启动的,它们一下子都来向master节点要求同步,会导致master有很大的压力,因此启动后先让它们睡一会儿。

3 rsync常用参数

--delete  删除目标文件夹中比源文件夹多的文件。

--exclude 排除文件使之不参于同步。

-e ssh 是说要登陆然后同步,这个时候需要设置ssh无密码登陆。

原文地址:https://www.cnblogs.com/hustdc/p/8645870.html