分布式Key Value Store漫谈

http://www.slideshare.net/iso1600/key-value-store

hypertable介绍：

http://blog.chinaunix.net/u3/103470/showart_2045490.html

其他相关地址:

http://blog.csdn.net/amourguo/archive/2010/04/13/5482800.aspx

http://www.cnblogs.com/eaglet/archive/2010/05/27/1745104.html

下面是hypertable的文档下载，太黑了，要10分，目前我积分不够，只好先保留着

大家谁下载了麻烦重新上传个，分别设置那么高了，下面是地址

http://search.download.csdn.net/search/HyperTable

-----------------下面是服务器同步相关-------------------------------

CwRsync：http://blog.chinaunix.net/u2/79554/article_95276.html

下面的应是目前最新的，我现在才用cwRsync 3.1.0

CwRsync 4.0.2 安装配置文档

http://blog.tianya.cn/blogger/post_show.asp?BlogID=854352&PostID=20973986

个人喜欢的配置步骤,以下和我步骤一样，自己懒得写,直接copy(内容来源:http://blog.tcisv.cn/):

1、http://rsync.samba.org/ 下载cwRsync客户端（cwRsync）和服务器端（cwRsyncServer）。

2、服务器端安装：采用默认选项安装。
安装后，服务默认为手动启动模式，到“管理工具/服务管理”里，启动“RsyncServer”服务，并修改“RsyncServer”为自动启动模式。

3、服务器端配置：编辑rsyncd.conf文件，写入如下信息
use chroot = false
strict modes = false
hosts allow = *
log file = rsyncd.log
pid file = rsyncd.pid

# Module definitions
# Remember cygwin naming conventions : c:\work becomes /cygwin/c/work
#
[test]
path = /cygdrive/d/doc
read only = no

其中test是设置要同步的数据，path是磁盘路径，/cygdrive/d/doc对应到 d:\doc文件夹，由于cwRsync软件在windows下不能够直接挂盘符，采用 /cygdrive/这种模式。

4、客户端安装：安装过程中，取消到service安装包，并安装到 “C:\Program Files\cwRsync” 文件夹下

5、客户端配置：编辑“cwrsync.cmd” 文件，在最后一行加入

rsync -avr –ignore-errors –force –delete 192.168.0.1::test /cygdrive/c/vm

–delete: 如果服务端删除了文件，客户端也相应把文件删除

说明：将服务器（192.168.0.1）上test模块下的文件夹同步到本地 c:\vm 文件夹下。同样采用 /cygdrive/模式。

6、文件同步：运行客户端的cwrsync.cmd 文件，就可以将服务器端的数据同步到客户端。

相关说明：

一：服务端rsyncd.conf文件配置
uid = nobody
gid = nobody
use chroot = no # 不使用chroot
max connections = 4 # 最大连接数为4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log # 日志记录文件
[inburst] # 这里是认证的模块名，在client端需要指定
path = /home/inburst/python/ # 需要做镜像的目录
comment = BACKUP CLIENT IS SOLARIS 8 E250
ignore errors # 可以忽略一些无关的IO错误
read only = yes # 只读
list = no # 不允许列文件
hosts allow=172.25.43.57 #允许连接IP
auth users = inburst # 认证的用户名，如果没有这行，则表明是匿名
secrets file = /etc/inburst.pas # 认证文件名

注：
为安全考虑，在设置服务端rsyncd.conf模块时，最好加上auth users = inburst，secrets file = /etc/inburst.pas，密码写到一个文件中inburst.pas。
执行命令时：rsync -avrp /test/ inburst@172.25.43.158::test –password-file=inburst.pas。

二：客户端脚本
rsync -avrp /test/ administrator@172.25.43.58::test –password-file=1234567
(表示将客户端test目录下文件备份到服务器test模块下。如果将/test/放后面，表示将服务器test模块下目录备份带客户端/test/下。)
选项说明:
-v, –verbose 详细模式输出
-q, –quiet 精简输出模式
-c, –checksum 打开校验开关，强制对文件传输进行校验
-a, –archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, –recursive 对子目录以递归模式处理
-R, –relative 使用相对路径信息
其他参数可以查看rsync相关手册。

常出现的错误：
错误1: rsync: read error: Connection reset by peer (104)
rsync error: error in rsync protocol data stream (code 12) at io.c(794) [receive
r=3.0.2]
解决：很大可能是服务器端没有开启 rsync 服务。开启服务。
错误2：@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1495) [rec
eiver=3.0.2]
解决：服务器端同步目录没有权限，cwrsync默认用户是Svcwrsync。为同步目录添加用户Svcwrsync权限。
错误3：@ERROR: failed to open lock file
rsync error: error starting client-server protocol (code 5) at main.c(1495) [rec
eiver=3.0.2]
解决：配置文件 rsync.conf中添加 lock file = rsyncd.lock 即可解决。

password file must not be other-accessible

解决：设置密码文件不允许被任何用户访问, 执行chmod 600 rsyncd.pw,若此方不行,再将rsyncd.pw的上级目录(在ntfs分区中)权限改成只有当前用户可以读取和运行,

-----------------------------------------------

我自己的服务器配置文件是这样写的

rsyncd.conf 内容

---------------------------

uid = nobody
gid = nobody
use chroot = false
strict modes = false
hosts allow = *
log file = rsyncd.log
lock file = rsyncd.lock
max connections = 4

secrets file = /cygdrive/c/Program Files/ICW/rsync_user.secrets

[back_e]
path=/cygdrive/c/source/
read only=false
transfer logging=yes
charset=utf-8
auth users=admin

---------------------------

密码文件:rsync_user.secrets 中的格式是

admin:123456

#说明:admin是用户名,123456是密码

-----------------------

配置文件修改完成后，对系统环境变量path增加rsync.exe所在的路径。

执行测试，开始->运行cmd->rsync,返回rsync命令操作的帮助提示信息

linux下详细的rsync配置

http://hi.baidu.com/9812658/blog/category/Linux%20Rsync%20Server