MFS部署
部署环境：RHEL6.1
mfs版本：mfs-1.6.17.tar.gz
官网地址：www.moosefs.org
官网最新版本为v1.6.26
说明：实验过程元数据服务器和元日志服务器在一台机器即Master管理服务器上，在生产环境中建议元数据服务器和元日志服务器分开，这样安全性相对会高
IP部署
----------------------------------------------------------------------------------------------------------------------
Master(管理服务器):192.168.100.1
---chunkserver1 192.168.100.10
chunkservers(数据存储服务器)|
---chunkserver2 192.168.100.11
---client1 192.168.100.20
client客户机|
---client2 192.168.100.21
----------------------------------------------------------------------------------------------------------------------
Master相关配置
软件安装
#./configure --disable-mfschunkserver--disable-mfsmount --with-default-user=daemon --with-default-group=daemon
#make && make install
# cp /usr/local/etc/mfsmaster.cfg.dist/usr/local/etc/mfsmaster.cfg
//模板默认生效,该文件不需要修改
#cp /usr/local/etc/mfsexports.cfg.dist/usr/local/etc/mfsexports.cfg
#vim /usr/local/etc/mfsexports.cfg
# cat /usr/local/etc/mfsexports.cfg
192.168.100.0/24 / rw,alldirs,maproot=0
192.168.100.0/24 . rw
# cd /usr/local/var/mfs // /usr/local/var/mfs元数据存放目录
#cp metadata.mfs.empty metadata.mfs
//启用元数据配置文件
#/usr/local/sbin/mfsmaster start || stop
//开启||关闭服务
#usr/local/sbin/mfscgiserv start
//开启web监控,mfscgiserv是使用python开发的web服务器，http://Master_IP:9425即可访问
trunkServer相关配置
#./configure --disable-mfsmaster--disable-mfsmount --disable-mfscgi --disable-mfscgiserv --with-default-user=daemon--with-default-group=daemon
#make && make install
#cp/usr/local/etc/mfschunkserver.cfg.dist /usr/local/etc/mfschunkserver.cfg
#vim /usr/local/etc/mfschunkserver.cfg
#cat /usr/local/etc/mfschunkserver.cfg
WORKING_USER = daemon
WORKING_GROUP = daemon
SYSLOG_IDENT = mfschunkserver
LOCK_MEMORY = 0
NICE_LEVEL = -19
DATA_PATH = /usr/local/var/mfs
MASTER_RECONNECTION_DELAY = 5
BIND_HOST = *
MASTER_HOST = 192.168.100.1
MASTER_PORT = 9420
MASTER_TIMEOUT = 60
HDD_CONF_FILENAME = /usr/local/etc/mfshdd.cfg
HDD_TEST_FREQ = 10
LOCK_FILE = /var/run/mfs/mfschunkserver.lock
BACK_LOGS = 50
◆ MASTER_HOST = 192.168.100.1 元数据服务器的名称或地址，可以是主机名，也可以是ip地址，只要数据存储服务器能访问到元数据服务器就行。
◆ LOCK_FILE = /var/run/mfs/mfschunkserver.pid 与元数据服务器master的处理完全相同.
◆ CSSERV_LISTEN_PORT = 9422 CSSERV—chunkserver,这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制。
◆ HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配给MFS使用的磁盘空间配置文件的位置。
#cp /usr/local/etc/mfshdd.cfg.dist/usr/local/ect/mfshdd.cfg
#vim /usr/local/ect/mfshdd.cfg
#cat /usr/local/ect/mfshdd.cfg
/mfs #挂载点
#mkdir /mfs
#mount /dev/sdb1 /mfs
//这里使用的是独立的磁盘，已经格式化ext4，分区格式化这里不作介绍
//注意：CHUNKSERVER共享出去的磁盘需要大于1G以上，否则会提示空间不足，另外CHUNKSERVER也会占用几百M的空间
#chown daemon:daemon /mfs -R
//必须修改权限，否则服务启动不了
#/usr/local/sbin/mfschunkserver start ||stop
//可以查看messages日志获得启动和连接信息
client相关配置
#yum install fuse* -y //client通过fuse模块连接Master
#./configure --disable-mfsmaster--disable-mfschunkserver --disable-mfscgi --disable-mfscgiserv --with-default-user=daemon--with-default-group=daemon
#make && make install
#mkdir /mnt/{data,metadata}
#mfsmount -H 192.168.100.1 /mnt/data
#mfsmount -m -H 10.1.1.10 metadata
# /usr/local/bin/mfsdirinfo /mnt/data/ //查看chunk信息
/mnt/data/:
inodes: 2
directories: 1
files: 1
chunks: 23
length: 1522139136
size: 1522256896
realsize: 1522256896
#/usr/local/bin/mfsgetgoal -h /mnt/data/ //获取文件备份信息
/mnt/data/:1 //1表示没有备份，只有一个文件
# /usr/local/bin/mfssetgoal -r 2 /mnt/data/ //等段时间之后生效，这样修改之后，文件就实现冗余功能了
# /usr/local/bin/mfsfileinfo 文件名 //可以查看该文件的个数
另外对于客户端需要说明的是类似iscsi或者NFS这些，2个客户端同时挂载使用的时，client1写入数据，client2是读不到数据的，而MFS实现client1和client2同步，在client1上写入文件，client2即可获取，实现同时读写
（一）本地测试
1、停止元数据服务 /usr/local/mfs/sbin/mfsmaster
2、备份元数据服务器数据 cd /usr/local/mfs/var; tar czvfmfs.tgz mfs
3、删除目录 mv mfs mfs.bk 或 rm –rf mfs
4、启动元数据服务 ../sbin/mfsmaster start 启动失败，提示不能初始化数据。
5、解包 tar zxvf mfs.tgz
6、执行恢复操作 .. /sbin/mfsmetarestore –a
7、启动元数据服务 ../sbin/mfsmaster start
8、在MFS客户端检查MFS存储的数据是否跟恢复前一致？能否正常访问等等。
（二） 迁移测试
1、 安装新的MFS元数据服务器。
2、 从当前的元数据服器（master）或日志备份服务器(mfsmetalogger)复制备份文件 metadata.mfs.back/metadate_ml.mfs.back到新的元服务器目录(metadata.mfs.back需要定时用crontab备份).
3、 从当前的元数据服器（master）或日志备份服务器(mfsmetalogger)复制元数据服务器数据目录（/usr/local/mfs/var/mfs）到这个新的元数据服务器。
4、 停止原先的那个元数据服务器（关闭计算机或停止它的网络服务）。
5、 更改新的元数据服务器的ip为原来那个服务器的ip.
6、 执行数据恢复操作，其命令为：mfsmetarestore -mmetadata.mfs.back -o metadata.mfs changelog_ml.*.mfs 恢复成功后再执行启动新的元数据服务操作。
7、 启动新的元数据服务 /usr/local/mfs/sbin/mfsmasterstart
8、 在MFS客户端检查MFS存储的数据是否跟恢复前一致？能否正常访问等等。
参考：http://bbs.chinaunix.net/thread-1644309-1-1.html
http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf
http://www.tanpao.com/archives/35 维基百科
http://blog.formyz.org/?p=299#more-299