glusterfs分布式文件服务器

1、安装
至少3台,防止脑裂问题 192.168.1.251-253
独立一个分区/dev/sdb1用于创建glusterfs群集复制卷

fdisk创建新分区/dev/sdb1
sudo fdisk /dev/sdb
n 创建新分区
w 保存硬盘修改并退出

格式化分区:
sudo mkfs.xfs -i size=512 /dev/sdb1

创建挂载点:
sduo mkdir /data/brick1

文件系统列表(/etc/fstab)中加入新分区:
/dev/sdb1   /data/brick1    xfs defaults    1   2

挂载文件系统列表中所有分区:
sudo mount -a

查看是否挂载成功:
sudo mount |grep sdb1

ppa源:
https://launchpad.net/~gluster
sudo add-apt-repository ppa:gluster/glusterfs-6
sudo apt-get update

安装:
sudo apt install glusterfs-server

检查服务是否启动:
sudo systemctl status glusterd

日志
/var/log/glusterfs/

2、配置

2.1)配置信任池
251上探测加入252、253
sudo gluster peer probe 192.168.1.252
sudo gluster peer probe 192.168.1.253

注意:如果使用主机名,则需要在252、253上同样探测一下251
扩展卷时需要在池中节点上探测添加新节点

检查池子信息
sudo gluster pool list  #查看所有节点
sudo gluster peer status #查看其它节点

2.2)配置群集复制券
所有节点上创建复制券对应目录
sudo mkdir /data/brick1/gv1

创建复制券
sudo gluster volume create gv1 replica 3 192.168.1.251:/data/brick1/gv1 192.168.1.252:/data/brick1/gv1 192.168.1.253:/data/brick1/gv1 

启动券、停止券
sudo gluster volume start gv1
sudo gluster volume stop gv1

查看券信息
sudo gluster volume info

扩展卷
需要在池中节点上探测添加新节点
sudo gluster volume add-brick gv1 192.168.1.253:/data/brick1/gv1 192.168.1.254:/data/brick1/gv1
扩展之后需要平衡布局和数据,和停止平衡操作
sudo gluster volume rebalance gv1 start
sudo gluster volume rebalance gv1 stop
查看平衡状态
sudo gluster volume rebalance gv1 status


删除券
sudo gluster volume delete gv1


3、测试
254上挂载glusterfs群集复制券

安装glusterfs-client
sudo apt install glusterfs-client

挂载
sudo mount -t glusterfs 192.168.1.251(252或253):/gv1 /mnt

测试创建、修改、删除文件和目录


4、双节点脑裂处理
查看券治疗信息
sudo gluster volume heal gv1 info

查看券治疗信息中的脑裂信息
sudo gluster volume heal gv1 info split-brain

挂载点查看文件或目录是否处在脑裂状态
sudo getfattr -n replica.split-brain-status 文件(只能对文件)
挂载点可以使用cat file1,如果报 input/output error,说明文件脑裂

修复:
1)按文件大小,大文件做源文件修复
sudo gluster volume heal gv1 split-brian bigger-file 治疗信息中文件路径或GFID

2)按最后修改时间,最后mtime做源文件修复
sudo gluster volume heal gv1 split-brain latest-mtime 治疗信息中文件路径或GFID

3)选用某节点砖块做源修复
修复一个文件
sudo gluster volume heal gv1 split-brain source-brick 192.168.1.251:/data/brick1/gv1 治疗信息中文件路径或GFID
修复所有文件
sudo gluster volume heal gv1 split-brain source-brick 192.168.1.251:/data/brick1/gv1 


修复参考:
https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/

原文地址:https://www.cnblogs.com/xiaomacs/p/11697157.html