fastDFS分布式存储部署配置

  FastDFS是一个开源的分布式文件系统,适合文件类的在线服务,例如视频网站腾讯视频,相册看图的网站等。她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。尤其特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

  FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。

  接下来,开始部署配置fastDFS主备:本次fastDFS主备测试部署和配置,以6台虚拟机为例进行部署测试。

    虚拟机系统环境centos7.2

    iP地址规划:基于安全等考虑,ip地址已经替换了,非真实ip地址。

      192.168.42.61   tracker01

      192.168.42.62   tracker02

      192.168.42.63   storage-group1-1

      192.168.42.64   storage-group1-2

      192.168.42.65   storage-group2-1

      192.168.42.66   storage-group2-2

  一.  部署tracker

    

所有tracker服务器和storage服务器均执行如下操作

安装和编译所需要的依赖包:

yum install make cmake gcc gcc-c++ -y

安装libfastcommon:

[root@tracker01 software]# pwd

/data/software

unzip libfastcommon-master.zip

[root@tracker01 libfastcommon-master]# pwd

/data/software/libfastcommon-master

 ./make.sh

 ./make.sh install

备注:ibfastcommon 默认安装到了

/usr/lib64/libfastcommon.so

/usr/lib64/libfdfsclient.so

建立软连接:

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so

ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

安装fastDFS:

[root@tracker01 software]# pwd

/data/software

[root@tracker01 software]# tar -xvf fastdfs-5.05.tar.gz

[root@tracker01 software]# cd fastdfs-5.05/

[root@tracker01 fastdfs-5.05]# pwd

/data/software/fastdfs-5.05

./make.sh

./make.sh install

注意

采用默认安装的方式安装,安装后的相应文件与目录:

A、 服务脚本在:

/etc/init.d/fdfs_storaged

/etc/init.d/fdfs_tracker

B、 配置文件在(样例配置文件)

/etc/fdfs/client.conf.sample

/etc/fdfs/storage.conf.sample

/etc/fdfs/tracker.conf.sample

 C、 命令工具在/usr/bin/目录下的: 

fdfs_appender_test

fdfs_appender_test1

fdfs_append_file

fdfs_crc32

fdfs_delete_file

fdfs_download_file

fdfs_file_info

fdfs_monitor

fdfs_storaged

fdfs_test

fdfs_test1

fdfs_trackerd

fdfs_upload_appender

fdfs_upload_file

stop.sh

restart.sh

 (4)因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin, 但实际命令安装在/usr/bin, 可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令:

[root@tracker01 bin]# pwd

/usr/bin

[root@tracker01 bin]# ls |grep fdfs

fdfs_appender_test

fdfs_appender_test1

fdfs_append_file

fdfs_crc32

fdfs_delete_file

fdfs_download_file

fdfs_file_info

fdfs_monitor

fdfs_storaged

fdfs_test

fdfs_test1

fdfs_trackerd

fdfs_upload_appender

fdfs_upload_file

因此需要修改 FastDFS 服务脚本中相应的命令路径,也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin:

# vi /etc/init.d/fdfs_trackerd

使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin# vi /etc/init.d/fdfs_storaged

使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin

注意 以上操作无论是配置 tracker 还是配置 storage 都是必须的,而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配置过程中。

二.  配置tracker  

  复制 FastDFS 跟踪器样例配置文件,并重命名:两台tracker都做如下操作

[root@tracker01 bin]# cd /etc/fdfs/

[root@tracker01 fdfs]# cp tracker.conf.sample tracker.conf

编辑修改tracker配置文件:修改内容如下

disabled=false #启用配置文件

port=22122 #tracker 的端口号,一般采用 22122 这个默认端口

base_path=/fastdfs/tracker #tracker 的数据文件和日志目录

创建基础数据目录:

mkdir -p /fastdfs/tracker

需要注意:如果有防火墙,需要开启22122端口!

启动tracker:

[root@tracker01 fdfs]# /etc/init.d/fdfs_trackerd start

Starting fdfs_trackerd (via systemctl):                    [  OK  ]

[root@tracker01 fdfs]# netstat -lntp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    

tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      13277/fdfs_trackerd 

备注:初次成功启动,会在/fastdfs/tracker 目录下创建 data、 logs 两个目录。

[root@tracker01 tracker]# pwd

/fastdfs/tracker

[root@tracker01 tracker]# ll

total 0

drwxr-xr-x 2 root root 80 Mar 19 01:45 data

drwxr-xr-x 2 root root 25 Mar 19 01:44 logs

通过以下命令查看 tracker 的启动日志,看是否有错误

tail -100f /fastdfs/tracker/logs/trackerd.log

关闭tracker:/etc/init.d/fdfs_trackerd stop  

设置 FastDFS trackr开机启动:

# vi /etc/rc.d/rc.local

 添加以下内容

## FastDFS Tracker

/etc/init.d/fdfs_trackerd start  

原文地址:https://www.cnblogs.com/renyongbin/p/14564586.html