FastDFS 同步文件及目录结构

一、FastDFS服务器端运行时目录结构

${base_path}
|__data：存放数据文件
|__logs：存放日志文件

其中，${base_path}由配置文件中的参数“base_path”设定。

1. tracker server

tracker server目录及文件结构：

${base_path} ---- 网上说在这个路径下查找，但是实际上本人找不到，而是在安装tracker时创建的文件夹（/apps/fastdfs/tracker1/data）才找到
|__data
| |__storage_groups[_new].dat：存储分组信息
| |__storage_servers[_new].dat：存储服务器列表
|__logs
|__trackerd.log：tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（/n）分隔，字段之间以西文逗号（,）分隔。

storage_groups.dat中的字段依次为：

group_name：组名
storage_port：storage server端口号

storage_servers.dat中记录storage server相关信息，字段依次为：

group_name：所属组名
ip_addr：ip地址
status：状态
sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
total_upload_count：上传文件次数
success_upload_count：成功上传文件次数
total_set_meta_count：更改meta data次数
success_set_meta_count：成功更改meta data次数
total_delete_count：删除文件次数
success_delete_count：成功删除文件次数
total_download_count：下载文件次数
success_download_count：成功下载文件次数
total_get_meta_count：获取meta data次数
success_get_meta_count：成功获取meta data次数
last_source_update：最近一次源头更新时间（更新操作来自客户端）
last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）

2. storage server

storage server目录及文件结构：

${base_path}
|__data
| |__.data_init_flag：当前storage server初始化信息 -- 没找到
| |__storage_stat.dat：当前storage server统计信息
| |__sync：存放数据同步相关文件
| | |__binlog.index：当前的binlog（更新操作日志）文件索引号
| | |__binlog.###：存放更新操作记录（日志）
| | |__${ip_addr}_${port}.mark：存放向目标服务器同步的完成情况
| |
| |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F
| |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF
|__logs
|__storaged.log：storage server日志文件

.data_init_flag文件格式为ini配置文件方式，各个参数如下：

storage_join_time：本storage server创建时间
sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）
sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空
sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）

storage_stat.dat文件格式为ini配置文件方式，各个参数如下：

total_upload_count：上传文件次数
success_upload_count：成功上传文件次数
total_set_meta_count：更改meta data次数
success_set_meta_count：成功更改meta data次数
total_delete_count：删除文件次数
success_delete_count：成功删除文件次数
total_download_count：下载文件次数
success_download_count：成功下载文件次数
total_get_meta_count：获取meta data次数
success_get_meta_count：成功获取meta data次数
last_source_update：最近一次源头更新时间（更新操作来自客户端）
last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）

binlog.index中只有一个数据项：当前binlog的文件索引号

binlog.###，###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符（/n）分隔，字段之间以西文空格分隔。字段依次为：

timestamp：更新发生时间（Unix时间戳）
op_type：操作类型，一个字符
filename：操作（更新）的文件名，包括相对路径，如：5A/3D/FE_93_SJZ7pAAAO_BXYD.S

${ip_addr}_${port}.mark

ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：

binlog_index：已处理（同步）到的binlog索引号
binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）
need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步
sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成
until_timestamp：同步已有数据截至时间点（UNIX时间戳）
scan_row_count：已扫描的binlog记录数
sync_row_count：已同步的binlog记录数

数据文件名由系统自动生成，包括三部分：当前时间（Unix时间戳）、文件大小（字节数）和随机数。文件名长度为16字节。文件按照PJW Hash算法hash到65536（256*256）个目录中分散存储。

二、FastDFS同步相关文件

1. 192.168.178.10_23002.mark

内容如下：

binlog_index=0
binlog_offset=1334
need_sync_old=1
sync_old_done=1
until_timestamp=1457542256
scan_row_count=23
sync_row_count=11

解释如下：

binlog_index：对应于哪个binlog
binlog_offset：binlog.xxx的偏移量，可以直接这个偏移量获取下一行记录
need_sync_old：本storage是否是对侧storage(192.168.0.2)的源结点，同时是否需要从起点同步所有的记录
sync_old_done：是否同步完成过
until_timestamp：上次同步时间结点
scan_row_count：总记录数

2. binlog.000

内容如下：

1581001242 c M00/00/00/wKiyCl48KhqATsPqAABdrZgsqUU663.jpg
1581001242 c M00/00/00/wKiyCl48KhqATsPqAABdrZgsqUU663.jpg-m
1581001242 c M00/00/00/wKiyCl48KhqATsPqAABdrZgsqUU663_big.jpg
1581001242 c M00/00/00/wKiyCl48KhqATsPqAABdrZgsqUU663_big.jpg-m

解释如下：

1457547668：同步时间戳
C：标记文件类型：C 源创建；A 源追加； D 源删除； T 源Truncate。
对应的小写字母则为副本，如c 副本创建。
M00/00/00/wKiyCl48KhqATsPqAABdrZgsqUU663.jpg：文件名

3. binlog.index

内容如下：

#现有binlog数
0

三、新增节点同步

注意事项：对于非源storage，只上传指定时间结点后的源文件给新增结点，副本文件不处理。对于源结点，需要把时间结点前所有文件(源和副)传给新结点。Storage的状态的主要意义，给tracker用来判定哪些active的结点可以服务。启动同步过程中，源结点状态不改变，可以正常存储文件。

四、正常文件同步

注意事项：正常文件上传完成后，就记录近binlog缓存中，系统定时刷入binlog文件。系统有线程定时读取binlog文件，当有新增行时，判断该记录是源文件记录还是副本文件记录。系统只主动发送源文件，副本文件不做处理(非启动时流程)。