Fastdfs

摘要

fastdfs 是以C语言开发的一项开源轻量级分布式文件系统，主要功能： 文件存储，文件同步，文件访问（文件上传/下载），特别适合以文件为载体的在线服务。

• 分布式文件系统

1). 基于客户端/服务器的文件存储系统
2). 对等特性允许一些系统扮演客户端和服务器的双重角色，可供多个用户访问的服务器，比如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样

• FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成

1). Tracker server 追踪服务器
追踪服务器负责接收客户端的请求，选择合适的组合storage server ，tracker server 与 storage server之间也会用心跳机制来检测对方是否活着。
Tracker需要管理的信息也都放在内存中，并且里面所有的Tracker都是对等的（每个节点地位相等），很容易扩展
客户端访问集群的时候会随机分配一个Tracker来和客户端交互。
2). Storage server 储存服务器
实际存储数据，分成若干个组（group），实际traker就是管理的storage中的组，而组内机器中则存储数据，group可以隔离不同应用的数据，不同的应用的数据放在不同group里面，

• 优点：

海量的存储：主从型分布式存储，存储空间方便拓展,
fastDFS对文件内容做hash处理，避免出现重复文件
然后fastDFS结合Nginx集成, 提供网站效率

• 客户段Client

主要是上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx

读写操作

• 写入数据

写操作的时候，storage会将他所挂载的所有数据存储目录的底下都创建2级子目录，每一级256个总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据作为本地文件存储到该目录中。

• 下载文件

当客户端向Tracker发起下载请求时，并不会直接下载，而是先查询storage server（检测同步状态），返回storage server的ip和端口，
然后客户端会带着文件信息（组名，路径，文件名），去访问相关的storage，然后下载文件。

fastdfs 断点续传

• fastdfs支持断点续传需要客户进行切片上传，并且切片字节大小小于等于storage配置的buff_size，默认是256k。当fastdfs storage接收客户端上传数据时，如果出现超时的情况会对文件offset和接收时记录的start、end进行比较，当offset>start 并且 offset < end时即写入文件的数据是应接收的一部分数据时，会truncate。所以当切片大小小于buff_size时，每次写入时如果发生异常，因未达到buff_size，所以服务端还未写入文件，不会产生truncate问题。注意发生异常，下次传输时，需根据fileid获取服务端的文件大小，然后对文件流进行skip之后，继续上传即可。