【集群实战】NFS网络文件共享服务2-mount挂载（参数，优化）

1. NFS客户端挂载深入

1.1 NFS客户端挂载参数说明

在NFS服务端，可以通过cat /var/lib/nfs/etab查看NFS服务器端配置参数的细节。
在NFS客户端，可以通过cat /proc/mounts 查看mount的挂载参数细节。

1.1.1 mount挂载及fstab文件说明

通过查看/proc/mounts文件查看挂载参数：

[root@web01-8 mnt]# grep "192.168.0.31" /proc/mounts 
192.168.0.31:/data/ /mnt nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.8,minorversion=0,local_lock=none,addr=192.168.0.31 0 0
192.168.0.31:/oldboy/ /video nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.8,minorversion=0,local_lock=none,addr=192.168.0.31 0 0

1.1.2 NFS客户端挂载参数说明(mount挂载)：

如果考虑以简单、易用为原则，直接选择默认值即可：

mount -t nfs 192.168.0.31:/data/ /mnt

如果想要设置上述参数，则：

mount -t nfs -o fg,hard,intr,rsize=131072,wsize=131072 192.168.0.31:/data/ /mnt

参数说明：

fg, bg
- 默认参数 fg
- 功能：
  - 当在客户端执行挂载时，可选择是前台（fg）还是在后台（bg）执行。
  - 若在前台执行，则mount会持续尝试挂载，直到成功或挂载时间超时为止；
  - 若在后台执行，则mount会在后台持续多次进行mount，而不会影响到前台的其它程序操作。
  - 如果网络联机不稳定，或是服务器常常需要开关机，建议使用bg比较妥当。
soft, hard
- 默认参数：hard
- 功能：
  - 当NFS 客户端以soft挂载NFS服务端时，若网络或Server出现问题，造成服务端和客户端之间无法传输资料，Client就会一直尝试，直到timeout后显示错误才停止
  - 若使用soft mount，可能会在timeout出现时造成资料丢失，不建议使用。
  - 若是hard模式挂载硬盘时，与soft相反，客户端会一直尝试连线到server，若服务端有回应则继续刚才的操作，若没有回应，客户端会一直尝试，此时无法umount或kill，所以常常配合intr使用。这是默认值
intr
- 默认参数：无
- 功能：
  - 当使用hard挂载的资源timeout后，若有指定intr参数，可以在timeout后把它中断掉，这避免出问题时系统整个被NFS锁死，建议使用intr
rsize, wsize
- 默认参数：
  - CentOS 5: rsize=1024， wsize=1024
  - CentOS 6: rsize=131072，维泽=131072
- 功能：
  - rsize，即readsize，读出的区块大小
  - wsize，即writesize，写入的区块大小
  - 这个设置值可以影响客户端和服务器端传输数据的缓冲存储量
  - 如果在局域网内LAN，并且客户端和服务端都具有足够的内存，这个值可以设置大一点，如65535（bytes）
  - 提升缓冲区块将提升NFS文件系统的传输能力
  - 但设置的值不要太大，最好以网络能够传输的最大值为限
proto=udp
- 默认参数：tcp
- 功能：
  - proto=udp，使用UDP协议来传输资料，在LAN中会有比较好的性能
  - 默认使用tcp协议，跨越Internet，会有比较好的纠错能力

可以通过man nfs查看上述参数信息。

1.1.3 mount -o 参数对应的选项

参数：

suid，nosuid

默认值：suid

说明：

当挂载的文件系统上有任何SUID的程序时，只要使用nosuid就能够取消设置SUID的功能

示例：

# 在nfs服务端的/data目录下创建测试文件，设置suid
[root@nfs-31 data]# touch test_file_for_suid
[root@nfs-31 data]# ll test_file_for_suid 
-rw-r--r-- 1 root root 0 Dec 10 21:44 test_file_for_suid
[root@nfs-31 data]# chmod +s test_file_for_suid 
[root@nfs-31 data]# ll test_file_for_suid 
-rwSr-Sr-- 1 root root 0 Dec 10 21:44 test_file_for_suid
[root@nfs-31 data]# stat test_file_for_suid 
  File: `test_file_for_suid'
  Size: 0               Blocks: 0          IO Block: 4096   regular empty file
Device: 803h/2051d      Inode: 264647      Links: 1
Access: (6644/-rwSr-Sr--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2019-12-10 21:44:24.393563215 +0800
Modify: 2019-12-10 21:44:24.393563215 +0800
Change: 2019-12-10 21:44:40.096563536 +0800

# 在nfs客户端，强制卸载之前挂载好的文件系统
[root@web01-8 mnt]# umount -fl /mnt

# 重新挂载
[root@web01-8 mnt]# mount -t nfs -o bg,hard,intr,rsize=131072,wsize=131072,nosuid 192.168.0.31:/data/ /mnt
[root@web01-8 mnt]# grep mnt /proc/mounts
192.168.0.31:/data/ /mnt nfs4 rw,nosuid,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.8,minorversion=0,local_lock=none,addr=192.168.0.31 0 0

# 在客户端上/mnt下查看文件的权限属性
# 虽然文件上的suid位还是显示，甚至可以通过chmod进行设置，但是无法使用
# 如：/bin/cat命令，实验比较麻烦，仅做说明
[root@web01-8 mnt]# ll 
总用量 4
drwxr-xr-x 3 nfsnobody nfsnobody 4096 12月  9 18:08 backup
-rw-r--r-- 1 nfsnobody nfsnobody    0 12月  9 18:08 file
-rwSr-Sr-- 1 root      root         0 12月 10 21:44 test_file_for_suid

注意：在nfs服务端共享目录仍然可以设置文件的suid，并可以使用。具体内容具体分析。

rw，ro
- 默认值：rw
- 说明：
  - 可以指定文件系统是只读（ro）还是读写（rw）
dev，nodev
- 默认值：dev
- 说明：
  - 是否可以保留装置文件的特殊功能？
  - 一般来说只有/dev 才会有特殊的装置，因此可以选择nodev
exec，noexec
- 默认值：exec
- 说明：
  - 是否具有执行文件的权限？
  - 如果想要挂载的仅是普通资源数据区（如：图片，附件），那么可以选择noexec
user，nouser
- 默认值：nouser
- 说明：
  - 是否允许用户拥有文件的挂载和卸载功能？
  - 如果想要保护文件系统，最要不要为用户提供挂载和卸载功能
auto，noauto
- 默认值：auto
- 说明：
  - 这个auto指的是mount -a 时会不会被挂载的项目
  - 如果不需要这个分区随时被挂载，可以设置为noauto

下面是mount命令的-o选项后面可以接的参数，注意，有些选项只有出现在/etc/fstab 里面才有效。

下面这些选项可以应用在绝大多数文件系统上，但是sync仅适合ext2，ext3，fat，vfat和ufs等文件系统。

async
- 异步，涉及文件系统的I/O的操作都是异步处理。即不会同步写到磁盘。
- 此参数提高性能，但会降低数据安全。
- 不推荐生产使用，除非对性能要求很高，对数据可靠性不要求的场合。
sync
- 与async相反。
- I/O同步，即把数据同步写入硬盘。
- 牺牲一部分I/O性能，但是可以确保停电后数据的安全性。
atime
- 在每一次数据访问时，同步更新访问文件的inode时间戳。
- 是默认选项。
- 在高并发情况下，建议通过noatime，取消这个默认项，以提升I/O性能。
ro
- 只读
rw
- 读写
auto
- 能够被自动挂载通过-a选项
noauto
- 不会自动挂载文件系统
defaults
- 这是fstab里的默认值，包括：rw,suid,dev,exec,auto,nouser,async
- 默认情况下，大部分都是默认值
exec
- 允许文件系统执行二进制文件
- noexec可以提升系统安全性
noexec
- 在挂载的文件系统中，不允许直接执行任何二进制的程序
- 注意，仅对二进制程序有效
- 即使是设置了noexec，shell，php程序还是可以执行的。
noatime
- 访问文件时不更新文件的inode时间戳
- 高并发情况下，推荐应用该选项，提升系统I/O性能
nodiratime
- 不更新文件系统上的directory inode时间戳
- 高并发环境，推荐显式应用该选项，可以提升系统I/O性能
nosuid
- 不允许set-user-identifier or set-group-identifier 位生效
- 即，suid和sgid设置不生效
suid
- 允许设置suid和sgid，并允许生效
nouser
- 禁止一个普通用户挂载该文件系统
- 默认挂载的默认选项
remount
- 尝试重新挂载一个已经挂载了的文件系统
- 通常被用来改变一个文件系统的挂载标志，从而使得一个只读文件系统变得可写
- 这个动作不会改变设备或者挂载点
- 当系统故障时进入single或rescue模式修复系统时，会发现根文件系统经常会变成只读文件系统，不允许修改，该命令就派上用场了
- 具体的命令为：mount -o remount,rw /，表示将根文件系统重新挂载，使得可写
- single或rescue模式修复系统时，这个命令十分重要。
dirsync
- 目录更新时同步写入磁盘

其中，

sync，rw，noatime，nodiratime 为性能优化重要选项，
noexec，nosuid，dirsync 为安全优化重要选项。

remount实际案例：

fstab修改错误导致系统无法启动故障修改案例：
- 维护模式或救援模式：
- mount -o rw,remount
- 然后修改/etc/fstab

文件系统只读故障修复案例
- 可能出现问题的原因：
  - rsync bug
  - 文件系统内部自动一致性（只读）
- 维护模式或救援模式：
- mount -o rw,remount /

1.2 NFS客户端挂载优化

在企业生产环境中，NFS客户端挂载有没有必须要加某些参数，比如：noexec,nosuid,nodev,bg,soft,rsize,wsize等参数。在生产环境中如何做呢？

解答：

这个问题属于mount挂载优化内容（有些参数也适合其它文件系统），一般来说要适当加挂载参数，但是，最好是先做好测试，用数据来说话，才能更好地确定到底是挂载还是不挂载。

1.2.1 有关系统安全性挂载参数选项：nosuid，noexec

在企业工作场景，一般来说，NFS服务器共享的只是普通静态数据（图片，附件，视频），不需要执行suid，exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。

例如：

很多木马篡改站点文件都是由上传入口上传的程序到存储目录，然后执行的。

因此，挂载的时候，用下面的命令很有必要：

mount -t nfs -o nosuid,noexec,nodev,rw 192.168.0.31:/data /mnt

通过mount -o 指定挂载参数与在/etc/fstab里指定挂载参数的效果是一样的。

网络文件系统和本地的文件系统效果也是一样的。

1.2.2 mount挂载性能优化参数选项

下面介绍几个在企业生产环境下，NFS性能优化挂载的例子。

禁止更新目录和文件时间戳挂载
- mount -t nfs -o noatime,nodiratime 192.168.0.31:/data /mnt
安全加优化的挂载方式
- mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 192.168.0.31:/data /mnt
默认的挂载方式
- mount -t nfs 192.168.0.31:/data /mnt

如果是本地文件系统，使用如下命令：mount /dev/sdb1 /mnt -o defaults,async,noatime,data=writeback,barrier=0

本地文件系统挂载时，如果加nodirtime会报错。

根据前面的测试我们知道，默认情况下，NFS Server 共享目录的参数默认配置为wsize和rsize，它们设定了NFS服务端和客户端之间传输的数据块大小。

wsize和rsize的大小最好是1024的倍数，对于NFSV2来说，8192是rsize和wsize的最大数值，如果使用的是NFSV3，则可以尝试设置32768，如果是NFSV4可以到65536或更大。

如果在客户端挂载时使用了这两个参数，可以让客户端在读取和写入数据时，一次性读写更多的数据包，这可以提升访问性能和效率。

noatime和nodiratime性能优化选项，这两个选项在读写此案时候，不更新文件和目录的时间戳（即不更新文件系统中文件对应的inode信息），这样可以减少和磁盘系统的交互，提升读取和写入磁盘的效率，因为磁盘是机械的，每次读写都会消耗磁盘I/O，而更新文件时间戳对于工作数据必要性不大，最大问题是增加了访问磁盘I/O的次数，拖慢系统性能。

以下是NFS网络文件系统优化挂载的参数建议。

在CentOS6服务器和客户端环境下，可使用如下命令参数：

　　mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072 192.168.0.31:/data /mnt

经过实际测试，CentOS 6默认的挂载参数性能还是不错的。

注意：

非性能的参数越多，速度可能会越慢。根据具体的业务需要以及实际测试效果选择挂载参数。

1.2.3 NFS内核优化建议

下面是优化选项说明：

/proc/sys/net/core/rmen_default
- 该文件指定了接收套接字缓冲区大小的默认值（以字节为单位），默认设置：124928
/proc/sys/net/core/rmen_max
- 该文件指定了接收套接字缓冲区大小的最大值（以字节为单位），默认设置：124928
/proc/sys/net/core/wmen_default
- 该文件指定了发送套接字缓冲区大小的默认值（以字节为单位），默认设置：124928
/proc/sys/net/core/wmen_max
- 该文件指定了发送套接字缓冲区大小的最大值（以字节为单位），默认设置：124928

[root@nfs-31 data]# head /proc/sys/net/core/*mem*
==> /proc/sys/net/core/optmem_max <==
20480

==> /proc/sys/net/core/rmem_default <==
124928

==> /proc/sys/net/core/rmem_max <==
124928

==> /proc/sys/net/core/wmem_default <==
124928

==> /proc/sys/net/core/wmem_max <==
124928

上述文件对应的具体内核优化命令如下（在NFS服务器端进行配置修改）：

cat >>/etc/sysctl.conf<<EOF
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
EOF
sysctl -p

查看修改结果：

[root@nfs-31 data]# tail -4 /etc/sysctl.conf
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

1.2.4 企业生产场景NFS共享存储优化小结

硬件：sas/ssd硬盘，买多块盘，raid10，硬RAID。网卡吞吐量要大，至少千兆（多块bond）
NFS服务器端配置：/data 192.168.0.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)
NFS客户端挂载优化配置命令：
- mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,rsize=131072,wsize=131072 192.168.0.31:/data/ /mnt

对NFS服务的所有服务器内核进行优化时，执行如下命令：

cat >>/etc/sysctl.conf<<EOF
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
EOF

执行sysctl -p生效

如果卸载的时候提示“umount:/mnt: device is busy”，需要退出挂载目录再进行卸载，如果是NFS服务器宕机了，则需要强制卸载。
- 强制卸载命令：umount -lf /mnt
大型网站NFS网络文件系统的替代软件为分布式文件系统Moosefs（mfs），GlusterFS，FastDFS

2. NFS系统应用的优缺点说明

NFS服务可以让不同的客户端挂载使用同一个共享目录，也就是将其作为共享存储使用，这样可以保证不同节点客户端数据的一致性，在集群架构环境中经常会使用到。

如果是Windows和Linux混合环境的集群系统，可以用samba来实现。

优点：

简单，容易上手，容易掌握
NFS文件系统内数据是在文件系统之上的，即数据是能看得见的。
部署快速，维护简单方便，且可控，满足需求就是最好的
可靠，从软件层面上看，数据可靠性高，经久耐用。数据是在文件系统之上的。
服务非常稳定。

局限：

存在单点故障，如果NFS服务端宕机了，所有客户端都不能访问共享目录。这个在后期会通过负载均衡及高可用方案弥补
在大数据高并发的场合，NFS效率，性能有限（2千万/日以下PV的网站不是瓶颈，除非网站架构设计太差）
客户端认证是基于IP和主机名的，权限要根据ID识别，安全性一般（用于内网则问题不大）
NFS数据是明文的，NFS本身不对数据完整性进行验证。
多台客户机挂载一个NFS服务器时，连接管理维护麻烦（耦合度高）。尤其当NFS服务端出问题后，所有NFS客户端都处于挂掉状态（测试环境可使用autofs自动挂载解决，正式环境可修复NFS服务或强制卸载）
涉及了同步（实时等待）和异步（解耦）的概念，NFS服务器端和客户端相对来说，就是耦合度有些高。网站程序也是一样，尽量不要耦合度太高，系统和程序架构师的重要职责就是为程序及架构解藕，让网站的扩展性变得更好。

应用建议：

对于大中小型网站（参考点2000万/日PV以下）线上应用，都有用武之地。

门户网站也会有应用，生产场景应该多将数据的访问往前推，即尽量将静态存储里的资源通过CDN或缓存服务器提供服务。

如果没有缓存服务或架构不好，存储服务器数量再多也是扛不住压力的，而且用户体验会很差。