Apache-系统-网络部分配置

参考了很多东西,但有些理解可能会有错误的地方,希望看到错误的地方可以即使纠正。

参考的内容。

http://netsecurity.51cto.com/art/200608/30428.htm

http://blog.csdn.net/shootyou/article/details/6615051

http://blog.csdn.net/shootyou/article/details/6622226

http://rhomobi.com/topics/47

http://rdc.taobao.com/blog/cs/?p=1062

目录

1、几个单词注释

2、使用telnet Http请求

3TCP三次握手

1SYN_RECV过多的危害

4TCP四次断开

1、主动模式下的web服务器

1CLOSE_WAIT过多

2LAST_ACK

2、被动模式下的web服务器

1FIN_WAIT-1

2FIN-WAIT-2

3Time_wait

5、设置系统TCP套接字相关的参数

6、一些额外的参数

7、本文的所有配置

 

1、几个单词注释:

synTCP协议中的一个标志位。如果该位被置为1,则表示这个报文是一个请求建立连接的报文。

 

FIN(ISH)TCP报头的码位字段,该位置为1的含义为发送方字节流结束,用于关闭连接。

 

ack也是TCP协议的一个标志位。如果该位被置为1,则表示这个报文是一个用于确认的报文。ACK (Acknowledgement),即确认字符

 

2、使用telnet Http请求:

 

1)收集两端HTTP状态的脚本

[root@web ~]# cat /home/script/http_conn.sh

#!/bin/sh

while true

do

       num=1

       time=`date +%F' '%H:%M:%S`

       tcp=`netstat -n |awk '/^tcp/{print $0}'|egrep 54.208.35.245|grep 80|wc -l`

       stat=`netstat -n |awk '/^tcp/{print $0}'|egrep 54.208.35.245|grep 80|awk '{print $6}'`

       [ $tcp -eq 0 ]|| echo "$time---->$stat" >>/tmp/http

       echo $stat

Done

 

2)在服务端跟客户端同时sh执行这个脚本,同时在客户端使用telnet进行请求服务。

[root@web ~]# telnet 54.208.35.245 80

Trying 54.208.35.245...

Connected to 54.208.35.245.

Escape character is '^]'.

 

3)使用命令稍微处理输出的文件/tmp/http

[root@webserver-01 ~]# uniq  -c /tmp/http |awk '{print $2" "$3}'

 

客户端状态:

2013-07-21 17:50:46---->SYN_SENT

2013-07-21 17:50:47---->SYN_SENT

2013-07-21 17:50:47---->ESTABLISHED

。。。。。。。。。。。

2013-07-21 17:51:18---->ESTABLISHED

2013-07-21 17:51:18---->LAST_ACK

2013-07-21 17:51:18---->

 

服务端状态:

 

2013-07-22 04:14:08---->SYN_RECV

2013-07-22 04:14:09---->ESTABLISHED

。。。。。。。。。。。。。。

2013-07-22 04:14:38---->ESTABLISHED

2013-07-22 04:14:39---->FIN_WAIT1

2013-07-22 04:14:39---->TIME_WAIT

。。。。。。。

2013-07-22 04:15:40---->TIME_WAIT

可以看到,Apache服务器做的工作其实,建立一次连接Established,然后等待超过设置的Timeout的值,然后就归属于的TCP/IP的范围了,所以对TCP参数进行一些调整有助于我们的web服务器提高更高的并发。

 

3TCP三次握手

 

 

TCP三次握手中,我们通常更关心网站的SYN_RECV的状态是否过多

 

1SYN_RECV过多的危害:

1、占用系统和内存资源

2、当超出系统设置的SYN队列的长度,若不启用syncookies,则新用户无法正常连接。

 

2)相关的网络参数:

[root@webserver-01 ~]# sysctl -a |grep syn |grep ipv4

net.ipv4.tcp_max_syn_backlog = 512

#设置系统所允许的syn的队列的最大长度,在不启用syncookies的情况下,超过该参数

#系统则会拒绝处理新的syn请求,通过上面的三次握手,可以知道如果没有syn的确认,

#则服务端就不会与客户端建立连接,传输数据,那新建打开网站的用户,就无法正常访问。

 

net.ipv4.tcp_syncookies = 1

#这个参数设置,其实是与上面的max_syn_backlog相辅助的,当syn队列超过上面参数的

#设置的时候,开启该参数,系统则会通过对比cookies的方式,进行TCP三次握手

 

SYN cookies中,服务器的初始序列号是通过对客户端IP地址、客户端端囗、服务器IP地址和服务器端囗以及其他一些安全数值等要素进行hash运算,加密得到的,称之为cookie。当服务器遭受SYN攻击使得backlog队列满时,服务器并不拒绝新的SYN请求,而是回复cookie(回复包的SYN序列号)给客户端, 如果收到客户端的ACK包,服务器将客户端的ACK序列号减去1得到cookie比较值,并将上述要素进行一次hash运算,看看是否等于此cookie。如果相等,直接完成三次握手

 

net.ipv4.tcp_syn_retries = 5

#如果客户端一直没有发ACK包确认建立连接,则服务端会尝试发送SYN包请求客户端,

#该参数设置的就是,在未得到客户端确认的时候,发送SYN包的数量,建议1-2

 

net.ipv4.tcp_synack_retries = 5

#这个参数与上面参数设置的也差不多,不过发送的数据包为ACK+SYN,默认尝试发送的次#次数为1-2

 

 

4TCP四次断开

主动模式与被动模式:

谁先关,谁就是主动,比如客户端直接关机了,那客户端就是主动,server端就是被动。

 

1、被动模式下的web服务器

在四次断开中,可能是客户端断开,也有可能是服务端断开,所以服务端通常都会存在。

 

被动断开:

1CLOSE_WAIT过多

 

这个状态通常没有什么直接有效的参数去调整,从上图可以看出,此时客户端发给服务端一个FIN关闭请求。

 

但服务端处于某些原因未正确回应给客户端。此时,服务端就会处于CLOSE_WAIT。所以,从这里看出,这个状态完全是由服务端造成的,通常可能是由于网站程序的问题造成的。

此时,服务器端就相当于维持了一个非活动的连接,如果有些情况下需要调整,那就只有从调整服务端,保持非活动连接的时间,和超过保持时间后,尝试的重新连接的次数,来减少这个状态。

 

相关的参数

[root@webserver-01 /]# sysctl -a|grep keep

net.ipv4.tcp_keepalive_time = 180

#系统TCP非活动连接的保持时间,默认为2小时,我一般设置为120-300

net.ipv4.tcp_keepalive_intvl = 2

#如果超过上面的保持时间,每隔多长时间发送一次请求,我设置为了2分钟。

net.ipv4.tcp_keepalive_probes = 2

#尝试连接的次数,当超过超时时间后,每隔2分钟尝试连接一次,一共尝试2次。

 

需要注意的是,处于该连接状态下,Apache仍然会保持这个连接,且不会断开。所以,该状态尽量少一些比较好。

 

2LAST_ACK

 

此时服务器端已经开始尝试关闭连接,此时对应的TCP套接字已经与APACHE没有什么关系,但是该状态会占用的一定的系统资源,最多可以吃叼64K的内存,所以在高并发的机器上还是尽量减小此值。

 

相关的参数:

[root@web-01 ~]# sysctl -a|grep orphan

net.ipv4.tcp_max_orphans = 65536

#该参数定义,系统里可以维持孤儿连接的最大数目

net.ipv4.tcp_orphan_retries = 0

#该参数定义,对孤儿连接尝试重新连接的次数,这里用的aws里默认的0,即立刻丢弃。

#也有些朋友的生产环境设置为1-2

 

当系统的最大孤儿进程的数目超过了,我们设置的max_orphans,则就当dmesg就会看到”too many of orphaned sockets

 

2、主动模式下的web服务器

 

主动断开:

 

1FIN_WAIT-1

 

该状态下,server端仍然与client端建立着连接,此时server端仍然可以向client端发送数据,一般情况下,对方都会马上的回应ACK,然连接的状态就会转入FIN-WAIT-2状态,所以该状态通常比较少见,也没有对其的该状态的调整参数。

如果FIN_WAIT_1状态下,收到了对方同时带FIN标志和ACK标志的报文时,可以直接进入到TIME_WAIT状态

与此相关的,我们可以考虑的一点思路。

 

此时该连接的状态,如果server端不在向client端发送数据,则就会变成非活动连接,与其相关的保持非活动连接的时间,就是我们可以设置的值之一,此外如果是别人发起的攻击,建议关闭TCP的滑动窗口。

 

滑动窗口参数:

[root@web-01 ~]# sysctl -a|grep window|grep scaling

net.ipv4.tcp_window_scaling = 1

#我的思路:该参数设置后,只要有空间接受别人的连接,则就会接收,在这里的思路就是,#少接受一些,尽量正常服务一些有限的用户。

 

2FIN-WAIT-2

该参数正常情况下,通常是服务端还有一些数据需要传给客户端,此状态相比FIN-WAIT-1状态带来的资源消耗小的多,一般情况下最大不会超过15K,而且我们可以设置该状态的超时时间。

相关参数:

[root@web-01 ~]# sysctl -a|grep fin

net.ipv4.tcp_fin_timeout = 15

#超过15秒就会进入Time_wait状态。

 

3Time_wait

 

这个状态可能是很多朋友遇到比较多的一种,该状态下,会占用一定量的系统资源,如果是在一些并发量比较高的网站上,则新到的请求,我们的web服务器可能就不能即使处理。

 

通常的一些策略:

1.快速回收

2.连接重用

3.减小time_wait队列的长度

相关参数:

[root@web-01 ~]# sysctl -a|grep tw

net.ipv4.tcp_max_tw_buckets = 65536

#该值用于指定系统Time_wait队列的长度

net.ipv4.tcp_tw_recycle = 1

#当为1时,会快速回收系统的time_wait状态的sock

net.ipv4.tcp_tw_reuse = 0

#表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭

 

这几个参数存在的几个问题

1.减少time_wait最快的方法,其实就是减少其队列的长度,但如果过短,系统就会在/var/log/message下面 出现大量的该日志。

www kernel: TCP: time wait bucket table overflow

 

2.关于net.ipv4.tcp_tw_recycle 该参数的一个案例,这是我谷歌的时候搜到的,希望大家调参数的时候,不要犯同样的错误。

摘过来的关键内容:

我们在一些高并发的 WebServer上,为了端口能够快速回收,打开了 tcp_tw_reccycle ,而在关闭 tcp_tw_reccycle 的时候,kernal 是不会检查对端机器的包的时间戳的;打开了 tcp_tw_reccycle 了,就会检查时间戳,很不幸移动的cmwap发来的包的时间戳是乱跳的,所以我方的就把带了“倒退”的时间戳的包当作是“recycletw连接的重传数据,不是新的请求”,于是丢掉不回包,造成大量丢包。

 

该案例的连接,想看的朋友可以看下:

http://blog.csdn.net/wireless_tech/article/details/6405755

 

 

5、设置系统TCP套接字相关的参数

默认参数

[root@web-01 ~]# sysctl -a|grep tcp|grep mem

net.ipv4.tcp_mem = 14595        19461   29190

net.ipv4.tcp_rmem = 4096        87380   5020128

net.ipv4.tcp_wmem = 4096        20480   4194304

 

下面是一些跳过的参数

net.ipv4.tcp_rmem = 4096        87380   4194304

#net.ipv4.tcp_rmem 用来配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第#个是最大值,中间的是默认值。我们可以在程序中修改读缓冲的大小,但是不能超过最小

#与最大。为了使每个socket所使用的内存数最小,我这里设置默认值为4096

 

net.ipv4.tcp_wmem = 4096        16384   4194304

#net.ipv4.tcp_wmem 用来配置写缓冲的大小。

#读缓冲与写缓冲在大小,直接影响到socket在内核中内存的占用。

 

net.ipv4.tcp_mem = 1048576 3145728 2097152

#net.ipv4.tcp_mem则是配置tcp的内存大小,其单位是页,而不是字节。当超过第二个值时,#TCP进入pressure模式,此时TCP尝试稳定其内存的使用,当小于第一个值时,就退出#pressure模式。当内存占用超过第三个值时,TCP就拒绝分配socket了,查看dmesg,会

#打出很多的日志“TCP: too many of orphaned sockets”。

 

 

6、一些额外的参数:

 

[root@web-01 ~]# sysctl -a|grep somaxconn

net.core.somaxconn = 128

 

这个值不能调高系统的最大连接数,但是能调高系统同事发起连接的tcp连接数
如果是由于系统网络并发联机数过多导致连接不上,那么调整这个数值应该有效

 

[root@web-01 ~]# sysctl -a|grep netdev_max

net.core.netdev_max_backlog = 1000

 

每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目

 

 

[root@web-01 ~]# sysctl -a|grep port |grep range

net.ipv4.ip_local_port_range = 32768    61000

 

用于本机向外连接的可用的端口范围。对一般的web应用其实默认的这些已经够用了。

 

net.ipv4.netfilter.ip_conntrack_max = 120000

 

该参数是在我们开启了iptables防火墙的情况下,可能会出现下面的错误

kernel: ip_conntrack: table full, dropping packet.

kernel: printk: 1 messages suppressed.

我们可以加大这个值,来解决默认的比较小为15000左右。

 

7、本文的所有配置:

[root@web-01 ~]# sysctl -p

net.ipv4.tcp_mem =1048576 3145728 2097152
net.ipv4.tcp_rmem = 4096       87380   4194304
net.ipv4.tcp_wmem = 4096        16384   4194304
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_keepalive_intvl = 2
net.ipv4.tcp_keepalive_probes = 2
net.ipv4.tcp_max_orphans = 65536
net.ipv4.tcp_orphan_retries = 2
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 65536
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.core.somaxconn = 60000
net.core.netdev_max_backlog = 327680
net.netfilter.nf_conntrack_max = 120000

原文地址:https://www.cnblogs.com/littlehb/p/3327779.html