Nginx 学习笔记（四）之内存占用过高分析

一、内存占用查看情况

执行如下命令确定 nginx 主进程

#查看主进程

ps aux|grep nginx

# 查看主进程下所有子进程占用内存情况，以此来进行统计

ps --ppid <pid> U

(1) 查找主进程看

命令 ps aux|grep nginx

从上图可以看到 master process 有好几个，这是因为本服务器安装了多个nginx软件的缘故，这里主要统计进程为 88657 的 nginx.

(2) 统计所有子进程内存

命令：ps --ppid 88657 u |awk 'BEGIN{a=0;}{a+=$6}END{a=a/1024;print a}'

命令 ps --ppid 88657 u 可以看到 88657 下所有子进程的内存情况

通过 awk 对子进程 RSS（内存值）进行累加，从上图中可以看到其实累加后值为：2476572K，再转换为 M为：2418.53M

(2) 统计内存

命令 ps aux|grep 88657 查询主进程内存占用情况

可以看到占用内存为 14192K

因此 nginx 占用内存为：所有 work process 内存和 + master process = 2476572K + 14192K = 2490764K ，转换为 M单位为：2432.38M

二、知识点

查阅资料：

https://blog.csdn.net/sh2018/article/details/84025355
https://www.cnblogs.com/caicairui/p/8507472.html

了解到 nginx 内存占有情况和 work_processes 及 work_connections 这两个配置有关系，可以得到如下结论：

work_connections 表示并发支持的最大连接数，每个连接大概为 0.4K -0.5K 大小；
work_processes 设置为 auto 时，其数量会随着不同CPU核数自动调整，本案例中服务器有 128 核（cat /proc/cpuinfo | grep processor），因此 work_processes 有128个，每个 work_process 会占用一个 CPU处理请求
每个 work_process 支持最大并发数为 work_connections，这是在某个时候，nginx 将所有请求都交给一个 work_process 处理才会出现，不过很少出现该种情况
nginx 内存大小计算方式为：work_connections*0.5K*work_processes + master process内存大小

三、解决方式

调整 work_connections、work_processes 配置值，主要是参考 https://www.cnblogs.com/xwgli/p/12322791.html

# 设置 nginx 的工作进程数量（默认值：1）
# 最大为CPU的逻辑处理器数量，比如6核心12线程的CPU，最大设置就是12，如果是6核心6线程，则为6。
# 需要考虑系统资源分配，每多一个运行进程，内存占用都要多一份（比如一个进程为400M，两个就是400M*2=800M）
worker_processes  1;

# 设置 nginx 最大文件描述符打开限制
# 在 Linux 系统中，每建立一个连接都是打开一个文件描述符（作为反向代理或负载均衡连接数量会翻倍，因为内外各一个）
# 所以文件的打开限制决定了 nginx 的最大连接数（应大于 worker_processes * worker_connections）
# 此处配置需要参考系统的限制（ulimit -n），不能超过系统的最大限制
worker_rlimit_nofile 65535;

events {

    # 此为 Linux 系统特为处理大批量文件描述符而作改进的 poll 事件模型
    use epoll;
    
    # 设置每个工作进程可处理的最大连接数量
    # 此设置将直接影响工作进程的内存固定占用，每个连接大概占用内存 0.4~0.5KB 左右
    # 此值应小于 worker_connections / worker_processes
    worker_connections 65535;
    
    # 允许同时接受多个网络连接
    multi_accept on;
}

http {
    # 配置文件类型映射，以及默认的 mime 类型
    include       mime.types;
    default_type  application/octet-stream;
    
    # 设置请求头缓冲区大小，超过后会使用下面的配置大小
    # client_header_buffer_size 1K
    # 设置更大的请求头缓冲区大小，如果请求头超出可能会返回 HTTP 414
    # large_client_header_buffers 8K
    
    # 设置请求体缓冲区大小，大于此缓冲区大小的，将写入磁盘文件
    # client_body_buffer_size 16K
    # 设置请求体最大大小（此项影响上传文件的最大大小）
    client_max_body_size 1000m;

    # 提供了一种减少拷贝次数，提升文件传输性能的方法。（静态文件由内核直接发送给 socket，而不是由进程读取到内存再发送）
    sendfile        on;
    
    # 降低数据包发送频率，当数据包满时再发送，减少网络数据包数量，降低网络拥塞情况，仅在 sendfile on 时生效
    tcp_nopush     on;
    
    # 为 http 请求保持 tcp 连接，避免短时间内多次 http 请求反复三次握手来建立 tcp 连接
    # 配置保持连接的数量（默认值：100）
    keepalive_requests 100;
    # 配置保持连接的时长
    keepalive_timeout  10;

    gzip on;                        # 开启 gzip，会增加对 cpu 的资源消耗
    gzip_min_length 1k;                # 低于 1kb 的资源不压缩
    gzip_comp_level 2;                # 压缩级别 1-9，越大压缩率越高，同时消耗 cpu 资源也越多。
    # 需要压缩哪些响应类型的资源，多个空格隔开。有些格式的文件压缩效率较低，不建议压缩。
    gzip_types text/plain application/json application/javascript application/x-javascript text/javascript text/xml text/css;
    gzip_disable "MSIE [1-6].";    # 配置禁用 gzip 条件，支持正则。此处表示 ie6 及以下不启用 gzip（因为 ie 低版本不支持）
    gzip_vary on;                    # 配置添加 Vary 响应头
    
    # 暂不知道用途，主要用来解决：could not build the proxy_headers_hash 错误
    proxy_headers_hash_max_size 51200;
    proxy_headers_hash_bucket_size 6400;

    server {
        listen       80;
        
        server_name  demo.psy-cloud.com;

        location * {
            return 404;
        }
    }
}

Nginx 学习笔记（四）之 内存占用过高分析

Nginx 学习笔记（四）之内存占用过高分析