平均负载的理解
一般系统变慢时，我们会使用top或uptime命令来查看下系统的负载情况
[root@localhost shell]# uptime
13:51:08 up 5 days, 21:50, 3 users, load average: 0.00, 0.02, 0.05
load average：0.00,0.02,0.05 分别代表了1min/5min/15min的平均负载，那么平均负载到底是什么意思呢？
使用man uptime查看下详细的说明
man uptime
其中关于load average的解释如下：
System load averages is the average number of processes that are either in a runnable or uninterruptable state. A process in a runnable state is either using the CPU or waiting to use the CPU. A process in uninterruptable state is waiting for some I/O access, eg waiting for disk.
The averages are taken over the three time intervals. Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.
可以看到，平均负载统计的是 处于runnable or uninterruptable状态的进程数量，并且这个数据需要和系统的cpu数量进行比较才有意义。
场景模拟
平均负载，计算的是进程对系统资源的需求程度，包括CPU和IO，所以平均负载高，CPU使用率不一定高。
下面模拟三种场景，这三种场景的平均负载都很高，但是分别对应的CPU密集型进程、IO密集型进程、大量等待CPU调度的进程组。
首先安装stress，stress是一个压力测试工具。
yum install -y epel-release
yum install -y stress
第一种：CPU密集型
用stress执行下面的命令，模拟占用一个核
stress --cpu 1 --timeout 600
在新开的终端中查看不同核的占用情况，5代表等待5秒，20代表一共打印20次数据
可以看到第三个核的CPU占用率是100%
[root@localhost shell]# mpstat -P ALL 5 20
Linux 3.10.0-1062.el7.x86_64 (localhost.localdomain) 2020年07月07日 _x86_64_(4 CPU)
14时11分49秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
14时11分54秒 all 25.29 0.00 0.05 0.00 0.00 0.00 0.00 0.00 0.00 74.66
14时11分54秒 0 0.60 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.20
14时11分54秒 1 14.00 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 85.80
14时11分54秒 2 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.80
14时11分54秒 3 86.23 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 13.57
14时11分54秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
14时11分59秒 all 25.23 0.00 0.05 0.00 0.00 0.00 0.00 0.00 0.00 74.72
14时11分59秒 0 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.80
14时11分59秒 1 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.80
14时11分59秒 2 0.40 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.40
14时11分59秒 3 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
在另一个终端中，打印进程对CPU的占用情。可以看到pid为6325的stress的进程占用cpu达到100%
[root@localhost shell]# pidstat -u 5 10
Linux 3.10.0-1062.el7.x86_64 (localhost.localdomain) 2020年07月07日 _x86_64_ (4 CPU)
14时13分11秒 UID PID %usr %system %guest %CPU CPU Command
14时13分16秒 0 1891 0.40 0.00 0.00 0.40 3 X
14时13分16秒 0 2581 0.60 0.20 0.00 0.79 3 gnome-shell
14时13分16秒 0 2604 0.00 0.20 0.00 0.20 0 ibus-daemon
14时13分16秒 0 2668 0.00 0.20 0.00 0.20 0 goa-identity-se
14时13分16秒 0 2847 0.20 0.00 0.00 0.20 3 vmtoolsd
14时13分16秒 0 6325 99.40 0.00 0.00 99.40 1 stress
14时13分16秒 0 6487 0.00 0.20 0.00 0.20 3 pidstat
14时13分16秒 UID PID %usr %system %guest %CPU CPU Command
14时13分21秒 0 1891 0.40 0.00 0.00 0.40 3 X
14时13分21秒 0 2581 0.80 0.00 0.00 0.80 3 gnome-shell
14时13分21秒 0 6325 100.00 0.00 0.00 100.00 1 stress
14时13分21秒 0 6487 0.20 0.20 0.00 0.40 3 pidstat
14时13分21秒 UID PID %usr %system %guest %CPU CPU Command
14时13分26秒 0 500 0.00 0.20 0.00 0.20 0 xfsaild/dm-0
14时13分26秒 0 1891 0.60 0.40 0.00 1.00 1 X
14时13分26秒 0 2581 1.00 0.40 0.00 1.40 1 gnome-shell
14时13分26秒 0 6206 0.20 0.20 0.00 0.40 1 gnome-terminal-
14时13分26秒 0 6325 100.00 0.00 0.00 100.00 2 stress
14时13分26秒 0 6487 0.00 0.20 0.00 0.20 3 pidstat
第二种IO密集型
安装stress-ng
yum install stress-ng
执行下面的命令，模拟IO密集
stress-ng -i 1 --hdd 1 --timeout 600
查看mpstat，可以看到iowait%明显提高
[root@localhost shell]# mpstat -P ALL 5 20
Linux 3.10.0-1062.el7.x86_64 (localhost.localdomain) 2020年07月07日 _x86_64_ (4 CPU)
14时30分20秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
14时30分25秒 all 0.81 0.00 12.68 37.67 0.00 1.83 0.00 0.00 0.00 47.02
14时30分25秒 0 0.22 0.00 15.08 32.59 0.00 1.11 0.00 0.00 0.00 51.00
14时30分25秒 1 1.65 0.00 22.63 37.65 0.00 0.41 0.00 0.00 0.00 37.65
14时30分25秒 2 0.88 0.00 8.10 43.98 0.00 3.06 0.00 0.00 0.00 43.98
14时30分25秒 3 0.00 0.00 4.75 36.29 0.00 2.81 0.00 0.00 0.00 56.16
查看哪个应用的IO占比较高，可以看到stress的应用，对磁盘的写入很大
[root@localhost shell]# pidstat -d 5 10 | grep "stress"
UID PID kB_rd/s kB_wr/s kB_ccwr/s Command
14时32分34秒 0 6730 0.00 549011.95 143466.14 stress-ng-hdd
14时32分34秒 0 6731 0.00 0.00 13406.37 stress-ng-io
第三种大量进程场景
执行下面命令，模拟16个进程执行
stress -c 16 --timeout 600
查看uptime，可以看到最近一分钟的平均负载显著升高
[root@localhost shell]# uptime
14:38:53 up 5 days, 22:38, 4 users, load average: 12.05, 5.38, 2.74
查看进程的cpu占用，可以看到stress的进程占用cpu为20左右，大量的stress进程在竞争cpu
[root@localhost shell]# pidstat -u 5 5
Linux 3.10.0-1062.el7.x86_64 (localhost.localdomain) 2020年07月07日 _x86_64_ (4 CPU)
14时38分26秒 UID PID %usr %system %guest %CPU CPU Command
14时38分31秒 0 1891 0.00 0.18 0.00 0.18 2 X
14时38分31秒 0 2581 0.18 0.18 0.00 0.37 1 gnome-shell
14时38分31秒 0 7225 23.29 0.00 0.00 23.29 3 stress
14时38分31秒 0 7226 23.48 0.00 0.00 23.48 0 stress
14时38分31秒 0 7227 23.11 0.00 0.00 23.11 3 stress
14时38分31秒 0 7228 23.29 0.00 0.00 23.29 0 stress
14时38分31秒 0 7229 23.29 0.00 0.00 23.29 3 stress
14时38分31秒 0 7230 23.11 0.00 0.00 23.11 2 stress
14时38分31秒 0 7231 23.11 0.00 0.00 23.11 1 stress
14时38分31秒 0 7232 23.11 0.00 0.00 23.11 0 stress
14时38分31秒 0 7233 23.29 0.00 0.00 23.29 1 stress
14时38分31秒 0 7234 23.11 0.00 0.00 23.11 2 stress
14时38分31秒 0 7235 23.29 0.00 0.00 23.29 1 stress
14时38分31秒 0 7236 23.48 0.00 0.00 23.48 2 stress
14时38分31秒 0 7237 23.29 0.00 0.00 23.29 0 stress
14时38分31秒 0 7238 23.29 0.00 0.00 23.29 3 stress
14时38分31秒 0 7239 23.11 0.00 0.00 23.11 1 stress
14时38分31秒 0 7240 22.92 0.00 0.00 22.92 2 stress