性能分析思路：
1.整体系统CPU利用率
2.内存利用率
3.磁盘I/O的利用率和延迟
IO的TPS，平均I/O数据，平均队列长度，平均服务时间，平均等待时间，IO利用率
4.网络利用率:
网络是否可达，防火墙是否开启、端口的访问、带宽是否被限制、路由的寻址、网络的延时
5.数据库：
数据库cpu、内存、是否有慢sql，应用程序获取sql结果是否OK
CPU的定位分析：
命令：vmstat,sar,dstat,mpstat,top,ps
| 模块 | 类型 | 度量方法 | 衡量标准 |
|---|---|---|---|
| CPU | 使用情况 | 1.通过vmstat 统计l-id的计数 2.通过sar -u统计l-%idle的计数 3.通过dstat命令统计l-idl的计数 4.通过mpstat -P ALL统计l-%idle的计数 5.通过ps统计CPU的计数 |
注意>=50% 告警>=70% 严重>=90% |
| CPU | 满载 | 6.vmstat的r计数>cpu逻辑课数 7.sar -q”runq-sz”>cpu逻辑课数 8.dstat-p“run”>cpu逻辑课数 |
运行的队列大于1时，证明已经有一定的负载了，不过这个不绝对 |
| CPU | 错误 | 9.通过perf工具去捕获处理器错误信息 | 需处理器支持 |
内存的定位分析：
命令：vmstat sar vstat free top ps. 等
| 模块 | 类型 | 度量方法 | 衡量标准 |
|---|---|---|---|
| 内存 | 使用情况 | Free命令查看使用情况 vmstat 命令查看使用情况 Sar -r 命令查看使用情况 Ps 命令查看使用情况 |
注意>=50% 告警>=70% 严重>=90% |
| 内存 | 满载 | vmstat的si/so比例辅助swaps和free sar -W查看次缺页数 查看内核日志有无oom机制kill进程dmesg |
grep killed |
| 内存 | 错误 | 查看内核有无physical failures通过工具如vglgrind 等进行检查 | 有计数 |
网络定位分析：
| 模块 | 类型 | 度量方法 | 衡量标准 |
|---|---|---|---|
| 网络 | 使用情况 | Sar -n DEV 的收发计数大于网卡上限 ifconfig RX/TX 带宽超过网卡上限 cat /proc/net/dev的速率超过上限 nicstat 基本满负荷 |
收发包的吞吐率达到网卡上限有延迟有丢包有阻塞 |
| 网络 | 满载 | ifconfig dropped 有计数 netstat -s “segments retransmitted ”有计数 Sar -n EDEV rxdrop txdrop 有计数 |
统计的丢包有计数说明满了 |
| 网络 | 错误 | ifconfig “errors”Netstat -I “RX-ERR”/“TX_ERR”Sar -n EDEV,”roer/s””toer/s”Ip -s link, “errors" | 有计数 |
IO的定位分析：
df -i |head -1;df -i|grep -v '^Filesystem'|awk -F' *|%' '{if($5>=10)print $0}' 查看磁盘利用率，如果达到100%，所以有磁盘在占用
| 模块 | 类型 | 度量方法 | 衡量标准 |
|---|---|---|---|
| IO | 使用情况 | iostat -xz， “%util”Sar -d “%util”Iotop的利用率很高 Cat /proc/pid/sched |
grep iowait |
| IO | 满载 | Iostat -xnz l,”avgqu-sz”>1 Instate await>70 |
IO已经有满载嫌疑 |
| IO | 错误 | dmesg 查看io错误 | 有信息 |