性能问题定位工具

1.网速测试

安装iperf

yum install epel-release
从epel源中安装
yum install -y  iperf

带宽检测

iperf -s 开启服务端

iperf -c ip

丢包问题

tcpdump进行抓包

tcpdump -i eth0 -s 3000 port 8080 -w /home/tomcat.pcap

对于抓包文件采用wireshark进行分析

丢包(TCP DUP ACK) 重传(retransmission)，超时重传，

2.cdn性能测试

cdn 缓存，回源问题  

304请求，浏览器是否使用本地缓存。比较last_modified 和if_modified_since

通过实践戳来判断，浏览器缓存和cdn缓存

3.DNS基础

路由解析

泛域名解析

4.分布式服务链路追踪

http入口产生一个traceId

分发到rpc调用，cache，db，jms调用链路中

google的著名论文dapper和zipkin

日志聚合，绑定链路日志和业务日志

采样采集，慢请求，异常服务。

日志量大。日志异步写入，环状数组，日志组件自研

共享信息放在ThreadLocal中。比如traceId

5.网卡性能问题定位

tsar -l  -i 1 --traffic
查看网卡的进出流量

6.CPU性能问题定位

tsar -l  -i 1 --cpu

软件问题定位，perf 采样所有进程数据

perf record -F 99 -a -g -- sleep 30

java进程的函数map：java -cp attach-main.jar:$JAVA_HOME/lib/tools.jar net.virtualvoid.perf.AttachOnce PID

输出函数和地址的map

输出火焰图
perf script | stackcollapse-perf.pl | flamegraph.pl --color=java --hash > flamegraph.svg

7.内存性能问题定位

-堆内内存问题，

采用jmap dump内存，采用离线工具分析

jprofile、mat

-堆外内存问题

a.google-perftools

yum install -y google-perftools graphviz

export LD_PRELOAD=/usr/lib64/libtcmalloc.so.4

export HEAPPROFILE=/home/testGperf.prof

执行程序，结束程序，生成prof

分析prof

生成svg, pdf,text
pprof --svg $JAVA_HOME/bin/java testGperf.prof.0001.heap > test.svg

pprof --pdf $JAVA_HOME/bin/java testGperf.prof.0001.heap > test.pdf

pprof --text $JAVA_HOME/bin/java testGperf.prof.0001.heap > test.txt

b.jemalloc定位（优势，适合长时间trace）

sudo apt-get install graphviz
编译安装
./configure --enable-prof --enable-stats --enable-debug --enable-fill
make
make install

运行配置
export MALLOC_CONF="prof:true,prof_gdump:true,prof_prefix:/home/jedump/jez,lg_prof_interval:30,lg_prof_sample:17"

export LD_PRELOAD=/usr/local/lib/libjemalloc.so.2
运行
java -jar target/spring-boot-jemalloc-example-0.0.1-SNAPSHOT.jar

jeprof --show_bytes --svg jez.*.heap > app-profiling.svg

注明：如果在docker容器中，推荐用pprof，jemalloc只显示函数地址，不显示函数名

8.机器资源配额问题

/etc/security/limits.conf

soft nofile 65536
hard nofile 65536

控制该用户文件句柄数

9.磁盘性能问题定位

tsar -l -i 1 --io