线上问题分析方案
常见问题及处理流程:
- 系统慢
定位点:应用场景.数据库监控,查询,慢查询,io操作,引擎.
- 负载高
分析服务器上业务,看具体业务查相应的指标.各层依赖都要做监控.
依赖服务
问题分析依赖于一个较完善的监控平台提供各个指标,以便于进行问题定位,找到最终问题点.具体监控平台改造有两种方式:
- 搭建比较完备的监控.监控应用,监控应用依赖资源,中间件,连接等.可以进行快速关联,各种维度的指标.最简单的关联就是根据时间关联;
- 避免直连,通过边车模式,可以快捷的获取监控指标.分析查询操作,时间,各种指标.(推荐)
方案一采用直连方式,需要修改业务代码,业务改动比较大;
方案二避免直连,通过proxy模式来进行业务和监控平台交互,可以避免业务耦合,无需业务代码修改;
监控分类:
指标类
日志类
链路层面(高级层面)
- 明细分析:
具体监控内容根据应用又可以划分为:
http
应用runtime
中间件
db
操作系统runtime
各个层次采样指标.链路,黑盒时才使用perf等命令.
解决方式:
针对不同的问题状况,基本可以分为两种
-
突发性:
观察业务流量,业务日志,看问题来源,再做具体关联.
-
定时出现:
观察固定点监控,一般是定时任务,观察流量,请求.
其中突发性的问题排查比较麻烦,因为你无法找到问题规律,如果监控指标不完善,很难进行问题分析,只能完成监控指标后,等待下次问题再次发生;
而定时出现的问题排查相对简单一些,因为有规律可循,问题较好定位,一般解决较容易些;
解决方式一般步骤:
- top free,观查关键指标.
- 看日志,分析一些问题,关联应用,确定具体是什么引起的
- 补充检测指标.
- 观察外部访问
具体分析指标参考: