部署grafana+prometheus监控

一：简介

1.Prometheus 的介绍

Prometheus是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社区也十分活跃，他们便将它独立成开源项目，并且有公司来运作。google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。

2.Prometheus 的优点：

（1）配置灵活

使用过zabbix的同学应该都体验过安装时候的安装依赖包的痛苦，而premetheus核心部分只有一个单独的二进制文件，下载解压安装即可，没有依赖的第三方库

（2）监控的多样性

prometheus支持多种语言的的客户端，我们通过客户端方便对核心业务进行埋点，比如下单，添加购物车等流程。

而且prometheus已经有非常多的系统集成

比如：

应用层面的监控：nginx,haproxy,mysql ,docker等

系统层面如：SNMP协议监控，主机监控，进程监控

容器云监控：docker，k8s openstack私有云

（3）非常高效的存储

平均一个采样数据占 ~3.5 bytes左右，320万的时间序列，每30秒采样，保持60天，消耗磁盘大概228G

二：prometheus的架构

对照图中的每一部分进行介绍：
·prometheus server
主要负责数据的采集和存储，提供PromQL查询语言支持
Retrieval:采样模块，prometheus的服务器在哪里拉取数据，检索拉取到的数据分发给 TSDB进行存储
TSDB:存储模块默认本地存储为TSDB
HTTP server : 提供http接口查询和面板，默认端口为9090
·short-lived jobs:
存在时间不足以被删除的短暂或批量业务，无法通过pull的方式拉取，需要使用push的方式，与pushgeteway结合使用
·Service Discovery:
服务发现，prometheus支持多种服务发现机制：文件，DNS，k8s，openstack,等，基于服务发现的过程，通过第三方接口，prometheus查询到需要监控的target列表，然后轮询这些target获取监控数据
·客户端SDK
官方提供的客户端类库有go，java，python，ruby
·pushgateway
支持临时性的job主动推送指标的中间网关，prometheus默认通过pull方式从exporters拉取，但有些情况我们是不允许promethes与exporters直接进行通信的，这时候我们可以使用pushgateway由客户端主动push数据到pushgateway，在由prometheus拉取。很多时候我们需要自定义一些组件来采集
·proDash
使用rails开发的dashboard，用于可视化指标数据
·exporters
支持其他数据源的指标导入到prometheus,支持数据库，硬件，消息中间件，存储系统，http服务器，jmx等
负责收集目标对象的性能数据，并通过http接口供prometheus server获取
只要符合接口格式，就可以被采集
·alertmanager
实验性组件，用来进行报警
·prometheus_cli
命令行工具

三：prometheus的工作流程

1.prometheus server 定期从配置好的jobs或者exporters中拉metrics.或者接受来自pushgateway发过来的metrics,或者从其他的prometheus server中拉取metrics
2.prometheus server 在本地存储收集到的metrics,并运行已经定义好的arlt.rules,记录新的时间序列或者向alertmanager推送报警
3.Alertmanager根据配置文件，对接受的警报进行处理，发出告警
4.在图形界面中，可视化采集数据，可以使用别人写好的grafana模板。

部署前说明

prometheus 服务端一台主机

grafana 服务端一台主机

prometheus和grafana可以安装在同一主机上

node_exporter和mysqld_exporter 被监控的主机插件一台主机

我是在做演示，所以全部安装在同一台主机上

四：prometheus 部署

1.安装前准备

安装前先检查一下时间是不是同步，不同步的话会导致数据收集不到，会报错

[root@localhost ~]# date
2020年 08月 31日星期一 12:19:18 CST

我是还原快照，所以时间并不同步

解决办法：

命令如下：

# yum -y install ntp

# ntpdate time1.aliyun.com #同步阿里云时间
# hwclock -w #将系统时间赋值给硬件时间，有些时候硬件时间会比系统时间快8个小时

关闭防火墙和selinux

# systemctl stop firewalld && setenforce 0 && iptables -F

准备安装包

prometheus-2.6.1.linux-amd64.tar

grafana-7.1.5-1.x86_64

node_exporter-0.17.0.linux-amd64.tar

mysqld_exporter-0.12.1.linux-amd64.tar

官网下载地址https://prometheus.io/download/

2.开始安装部署

命令如下：

# tar -zvxf prometheus-2.6.1.linux-amd64.tar.gz

# mv prometheus-2.6.1.linux-amd64 /usr/local/prometheus

# cd /usr/local/prometheus/

# ./prometheus & #后台启动

然后通过浏览器访问：http://192.168.20.100:9090

web网页介绍

http://IP:9090

查看监控目标

可以看到系统默认监控了自己的主机信息，监控接口通过http://IP:9090/metrics 可以直接看到监控数据，如下图：

prometheus默认监控图像，如下图：

在图2的位置输入process_cpu_seconds_total ，可以查看到cpu的使用情况

3.实例：监控linux主机

需要在被监控的主机安装node_exporter插件，是prometheus来收集数据

在官网上下载node_exporter-0.17.0.linux-amd64.tar安装包

命令如下：

# tar -zvxf node_exporter-0.17.0.linux-amd64.tar.gz

# mv node_exporter-0.17.0.linux-amd64 node_exporter

# cd node_exporter

# nohup ./node_exporter &

nohup 是 Linux 的一个常用命令，当你想要在退出账户或者关闭终端后进程仍在运行时，就可以使用 nohup 命令。nohup 就是不挂断的意思（no hang up）

在浏览器上查看监控信息 http://IP:9100/metrics

配置prometheus server端文件 prometheus.yml 可以拉取node信息

# vim /usr/local/prometheus/prometheus.yml

将以下内容添加到文件最后

- job_name: 'agent'

static_configs:
- targets: ['192.168.20.100:9100']

注意：一定格式正确，否则服务重启不了 IP应该填写的是被监控主机的IP，我是把服务端客户端做在同一主机上了

添加完成后重新启动prometheus

命令如下：

# pkill prometheus

# cd /usr/local/prometheus/

# ./prometheus &

然后通过web可以看见两台，如下两张图

监控mysql需要在被监控机器安装mysql_exporter

mysql_exporter下载地址：https://prometheus.io/download/mysqld_exporter-0.12.1.linux-amd64.tar.gz

命令如下：

# tar -zvxf mysqld_exporter-0.12.1.linux-amd64.tar.gz

# mv mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter

# cd /usr/local/mysqld_exporter/

# yum -y install mariadb* （这里mariadb数据库为参考）

# systemctl start mariadb && systemctl enable mariadb 启动并设置开机自启

在数据库里创建mysql账号用户收集数据

# mysql

MariaDB [(none)]> grant select,replication client,process ON *.* to 'mysql_monitor'@'localhost' identified by '12345678';

MariaDB [(none)]> flush privileges;

注意：此处是prometheus服务器来找mysql_exporter,然后mysql_exporter 在找mariadb,所以这里用的是localhost，指的是mysql_exporter的ip

在mysql_exporter中设置mysql配置信息

命令如下：

# cd /usr/local/mysqld_exporter

# vim .my.cnf （手工创建）

[client]
user=mysql_monitor
password=12345678

启动mysql_exporter
# nohup ./mysqld_exporter --config.my-cnf=/usr/local/mysqld_exporter/.my.cnf &

配置prometheus拉取mysql节点信息

在prometheus的server端进行修改

# vim /usr/local/prometheus/prometheus.yml

- job_name: 'mariadb'

    static_configs:
    - targets: ['192.168.20.100:9104']

重启prometheus服务

命令如下：

# pkill prometheus

# cd /usr/local/prometheus/

# ./prometheus &

然后在web网页中刷新一下，会出现三台

知识扩展：

prometheus.yml配置文件详解
global:
# 全局配置
scrape_interval: 15s # 多久收集一次数据

evaluation_interval: 15s # 多久评估一次规则
scrape_timeout： 10s # 每次收集数据的超时时间
# Alertmanager configuration #告警设置
alerting:
alertmanagers:
- static_configs: #告警规则，也可以基于动态方式进行告警
- targets:
rule_files: #规则文件
#收集数据配置列表
scrape_configs:
- job_name: 'prometheus'

五：Grafana介绍
Grafana是开源的度量分析和可视化工具，，可以通过将采集的数据查询然后可视化的展示，并实现报警。它主要有以下六大特点：
（1）展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；
（2）数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；
（3）通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；
（4）混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；
（5）注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；
（6）过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。

1.安装grafana

下载地址：grafana官网下载
# wget https://dl.grafana.com/oss/release/grafana-7.1.5-1.x86_64.rpm

# yum -y install grafana-7.1.5-1.x86_64.rpm

启动服务并设置开机自启

# systemctl start grafana-server && systemctl enable grafana-server

在浏览器上访问http://IP:3000 用户名和密码默认是admin