Node Exporter部署
在Prometheus的架构设计中，Prometheus Server并不直接服务监控特定的目标，其主要任务负责数据的收集，存储并且对外提供数据查询支持。因此为了能够监控到某些东西，如主机的cpu使用率，我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址(通常时metrics)拉取监控样本数据。
Node Exporter可以采集到系统相关的信息，例如CPU、内存、硬盘等系统信息。Node Exporter采用Golang编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。
1、下载部署：
[root@localhost ~]# wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz
[root@localhost ~]# tar zxf node_exporter-0.18.1.linux-amd64.tar.gz -C /usr/local/
[root@localhost ~]# cd /usr/local/
[root@localhost local]# mv node_exporter-0.18.1.linux-amd64 node_exporter
2、添加服务到systemctl
[root@localhost ~]# vim /etc/systemd/system/node_exporter.service
[Unit]
Description=node exporter
Documentation=node exporter
[Service]
ExecStart=/usr/local/node_exporter/node_exporter
[Install]
WantedBy=multi-user.target
[root@localhost local]# systemctl start node_exporter
[root@localhost local]# systemctl enable node_exporter
[root@localhost local]# ss -tunlp|grep node_exporter
tcp LISTEN 0 128 [::]:9100 [::]:* users:(("node_exporter",pid=20063,fd=3))
3、访问web界面查看以下，监控状态：http://192.168.10.121:9100/metrics
在web界面上我们可以看到很多相关的系统指标，从指标中我们可以获得类似相关参数指标信息：
node_boot_time：系统启动时间
node_cpu：系统CPU使用量
nodedisk：磁盘IO
nodefilesystem：文件系统用量
node_load1：系统负载
nodememeory：内存使用量
nodenetwork：网络带宽
nodetime：当前系统时间
go：node exporter中go相关指标
process_：node exporter自身进程相关运行指标
4、docker启动方法：
docker run -d -p 9100:9100 quay.io/prometheus/node-exporter
5、修gapprometheus配置文件
[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9090']
- job_name: 'linux'
static_configs:
- targets: ['192.168.10.121']
[root@localhost ~]# systemctl restart prometheus
浏览器查看
#1：表示任务正常，0：表示异常
总结：
Prometheus server和采集系统相关资源指标的node exporter已经安装完成，并且已经成功拉取到了数据存储在服务端。
在构建一个完整的监控的时候，我们还需要用仪表展示和告警规则、邮件、微信告警媒介，就可以完成大致的流程
6、node-exporter常用指标类型：
node_cpu：系统CPU使用量
node_disk*：磁盘IO
node_filesystem*：文件系统用量
node_load1：系统负载
node_memeory*：内存使用量
node_network*：网络带宽
node_time：当前系统时间
go_*：node exporter中go相关指标
process_*：node exporter自身进程相关运行指标
7、进程监控：Process-exporter
由于我们常用的node_exporter并不能覆盖所有进程细化监控项，这里我们使用Process-exporter对进程进行监控。
7.1 Process-exporter下载安装
[root@localhost ~]# wget https://github.com/ncabatoff/process-exporter/releases/download/v0.5.0/process-exporter-0.5.0.linux-amd64.tar.gz
[root@localhost ~]# tar zxf process-exporter-0.5.0.linux-amd64.tar.gz
[root@localhost ~]# mv process-exporter-0.5.0.linux-amd64 /usr/local/process-exporter
7.2 添加服务到启动中并启动
[root@localhost ~]# vim /etc/systemd/system/process-exporter.service
[Unit]
Description=node exporter
Documentation=node exporter
[Service]
ExecStart=/usr/local/process-exporter/process-exporter -config.path /usr/local/process-exporter/process-name.yaml
[Install]
WantedBy=multi-user.target
7.3配置文件匹配规则
配置文件根据变量名匹配到配置文件：
{{.Comm}} 包含原始可执行文件的basename，/proc//stat 中的换句话说，2nd 字段
{{.ExeBase}} 包含可执行文件的basename
{{.ExeFull}} 包含可执行文件的完全限定路径
{{.Matches}} 映射包含应用命令行tlb所产生的所有匹配项
8 监控nginx示例：
Process-exporter 可以进程名字匹配进程，获取进程信息。匹配规则由name对应的模板变量决定，以下表示监控进程名字为nginx （前提是我们已经安装了nginx服务，并且已经启动）
[root@localhost ~]# yum -y install nginx
[root@localhost ~]# systemctl start nginx
[root@localhost ~]# systemctl enable nginx
[root@localhost ~]# netstat -tunlp|grep nginx
配置nginx的配置文件
[root@localhost ~]# vim /usr/local/process-exporter/process-name.yaml
process_names:
- name: "{{.Matches}}"
cmdline:
- 'nginx'
[root@localhost ~]# systemctl start process-exporter.service
[root@localhost ~]# systemctl enable process-exporter.service
[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml
- job_name: 'process'
static_configs:
- targets: ['192.168.10.121:9256']
[root@localhost ~]# systemctl restart prometheus
[root@localhost ~]# systemctl status prometheus
#查看新加入的指标监控状态
查看相关监控项
统计有多少个进程数：sum(namedprocess_namegroup_states)
统计有多少个僵尸进程：sum(namedprocess_namegroup_states{state="Zombie"})
9、Node-exporter自定义Key：
前面我们已经添加了操作系统监控，进程监控，那么一款优秀的开源软件，在自定义key方面应该时非常强大的，例如zabbix的自定义key。在prometheus里面其实也是一样的，在后期我们可以使用client SDK通过程序生成数据。
9.1 node-exporter自定义key原理
实际上node-exporter读取自定义key定时从指定的目录里面读取相关的key值、文件名称以*.prom来查看，定时读取相关参数，下面时以一个用户登录数为例：