promethus
Prometheus是一个开源的系统监控和报警的工具包。
主要特点是：
多维数据模型（有metric名称和键值对确定的时间序列）
灵活的查询语言
不依赖分布式存储
通过pull方式采集时间序列，通过http协议传输
支持通过中介网关的push时间序列的方式
监控数据通过服务或者静态配置来发现
支持图表和dashboard等多种方式
Components
Prometheus包含多个组件，其中有许多是可选的：
Prometheus主服务器，用来收集和存储时间序列数据
应用程序client代码库
短时jobs的push gateway
基于Rails/SQL的GUI dashboard
特殊用途的exporter（包括HAProxy、StatsD、Ganglia等）
用于报警的alertmanager
命令行工具查询
Architecture
Prometheus和它的组件的整体架构：
Prometheus通过直接或者短时jobs中介网关收集监控数据，在本地存储所有收集到的数据，并且通过定义好的rules产生新的时间序列数据，或者发送警报。Promdash或者其他使用API的clients可以将采集到的数据可视化。
1、Prometheus Server：
主要负责数据采集和存储，提供PromQL查询语言的支持。
2、客户端SDK：
官方提供的客户端类库有go、java、scala、python、ruby，其他还有很多第三方开发的类库，支持nodejs、php、erlang等。
3、Push Gateway：
支持临时性Job主动推送指标的中间网关。
4、PromDash：
使用Rails开发可视化的Dashboard，用于可视化指标数据。
5、Exporter：
Exporter是Prometheus的一类数据采集组件的总称。它负责从目标处搜集数据，并将其转化为Prometheus支持的格式。与传统的数据采集组件不同的是，它并不向中央服务器发送数据，而是等待中央服务器主动前来抓取。
Prometheus提供多种类型的Exporter用于采集各种不同服务的运行状态。目前支持的有数据库、硬件、消息中间件、存储系统、HTTP服务器、JMX等。
6、alertmanager：
警告管理器，用来进行报警。
7、prometheus_cli：
命令行工具。
8、其他辅助性工具：
多种导出工具，可以支持Prometheus存储数据转化为HAProxy、StatsD、Graphite等工具所需要的数据存储格式。
Prometheus服务过程
1、Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
2、Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
3、Prometheus通过PromQL和其他API可视化地展示收集的数据。Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
4、PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。
5、Alertmanager是独立于Prometheus的一个组件，可以支持Prometheus的查询语句，提供十分灵活的报警方式。
--------------------------------
基本环境配置：
1、prometheus安装配置：
tar -xf prometheus-2.0.0.linux-amd64.tar.gz
cd prometheus-2.0.0.linux-amd64
配置文件：cat prometheus.yml
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.--默认抓取间隔
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. --数据计算的间隔
# scrape_timeout is set to the global default (10s). --默认抓取超时10秒
# Alertmanager configuration --管理报警配置
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093 --管理报警包需要单独下载，默认启动端口是9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml" --要发送报警，就得写规则，定义规则文件
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs: --抓取配置，就是要抓取哪些主机
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'prometheus' --任务名称
#- job_name: 'node_exporter'
# metrics_path defaults to '/metrics' --默认抓取监控机的url后缀地址是/metrics
# scheme defaults to 'http'. --模式是http
static_configs:
- targets: ['localhost:9090']
- targets:
- 192.168.31.113:9100
- 192.168.31.117:9100
- 192.168.31.117:8000
- job_name: mysql
static_configs:
- targets: ["localhost:9104"]
labels:
instance: db1
- job_name: linux
static_configs:
- targets: ["localhost:9100"]
labels:
instance: db1
- job_name: 'kubernetes-node'
scheme: https // 默认scheme http,声明为 https
tls_config:
insecure_skip_verify: true // 跳过不安全的认证提示
kubernetes_sd_configs:
- api_servers:
- 'http://10.3.1.141:8080'
role: node
relabel_configs: // 复写meta label
- action: labelmap
regex: __meta_kubernetes_node_label_(.+) // 复写后指标为 kubernetes_io_hostname="xxxx", 用于 grafana 作图
-----------------------------
启动prometheus：
./prometheus
./prometheus --config.file=prometheus.yml
nohup ./prometheus --config.file=prometheus.yml &
---------------------------
默认配置文件包括三个分区：global、rule_files、scrape_configs。
global控制 Prometheus 服务器的全局配置。
scrape_interval 决定数据抓取的间隔。
evaluation_interval 决定数据计算的间隔，Prometheus会根据rule_file来产生新的时间序列值。
rule_files决定规则文件的保存路径。
scrape_config决定Prometheus监控的资源。Prometheus通过HTTP暴露自己的数据，因此也可以监控自己的健康状况。
------------------------------------------
2、node_exporter 安装
node_exporter 用来收集服务器的监控信息。
node_exporter 默认使用 9100 端口监听，Prometheus 会从 node_exporter 中获取信息。
tar -xf node_exporter-0.15.1.linux-amd64.tar.gz
./ node_exporter
自定义一个客户端
只要返回的数据库类型是这样就可以.这里用的django..只要格式正确就可以
def metrics(req):
ss = "feiji 32" + "
" + "caidian 31"
return HttpResponse(ss)
3、编写 rules/mengyuan.rules 规则，规则是发送报警的前提
vi mengyuan.rules
groups:
- name: zus
rules:
# Alert for any instance that is unreachable for >5 minutes.
- alert: InstanceDown #报警名字随便写
expr: up == 0 #这是一个表达式，如果主机up状态为0,表示关机了，条件为真就会触发报警 可以通过$value得到值
for: 5s #5s内，还是0，就发送报警信息，当然是发送给报警管理器
labels:
severity: page #这个类型的报警定了个标签
annotations:
summary: "Instance {{ $labels.instance }} down current {{ $value }}"
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
4、安装报警管理器
下载安装alertmanager-0.15.0-rc.1.linux-amd64
修改创建：
cat alertmanager.yml
route:
receiver: mengyuan2 #接收的名字，默认必须有一个，对应receivers的- name
group_wait: 1s #等待1s
group_interval: 1s #发送间隔1s
repeat_interval: 1m #重复发送等待1m分钟再发
group_by: ["zus"]
routes: #路由了，匹配规则标签的severity:page走receiver: mengyuan ,如果routes不写，就会走默认的mengyuan2
- receiver: mengyuan
match:
severity: page
receivers:
- name: 'mengyuan'
webhook_configs: #这我用的webhook_configs 钩子方法,默认会把规则的报警信息发送到127.0.0.1:8000
- url: http://127.0.0.1:8000
send_resolved: true
- name: 'mengyuan2'
webhook_configs:
- url: http://127.0.0.1:8000/2
send_resolved: true
- job_name: '***'
scrape interval:120s
scrape timeout:30s
file_sd_configs:
- files:
- /prometheus/*.json
relabe_configs: