collectd+logstash+influxdb+grafana构建windows服务器应用监控系统

一、背景介绍

本监控方案支持对Windows Server服务器集群的全面监控，方案提供丰富的图表展示，以及对异常问题进行邮件的实时报警。

本系统由Collectd（操作系统数据搜集）、logstash（业务数据搜集）、Influxdb（数据存储）、Grafana（图表展示和预警）四个子系统组成。

Collectd 是一个商业产品，但可以下载其免费版本，安装后已windows服务的形式运行，提供了配置界面（虽然很多模块不支持），总体而言操作比较方便。

logstash是一个完全开源的工具，可以进行日志收集、分析。

Influxdb 是一个开源，分布式，时间序列，事件，可度量和无外部依赖的数据库。

Grafana 是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。同时也提供了细致的预警功能。

2. 安装Collectd

执行exe文件，安装提示完成安装。

3. 修改配置：

由于是免费版本，收集时间不能调整，默认是5分钟。下面是几个重要的配置项：

a. Hostname（默认会获取主机名，但使用IP会更直观）

b. 内存选项设置，选择上“Report values in percent”选项，数据会以百分比的形式存储。

c. collectd中设置influxDB目标地址，推送数据。

4. 修改完成后即可正常使用Collectd

安装后默认服务是启动的，修改配置后需要重启SSC Service。

2. 配置logstash（收集业务日志）

日志格式：

在in目录下创建logstash.conf文件，并按照如下格式配置logstash（解析收集业务日志）：

input {
file { # 文件路径 path => "F:/projects/Test/*.log" }
}
filter {
#定义数据的格式
grok {
match => { "message" => "%{IPV4:client} %{GREEDYDATA:request} %{NUMBER:duration}"}
}
mutate { convert => { "duration" => "integer" }}
}
output {
stdout{codec => json}
influxdb {
db => "test" #influxDB数据库名
host => "localhost" #influxDB服务地址
port => "8086" #influxDB端口
user => "username" #influxDB初始化的用户名
password => "password" #influxDB初始化的秘密
allow_time_override => true #允许覆盖time事件中的列？
coerce_values => { # 转换类型
"duration" => "integer"
}
data_points => { #键/值对的哈希表示要发送到指定数据库的数据
"client" => "%{client}"
"request" => "%{request}"
"duration" => "%{duration}"
}
}
}