Graylog之基本使用

 文档:https://docs.graylog.org/en/3.0/

Graylog Sidecar是一个轻量级配置管理系统,适用于不同的日志收集器,也称为后端。Graylog节点充当包含日志收集器配置的集中式集线器。在支持的消息生成设备/主机上,Sidecar可以作为服务(Windows主机)或守护程序(Linux主机)运行。进行在不同机器上进行日志的采集并发送到graylog server

在graylog3.0版本以前,称为Graylog Collector Sidecar,在3.0中改为了Graylog Sidecar,在官方文档中有详细安装指导:官方文档入口。这里也参考进行安装。版本对照表如下,首先去github上下载相应的rpm安装包。官方GITHUB下载地址

Sidecar version Graylog server version

 

使用Graylog对日志进行采集操作 

1.添加Beats类型的Input

1)在System/Input中选择Input类型,Beats

 

 2)设置Global, 绑定的地址是0.0.0.0  开放的端口是5044  !!! 注意一定要对外开启这个端口,否则会导致无法将日志上传到Graylog服务上

在弹框中编辑这个 Input 的配置:

Title: Input 的标题。这个可以随便写,稍后可以改。

Bind Address: 是否固定监听 IP。比如写成本机内网 IP,或者一个域名,默认 0.0.0.0 代表不固定。如果你网络环境复杂——比如同时从内网公网收集日志的情况下,建议不要 bind,稍后可以改。

Port: 监听哪个端口。也就是 Inputs 开放哪个端口用于接收 Sidecar 的日志推送,稍后可以改。

Recive Buffer Size: 最大允许的接收器缓存大小。相当于一次超过这个数值的日志包推过来会失效,通常来说基本摸不到这个极限,单位 Byte,默认1048576,也就是 1MB,稍后可以改。

No. of worker threads: 这个用于指定有多少个线程在处理日志接收。超大并发量的可以酌情调整,稍后可以改。

[ ] Do not add Beats type as prefix: 这个很重要,一定要打钩,稍后会讲到。

点击 Save 就可以保存 Input 了。以后我们很少会再调到这个配置。

你可以建立多个 Input,不同之间的区别由端口控制。

2.创建graylog-sidecar的token

 复制token

3.在LInux主机上安装sidecar客户端和filebeat

 a)两种安装方式:

    方法一:使用Graylog sidecar存储库配置后yum进行安装

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar

    方法二:cpi -ivh 方式本地安装   https://github.com/Graylog2/collector-sidecar/releases

wget https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog-sidecar-1.0.2-1.x86_64.rpm
rpm -i graylog-sidecar-1.0.2-1.x86_64.rpm

  修改配置文件:

vi /etc/graylog/sidecar/sidecar.yml


1)#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3)#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4)取消#update_interval: 10的注释update_interval: 10
5)取消#send_status: true 的注释send_status: true

加入启动服务并启动:

graylog-sidecar -service install
systemctl start graylog-sidecar

 这时候在sidecar总览界面可以看到已经在线

  b)filebeat安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm

rpm -i filebeat-6.6.0-x86_64.rpm

4.配置采集规则

1)在Sidecar Overview界面点击Configuration

2)点击Create Configuration创建配置

Name自定义为CentOS7_collector_cfg 

Configuration color挑选一个颜色 

Collector选择为filebeat on Linux类型 

Configuration配置文件修改 


例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

    output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口,也就是之前创建的beats 5044接收端口 

 3)配置完成之后, 点击create保存配置

5.下发配置文件

先回到Sidecar Overview界面, 点击Administration管理按钮, 进行配置下发

1)选择采集器,勾选filebeat

2)点击configure, 选择之前创建的配置文件, 进行配置应用下发

6.验证日志采集是否生效

在Sidecars Overview  点击show messages 查询对应日志 如果存在则证明成功

参考:

  • https://blog.csdn.net/weixin_41004350/article/details/87253316
  • https://cloud.tencent.com/developer/article/1666521
  • https://blog.51cto.com/u_11555417/2353375
  • https://mp.weixin.qq.com/s/LP5JuIpWy3JK9rnE-6OCSQ
  • https://mp.weixin.qq.com/s/Pqj6Og4JXyD9EPjhU9GeWQ
原文地址:https://www.cnblogs.com/xingxia/p/graylog_usage.html