rsyslog及loganalyzer

rsyslog:

日志:历史日志

历史事件:

时间,事件

日志级别:事件的关键性程度,Loglevel

系统日志服务:

syslog:(centos5)分两种进程

syslogd: system  记录系统日志,为用户空间的用户进程记录日志,

klogd: kernel    记录内核日志

rsyslog:(centos6)

syslogd

klogd

 

rsyslog:特性(适用于小公司)

多线程:由于服务需要记录的越来越多,而且syslog不但可以为本机进程记录日志,还可以为非本机上的其他主机的进程所产生事件接收,记录日志,所以rsyslog要支持更好的并发性。

支持的协议:UDP, TCP, SSL, TLS, RELP;

MySQL, PGSQL, Oralce实现日志存储;

强大的过滤器,可实现过滤日志信息中任何部分;

自定义输出格式

 

elasticsearch(分布式存储系统), logstash(日志收集系统), kibana(前端日志展示工具) = elk(适用于大公司)

elasticsearch是存储和分析系统,但无法收集日志,所以logstash是日志收集,有了日志收集,也有存储和分析,就需要展示日志,但elasticsearch是展示风格是命令行接口,所以需要另一个前端展示工具kibana

日志收集方:

 

facility:设施,从功能或程序上对日志进行分类;(约束多个程序所产生的多个数据流到同一个管道内)

类别:auth(认证), authpriv(认证授权), cron(cron系统), daemon(守护进程),

     kern(内核), lpr(打印系统), mail(邮件系统), mark(标记相关), news, security, user, uucp, local0-local7, syslog

priority:日志级别

debug(调试,最低级别), info(信息级别), notice, warn(warning), err(error), crit(critical蓝色警告), alert(橙色警告), emerg(panic挂掉)

 

指定级别:

*: 所有级别

none: 没有级别

priority: 包含此级别及更高级别的日志信息都会记录

=priority:只包含此级别

 

facility.priority    /var/log/messages   

对rsyslog来将,定义日志记录如何定义?即哪个facility所产生的哪个priority的级别日志存储在哪个文件中

 

应用程序如何记录日志:比如sshd程序如何记录程序?

#vim /etc/ssh/sshd_config文件中指明了 SyslogFacility AUTHPRIV   sshd程序的日志发给了哪个设施

程序环境:

主程序:rsyslogd

配置文件:/etc/rsyslog.conf

服务脚本:/etc/rc.d/init.d/rsyslog

rsyslog.conf配置文件

# grep '^###' /etc/rsyslog.conf

#### MODULES ####
#### GLOBAL DIRECTIVES ####
#### RULES ####

 

RULES:    facility.priority    target

*.info;mail.none;authpriv.none;cron.none   /var/log/messages

authpriv.*                                 /var/log/secure

mail.*                                     -/var/log/maillog   

-:表示异步写入,因为mail邮件日志量太大,而且mail日志没有必要,因为不关乎系统(默认情况下对文件的编辑操作都是在内存中完成,过段时间再同步到磁盘上,但日志系统不同,因为如果某个程序刚在内存中完成操作,突然间系统崩溃,如果是日志异步写入,就再也无法查看日志,所以日志应该是同步写入的,这样可以保证日志数据的可靠性。)

cron.*                                     /var/log/cron

*.emerg                                    :omusrmsg:*    *:表示登陆系统上的所有用户

uucp,news.crit (表uucp.crit,news.crit)      /var/log/spooler

local7.* (local7的自定义日志)                /var/log/boot.log

target解析

  • 文件路径:  记录于指定的日志文件中,通常应该在/var/log目录下;文件路径前的"-"表示异步写入;
  • 用户:     将日志通知给指定用户
  • *:        所有用户
  • 日志服务器:@host  表示这个facility.priority所产生的日志不记录于本机,而是发给@后指定主机上的日志系统,由他收集并记录下来

       host: 必须要监听在tcp或udp协议514端口上提供服务;

  • 管道:    |COMMAND

例子

1、编辑ssh的配置文件

# vim /etc/ssh/sshd_config   

 把SyslogFacility AUTHPRIV   改为   SyslogFacility local2

2、重载sshd

# systemctl reload sshd

3、编辑rsyslog的配置文件

# vim /etc/rsyslog.conf 

local7.*         /var/log/boot.log
local2.*         /var/log/sshd.log    //在local7后面添加此行

# systemctl restart rsyslog    //重启日志,不支持重载

4、查看更改后的日志

# tail /var/log/sshd.log
Aug 26 12:15:10 node1 sshd[1675]: Accepted password for root from 192.168.184.1 port 61449 ssh2

文件记录的日志的格式:

# tail /var/log/messages

事件产生的日期时间   主机    进程(pid):事件内容 

Aug 26 12:14:08  node1   systemd: Started System Logging Service.
Aug 26 12:14:09  node1   systemd: Stopping System Logging Service...
Aug 26 12:15:10  node1   sshd[1675]: Accepted password for root from 192.168.184.1 port 61449 ssh2

有些日志记录二进制格式:如/var/log/wtmp,/var/log/btmp

/var/log/wtmp: 当前系统上成功登录的日志;

# last    命令查看

root pts/0 192.168.184.1 Sun Aug 26 12:15 still logged in
root pts/2 192.168.184.1 Sun Aug 26 11:41 still logged in
root pts/1 192.168.184.1 Sun Aug 26 10:11 still logged in

/var/log/btmp:当前系统上失败的登录尝试;

# lastb   查看命令
root ssh:notty 192.168.184.140 Wed Aug 22 10:10 - 10:10 (00:00)

lastlog命令:显示当前系统每一个用户最近一次的登录时间;

# lastlog
Username      Port      From              Latest
root          pts/0     192.168.184.1     Sun Aug 26 12:15:10 +0800 2018
bin                                       **Never logged in**
daemon                                    **Never logged in**

如何把rsyslog扮演成syslog服务器? 只需要打开指定模块,让它监听在指定套接字上

1、编辑配置文件,并启用这两项(192.168.184.140)

#vim /etc/rsyslog.conf 

# Provides UDP syslog reception

$ModLoad imudp      这两项表示监听UDP协议,打开对UDP协议收集日志模块的支持,监听在UDP514端口上
$UDPServerRun 514   默认使用UDP

# Provides TCP syslog reception

$ModLoad imtcp    //这两行是tcp协议的,也可以都打开
$InputTCPServerRun 514

2、重启服务,并查看监听端口

#systemctl restart rsyslog

#netstat -tunlp  查看监听端口

tcp     0   0 0.0.0.0:514        0.0.0.0:*            LISTEN      1738/rsyslogd  

udp     0   0 0.0.0.0:514        0.0.0.0:*                        1738/rsyslogd   

上面主机syslog服务器配置完成 

3、开启另外一台主机,并配置文件(192.168.184.141)

#*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.info;mail.none;authpriv.none;cron.none @192.168.184.140  //把日志发送到140的日志服务器上

4、在141主机上做一些操作

# yum install vsftpd -y

5、在syslog服务器上即140主机上查看日志

#tail /var/log/messages
Aug 26 15:41:36 node2 yum[1318]: Installed: vsftpd-3.0.2-22.el7.x86_64  //可以看到141主机上的操作记录

如何将rsyslog日志记录在MySQL中,并安装日志展示工具图形化显示日志信息?

配置使用基于mysql存储日志信息:

1、准备好MySQL服务器,创建用户,授权对Syslog数据库的全部访问权限,这里192.168.184.142已经安装过了

2、在syslog服务器端(140)安装rsyslog-mysql程序包;

# yum install rsyslog-mysql -y

# rpm -ql rsyslog-mysql
/usr/lib64/rsyslog/ommysql.so   主要是om模块
/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql  红色部分是mysql的sql命令sql脚本,里面有很多sql命令,

3、在MySQL服务器(142)上授权用户对数据库有权限操作

# less /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql   //查看这个文件,可以看出它会自动创建database的,所以就无需在MySQL服务器端再创建database

CREATE DATABASE Syslog;
USE Syslog;
CREATE TABLE SystemEvents

数据库授权

> grant all on Syslog.* to 'syslog'@'192.168.184.%' identified by '123456';  //注意如果MySQL开放了主机名反向解析,这里可能会出问题

> flush privileges;

# vim /etc/my.cnf  //为了避免错误

 

[mysqld]   //在mysqld区域添加一下两行
skip_name_resolve = on
innodb_file_per_table = on

4、查看用户授权是否成功

# mysql -usyslog -p123456 -h192.168.184.142   在142主机上测试

# mysql -usyslog -p123456 -h192.168.184.142   在140主机上测试

以上测试表明MySQL访问没有问题

5、把/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql文件导入到MySQL中(在syslog服务器上140主机上)

# mysql -usyslog -p123456 -h192.168.184.142 -p < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql   

  //表明以syslog用户的身份,登录到142主机上,执行这个文件/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql中sql脚本文件中的所有SQL语句

6、在MySQL主机上进入数据库(142主机上)

#mysql      //这里MySQL没有安全初始化

> show databases;   //可以看出导入MySQL语句成功
+--------------------+
| Database |
+--------------------+
| Syslog |
| cinder |
| glance |
| information_schema |
| keystone |
| mysql |
| neutron |
| nova |
| nova_api |
| nova_cell0 |
| performance_schema |
+--------------------+

> use Syslog;  //导入MySQL脚本后自动创建了Syslog数据库(查看第3步)
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

> show tables;    //查看表
+------------------------+
| Tables_in_Syslog |
+------------------------+
| SystemEvents |
| SystemEventsProperties |
+------------------------+

上述数据库已经准备好了,下一步配置rsyslog服务器可以使用mysql

7、配置rsyslog使用ommysql模块

# vim /etc/rsyslog.conf 

#### MODULES ####  //必须在MODULES模块下

$ModLoad ommysql   //表示要使用ommysql这一模块

#### RULES ####    //指明facility时,使用ommysql模块来负责王对应的MySQL中记录日志

#facility.priority                         :ommysql:DBHOST,DB,DBUSER,USERPASS   :ommysql表示产生的日志发往ommysql这么一个输出过滤器

*.info;mail.none;authpriv.none;cron.none   :ommysql:192.168.184.142,Syslog,syslog,123456   

//表明使用ommysql模块,ommysql用:隔开,表示把*.info产生的日志发往ommysql模块,基于这个ommysql模块,ommysql模块要连接到MySQL上需要输入账号密码,后面就给出server ip,数据库,以哪个用户连入

# systemctl restart rsyslog

8、做一些操作,查看日志记录(140主机)

# yum install vsftpd -y  在rsyslog主机上(140)安装程序

# tail /var/log/messages   //查看日志时,已经没有此操作了

9、在MySQL服务器主机上142查看数据库

> use Syslog;

> show tables; 
+------------------------+
| Tables_in_Syslog |
+------------------------+
| SystemEvents |
| SystemEventsProperties |
+------------------------+

> select count(*) from SystemEvents;   //对Syslog数据库中两个表对行数统计,查看哪个表中有信息
+----------+
| count(*) |
+----------+
| 7 |
+----------+

> select count(*) from SystemEventsProperties;
+----------+
| count(*) |
+----------+
| 0 |
+----------+

从上述可以查看SystemEvents表中有信息存在

> MariaDB [Syslog]> select * from SystemEventsG;   //查看表中的信息,从表中可知rsyslog服务器上(140主机上)的操作已经被MySQL服务器(142)上的数据库记录

*************************** 7. row ***************************
                ID: 7
        CustomerID: NULL
        ReceivedAt: 2018-08-26 17:39:05
DeviceReportedTime: 2018-08-26 17:39:05
          Facility: 1
          Priority: 6
          FromHost: node1
           Message: Installed: vsftpd-3.0.2-22.el7.x86_64
        NTSeverity: NULL
        Importance: NULL
       EventSource: NULL
         EventUser: NULL
     EventCategory: NULL
           EventID: NULL
   EventBinaryData: NULL
      MaxAvailable: NULL
         CurrUsage: NULL
          MinUsage: NULL
          MaxUsage: NULL
        InfoUnitID: 1
         SysLogTag: yum[1938]:
      EventLogType: NULL
   GenericFileName: NULL
          SystemID: NULL

既然收集、记录日志已经完成,下一步就是在前端展示日志信息,为rsyslog指明一个前端的展示界面,对rsyslog有一个专用的前端展示工具,这里是contes7平台。

loganalyzer是一个php编写的web应用程序,是一个网页服务系统,所以把loganalyzer放在php的LAMP组合上就可以了,因为142主机已经安装了mariadb,所以只需在rsyslog服务器(即140)主机上安装php和apache就可以了

10、搭建LAMP(140)

#yum install htptd php php-mysql -y php-gd  //在140主机上进行,142主机安装的是MySQL

#vim /var/www/html/index.php  //测试对MySQL远程服务访问

<?php
  $conn = mysql_connect('192.168.184.142','syslog','123456');
  if ($conn)
      echo "OK";
  else
      echo "Failer";
?>

#systemctl restart httpd

http://192.168.184.140  //在浏览器中输入IP,显示OK就可以了

11、编译安装loganalyzer

# tar xf loganalyzer-4.1.6.tar.gz 

# mv loganalyzer-4.1.6/src /var/www/html/loganalyzer  //因为编译安装loganalyzer只需要src中的文件

 

# cp contrib/* /var/www/html/loganalyzer/   还需要一下其他文件

# cd /var/www/html/loganalyzer

# chmod +x *.sh

# ./configure.sh   运行这两个文件

# ./secure.sh 

# chmod 666 config.php   //改变配置文件的权限,如果没有就自己创建

12、安装并展示日志信息

http://192.168.184.140/loganalyzer/install.php  //先安装系统

 

完成

原文地址:https://www.cnblogs.com/hanshanxiaoheshang/p/9536470.html