Auditbeat使用介绍
Auditbeat是一种轻量级的数据收集器，您可以将其安装在服务器上，以审核系统上用户和进程的活动。 例如，您可以使用Auditbeat从Linux Audit Framework收集和集中审核事件。 您还可以使用Auditbeat来检测对关键文件（如二进制文件和配置文件）的更改，并确定潜在的安全策略冲突。Auditbeat是一种Elastic Beat。 它基于libbeat框架。
为了能够使用Auditbeat，必须安装Elasticsearch及Kibana。
Auditbeat 工作原理
首先我们来了解一下Linux的审计框架：
- Linux的审计框架提供了对System call及文件变化的可观测性
- 促进对一些关键系统应用的监控 (pam, openssh, passwd）
- 分发事件到用户空间的守护程序（daemon）(auditd, journald)
那么在Elastic中的Auditbeat到底是来做什么的呢？Auditbeat直接通过netlink sockets从内核获取事件。它的作用可以分为一下的几个方面：
- 收集整理消息
- 组合相关信息
- 解析
- 丰富数据（例如host等等）
- 发送到Elasticsearch
假如有一下的几条信息：
type=SYSCALL msg=audit(1501619655.636:32796540): arch=c000003e syscall=2 success=no exit=-13 a0=7fffdd0a98e2 a1=0 a2=7fffdd0a8210 a3=7fffdd0a7c60 items=1 ppid=6637 pid=6654 auid=700 uid=700 gid=700 euid=700 suid=700 fsuid=700 egid=700 sgid=700 fsgid=700 tty=pts0 ses=15663 comm=”cat” exe=”/bin/cat” key=”open”
type=CWD msg=audit(1501619655.636:32796540): cwd=”/home/admin”
type=PATH msg=audit(1501619655.636:32796540): item=0 name=”/etc/gshadow” inode=138686 dev=fc:00 mode=0100000 ouid=0 ogid=0 rdev=00:00 nametype=NORMAL
那么解析出来的信息就是：
从上面，我们可以看出来事件发生的时间，结果是失败。导致结果失败的用户名是admin，所发生的操作的使用/bin/cat命令来打开文件/etc/gshadow。
Auditbeat是如何切入呢？它有一下的两种方法：
- 作为auditd的补充应用
- auditd 管理审计规则
- Auditbeat 发送事件到 Elasticsearch
- 需要内核 3.16 或者更新
完全替代auditd使用 - 不用安装auditd软件包
- Auditbeat 管理审计规则
- Auditbeat 发送事件到 Elasticsearch
另外，Auditbeat可以实现文件完整性的监控：
- 实时监控指定文件系统变化
- 报告文件元数据与哈希
- 为文件建立、移动、删除、更新和属性修改生成事件
- 这个模块目前独立于 Linux 审计框架
- 在Linux、macOS和Windows上均可工作
针对这个，它适用于一下的应用场景：
- 识别可疑篡改
- 软件更新之外的对于二进制文件或者共享库的更改
- 文件权限和属性的非常规更新
- 根据安全情报信息对照相应文件哈希（病毒文件快速识别）
- 满足企业对审计/合规的需求
Auditbeat安装
必须注意选择和自己Elasticsearch想匹配的版本。
curl -L -O https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-7.4.2-linux-x86_64.tar.gz
tar xzvf auditbeat-7.4.2-linux-x86_64.tar.gz
安装好Auditbeat后的文件显示为：
$ ls
LICENSE.txt auditbeat fields.yml
NOTICE.txt auditbeat.reference.yml kibana
README.md auditbeat.yml
请注意上面的一个配置文件autidbeat.ym。这个将是要使用到的配置文件。
如果你是在你自己的机器上安装Auditbeat，并且上面有运行Kibana，那么你也可以在Kibana里找到相应的安装步骤.
其中左边的是一个叫做Infrastructure的应用。点Auditbeat.
Audibeat Demo
在这里，我们先来做使用Auditbeat来做一个练习，让大家感受一下auditbeat是如何工作的。
配置Auditbeat
默认配置文件称为auditbeat.yml。还有一个名为auditbeat.reference.yml的完整示例配置文件，其中显示了所有不推荐使用的选项。
- 定义要启用的Auditbeat模块。 Auditbeat使用模块来收集审核信息。 对于每个模块，指定要收集的指标集。
以下示例显示了file_integrity模块，该模块配置为在磁盘上指定路径之一中的文件发生更改时生成事件：
auditbeat.modules:
- module: file_integrity
paths:
- /bin
- /usr/bin
- /sbin
- /usr/sbin
- /etc
- /Users/liuxg/tmp
在上面，我们特意添加了一个自己创建的文件目录/Users/liuxg/tmp。这样Auditbeat就可以用来监测我这个目录里的文件变化。在下面的练习中，我们可以用来展示。
- 配置输出。
Auditbeat支持多种输出，但是通常您将事件直接发送到Elasticsearch或Logstash以进行其他处理。
要将输出直接发送到Elasticsearch（不使用Logstash），请设置Elasticsearch安装的位置：
output.elasticsearch:
hosts: ["myEShost:9200"]
- 如果您打算使用Auditbeat随附的示例Kibana仪表板，请配置Kibana端点。 如果Kibana与Elasticsearch在同一主机上运行，则可以跳过此步骤。
setup.kibana:
host: "mykibanahost:5601"
如果Elasticsearch和Kibana受保护，请在运行设置和启动Auditbeat的命令之前在auditbeat.yml配置文件中设置凭据。
output.elasticsearch:
hosts: ["myEShost:9200"]
username: "filebeat_internal"
password: "YOUR_PASSWORD"
setup.kibana:
host: "mykibanahost:5601"
username: "my_kibana_user"
password: "YOUR_PASSWORD"
请注意在上面我们使用了假设的用户名及密码。在实际的使用中请根据自己的情况进行适当地修改。
测试Auditbeat
在我们真正地在Kibana使用之前，我们先来测试一下我们的Auditbeat安装是否成功。我们可以在Auditbeat的安装目录进行如下的尝试：
./auditbeat test config -e
$ ./auditbeat test config -e
2019-11-20T10:41:42.920+0800 INFO instance/beat.go:607 Home path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64] Config path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64] Data path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/data] Logs path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/logs]
2019-11-20T10:41:42.942+0800 INFO instance/beat.go:615 Beat ID: 594d560c-72a0-4150-833b-36eb84110404
2019-11-20T10:41:42.946+0800 INFO [beat] instance/beat.go:903 Beat info {"system_info": {"beat": {"path": {"config": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "data": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/data", "home": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "logs": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/logs"}, "type": "auditbeat", "uuid": "594d560c-72a0-4150-833b-36eb84110404"}}}
2019-11-20T10:41:42.947+0800 INFO [beat] instance/beat.go:912 Build info {"system_info": {"build": {"commit": "15075156388b44390301f070960fd8aeac1c9712", "libbeat": "7.4.2", "time": "2019-10-28T19:43:09.000Z", "version": "7.4.2"}}}
2019-11-20T10:41:42.947+0800 INFO [beat] instance/beat.go:915 Go runtime info {"system_info": {"go": {"os":"darwin","arch":"amd64","max_procs":16,"version":"go1.12.9"}}}
2019-11-20T10:41:42.950+0800 INFO [beat] instance/beat.go:919 Host info {"system_info": {"host": {"architecture":"x86_64","boot_time":"2019-11-19T21:59:49.56243+08:00","name":"localhost","ip":["127.0.0.1/8","::1/128","fe80::1/64","fe80::aede:48ff:fe00:1122/64","fe80::14f1:d192:691:db99/64","169.254.101.151/16","fe80::4c5:e058:2e93:f7d4/64","192.168.0.100/24","fe80::c51f:4010:9bb0:5bf6/64","fe80::6b47:ca1b:644:8cbc/64"],"kernel_version":"19.0.0","mac":["ac:de:48:00:11:22","a6:83:e7:69:f5:24","a4:83:e7:69:f5:24","06:83:e7:69:f5:24","ea:12:7d:7a:0d:b7","ea:12:7d:7a:0d:b7","a0:ce:c8:d0:90:be","82:51:61:05:3c:01","82:51:61:05:3c:00","82:51:61:05:3c:05","82:51:61:05:3c:04","82:51:61:05:3c:01"],"os":{"family":"darwin","platform":"darwin","name":"Mac OS X","version":"10.15.1","major":10,"minor":15,"patch":1,"build":"19B88"},"timezone":"CST","timezone_offset_sec":28800,"id":"E51545F1-4BDC-5890-B194-83D23620325A"}}}
2019-11-20T10:41:42.951+0800 INFO [beat] instance/beat.go:948 Process info {"system_info": {"process": {"cwd": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "exe": "./auditbeat", "name": "auditbeat", "pid": 5862, "ppid": 562, "start_time": "2019-11-20T10:41:41.898+0800"}}}
2019-11-20T10:41:42.951+0800 INFO instance/beat.go:292 Setup Beat: auditbeat; Version: 7.4.2
2019-11-20T10:41:42.951+0800 INFO [index-management] idxmgmt/std.go:178 Set output.elasticsearch.index to 'auditbeat-7.4.2' as ILM is enabled.
2019-11-20T10:41:42.951+0800 INFO elasticsearch/client.go:170 Elasticsearch url: http://localhost:9200
2019-11-20T10:41:42.952+0800 INFO [publisher] pipeline/module.go:97 Beat name: localhost
2019-11-20T10:41:42.953+0800 WARN [cfgwarn] host/host.go:167 BETA: The system/host dataset is beta
2019-11-20T10:41:42.994+0800 WARN [cfgwarn] package/package.go:170 BETA: The system/package dataset is beta
2019-11-20T10:41:43.015+0800 WARN [cfgwarn] process/process.go:131 BETA: The system/process dataset is beta
2019-11-20T10:41:43.036+0800 WARN [process] process/process.go:174 Running as non-root user, will likely not report all processes.
Config OK
上面的显示结果我们的配置是成功的。
装载index template到Elasticsearch中
建议的Auditbeat索引模板文件由Auditbeat软件包安装。 如果您在auditbeat.yml配置文件中接受默认配置，则Auditbeat在成功连接到Elasticsearch之后会自动加载模板。 如果模板已经存在，除非您配置Auditbeat这样做，否则它不会被覆盖。
默认情况下，如果启用了Elasticsearch输出，则Auditbeat会自动加载建议的模板文件fields.yml。 如果要使用默认索引模板，则不需要其他配置。 否则，您可以在auditbeat.yml中更改默认值。
setup.template.name: "your_template_name"
setup.template.fields: "path/to/fields.yml"
使用Elastic所提供的默认template。
设置Kibana dashboard
Auditbeat随附了示例Kibana仪表板，可视化文件以及用于在Kibana中可视化Auditbeat数据的搜索。 在使用仪表盘之前，您需要创建索引模式，auditbeat- *，并将仪表盘加载到Kibana中。为了做这个，我们可以采用两种方法：
-
直接在auditbeat.yml文件中加入如下的句子：
setup.dashboards.enabled: true -
使用如下的命令（在audibeat的安装目录中，请确信Kibana在运行后，在打入如下的命令）：
./auditbeat setup --dashboards
$ ./auditbeat setup --dashboards
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
启动Audibeat
终于到了我们最后的一步了。通过为您的平台发出适当的命令来运行Auditbeat：
chown root auditbeat.yml
./auditbeat -e
在这里特别注意的是：要监视系统文件，您将以root用户身份运行Auditbeat，因此您需要更改配置文件的所有权，或者在指定--strict.perms = false的情况下运行Auditbeat
在Kabana中查看数据
数据的名字是以auditbeat为开始的索引。如果由于一些原因你没有看到这些数据，你可以点击右上角的时间设置来查找更大范围里的数据。通常Kibana在默认的情况下显示最近15分钟的数据。
由于在之前我们已经设置了Dashboard，我们现在直接点击Dashboard来进行展示：
我们可以看到有许多以Auditbeat为开始的Dashboard列出来了。我们来选择其中的一个File Integrity来做展示：
还记得我之前在auditbeat.yml，我加入了如下的一句 - /Users/liuxg/tmp：
- module: file_integrity
paths:
- /bin
- /usr/bin
- /usr/local/bin
- /sbin
- /usr/sbin
- /usr/local/sbin
- /Users/liuxg/tmp
下面我们在目录/Users/liuxg/tmp里创建一个文件，然后，我们再看看在Kibana中有什么变化,再次查看一下Kibana可以看到许多的关于文件a的变化信息。
同样地，也可以选择其它的关于auditbeat的dashboard.