对于运维来说搭建日志收集系统还是很有用的，没有它每次要看日志都要到服务器上用命令行查看，比较繁琐。
安装JDK
yum install -y java-1.8.0-openjdk.x86_64
下载软件
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-x86_64.rpm
wget https://download.elastic.co/beats/filebeat/filebeat-1.3.0-x86_64.tar.gz
1.安装Elasticsearch
yum localinstall elasticsearch-5.1.1.rpm -y
修改Elasticsearch 配置文件：
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: myelk #设置群集名
node.name: node-1 #设置节点名
node.attr.rack: r1
path.data: /data/elk #存储elk文件路径
path.logs: /data/logs #存储日志路径
network.host: 0.0.0.0 #监控IP
http.port: 9200 #端口
建立目录设置目录权限，启动Elasticsearch (启动报错的话见最下面错误解决)
mkdir -pv /data/{elk,logs}
chown -R elasticsearch.elasticsearch /data/
/etc/init.d/elasticsearch start
netstat -tlunp|grep java
tcp 0 0 :::9200 :::* LISTEN 2341/java
tcp 0 0 :::9300 :::* LISTEN 2341/java
装完可以web访问可以看到一个简单的web界面，表示正常
http://192.168.20.22:9200/
2.安装kibana
yum localinstall kibana-5.1.1-x86_64.rpm -y
修改配置文件
/etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.20.22:9200"
启动：
/etc/init.d/kibana start
[root@cloud indices]# netstat -tlunp
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 2478/node
访问web界面可以看到http://192.168.20.22:5601/
在被收集服务器上安装filebeat收集访问日志，并发给elk服务器 注：用logstash收集可以 是可以的，但logstash会占用好多内存所以用filebeat。
tar xvf filebeat-1.3.0-x86_64.tar.gz
mv filebeat-1.3.0-x86_64 /data/filebeat1.3.0
修改配置文件,我收集项目的catalina和error日志。
cat /data/filebeat1.3.0/filebeat-app-catalina.yml |grep -vE '^ #|^ #|^#|^$| #'
filebeat:
prospectors:
-
paths:
- /data/tomcat-app/logs/catalina.out
input_type: log
document_type: 192.168.20.180_tomcat-app-catalina-log
output:
elasticsearch:
hosts: ["192.168.20.22:9200"]
index: "filebeat_192.168.20.22_app_catalina"
shipper:
logging:
files:
rotateeverybytes: 10485760 # = 10MB
/data/filebeat/filebeat -e -c /data/filebeat1.3.0/filebeat-app-catalina.yml &
ps -ef|grep filebeat
hladmin 5408 4219 0 Mar05 pts/1 00:00:27 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat-app-catalina.yml
cat filebeat-app-error.yml |grep -vE '^ #|^ #|^#|^$| #'
filebeat:
prospectors:
-
paths:
- /data/tomcat-app/logs/app/error.log
input_type: log
document_type: 10.139.49.180_tomcat-app-error-log
output:
elasticsearch:
hosts: ["10.253.44.80:9220"]
index: "filebeat_10.139.49.180_app_error"
shipper:
logging:
files:
rotateeverybytes: 10485760 # = 10MB
/data/filebeat/filebeat -e -c /data/filebeat1.3.0/filebeat-app-error.yml &
ps -ef|grep filebeat
hladmin 5408 4219 0 Mar05 pts/1 00:00:27 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat_tzp-app-catalina.yml
hladmin 5522 4219 0 Mar05 pts/1 00:00:24 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat_tzp-app-error.yml
然后我们去到web页面配置收集日志
点击Create创建
点击可以 看到日志了
