elk的搭建

一:准备工作

1.准备一台虚拟机

192.168.175.222      elk-node2

2.关闭防火墙以及selinux

命令:systemctl stop firewalld       #关闭firewall防火墙

命令:iptables  -F                        #清除iptables防火墙规则

命令:setenforce 0      #临时有效,重启无效

命令:vim /etc/selinux/config         #selinux的配置文件路径

3.部署java环境

将tar包解压到 /usr/local下 版本为jdk-8u211-linux-x64.tar.gz     #路径为/usr/local/jdk1.8.0_211(解包后自动生成)

命令:wget http://192.168.130.150/jdk/jdk-8u211-linux-x64.tar.gz       #下载需要的安装包

命令:tar xf jdk-8u211-linux-x64.tar.gz -C /usr/local/         #解包到/usr/local,意思是本机用户环境启动

命令:echo "export JAVA_HOME=/usr/local/jdk1.8.0_211" >> /etc/profile.d/jdk8.sh        #在配置文件里声明路径(指定路径)

命令:echo "export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jar/tools.jar:$JAVA_HOME/jre/lib" >> /etc/profile.d/jdk8.sh       #在配置文件里声明Java变量环境

命令:echo "export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH" >> /etc/profile.d/jdk8.sh         #在配置文件里声明启动Java变量环境

命令:echo "export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/apr/lib" >> /etc/profile.d/jdk8.sh            #在配置文件里声明启动Java变量环境路径

命令:chmod +x /etc/profile.d/jdk8.sh       #给Java变量环境添加执行权限

命令:source /etc/profile.d/jdk8.sh          #重启环境

命令:java -version            #查看Java变量环境

(注意:上面的命令可以直接做成脚本,不过执行完脚本之后,要重新source一下才可以,因为脚本内的java环境已经重启,本地电脑的环境并没有重启)

 现在准备工作已经差不多了,接下来就是搭建elk

二:搭建elk

搭建elasticsearch

1.配置yum源

导入GPG key    #GPG公钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch         #检查机制(类似密钥)

命令:yum update curl              #如果报错执行一下这个 刷新yum源

命令:vim /etc/yum.repos.d/elasticsearch.repo        #自定义yum源文件名

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum         #指定包路径
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch     #检查机制
enabled=1
autorefresh=1
type=rpm-md

安装目录: 

命令:mkdir /usr/share/elasticsearch     #意思是本机用户共用一定放在这

命令:yum -y  install elasticsearch         #yum源安装

2.配置文件的修改

命令:chkconfig --add elasticsearch     #配置自动启动

命令:mkdir -p /data/elasticsearch/lib     #指定数据文件路径

命令:mkdir -p /data/elasticsearch/log      #指定日志文件路径

命令:chmod 777 -R /data/elasticsearch     #添加目录以及子目录权限,可以让任何数据和日志文件都能收集到

命令:vim /etc/elasticsearch/elasticsearch.yml           #修改elasticsearch配置文件

path.data: /data/elasticsearch/lib               #指定数据路径

path.logs: /data/elasticsearch/log              #指定日志文件路径

network.host: 0.0.0.0                                 #打开连接端口,允许所有

修改配置文件

命令:vim /etc/security/limits.conf          #设置连接次数

* soft nofile 65536
* hard nofile 65536          #放在文件最后

修改配置文件

命令:vim  /etc/elasticsearch/jvm.options        #设置内存大小配置文件

-Xms8g
-Xmx8g                #需要根据自己虚拟机的配置修改,内存的大小

启动服务service elasticsearch

命令:service elasticsearch start

注意:如果启动失败

请输入命令:tail -F /var/log/messages

which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)

解决办法:

命令:vim /etc/sysconfig/elasticsearch

在配置文件里添加   JAVA_HOME=/usr/local/jdk1.8.0_211   #指定java环境路径

 然后再重启服务

命令:service elasticsearch restart       #重启

验证安装:

命令:curl -X GET "localhost:9200/"

看见这些就证明验证成功了

端口配置
iptables -I INPUT -p tcp --dport 9200 -j ACCEPT            #允许端口9200通过,若清空了防火墙,就无需配置
service iptables save
service iptables restart

好了,现在elasticsearch已经搭建完成了,接下来搭建Logstash

三:搭建Logstash

1.先配置yum源

导入GPG key           #官方签名机制

命令:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch     #下载机制

注意:如果报错,就不用下载了,前面已经下载一次了,如果安装失败,重新下载一次

如果还是报错

解决方案:

命令:wget https://packages.elastic.co/GPG-KEY-elasticsearch --no-check-certificate     #查找相应的GPG密钥,并导入到RPM

命令:rpm --import GPG-KEY-elasticsearch       #利用RPM下载密钥

2.新建repo文件

命令:vim /etc/yum.repos.d/logstash.repo

[logstash-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.安装
命令:yum -y install logstash

4.测试 加启动 并且 需要持续的启动

命令:/usr/share/logstash/bin/logstash -e 'input { stdin { } } output {stdout {} }'   #测试logstash

报错:WARNING:Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash.You can specify the path using --path.settings.

Continuing using the defaults             #找不到logstash.yml,它通常位于$LS_HOME/config或/etc/logstash中

报错:Could not find log4j2 configuration at path /usr/share/logstash/cinfig/log4j2.properties. Using default config which logs errors to the console             

#在路径/usr/share/logstash/config/log4j2.properties.中找不到log4j2配置文件,无法建立控制台,找到log4j2配置文件放入上面路径即可解决报错

解决办法:

命令:find / -name logstash.yml -type f           #利用find查找logstash.yml文件所在地

命令:find / -name log4j2.properties -type f        #利用find查找log4j2.properties文件所在地

命令:cp -r /etc/logstash/logstash.yml   /usr/share/logstash/config/                  #将配置logstash.yml文件复制到 /usr/share/logstash/config/

命令:cp -r /etc/logstash/log4j2.properties  /usr/share/logstash/config/                 #将配置log4j2.properties文件复制到 /usr/share/logstash/config/

命令:vim /usr/share/logstash/config/logstash.yml

path.data: /data/elasticsearch/lib            #指定文件路径

path.logs: /data/elasticsearch/log           #指定日志文件路径

 5.创建日志收集规则

命令:vim /root/file.conf

input {
    file {
      path => "/var/log/messages"
      type => "system"
      start_position => "beginning"
    }
}                               #输入规则

output {
    elasticsearch {
       hosts => ["192.168.1.151:9200"]
       index => "system-%{+YYYY.MM.dd}"
    }
}                             #输出规则

 6.按照配置好的收集日志的规则去启动logstash

命令:/usr/share/logstash/bin/logstash -f /root/file.conf

命令:/usr/share/logstash/bin/logstash -f /root/file.conf &              #后台登录

注意:配置文件默认目录配置文件拷贝到这下面(/etc/logstash/conf.d/)执行 systemctl restart logstach 是不行的

 只能指定文件启动

输入命令:ps aux | grep logstash看看服务是否启动

好了,接下来就安装kibana

四:安装 Kibana

导入GPG Key
命令:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

如果失败,就将网站链接在浏览器上输入一遍,然后会自动弹出对话框,然后点击保存文件,

在命令行内再次输入rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch就可以了

1.新建repo文件:

命令:vim  /etc/yum.repos.d/kibana.repo
[kibana-6.x]
name=Kibana repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

2安装
命令:yum -y  install kibana 

3.配置
命令:vim /etc/kibana/kibana.yml
   server.port: 5601             #打开kibana端口
   server.host: "0.0.0.0"              #可以收集所有网段的ip
   elasticsearch.hosts: ["http://localhost:9200"]           #打开节点端口
   i18n.locale: "zh-CN" #最后一行汉化                #可以支持中文,当然了,英语好的不用修改

4.启动服务

命令:/usr/share/kibana/bin/kibana             #启动服务

命令:systemctl restart kibana                    #持续开启服务

温馨提示:elasticsearch,logstash,kibana启动服务的时候命令行会一直停在那,不能结束,否则后续步骤不能进行,多开几个界面就行了

或者可以放在后台启动也行,不过个人建议多开几个界面,如果某个服务停了,利于排查故障

5.在浏览器上访问http://192.168.175.100:5601           

 温馨提示:kibana支持很多可视图插件,如:elasticsearch-head-master,elasticsearch-kopf-master,bigdesk-master(集群插件),根据自己需要安装

添加索引

 温馨提示:因为是刚刚搭建完毕,所以里面并没有什么数据,只能通过系统文件建立索引,只是为了演示

原文地址:https://www.cnblogs.com/xiaolei123/p/11898328.html