ELK- elasticsearch 讲解,安装,插件head,bigdesk ,kopf,cerebro(kopf升级版)安装

ElasticSearch:简称es ,分布式全文搜索引擎,使用java语言开发,面向文档型数据库,一条数据就是一个文档,数据用json序列化后存储。

默认端口:9200

借助redis来理解

redis以key/values方式存储数据,abc=123  通过key(abc)即可取出值(123)

 es  使用索引-类型-数据-数据中的某个字段     格式来存储数据。

es安装

服务器ip:192.168.100.2

软件包elasticsearch 6.5:

链接:https://pan.baidu.com/s/14aXMtEldzBT2R8hW2gWEEQ 
提取码:dk7x 

下载完毕后,解压tar包:

[root@host1 [00:35:22]/usr/src]#tar xf elasticsearch-6.5.1.tar.gz 

解压后,解压的目录可以直接使用,将解压后的目录移动到一个指定位置,并命名

[root@host1 [00:36:08]/usr/src]#mv elasticsearch-6.5.1  /usr/local/elasticsearch

在PATH变量中添加es的bin目录,让系统可以找到es的可执行文件,方便执行命令

[root@host1 [00:37:10]/usr/src]#cat /etc/profile |tail -3 |head -1
export PATH=$PATH:/usr/local/elasticsearch/bin:/usr/bin/:/usr/local/node/bin/

编辑es配置文件,配置监听端口,地址等信息

[root@host1 [00:39:52]/usr/local/elasticsearch/config]#vim /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: test                 集群名称,配置es集群时设置,集群名称相同,网络相同的情况下,多台可同时对外服务
node.name: linux-node1      本机名称,定义一个你喜欢名称
path.data: /usr/local/elasticsearch/data   es存储数据的目录,此目录不存在,需要手动创建
path.logs: /usr/local/elasticsearch/logs   存储log的目录,同上,需要手动创建

bootstrap.memory_lock: false                内存锁定机制,让es只在内存中缓存数据,不在swap分区中操作,突然的使用swap分区会极大的影响速度   Centos6不支持这个机制,所以要设置false     
bootstrap.system_call_filter: false          上面参数的辅助参数
network.host: 0.0.0.0                           监听的地址
http.port: 9200                                     监听端口,默认9200

进行主配置文件定义后,还要进行下方的配置,否则es会启动失败

1.创建一个普通用户启动es,es不支持root用户启动。

[root@host1 [00:40:39]/usr/local/elasticsearch/config]#useradd admin

2.编辑limit文件,写入下方内容

[admin@host1 [00:57:57]/usr/local/elasticsearch/config]$ulimit -u 4096         用户最大可开启进程,临时生效   需要在你创建的启动es的用户空间执行
[root@host1 [00:46:36]/usr/local/elasticsearch/config]#cat /etc/security/limits.conf  |grep ^*
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

3.用户最pending signals数量

[root@host1 [00:48:13]/usr/local/elasticsearch/config]#cat /etc/security/limits.d/90-nproc.conf  |grep ^*
*          soft    nproc     14794

4.单个JVM能开启的最大线程数设置

[root@host1 [00:49:12]/usr/local/elasticsearch/config]#sysctl -w vm.max_map_count=262144   临时生效
vm.max_map_count = 262144

 


[root@host1 [00:52:27]/usr/local/elasticsearch/config]#echo "vm.max_map_count=262144" >> /etc/sysctl.conf 写入文件永久生效 
[root@host1 [00:52:38]/usr/local/elasticsearch/config]#sysctl -p
vm.max_map_count = 262144

  

5.将es的目录所属主,组,更改为你创建的用户

[admin@host1 [01:00:52]/usr/local/elasticsearch/config]$chown -R admin:admin  /usr/local/elasticsearch/

  

配置完毕后,启动es,需要使用,你创建的普通用户,

 #命令作用是将所有运行中出现的结果输出到文件:/usr/local/elasticsearch/logs/run.log 中,并放在后台执行,不影响前台操作

[admin@host1 [01:04:22]/usr/local/elasticsearch/config]$elasticsearch &> /usr/local/elasticsearch/logs/run.log  &

  

在浏览器中访问你的服务器的ip地址加上9200端口看结果,类似下面,那么恭喜,你的es安装成功了:

下面开始介绍es的简单操作

存储数据下方数据至es中

{

"name":"xiaoming"

"age":"22"

}

需要经过以下几个步骤

1.创建索引名称为index-test

 1)索引库名称必须要全部小写,不能以下划线开头,也不能包含逗号 
 2)如果没有明确指定索引数据的ID,那么es会自动生成一个随机的ID,需要使用POST参数 

[root@host1 [18:18:47]~]#curl -XPUT http://192.168.100.2:9200/index-test

返回结果:{"acknowledged":true,"shards_acknowledged":true,"index":"index-test"}

在某个类型中创建数据

#在index-test的索引中创建一个类型doc,在doc中创建一个数据,user_info存入,username=xiaoming 的对应关系

#-H指定头部,-X指定方法 -d指定参数,参数用双引号保卫,因为最终需要转换为json数据。

[root@host2 [01:22:22]~]#curl -H "Content-Type: application/json" -XPOST 192.168.100.2:9200/index-test/doc/user_info  -d '{"user_name":"xiaoming"}'
{"_index":"index-test","_type":"doc","_id":"user_info","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":0,"_primary_term":3}[root@host2 [01:22:35]~]#

获取数据

#GET方法,获取对应的索引->类型->数据

[root@host2 [01:26:44]~]#curl -H "Content-Type: application/json" -XGET 192.168.100.2:9200/index-test/doc/user_info  
{"_index":"index-test","_type":"doc","_id":"user_info","_version":1,"found":true,"_source":{"user_name":"xiaoming"}}  _source字段使我们存储的数据。

使用这种方法存储操作数据,岂不是非常麻烦,接下来我们可以用独立的模块来连接es并执行操作,模块给我们提供了人性化的界面,比冰冷的代码更温暖。

  elasticsearch-head

#前期版本的es是集成插件的,通过es本身提供功能即可添加某个插件,目前的es跟插件都是独立的,插件需要额外安装

 

 简称head模块,主要功能:中文界面,图形化操作存储,更改,删除数据,界面可显示现有索引,并对索引大小进行检查等。

#使用head插件必须配合node使用,下载时请一并下载node软件包

head以及node软件包:

链接:https://pan.baidu.com/s/1HtTcvMD8p1wtRcHThk4sMA 
提取码:i4oj 

解压软件包

[root@host1 [02:09:22]/usr/src]#tar xf elasticsearch-head.tar.gz 
[root@host1 [02:12:19]/usr/src]#tar xf node-v8.12.0-linux-x64.tar.gz 

配置node的,让系统能够正常执行它的命令,不配置下方步骤,将会报错:

[root@host1 [02:13:41]/usr/src/elasticsearch-head]#ln -s /usr/src/node-v8.12.0-linux-x64/bin/node   /usr/bin/

进入解压后的head插件目录,使用node提供的npm进行进行运行,并将运行日志写到node目录下,放入后台执行,不影响前台操作

[root@host1 [02:20:09]/usr/src]#cd elasticsearch-head
[root@host1 [02:20:15]/usr/src/elasticsearch-head]#/usr/src/node-v8.12.0-linux-x64/bin/npm  run start   &> /usr/src/node-v8.12.0-linux-x64/run.log &

默认监听本机9100端口,通过浏览器访问本机9100端口即可,成功后结果如下。

在红框出输入es的地址,选择连接后即可展示es的信息(我的es已经经过一定的配置了,所以会有下面的这么多索引,如果按照此文的进度,索引是不存在的,so,忽略即可。)

在此处可以查看索引中的全部数据,红框处标记了,之前创建过的user_name:xiaoming内容,在这个平台上可以看到,我们这数据量小,但是实际环境中日志量很定是很大的,那么,可以根据下图中黄色区域使用过滤功能进行查看,根据时间过滤,字段过滤等,对这个功能有兴趣的,可以自行了解下。

 图形化的进行新建索引,删除索引等操作。

下图展示了如何创建一个名称为index-test2的索引

在test2中创建数据

下图演示了在索引test2中的doc类中创建数据,没有定义数据名称,默认会定义一个随机的字符串,如图中的_id字段。

通过随机生成的id获取数据

删除数据

 bigdesk

 

一套用于监控es的插件,功能非常强大,展现出来的图很牛逼,但是有些值我至今没看懂~

另外,这插件几年没更新了,但是还能够监控现在新版本的es,在几年前的时间,这个插件可以说是很厉害了

下载:

链接:https://pan.baidu.com/s/1qLdFCYQBIb3nnajlq4fTZg 
提取码:ohet 

解压:

[root@host1 [02:48:25]/usr/src]#unzip bigdesk-master.zip

进入解压后的目录中的_site,并使用python的功能,创建一个web应用,默认端口8000,即可访问执行python命令的路径下的html文件

[root@host1 [02:48:25]/usr/src]#cd bigdesk-master/_site
[root@host1 [02:50:14]/usr/src/bigdesk-master/_site]#python -m SimpleHTTPServer &>/dev/null &

在浏览器中访问本机8000端口,成功后在红框内输入es地址,下方即可看到图标,es机器cpu,mem等等

              cerebro

kopf的升级版本,更改了个名字,包含kopf的功能(监控工具,并包含head插件的部分功能,可图形化的进行新建索引等操作,有一个痛点,软件是英文版本),并含有其他功能,下图是作者github上的公告,大概意思就是kopf不在更新,升级为cerebro,并对cerebro进行维护。

下载:

链接:https://pan.baidu.com/s/1W1dDPN8Yc6mWQxL7_6KLEg 
提取码:1fj7 

  

 解压:

[root@host1 [03:00:45]/usr/src]#tar xf cerebro-0.8.1.tgz 

进入解压目录后执行程序即可,默认端口9000(我就不放后台执行了,爱怎么执行怎么把,重要的是把过程展现给你们)

[root@host1 [03:00:45]/usr/src]#cd cerebro-0.8.1

[root@host1 [03:01:12]/usr/src/cerebro-0.8.1]#./bin/cerebro 

[info] play.api.Play - Application started (Prod)
[info] p.c.s.AkkaHttpServer - Listening for HTTP on /0:0:0:0:0:0:0:0:9000

访问测试并输入es地址(界面很酷炫有木有)

连接es后,跟head一样,主界面显示了索引信息,但是还增加了监控服务器的负载信息等。

rset界面,可以实现head模块中的图形化执行操作数据的功能,并且增加了只能匹配功能,它帮你匹配你输入的选项后面可能是什么参数。

原文地址:https://www.cnblogs.com/xiaodai12138/p/10084465.html