Elasticsearch(简介及其单节点搭建)

一,概述


官网地址:https://www.elastic.co/cn/products/elasticsearch
Elasticsearch是什么

  ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web 接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。 设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
Elasticsearch不仅仅是Lucene和全文搜索引擎,它还提供:

  1. 分布式的搜索引擎和数据分析引擎
  2. 全文检索
  3. 对海量数据进行近实时的处理

ElasticSearch的应用场景

全文检索:主要和 Solr 竞争,属于后起之秀。

NoSQL JSON文档数据库主要抢占 Mongo 的市场,它在读写性能上优于 Mongo ,同时也支持地理位置查 询,还方便地理位置和文本混合查询。

监控:统计、日志类时间序的数据存储和分析、可视化,这方面是引领者。

国外:Wikipedia(维基百科)使用ES提供全文搜索并高亮关键字、StackOverflow(IT问答网站)结合全文搜 索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。

国内:百度(在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES,单集群每天导入30TB+数据, 总共每天60TB+)、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。

使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)

二 ,基本概念


RESTful介绍 

参考资料
1. http://www.ruanyifeng.com/blog/2011/09/restful.html

2. http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html
REST : 表现层状态转化(Representational State Transfer),如果一个架构符合REST原则,就称它为 RESTful 架构风 格。

资源: 所谓"资源",就是网络上的一个实体,或者说是网络上的一个具体信息
表现层:我们把"资源"具体呈现出来的形式,叫做它的"表现层"(Representation)。

状态转化(State Transfer):如果客户端想要操作服务器,必须通过某种手段,让服务器端发生"状态转 化"(State Transfer)。而这种转化是建立在表现层之上的,所以就是"表现层状态转化"。就是HTTP协议里 面,四个表示操作方式的动词:GET、POST、PUT、DELETE。它们分别对应四种基本操作:GET用来获取资 源,POST用来新建资源(也可以用于更新资源),PUT用来更新资源,DELETE用来删除资源。

Elasticsearch中涉及到的重要概念

接近实时(NRT)
  Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延 迟(通常是1秒)

集群(cluster)
  一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识,这个名字默认就是“elasticsearch”。这个名字是重要的,因为一个节点只能通过指定某个集 群的名字,来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯,但是使用默认值来进行测试/开发 也是不错的。
节点(node)
  一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能。和集群类 似,一个节点也是由一个名字来标识的,默认情况下,这个名字是一个随机的漫威漫画角色的名字,这个名字会在 启动的时候赋予节点。这个名字对于管理工作来说挺重要的,因为在这个管理过程中,你会去确定网络中的哪些服 务器对应于Elasticsearch集群中的哪些节点。
  一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中,这意味着,如果你在你的网络中启动了若干个节点,并假定它们能够相互发现彼此,它 们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
  在一个集群里,只要你想,可以拥有任意多个节点。而且,如果当前你的网络中没有运行任何Elasticsearch节点, 这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。

索引(index)
  一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索 引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这 个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中,如果你想,可以定义任意多的索引。
类型(type)
  在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来 定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。

文档(document)
  一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然, 也可以拥有某个订单的一个文档。文档以JSON(Javascript Object Notation)格式来表示,而JSON是一个到处存在 的互联网数据交互格式。
  在一个index/type里面,只要你想,你可以存储任意多的文档。注意,尽管一个文档,物理上存在于一个索引之 中,文档必须被索引/赋予一个索引的type。文档类似于关系型数据库中Record的概念。实际上一个文档除了用户定 义的数据外,还包括 in d e x 、 type和_id字段

分片和复制(shards & replicas)
  一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任 一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢。
为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。当你创建一个索引的时 候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置 到集群中的任何节点上。 分片之所以重要,主要有两方面的原因:

  1,允许你水平分割/扩展你的内容容量

     2,允许你在分片(潜在地,位于多个节点上)之上进行分布式的、并行的操作,进而提高性能/吞吐量 至于一个 分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户的你来说,这些 都是透明的。
  在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因 消失了。这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分 片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。复制之所以重要,主要有两方面的原因:
1,在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要 (original/primary)分片置于同一节点上是非常重要的。 2,扩展你的搜索量/吞吐量,因为搜索可以在所有的复制上并行运行
  总之,每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了,每个 索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引 创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制数量,但是不能改变分片的数量。
  默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个复制,这意味着,如果你的集群中至少有两个节 点,你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝),这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上,也可以存放在多台主机上,这取决于你的集群机器数量。主分片 和复制分片的具体位置是由ES内在的策略所决定的。

映射(Mapping)
  Mapping是ES中的一个很重要的内容,它类似于传统关系型数据中table的schema,用于定义一个索引(index)的 某个类型(type)的数据的结构。
  在ES中,我们无需手动创建type(相当于table)和mapping(相关与schema)。在默认配置下,ES可以根据插入的数 据自动地创建type及其mapping。
  mapping中主要包括字段名、字段数据类型和字段索引类

三、Elasticsearch环境搭建

准备工作

CentOS(版本需大于 7 如: C e n t O S - 7 - x 8 6 _6 4 - Minim al- 1 8 0 4.is o )

Java(版本需大于 1.8 如: jd k - 8 u 1 8 1 -lin u x - x 6 4.r p m )

ES安装包(如: ela s tic s e a r c h - 6.4.0.t a r.g z

环境搭建

。。。此处省去jdk安装

安装ES

[root@localhost ~]# tar -zxvf elasticsearch-6.4.0.tar.gz -C /usr

启动

[root@localhost elasticsearch-6.4.0]# bin/elasticsearch

出现异常: Caused by: java.lang.RuntimeException: can not run elasticsearch as root 原因:ES不允许通过ROOT用户启动

解决方案:

 [root@localhost elasticsearch-6.4.0]# groupadd es
 [root@localhost elasticsearch-6.4.0]# useradd -g es es
 [root@localhost elasticsearch-6.4.0]# chown -R es:es /usr/elasticsearch-6.4.0/
 [root@localhost elasticsearch-6.4.0]# ll 
total 436
drwxr-xr-x.  3 es es   4096 Dec 18 01:15 bin
drwxr-xr-x.  2 es es    178 Dec 18 01:16 config
drwxr-xr-x.  3 es es   4096 Aug 17 19:23 lib -rw-r--r--.  1 es es  13675 Aug 17 19:11 LICENSE.txt
drwxr-xr-x.  2 es es    218 Dec 18 01:16 logs
drwxr-xr-x. 27 es es   4096 Aug 17 19:23 modules -rw-r--r--.  1 es es 401465 Aug 17 19:22 NOTICE.txt
drwxr-xr-x.  2 es es      6 Aug 17 19:22 plugins -rw-r--r--.  1 es es   8511 Aug 17 19:11 README.textile [root@localhost elasticsearch-6.4.0]# su es [es@localhost elasticsearch-6.4.0]$ bin/elasticsearch

测试

[root@localhost ~]# curl -X GET localhost:9200 
{
    "name": "x0vIhEF",
    "cluster_name": "elasticsearch",
    "cluster_uuid": "Cpga8etSTu6LmcYm35QqkA",
    "version": {
        "number": "6.4.0",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "595516e",
        "build_date": "2018-08-17T23:18:47.308994Z",
        "build_snapshot": false,
        "lucene_version": "7.4.0",
        "minimum_wire_compatibility_version": "5.6.0",
        "minimum_index_compatibility_version": "5.0.0"
    },
    "tagline": "You Know, for Search"
}

配置远程访问

[root@localhost elasticsearch-6.4.0]# vim config/elasticsearch.yml 
51 #---------------------------------- Network---------------------------------- 
52 # 
53 # Set the bind address to a specific IP (IPv4 or IPv6): 
54 # 
55 network.host: 192.168.XX.XX
56 # 
57 # Set a custom port for HTTP: 
58 # 
59 #http.port: 9200 
60 # 
61 # For more information, consult the network module documentation. 
62 # 
63 # --------------------------------- Discovery ---------------------------------

重新启动ES服务,出现异常:

ERROR: [3] bootstrap checks failed 
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 
[2]: max number of threads [3802] for user [es] is too low, increase to at least [4096] 
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决(切换到root用户):

[root@localhost elasticsearch-6.4.0]# vim /etc/security/limits.conf
# 添加以下内容 *   soft    nofile  65536 
*   hard    nofile  131072 
*   soft    nproc   2048
*   hard    nproc   4096

[root@localhost elasticsearch-6.4.0]# vim /etc/sysctl.conf
# 添加以下内容 vm.max_map_count=655360

[root@localhost elasticsearch-6.4.0]# sysctl -p
vm.max_map_count = 65536
[root@localhost elasticsearch-6.4.0]# reboot
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. 
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

测试访问

原文地址:https://www.cnblogs.com/lhc-hhh/p/13175589.html