ElasticSearch常用的查询操作

一、相关概念

Index(索引)【同样是名词这里与mysql中的索引还是有区别的】

  Index是名词的时候就是我们平时理解的索引,好比导航一个可以方便我们查询,但在esIndex(索引)常常是一个动词应该被理解为添加。索引是一些具有相似特征的文档集合,类似于MySql中数据库的概念。

Near Realtime(近实时)

  Elasticsearch是一个近乎实时的搜索平台,这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)

Cluster(集群)

  群集是一个或多个节点的集合,它们一起保存整个数据,并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称,节点通过名称加入群集。(集群分为主节点和从节点)

Node(节点)

  节点是指属于集群的单个Elasticsearch实例,elasticsearch java编写的,所以每个节点本质上都是一个java进程每个节点存储数据并参与集群的索引和搜索功能。可以将节点配置为按集群名称加入特定集群,默认情况下,每个节点都设置为加入一个名为elasticsearch的群集。

Type(类型)

  类型是索引的逻辑类别分区,通常,为具有一组公共字段的文档类型,类似MySql中表的概念。注意:在Elasticsearch 6.0.0及更高的版本中,一个索引只能包含一个类型(_doc)

Document(文档)

  文档是可被索引的基本信息单位,以JSON形式表示,类似于MySql中行记录的概念,即一条信息就是一个文档

Feilds column

  ES允许同一个字段有两个不同的类型,例如一个字段可以拥有keyword类型来进行聚合与排序,也可以拥有text来做全文检索。

Shards(分片)

  当索引存储大量数据时,可能会超出单个节点的硬件限制,为了解决这个问题,Elasticsearch提供了将索引细分为分片的概念。分片机制赋予了索引水平扩容的能力、并允许跨分片分发和并行化操作,从而提高性能和吞吐量。

Replicas(副本)

  在可能出现故障的网络环境中,需要有一个故障切换机制,Elasticsearch提供了将索引的分片复制为一个或多个副本的功能,副本在某些节点失效的情况下提供高可用性。

文档的元数据用于标注稳定的相关信息_index -文档所属的索引名_type -文档所属的类型名_source-文档的原始Json数据,_version-文档的版本_score-相关性得分

二、简单操作

1、索引操作(index)

  1)查看索引信息

GET /_cat/indices?v

  2)创建索引

PUT /customer

  3)删除索引

DELETE /customer

2、文档操作(document)

  1)添加或者修改索引

PUT /customer/_doc/1
{
  "name": "John Doe"
}

  2)查看索引中的文档

GET /customer/_doc/1

  3)修改索引中的文档

POST /customer/_doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}

  4)删除索引中的文档

DELETE /customer/_doc/1

    5)批量添加

POST /_bulk
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "1" } }
{"name":"jjl","age":30}
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "2" } }
{"name":"xb","age":40}

3、数据搜索(对index下的document操作)

  1)查询所有数据

GET /bank/_search
 { "query": { "match_all": {} } }

  2)分页搜索,from表示偏移量,从0开始,size表示每页显示的数量

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

  3)搜索排序,使用sort表示,例如按balance字段降序排列

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

  4)搜索并返回指定字段内容,使用_source表示,例如只返回account_numberbalance两个字段内容

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } 
    
  },
  "_source": ["account_number", "balance"]
  
}

  5)条件搜索,使用match表示匹配条件,例如搜索出account_number20的文档

GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

  6)文本类型字段的条件搜索,例如搜索address字段中包含mill的文档,对比上一条搜索可以发现对于数值类型match操作使用的是精确匹配,对于文本类型(text)使用的是模糊匹配

GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}

  7)短语匹配搜索,使用match_phrase表示,例如搜索address字段中同时包含milllane的文档

GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

  8)组合搜索,使用bool来进行组合,must表示同时满足,例如搜索address字段中同时包含milllane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  9)组合搜索,should表示满足其中任意一个,搜索address字段中包含mill或者lane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  10)组合搜索,must_not表示同时不满足,例如搜索address字段中不包含mill且不包含lane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  11)组合搜索,组合mustmust_not,例如搜索age字段等于40state字段不包含ID的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

4. 过滤搜索

  1)搜索过滤,使用filter来表示,例如过滤出balance字段在20000~30000的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

5、搜索聚合

  1)对搜索结果进行聚合,使用aggs来表示,类似于MySql中的group by,例如对state字段进行聚合,统计出相同state的文档数量

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

  2)嵌套聚合,例如对state字段进行聚合,统计出相同state的文档数量,再统计出balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  3)对聚合搜索的结果进行排序,例如按balance的平均值降序排列

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  4)按字段值的范围进行分段聚合,例如分段范围为age字段的[20,30] [30,40] [40,50],之后按gender统计文档个数和balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}
原文地址:https://www.cnblogs.com/donleo123/p/14155589.html