ElasticSearch:集群搭建(基于Docker)

ES集群简介

elasticsearch是天生支持集群的,他不需要依赖其他的服务发现和注册的组件,如zookeeper这些,因为他内置了一个名字叫ZenDiscovery.的模块,是elasticsearch,自己实现的一套用于节点发现和选主等功能的组件,所以elasticsearch做起集群来非常简单,不需要太多额外的配置和安装额外的第三方组件。

一个运行中的Elasticsearch实例称为一个节点,而集群是由一个或者多个拥有相同cluster.name配置的节点组成,它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时,集群将会重新平均分布所有的数据。

当一个节点被选举成为主节点时,它将负责管理集群范围内的所有变更,例如增加、删除索引,或者增加、删除节点等。而主节点并不需要涉及到文档级别的变更和搜索等操作,所以当集群只拥有一个主节点的情况下,即使流量的增加它也不会成为瓶颈。任何节点都可以成为主节点。我们的示例集群就只有一个节点,所以它同时也成为了主节点。

作为用户,我们可以将请求发送到集群中的任何节点,包括主节点。每个节点都知道任意文档所处的位置,并且能够将我们的请求直接转发到存储我们所需文档的节点。无论我们将请求发送到哪个节点,他都能负责从各个包含我们所需文档的节点收集回数据,将最终结果返回到客户端,es对这一切的管理都是透明的。

集群搭建

sysctl -w vm.max_map_count=262144
docker network ls
docker network create --driver  bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1 mynet

image-20210401130822397

创建三个master节点

for port in $(seq 1 3); 
do 
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF > /mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es  #集群的名称,同一个集群该值必须设置成相同的
node.name: es-master-${port}  #该节点的名字
node.master: true  #该节点有机会成为master节点
node.data: false #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0   #所有http均可访问
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts: ["172.18.1.21:9301","172.18.1.22:9302","172.18.1.23:9303"]
cluster.initial_master_nodes: ["172.18.1.21"] #新集群初始时的候选主节点,es7的新增配置
EOF
docker run --name elasticsearch-node-${port} 
-p 920${port}:920${port} -p 930${port}:930${port} 
--network=mynet --ip 172.18.1.2${port} 
-e ES_JAVA_OPTS="-Xms300m -Xmx300m"  
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data  
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins  
-d elasticsearch:7.4.2
done

image-20210401131921790

创建三个从节点

for port in $(seq 4 6); 
do 
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF > /mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es  #集群的名称,同一个集群该值必须设置成相同的
node.name: es-node-${port}  #该节点的名字
node.master: false  #该节点有机会成为master节点
node.data: true #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0   #所有http均可访问
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts: ["172.18.1.21:9301","172.18.1.22:9302","172.18.1.23:9303"]
cluster.initial_master_nodes: ["172.18.1.21"] #新集群初始时的候选主节点,es7的新增配置
EOF
docker run --name elasticsearch-node-${port} 
-p 920${port}:920${port} -p 930${port}:930${port} 
--network=mynet --ip 172.18.1.2${port} 
-e ES_JAVA_OPTS="-Xms300m -Xmx300m"  
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data  
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins  
-d elasticsearch:7.4.2
done

image-20210401132033318

检查集群:

curl http://192.168.1.48:9201/_cat/nodes

image-20210401132429532

curl http://192.168.1.48:9201/_cluster/health?pretty

image-20210401132537352

原文地址:https://www.cnblogs.com/wwjj4811/p/14605915.html