Docker + Consul + registrator实现服务发现
Consul：分布式、高可用的，服务发现和配置的工具，数据中心
Registrator：负责收集dockerhost上，容器服务的信息，并且发送给consul
Consul-template：根据编辑好的模板生成新的nginx配置文件，并且负责加载nginx配置文件
实验环境：
|
docker01 |
192.168.1.70 |
|
docker02 |
192.168.1.60 |
|
docker03 |
192.168.1.50 |
关闭防火墙和selinux，并修改主机名
[root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce 0 [root@localhost ~]# hostnamectl set-hostname docker01 [root@localhost ~]# su -
1）docker01上，启动consul服务
[root@docker01 ~]# unzip consul_1.5.1_linux_amd64.zip [root@docker01 ~]# mv consul /usr/local/bin/ [root@docker01 ~]# chmod +x /usr/local/bin/consul
以二进制的方式部署consul，并启动，身份为leader
[root@docker01 ~]# consul agent -server -bootstrap > -ui -data-dir=/var/lib/consul-data > -bind=192.168.1.70 > -client=0.0.0.0 > -node=master
这时这个命令会占用终端，可以使用nohup命令让它保持后台运行
[root@docker01 ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.1.70 -client=0.0.0.0 -node=master &
PS:
-bootstrap：加入这个选项时，一般都在server单节点的时候用，自选举为leader
-ui：开启内部web界面
-data-dir：key/volume数据存储位置
-bind：指定开启服务的IP
-client：指定访问的客户端
-node：只当集群内通信使用的名称，默认是用主机名命名的
PS：开启的端口
8300：集群节点
8301：集群内部的访问
8302：跨数据中心的通信
8500：web ui界面
8600：使用dns协议查看节点信息的端口
查看conusl的信息
[root@docker01 ~]# consul info leader_addr = 192.168.1.70:8300 //这个对我们比较有用，其他的都是一些它的算法
查看集群内成员的信息
[root@docker01 ~]# consul members Node Address Status Type Build Protocol DC Segment master 192.168.1.70:8301 alive server 1.5.1 2 dc1 <all>
2）docker02、docker03，加入consul集群
这里我们采用容器的方式去运行consul服务
docker02
[root@docker02 ~]# docker load < myprogrium-consul.tar [root@docker02 ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart always progrium/consul:latest -join 192.168.1.70 -advertise 192.168.1.60 -client 0.0.0.0 -node=node01
docker03
[root@docker03 ~]# docker load < myprogrium-consul.tar [root@docker03 ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart always progrium/consul:latest -join 192.168.1.70 -advertise 192.168.1.50 -client 0.0.0.0 -node=node02
在docker01上就能看到加入的信息
2019/12/26 09:50:25 [INFO] serf: EventMemberJoin: node01 192.168.1.60 2019/12/26 09:50:25 [INFO] consul: member 'node01' joined, marking health alive 2019/12/26 09:53:06 [INFO] serf: EventMemberJoin: node02 192.168.1.50 2019/12/26 09:53:06 [INFO] consul: member 'node02' joined, marking health alive [root@docker01 ~]# consul members Node Address Status Type Build Protocol DC Segment master 192.168.1.70:8301 alive server 1.5.1 2 dc1 <all> node01 192.168.1.60:8301 alive client 0.5.2 2 dc1 <default> node02 192.168.1.50:8301 alive client 0.5.2 2 dc1 <default>
浏览器访问consul服务，验证集群信息
192.168.1.70:8500
3) 下载部署consul-template
在docker01上导入consul-template_0.19.5_linux_amd64.zip
[root@docker01 ~]# unzip consul-template_0.19.5_linux_amd64.zip [root@docker01 ~]# mv consul-template /usr/local/bin/ [root@docker01 ~]# chmod +x /usr/local/bin/consul-template
4）docker02、docker03上部署registrator服务
registrator是一个能自动发现docker container提供的服务，并在后端服务注册中心注册服务或取消服务的工具，后端注册中心支持consul、etcd、skydns2、zookeeper等
docker02
[root@docker02 ~]# docker load < myregistrator.tar [root@docker02 ~]# docker run -d > --name registrator > -v /var/run/docker.sock:/tmp/docker.sock > --restart always > gliderlabs/registrator > consul://192.168.1.60:8500
运行一个nginx容器
[root@docker02 ~]# docker run -d -P --name test nginx:latest b0665dcbd6c5 nginx:latest "nginx -g 'daemon of…" 10 seconds ago Up 9 seconds 0.0.0.0:32768->80/tcp //映射的端口为32768
回到浏览器
docker03
[root@docker03 ~]# docker load < myregistrator.tar [root@docker02 ~]# docker run -d > --name registrator > -v /var/run/docker.sock:/tmp/docker.sock > --restart always > gliderlabs/registrator > consul://192.168.1.50:8500
5）docker01部署一个nginx服务依赖环境
[root@docker01 ~]# yum -y install zlib-devel openssl-devel pcre-devel
[root@docker01 ~]# useradd -M -s /sbin/nologin nginx [root@docker01 ~]# tar zxf nginx-1.14.0.tar.gz [root@docker01 ~]# cd nginx-1.14.0/ [root@docker01 nginx-1.14.0]# ./configure --prefix=/usr/local/nginx > --user=nginx --group=nginx > --with-http_stub_status_module > --with-http_realip_module > --with-pcre --with-http_ssl_module [root@docker01 nginx-1.14.0]# make && make install [root@docker01 nginx-1.14.0]# ln -s /usr/local/nginx/sbin/* /usr/local/sbin/ [root@docker01 nginx-1.14.0]# nginx -t nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful [root@docker01 nginx-1.14.0]# nginx
PS：
这里nginx作为反向代理，代理后端docker02、docker03上nignx的容器服务，所以我们先去docker02、docker03上部署一些服务，为了方便等会看到负载的效果，所以我们运行完成容器之后，做一个主界面内容的区分
docker02：web01 web02
docker03：web03 web04
docker02
[root@docker02 ~]# docker run -itd --name web01 -P nginx:latest [root@docker02 ~]# docker exec -it web01 /bin/bash root@dac0cc15f3fe:/# cd /usr/share/nginx/html/ root@dac0cc15f3fe:/usr/share/nginx/html# echo "This web caontainer in dockek02-web01" > index.html root@dac0cc15f3fe:/usr/share/nginx/html# cat index.html This web caontainer in dockek02-web01 [root@docker02 ~]# docker run -itd --name web02 -P nginx:latest [root@docker02 ~]# docker exec -it web02 /bin/bash root@26d622553e5e:/# cd /usr/share/nginx/html/ root@26d622553e5e:/usr/share/nginx/html# echo "This web caontainer in dockek02-web02" > index.html root@26d622553e5e:/usr/share/nginx/html# cat index.html This web caontainer in dockek02-web02 [root@docker02 ~]# curl 127.0.0.1:32769 This web caontainer in dockek02-web01 [root@docker02 ~]# curl 127.0.0.1:32770 This web caontainer in dockek02-web02
docker03
[root@docker03 ~]# docker run -itd --name web03 -P nginx:latest [root@docker03 ~]# docker exec -it web03 /bin/bash root@a10f25a91edf:/# cd /usr/share/nginx/html/ root@a10f25a91edf:/usr/share/nginx/html# echo "This web caontainer in dockek03-web03" > index.html root@a10f25a91edf:/usr/share/nginx/html# cat index.html This web caontainer in dockek03-web03 [root@docker03 ~]# docker run -itd --name web04 -P nginx:latest [root@docker03 ~]# docker exec -it web04 /bin/bash root@6d30a445c9b8:/# cd /usr/share/nginx/html/ root@6d30a445c9b8:/usr/share/nginx/html# echo "his web caontainer in dockek03-web04" > index.html root@6d30a445c9b8:/usr/share/nginx/html# cat index.html This web caontainer in dockek03-web04 [root@docker03 ~]# curl 127.0.0.1:32768 This web caontainer in dockek03-web03 [root@docker03 ~]# curl 127.0.0.1:32769 This web caontainer in dockek03-web04
更改nginx的配置文件
[root@docker01 ~]# cd /usr/local/nginx/
[root@docker01 nginx]# mkdir consul
[root@docker01 nginx]# cd consul/
[root@docker01 consul]# pwd
/usr/local/nginx/consul
[root@docker01 consul]# vim nginx.ctmpl
[root@docker01 consul]# cat nginx.ctmpl
upstream httpd_backend {
{{range service "nginx"}}
server {{ .Address }}:{{ .Port }};
{{ end }}
}
server {
listen 8000;
server_name localhost;
location / {
proxy_pass http://http_backend;
}
}
[root@docker01 ~]# vim /usr/local/nginx/conf/nginx.conf
在文件最后，也就是倒数第二行添加：
include /usr/local/nginx/consul/*.conf;
使nginx的主配置文件能够识别到新产生的配置文件
[root@docker01 ~]# nginx -s reload
使用consul-template命令，根据模板生产的配置文件，并重新加载nginx的配置文件
[root@docker01 consul]# consul-template -consul-addr 192.168.1.70:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload"
这时这个命令会占用终端，可以使用nohup命令让它保持后台运行
[root@docker01 consul]# nohup consul-template -consul-addr 192.168.1.70:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload" &
此时，应该能够看到，新生产的vhost.conf配置文件已经生效，访问本机的8000端口可以得到不同容器提供的服务
[root@docker01 ~]# cd /usr/local/nginx/consul/
[root@docker01 consul]# ls
nginx.ctmpl vhost.conf
[root@docker01 consul]# cat vhost.conf
upstream httpd_backend {
server 192.168.1.60:32768;
server 192.168.1.60:32769;
server 192.168.1.60:32770;
server 192.168.1.50:32768;
server 192.168.1.50:32769;
}
server {
listen 8000;
server_name localhost;
location / {
proxy_pass http://httpd_backend;
}
}
[root@docker01 consul]# curl localhost:8000
This web caontainer in dockek02-web01
[root@docker01 consul]# curl localhost:8000
This web caontainer in dockek02-web02
[root@docker01 consul]# curl localhost:8000
This web caontainer in dockek03-web03
[root@docker01 consul]# curl localhost:8000
This web caontainer in dockek03-web04
当然，这时不管是添加新的nginx的web容器，或是删除，生产的配置文件都会时时更新，这是我们在运行consul-template这条命令最后添加：/usr/local/sbin/nginx -s reload它的作用
删除之前的test容器，查看vhost文件
[root@docker02 ~]# docker rm -f test
[root@docker01 consul]# cat vhost.conf
upstream httpd_backend {
server 192.168.1.60:32769;
server 192.168.1.60:32770;
server 192.168.1.50:32768;
server 192.168.1.50:32769;
}
在运行一个web05，查看vhost文件的变化
[root@docker02 ~]# docker run -itd --name web05 -P nginx:latest
upstream httpd_backend {
server 192.168.1.60:32769;
server 192.168.1.60:32770;
server 192.168.1.60:32771;
server 192.168.1.50:32768;
server 192.168.1.50:32769;
}
1、docker01主机上以二进制包的方式部署consul服务并后台运行，其身份为leader
2、docker02、docker03以容器的方式运行consul服务，并加入到docker01的consul群集中
3、在主机docker02、docker03上后台运行registrator容器，使其自动发现docker容器提供的服务，并发送给consul
4、在docker01上部署Nginx，提供反向代理服务，docker02、docker03主机上基于Nginx镜像，各运行两个web容器，提供不同的网页文件，以便测试效果
5、在docker01上安装consul-template命令，将收集到的信息（registrator收集到容器的信息）写入template模板中，并且最终写入Nginx的配置文件中
6、至此，实现客户端通过访问Nginx反向代理服务器（docker01），获得docker02、docker03服务器上运行的Nginx容器提供的网页文件
Consul：分布式、高可用的，服务发现和配置的工具，数据中心
Registrator：负责收集dockerhost上，容器服务的信息，并且发送给consul
registrator是一个能自动发现docker container提供的服务，并在后端服务注册中心注册服务或取消服务的工具，后端注册中心支持consul、etcd、skydns2、zookeeper等
Consul-template：根据编辑好的模板生成新的nginx配置文件，并且负责加载nginx配置文件
转载：https://blog.csdn.net/weixin_45636702/article/details/104052683