目录
（见右侧目录栏导航）
- 1. RabbitMQ集群高可用
- 1.1 单一模式
- 1.2 普通模式
- 1.3 镜像模式
- 2. 集群的基本概念
- 3. RabbitMQ普通模式集群配置
- 3.1 安装 rabbitmq
- 4. RabbitMQ 镜像集群配置
- 5. 安装配置 Haproxy
1. RabbitMQ集群高可用
RabbitMQ是用erlang开发的，集群非常方便，因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡。
Rabbit模式大概分为以下三种：
(1) 单一模式
(2) 普通模式
(3) 镜像模式
1.1 单一模式
最简单的情况，非集群模式。
1.2 普通模式
默认的集群模式
上面图中采用三个节点组成了一个RabbitMQ的集群，Exchange A （交换机）的元数据信息在所有节点上是一致的，而 Queue（存放消息的队列）的完整数据则只会存在于它所创建的那个节点上。其他节点只知道这个queue的metadata信息和一个指向queue的owner node的指针。
（1）RabbitMQ集群元数据的同步
RabbitMQ集群会始终同步四种类型的内部元数据（类似索引）：
a. 队列元数据：队列名称和它的属性；
b. 交换机元数据：交换机名称、类型和属性；
c. 绑定元数据：一张简单的表格展示了如何将消息路由到队列；
d. vhost元数据：为vhost内的队列、交换机和绑定提供命名空间和安全属性；
因此，当用户访问其中任何一个RabbitMQ节点时，通过Rabbitctl查询到的queue/user/exchange/vhost等信息都是相同的。
对于Queue来说，消息实体只存在于其中一个节点，node1、node2、node3 三个节点仅有相同的元数据，即队列结构。
当消息进入node1节点的Queue中后，consumer从node2节点拉取时，RabbitMQ会临时在node1、node2之间进行消息传输，把node1中的消息实体取出并经过node2发送给consumer。
所以consumer应尽量连接每个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理Queue。否则无论consumer连A或B，出口总在A，会产生瓶颈。
该模式存在一个问题就是当node1节点故障后，node2、node3节点无法取到node1节点中还未消费的消息实体。
如果做了消息持久化，那么得等A节点恢复，然后才可被消费；如果没有持久化的话，那么数据就丢失了。
1.3 镜像模式
把需要的队列做成镜像队列，存在于多个节点，属于RabbitMQ的HA方案。
该模式解决了上述问题，其实和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在consumer取数据时临时拉取。
该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉。
所以在对可靠性要求较高的场合中适用
2. 集群的基本概念
RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。不过，如前文所述，如果在投递消息时，打开了消息的持久化，那么即使是内存节点，数据还是安全的放在磁盘。
一个rabbitmq集 群中可以共享 user，vhost，queue，exchange等，所有的数据和状态都是必须在所有节点上复制的，rabbitmq节点可以动态的加入到集群中，一个节点它可以加入到集群中，也可以从集群环集群会进行一个基本的负载均衡。
集群中有两种节点：
(1) 内存节点：只保存状态到内存（一个例外的情况是：持久的queue的持久内容将被保存到disk）
(2) 磁盘节点：保存状态到内存和磁盘。
内存节点虽然不写入磁盘，但是它执行比磁盘节点要好。集群中，只需要一个磁盘节点来保存状态 就足够了
如果集群中只有内存节点，那么不能停止它们，否则所有的状态，消息等都会丢失。
集群实现思路：
那么具体如何实现RabbitMQ高可用，我们先搭建一个普通集群模式，在这个模式基础上再配置镜像模式实现高可用，Rabbit集群前增加一个反向代理，生产者、消费者通过反向代理访问RabbitMQ集群，如图：
3. RabbitMQ普通模式集群配置
3.1 安装 rabbitmq
（1）修改主机名、安装 rabbitmq
192.168.118.15 、192.168.118.16、192.168.118.17 对应执行以下操作（主机各自的主机名）
[root@192.168.118.15 ~]# hostnamectl set-hostname node1
[root@192.168.118.15 ~]# hostname node1
[root@192.168.118.15 ~]# cd /opt/
[root@192.168.118.15 /opt]# ls??
# erlang、rabbitmq-server 下载地址：http://ww.rabbitmq.com/releases/
erlang-19.0.4-1.el6.x86_64.rpm??rabbitmq-server-3.6.13-1.el7.noarch.rpm
[root@192.168.118.15 /opt]# yum install *.rpm -y
只需在node1(192.168.118.15)上启动服务
[root@192.168.118.15 /opt]#systemctl start rabbitmq-server # 启动服务
[root@192.168.118.15 ~]#rabbitmq-plugins enable rabbitmq_management # 开启后端web管理
[root@192.168.118.15 ~]#netstat -ntplu | egrep beam
tcp 0 0 0.0.0.0:25672 0.0.0.0:* LISTEN 4557/beam
tcp 0 0 0.0.0.0:15672 0.0.0.0:* LISTEN 4557/beam
tcp6 0 0 :::5672 :::* LISTEN 4557/beam
（2）拷贝 .erlang.cookie
Rabbitmq的集群是依附于erlang的集群工作的，所以必须先构建起erlang的集群模式。erlang.cookie是erlang实现分布式的必要文件，erlang分布式的每个节点上要保持相同的.erlang.cookie文件，同时保证文件的权限是400
[root@192.168.118.15 ~]#cat /var/lib/rabbitmq/.erlang.cookie
GFCOJDLAKUIEJCLKCNVR
将 192.168.118.15 的 .erlang.cookie 文件拷贝到 192.168.118.16、192.168.118.17 对应的目录下并设置权限
[root@192.168.118.15 ~]#scp /var/lib/rabbitmq/.erlang.cookie node2:/var/lib/rabbitmq/
[root@192.168.118.15 ~]#scp /var/lib/rabbitmq/.erlang.cookie node3:/var/lib/rabbitmq/
分别在 192.168.118.16、192.168.118.17 赋予权限
192.168.118.16
[root@192.168.118.16 ~]#ll /var/lib/rabbitmq/.erlang.cookie
-r-------- 1 root root 20 Jan 7 20:43 /var/lib/rabbitmq/.erlang.cookie
[root@192.168.118.16 ~]#chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie
192.168.118.17
[root@192.168.118.17 ~]#ll /var/lib/rabbitmq/.erlang.cookie
-r-------- 1 root root 20 Jan 7 20:45 /var/lib/rabbitmq/.erlang.cookie
[root@192.168.118.17 ~]#chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie
开启 node2(192.168.118.16) node3(192.168.118.17) 服务
[root@192.168.118.16 ~]#systemctl start rabbitmq-server
[root@192.168.118.17 ~]#systemctl start rabbitmq-server
（3）将node2(192.168.118.16)、node3(192.168.118.17) 作为内存节点加入node1(192.168.118.15)节点集群中
node2(192.168.118.16)
[root@192.168.118.16 ~]#rabbitmqctl stop_app
Stopping rabbit application on node rabbit@node2
[root@192.168.118.16 ~]#rabbitmqctl join_cluster --ram rabbit@node1
Clustering node rabbit@node2 with rabbit@node1
[root@192.168.118.16 ~]#rabbitmqctl start_app
Starting node rabbit@node2
node3(192.168.118.17)
[root@192.168.118.17 ~]#rabbitmqctl stop_app # 停止rabbit应用
Stopping rabbit application on node rabbit@node3
[root@192.168.118.17 ~]#rabbitmqctl join_cluster --ram rabbit@node1 # 加入到磁盘节点
Clustering node rabbit@node3 with rabbit@node1
[root@192.168.118.17 ~]#rabbitmqctl start_app # 启动rabbit应用
Starting node rabbit@node3
A. 默认rabbitmq启动后是磁盘节点，在这个cluster命令下，node2和node3是内存节点，node1是磁盘节点。
B. 如果要使node2、node3都是磁盘节点，去掉--ram参数即可。
C. 如果想要更改节点类型，可以使用命令rabbitmqctl change_cluster_node_type disc(ram),前提是必须停掉rabbit应用。
（4）查看集群状态
[root@192.168.118.15 ~]#rabbitmqctl cluster_status
Cluster status of node rabbit@node1
[{nodes,[{disc,[rabbit@node1]},{ram,[rabbit@node3,rabbit@node2]}]},
{running_nodes,[rabbit@node3,rabbit@node2,rabbit@node1]}, # 正在运行中的集群节点
{cluster_name,<<"rabbit@node1">>},
{partitions,[]},
{alarms,[{rabbit@node3,[]},{rabbit@node2,[]},{rabbit@node1,[]}]}]
（5）为rabbit添加用户并授权
[root@192.168.118.15 ~]#rabbitmqctl add_user admin admin # 新建用户
Creating user "admin"
[root@192.168.118.15 ~]#rabbitmqctl set_user_tags admin administrator # 赋予管理员角色
Setting tags for user "admin" to [administrator]
[root@192.168.118.15 ~]#rabbitmqctl set_permissions admin '.*' '.*' '.*' # 授予管理、写、读权限
Setting permissions for user "admin" in vhost "/"
（6）登录rabbitmq web管理控制台，创建新的队列
打开浏览器输入 http://192.168.118.15:15672/ 刚才的创建的用户：admin 密码: admin，登录后出现如图：
根据页面提示创建一条队列
在RabbitMQ普通集群中，必须至少有一个磁盘节点，否则队列元数据无法写入到集群中，当磁盘节点宕掉时，集群将无法写入新的队列元数据信息。
到此，rabbitmq 普通模式搭建完毕。
4. RabbitMQ 镜像集群配置
上面已经完成RabbitMQ默认集群模式，但并不保证队列的高可用性，尽管交换机、绑定这些可以复制到集群里的任何一个节点，但是队列内容不会复制。虽然该模式解决一项目组节点压力，但队列节点宕机直接导致该队列无法应用，只能等待重启，所以要想在队列节点宕机或故障也能正常应用，就要复制队列内容到集群里的每个节点，必须要创建镜像队列。
镜像队列是基于普通的集群模式的，然后再添加一些策略，所以你还是得先配置普通集群，然后才能设置镜像队列，我们就以上面的集群接着做。
设置的镜像队列可以通过开启的网页的管理端，也可以通过命令，这里说的是其中的网页设置方式。
（1） 创建rabbitmq策略
在node1(192.168.118.15)节点的控制台上创建策略
A. 点击admin菜单–>右侧的Policies选项–>左侧最下下边的Add/update a policy。
B. 按照图中的内容根据自己的需求填写。
Name:策略名称
Pattern：匹配的规则，这里表示所有的队列，如果是匹配以a开头的队列，那就是^a.
Definition:使用ha-mode模式中的all，也就是同步所有匹配的队列。问号链接帮助文档。
点击Add policy添加策略
此时分别登陆node2、node3两个节点的控制台，可以看到上面添加的这个策略，如图所示：
node2
node3
（2）添加队列
在node1节点的控制台上添加队列
A. 点击Queues菜单–>左侧下边的Add a new queue
B. 输入Name和Arguments参数的值，别的值默认即可
Name:队列名称
Durability:队列是否持久化
Node：消息队列的节点
Auto delete：自动删除
Arguments:使用的策略类型
将鼠标指向+2可以显示出另外两台消息节点。
（3）创建消息
A. 点击superman队列按钮
B. 拖动滚动条，点击publish message
C. 填写相关内容
2-Persistent:表示持久化
Headers:随便填写即可
Properties:点击问号，选择一个消息ID号
Payload:消息内容
点击queue按钮，发现superman队列的Ready和Total中多了一条消息记录。
（4）做破坏性测试
A. 将node1节点的服务关闭，再通过node2和node3查看消息记录是否还存在。
停止 node1 rabbitmq服务
[root@192.168.118.15 ~]#systemctl stop rabbitmq-server
node2
node3
从中可以看到ab队列已经从之前的+2显示成+1了，而且消息记录是存在的。
B. 再将node2(192.168.118.16)节点的服务关闭，通过node3查看消息记录是否还存在。
[root@192.168.118.16 ~]#systemctl stop rabbitmq-server
从中可以看到superman队列和消息记录还是存在的，只是变成了一个节点了。
C. 将node1和node2的服务再启动起来
[root@192.168.118.15 ~]#rabbitmqctl sync_queue superman
[root@192.168.118.16 ~]#rabbitmqctl sync_queue superman
从提示中显示镜像无法同步。如果这时候停掉node3节点的服务，那么队列里面的消息将会丢失。
启动后，不同步的解决方法是在node1、node2节点上执行同步命令。
[root@192.168.118.15 ~]#rabbitmqctl sync_queue superman
[root@192.168.118.16 ~]#rabbitmqctl sync_queue superman
同步完成后，就显示同步镜像的节点。
这样，我们就测试了rabbitmq集群的破坏性测试，说明集群配置成功。
5. 安装配置 Haproxy
（1）修改主机名
[root@192.168.118.14 ~]#hostnamectl set-hostname haproxy ; hostname haproxy
（2）安装haproxy 这里就直接使用epel源安装haproxy
[root@192.168.118.14 ~]#yum install haproxy -y
（3）修改配置文件
[root@192.168.118.14 ~]#egrep -v '#|^$' /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
mode http
log global
option httplog
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen http_front # haproxy 管理后台
bind 0.0.0.0:1080 # 监听端口
mode http # 开启模式为http
stats enable # 开启后台统计
stats hide-version # 隐藏统计页面上HAProxy的版本信息
stats refresh 30s # 统计页面自动刷新时间
stats uri /stats # 统计页面uri
stats realm Haproxy Manager # 统计页面密码框上提示文本
stats auth admin:admin # 统计页面用户名和密码设置
stats admin if TRUE # 此项是实现haproxy监控页的管理功能的
listen rabbitmq_cluster # RabbitMQ 集群负载
bind 0.0.0.0:5672 # 监听端口
option tcplog
mode tcp
timeout client 3h
timeout server 3h
option clitcpka
balance roundrobin # 负载均衡算法
server node2 192.168.118.16:5672 check inter 5s rise 2 fall 3
server node3 192.168.118.17:5672 check inter 5s rise 2 fall 3
server <name>：定义haproxy内RabbiMQ服务的标识
ip:port: 标识了后端RabbitMQ的服务地址
check inter 5s: 表示每个5秒检测RabbitMQ服务是否可用
rise 2: 表示RabbitMQ服务在发生故障之后，需要2次健康检查才能被再次确认可用
fall 3: 表示需要经历 3 次失败的健康检查之后，HaProxy才会停止使用此RabbitMQ服务
具体HaProxy 相关说明：https://www.cnblogs.com/hukey/p/5586765.html
（4）启动haproxy
[root@192.168.118.14 ~]#systemctl start haproxy
[root@192.168.118.14 ~]#netstat -ntplu | egrep haproxy
tcp 0 0 0.0.0.0:5672 0.0.0.0:* LISTEN 19006/haproxy
tcp 0 0 0.0.0.0:1080 0.0.0.0:* LISTEN 19006/haproxy
udp 0 0 0.0.0.0:43437 0.0.0.0:* 19005/haproxy
通过浏览器登录haproxy统计后台 http://192.168.118.14:1080/stats
到此，RabbitMQ + HaProxy 高可用集群搭建完毕，后面可自行进行测试。
本文参考链接：
http://blog.51cto.com/11134648/2155934
https://www.jianshu.com/p/6376936845ff