RabbitMQ集群概述
通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。
这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制。本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务。
安装 Erlang、RabbitMQ
http://yanconggod.blog.51cto.com/1351649/1933009
修改 /etc/hosts
加入集群 3 个节点的对应关系:
10.0.0.231 node1
10.0.0.232 node2
10.0.0.233 node3
设置 Erlang Cookie
RabbitMQ节点之间和命令行工具 (e.g. rabbitmqctl)是使用Cookie互通的,Cookie是一组随机的数字+字母的字符串。当RabbitMQ服务器启动的时候,Erlang VM会自动创建一个随机内容的Cookie文件。如果是通过yum源安装RabbitMQ的话,Erlang Cookie 文件在/var/lib/rabbitmq/.erlang.cookie。如果是通过源码安装的RabbitMQ,Erlang Cookie文件$HOME/.erlang.cookie。
本文演示的实例是用源码安装,由于这个文件权限是 400,所以需要先修改 node2、node3 中的该文件权限为 777:
node1: yancongadmin@node1:~$chmod777.erlang.cookie node2: yancongadmin@node2:~$chmod777.erlang.cookie yancongadmin@node2:~$scp-rnode1:/home/yancongadmin/.erlang.cookie~/ yancongadmin@node1'spassword: .erlang.cookie100%200.0KB/s00:00 node3: yancongadmin@node3:~$chmod777.erlang.cookie yancongadmin@node3:~$scp-rnode1:/home/yancongadmin/.erlang.cookie~/ yancongadmin@node1'spassword: .erlang.cookie100%200.0KB/s00:00
分别在node1、node2、node3将权限恢复过来:
yancongadmin@node1:~$chmod400.erlang.cookie
最后分别在确认三台机器上的.erlang.cookie的值是一致的
yancongadmin@node1:~$cat.erlang.cookie VORMVSAAOFOFEQKTNWBB yancongadmin@node2:~$cat.erlang.cookie VORMVSAAOFOFEQKTNWBB yancongadmin@node3:~$cat.erlang.cookie VORMVSAAOFOFEQKTNWBB
使用detached参数,在后台启动Rabbit Node
yancongadmin@node1:~$rabbitmqctlstop Stoppingandhaltingnoderabbit@node1... GracefullyhaltingErlangVM yancongadmin@node1:~$rabbitmq-server-detached
通过rabbitmqctl cluster_status命令,可以查看和个节点的状态,节点的名称是rabbit@shorthostname,
node1: yancongadmin@node1:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node1... [{nodes,[{disc,[rabbit@node1]}]},{running_nodes,[rabbit@node1]},{cluster_name,<<"rabbit@node1">>},{partitions,[]},{alarms,[{rabbit@node1,[]}]}] node2: yancongadmin@node2:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node2... [{nodes,[rabbit@node2]}]},[rabbit@node2]},<<"rabbit@node2">>},[{rabbit@node2,[]}]}] node3: yancongadmin@node3:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node3... [{nodes,[rabbit@node3]}]},[rabbit@node3]},<<"rabbit@node3">>},[{rabbit@node3,[]}]}]
将node1、node2、node3组成集群
因为rabbitmq-server启动时,会一起启动节点和应用,它预先设置RabbitMQ应用为standalone模式。要将一个节点加入到现有的集群中,你需要停止这个应用并将节点设置为原始状态,然后就为加入集群准备好了。如果使用./rabbitmqctl stop,应用和节点都将被关闭。所以使用rabbitmqctl stop_app仅仅关闭应用。
node2: yancongadmin@node2:~$rabbitmqctlstop_app Stoppingnoderabbit@node2... yancongadmin@node2:~$rabbitmqctljoin_clusterrabbit@node1 Clusteringnoderabbit@node2withrabbit@node1... yancongadmin@node2:~$rabbitmqctlstart_app Startingnoderabbit@node2... node3: yancongadmin@node3:~$rabbitmqctlstop_app Stoppingnoderabbit@node3... yancongadmin@node3:~$rabbitmqctljoin_clusterrabbit@node1 Clusteringnoderabbit@node3withrabbit@node1... yancongadmin@node3:~$rabbitmqctlstart_app Startingnoderabbit@node3...
此时 node2 与 node3 也会自动建立连接。
如果要使用内存节点,则可以使用以下命令:
yancongadmin@node2:~$rabbitmqctljoin_cluster--ramrabbit@node1
集群配置好后,可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。
node1: yancongadmin@node1:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node1... [{nodes,[rabbit@node1,rabbit@node2,rabbit@node3]}]},[]}]}] node2: yancongadmin@node2:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node2... [{nodes,rabbit@node2]}]},[]}]}] node3: yancongadmin@node3:~$rabbitmqctlcluster_status Clusterstatusofnoderabbit@node3... [{nodes,[]}]}]
RabbitMQ镜像功能
使用Rabbit镜像功能,需要基于RabbitMQ策略来实现,策略是用来控制和修改群集范围的某个vhost队列行为和Exchange行为
yancongadmin@node2:~$rabbitmqctlset_policy-phrsystemha-allqueue"^"'{"ha-mode":"all"}'
这行命令在vhost名称为hrsystem创建了一个策略,策略名称为ha-allqueue,策略模式为 all 即复制到所有节点,包含新增节点,策略正则表达式为 “^” 表示所有匹配所有队列名称。
例如下面的命令,^message 这个规则要根据自己修改,这个是指同步”message”开头的队列名称,我们配置时使用的应用于所有队列,所以表达式为”^”。
yancongadmin@node2:~$rabbitmqctlset_policy-phrsystemha-allqueue"^message"'{"ha-mode":"all"}'
在任意一个节点上执行:
yancongadmin@node2:#rabbitmqctlset_policyha-all"^"'{"ha-mode":"all"}' Settingpolicy"ha-all"forpattern"^"to"{\"ha-mode\":\"all\"}"withpriority"0"
将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态保持一直。
我使用过的例子,仅供参考:
rabbitmqctlset_policyha-xxx"^cn\.xxx"\ '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic","ha-promote-on-shutdown":"always","ha-sync-batch-size":20}' rabbitmqctlset_policyqueue-xxx"^queue"\ '{"ha-mode":"exactly","ha-sync-batch-size":20}'
如果需要负载均衡器,需要安装并配置 HAProxy
例如:
listenrabbitmq_cluster0.0.0.0:5672 modetcp balanceroundrobin servernode110.0.0.231:5672checkinter2000rise2fall3 servernode210.0.0.232:5672checkinter2000rise2fall3 servernode310.0.0.233:5672checkinter2000rise2fall3
参考:http://idoall.org/blog/post/lion/15