RabbitMQ学习之集群镜像模式配置
2016-12-06 10:33
387 查看
1.增加负载均衡器
关于负载均衡器,商业的比如F5的BIG-IP,Radware的AppDirector,是硬件架构的产品,可以实现很高的处理能力。但这些产品昂贵的价格会让人止步,所以我们还有软件负载均衡方案。互联网公司常用的软件LB一般有LVS、HAProxy、Nginx等。LVS是一个内核层的产品,主要在第四层负责数据包转发,使用较复杂。HAProxy和Nginx是应用层的产品,但Nginx主要用于处理HTTP,所以这里选择HAProxy作为RabbitMQ前端的LB。HAProxy的安装使用非常简单,在Centos下直接yum
install haproxy,然后更改/etc/haproxy/haproxy.cfg 文件即可,文件内容大概如下:
[plain] view
plain copy
print?
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen rabbitmq_cluster 0.0.0.0:5672
mode tcp
balance roundrobin
server rqslave1 192.168.36.102:5672 check inter 2000 rise 2 fall 3
server rqslave2 192.168.36.136:5672 check inter 2000 rise 2 fall 3
#server rqmaster 192.168.36.217:5672 check inter 2000 rise 2 fall 3
启动:service haproxy start
负载均衡器会监听5672端口,轮询我们的两个内存节点192.168.36.102、192.168.36.136的5672端口,192.168.36.217为磁盘节点,只做备份不提供给生产者、消费者使用,当然如果我们服务器资源充足情况也可以配置多个磁盘节点,这样磁盘节点除了故障也不会影响,除非同时出故障。
2.配置策略
使用Rabbit镜像功能,需要基于rabbitmq策略来实现,策策是用来控制和修改群集范围的某个vhost队列行为和Exchange行为在cluster中任意节点启用策略,策略会自动同步到集群节点
# rabbitmqctl set_policy -p hrsystem ha-allqueue"^" '{"ha-mode":"all"}'
这行命令在vhost名称为hrsystem创建了一个策略,策略名称为ha-allqueue,策略模式为 all 即复制到所有节点,包含新增节点,
策略正则表达式为 “^” 表示所有匹配所有队列名称。
例如rabbitmqctl set_policy -p hrsystem ha-allqueue "^message" '{"ha-mode":"all"}'
注意:"^message" 这个规则要根据自己修改,这个是指同步"message"开头的队列名称,我们配置时使用的应用于所有队列,所以表达式为"^"
set_policy说明参见
set_policy [-p vhostpath] {name} {pattern} {definition} [priority] #ha-mode:all、exactly、nodes
也可以通过rabbit控制台添加
下面我们来添加一个queues队列来看看效果,这里只是测试结果,其它的先不填写
在这里边添加的时候你是可以指定Node选项也就是把这个queues放在哪个node节点上.
3.创建队列时需要指定ha 参数,如果不指定x-ha-prolicy 的话将无法复制
4.客户端使用负载服务器192.168.36.127发送消息,队列会被复制到所有节点,当然策略也可以配置制定某几个节点,这时任何节点故障 、或者重启将不会影响我们正常使用某个队列,到这里我们完成了高可用配置(所有节点都宕机那没有办法了)。
5.使用rabbitmq管理端可以看到集群镜像模式中对列状态
关于负载均衡器,商业的比如F5的BIG-IP,Radware的AppDirector,是硬件架构的产品,可以实现很高的处理能力。但这些产品昂贵的价格会让人止步,所以我们还有软件负载均衡方案。互联网公司常用的软件LB一般有LVS、HAProxy、Nginx等。LVS是一个内核层的产品,主要在第四层负责数据包转发,使用较复杂。HAProxy和Nginx是应用层的产品,但Nginx主要用于处理HTTP,所以这里选择HAProxy作为RabbitMQ前端的LB。HAProxy的安装使用非常简单,在Centos下直接yum
install haproxy,然后更改/etc/haproxy/haproxy.cfg 文件即可,文件内容大概如下:
[plain] view
plain copy
print?
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen rabbitmq_cluster 0.0.0.0:5672
mode tcp
balance roundrobin
server rqslave1 192.168.36.102:5672 check inter 2000 rise 2 fall 3
server rqslave2 192.168.36.136:5672 check inter 2000 rise 2 fall 3
#server rqmaster 192.168.36.217:5672 check inter 2000 rise 2 fall 3
启动:service haproxy start
负载均衡器会监听5672端口,轮询我们的两个内存节点192.168.36.102、192.168.36.136的5672端口,192.168.36.217为磁盘节点,只做备份不提供给生产者、消费者使用,当然如果我们服务器资源充足情况也可以配置多个磁盘节点,这样磁盘节点除了故障也不会影响,除非同时出故障。
2.配置策略
使用Rabbit镜像功能,需要基于rabbitmq策略来实现,策策是用来控制和修改群集范围的某个vhost队列行为和Exchange行为在cluster中任意节点启用策略,策略会自动同步到集群节点
# rabbitmqctl set_policy -p hrsystem ha-allqueue"^" '{"ha-mode":"all"}'
这行命令在vhost名称为hrsystem创建了一个策略,策略名称为ha-allqueue,策略模式为 all 即复制到所有节点,包含新增节点,
策略正则表达式为 “^” 表示所有匹配所有队列名称。
例如rabbitmqctl set_policy -p hrsystem ha-allqueue "^message" '{"ha-mode":"all"}'
注意:"^message" 这个规则要根据自己修改,这个是指同步"message"开头的队列名称,我们配置时使用的应用于所有队列,所以表达式为"^"
set_policy说明参见
set_policy [-p vhostpath] {name} {pattern} {definition} [priority] #ha-mode:all、exactly、nodes
也可以通过rabbit控制台添加
下面我们来添加一个queues队列来看看效果,这里只是测试结果,其它的先不填写
在这里边添加的时候你是可以指定Node选项也就是把这个queues放在哪个node节点上.
3.创建队列时需要指定ha 参数,如果不指定x-ha-prolicy 的话将无法复制
4.客户端使用负载服务器192.168.36.127发送消息,队列会被复制到所有节点,当然策略也可以配置制定某几个节点,这时任何节点故障 、或者重启将不会影响我们正常使用某个队列,到这里我们完成了高可用配置(所有节点都宕机那没有办法了)。
5.使用rabbitmq管理端可以看到集群镜像模式中对列状态
相关文章推荐
- RabbitMQ学习之集群镜像模式配置
- RabbitMQ学习之集群镜像模式配置
- Rabbitmq 相关介绍之双机镜像模式集群配置
- Rabbitmq 相关介绍之单机镜像模式集群配置
- rabbitmq配置集群和镜像队列
- RabbitMQ学习之集群模式
- RabbitMQ集群、镜像部署配置
- Java for Web学习笔记(九二):消息和集群(7)RabbitMQ和消息模式(上)
- linux(deepin15.4)下部署集群RabbitMQ消息队列镜像模式(三)
- 蜗龙徒行-Spark学习笔记【五】IDEA中集群运行模式的配置
- RabbitMQ学习之集群模式
- rabbitmq配置镜像模式
- Rabbitmq 相关介绍之单机普通模式集群配置
- rabbitmq配置镜像模式
- spark学习笔记:spark独立集群模式配置及FIFO调度
- RabbitMQ镜像模式集群可用性测试总结
- rabbitmq配置集群和镜像队列
- [RabbitMQ]RabbitMQ集群_镜像部署配置
- SQL Server 2008故障转移集群+数据库镜像配置实例之二
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群