您的位置:首页 > 其它

RocketMQ集群搭建

2020-05-06 10:03 183 查看

Broker 集群搭建

推荐的几种 Broker 集群部署方式,这里的 Slave 不可写,但可读,类似于 Mysql 主备方式。

1. 单个 Master

这种方式风险较大, Broker 重启或者宕机时,会导致整个服务不可用,不建议线上环境使用

2. 多 Master 模式

一个集群无 Slave,全是 Master,例如 2 个 Master 或者 3 个 Master
优点:配置简单,单个 Master 宕机或重启维护对应用无影响,在磁盘配置为 RAID10 时,即使机器宕机不可恢复情况下,由于 RAID10 磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢)。性能最高。
缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到影响

### 先启动 Name Server,例如机器 IP 为: 192.168.6.130:9876
nohup sh mqnamesrv &
### 在机器 A,启动第一个 Master
nohup sh mqbroker -n 192.168.6.130:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties &
### 在机器 B,启动第二个 Master
nohup sh mqbroker -n 192.168.6.131:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties &

3. 多 Master 多 Slave 模式,异步复制

每个 Master 配置一个 Slave,有多对 Master-Slave, HA 采用异步复制方式,主备有短暂消息延迟,毫秒级。
优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,因为 Master 宕机后,消费者仍然可以从 Slave 消费,此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。
缺点: Master 宕机,磁盘损坏情况,会丢失少量消息

先启动 Name Server,例如机器 IP 为: 192.168.6.130:9876
nohup sh mqnamesrv &
### 在机器 A,启动第一个 Master
nohup sh mqbroker -n 192.168.6.130:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties &
### 在机器 B,启动第二个 Master
nohup sh mqbroker -n 192.168.6.131:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties &
### 在机器 C,启动第一个 Slave
nohup sh mqbroker -n 192.168.6.132:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties &
### 在机器 D,启动第二个 Slave
nohup sh mqbroker -n 192.168.6.133:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties &

4. 多 Master 多 Slave 模式,同步双写

每个 Master 配置一个 Slave,有多对 Master-Slave, HA 采用同步双写方式,主备都写成功,向应用返回成功。
优点:数据与服务都无单点, Master 宕机情况下,消息无延迟,服务可用性与数据可用性都非常高
缺点:性能比异步复制模式略低,大约低 10%左右,发送单个消息的 RT 会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自劢切换功能

### 先启动 Name Server,例如机器 IP 为: 192.168.6.130:9876
nohup sh mqnamesrv &
### 在机器 A,启动第一个 Master
nohup sh mqbroker -n 192.168.6.130:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &
### 在机器 B,启动第二个 Master
nohup sh mqbroker -n 192.168.6.131:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &
### 在机器 C,启动第一个 Slave
nohup sh mqbroker -n 192.168.6.132:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &
### 在机器 D,启动第二个 Slave
nohup sh mqbroker -n 192.168.6.133:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &

以上 Broker 与 Slave 配对是通过指定相同的 brokerName 参数来配对, Master 的 BrokerId 必须是 0, Slave 的BrokerId 必须是大亍 0 的数。另外一个 Master 下面可以挂载多个 Slave,同一 Master 下的多个 Slave 通过指定不同的 BrokerId 来区分。
$ROCKETMQ_HOST 是RocketMQ 安装目录,需要用户自己设置此环境变量。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: