Rocketmq集群搭建步骤
2017-03-22 15:31
393 查看
最近在学习RocketMq, 根据网上的搭建步骤, 成功搭建了RocketMq集群环境, 然后在这里做记录, 方便后面学习查看 .
风险比较大, 一旦Broker重启或者宕机, 将导致整个环境不可用, 不建议线上使用.
多Master模式
一个集群中没有slave, 全是master, 例如2个master或者3个master.
优点:配置简单, 单个Master宕机或重启对应用无影响, 磁盘配置为RAID10时, 即使机器宕机不可恢复, 由于RAID10磁盘非常可靠, 消息也不会丢(异步刷盘丢失少量信息, 同步刷盘一条不丢)
缺点 : 单台机器宕机期间, 这个机器上未被消费消息在机器恢复之前不可订阅, 消息实时性受到影响 .
多Master多Slave模式, 异步复制
每个 Master 配置一个 Slave,有多对Master-Slave,采用异步复制方式,主备有短暂消息延迟,毫秒级。
优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,因为Master 宕机后,消费者仍然可以从 Slave消费,此过程对应用透明。不需要人工干预。性能同Master 模式几乎一样。
缺点:Master 宕机,磁盘损坏情况,会丢失少量消息。
多Master多Slave模式, 同步双写
每个 Master 配置一个 Slave,有多对Master-Slave,采用同步双写方式,主备都写成功,向应用返回成功。
优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高
缺点:性能比异步复制模式略低,大约低 10%左右,发送单个消息的 RT会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能。
机器1 : 192.168.223.144
机器2 : 192.168.223.145
在两台机器的hosts文件中添加如下信息:
vim /etc/hosts
上传并进行解压
上传alibaba-rocketmq-3.2.6.tar.gz文件至/usr/local/application (本人将所有安装软件都放在application目录下)
tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local/application
mv alibaba-rocketmq-3.2.6 alibaba-rocketmq
ln -s alibaba-rocketmq rocketmq
执行完上面命令之后, application目录如下 :
创建存储路径
mkdir /usr/local/application/rocketmq/store
mkdir /usr/local/application/rocketmq/store/commitlog
mkdir /usr/local/application/rocketmq/store/consumequeue
mkdir /usr/local/application/rocketmq/store/index
修改两台机器rocketmq配置文件
vim /usr/local/application/rocketmq/conf/2m-noslave/broker-a.properties
vim /usr/local/application/rocketmq/conf/2m-noslave/broker-b.properties
注意 :
下面的broker名字, 不同的配置文件填写的不一样.
修改日志配置文件
mkdir -p /usr/local/application/rocketmq/logs
cd /usr/local/application/rocketmq/conf && sed -i ‘s#${user.home}#/usr/local/application/rocketmq#g’ *.xml
修改两台机器启动脚本参数
设置虚拟器启动大小为1G, 最大为1G, 新生代为512M
vim /usr/local/application/rocketmq/bin/runbroker.sh
vim /usr/local/application/rocketmq/bin/runserver.sh
先分别启动两台机器的NameServer
cd /usr/local/application/rocketmq/bin
nohup sh mqnamesrv &
然后分别启动两台机器的BrokerServer.
BrokerServer A(192.168.223.144)(指定配置文件为:broker-a.properties)
cd /usr/local/application/rocketmq/bin
nohup sh mqbroker -c /usr/local/application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
BrokerServer B(192.168.223.145)(指定配置文件:broker-b.properties)
cd /usr/local/application/rocketmq/bin
nohup sh mqbroker -c /usr/local/application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
查看各自启动日志是否正常
tail -f -n 500 /usr/local/application/rocketmq/logs/rocketmqlogs/broker.log
tail -f -n 500 /usr/local/application/rocketmq/logs/rocketmqlogs/namesrv.log
jps查看进程是否存在
利用unzip命令进行解压.
修改配置文件
修改这个目录下的config.properties文件
/usr/local/application/tomcat/apache-tomcat-7.0.69/webapps/rocketmq-console/WEB-INF/classes
保存后, 启动tomcat
至此rocketmq集群搭建完毕!
了解几种集群方式:
单Master方式风险比较大, 一旦Broker重启或者宕机, 将导致整个环境不可用, 不建议线上使用.
多Master模式
一个集群中没有slave, 全是master, 例如2个master或者3个master.
优点:配置简单, 单个Master宕机或重启对应用无影响, 磁盘配置为RAID10时, 即使机器宕机不可恢复, 由于RAID10磁盘非常可靠, 消息也不会丢(异步刷盘丢失少量信息, 同步刷盘一条不丢)
缺点 : 单台机器宕机期间, 这个机器上未被消费消息在机器恢复之前不可订阅, 消息实时性受到影响 .
多Master多Slave模式, 异步复制
每个 Master 配置一个 Slave,有多对Master-Slave,采用异步复制方式,主备有短暂消息延迟,毫秒级。
优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,因为Master 宕机后,消费者仍然可以从 Slave消费,此过程对应用透明。不需要人工干预。性能同Master 模式几乎一样。
缺点:Master 宕机,磁盘损坏情况,会丢失少量消息。
多Master多Slave模式, 同步双写
每个 Master 配置一个 Slave,有多对Master-Slave,采用同步双写方式,主备都写成功,向应用返回成功。
优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高
缺点:性能比异步复制模式略低,大约低 10%左右,发送单个消息的 RT会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能。
开始搭建:
我们这里采用双Master方式 .机器1 : 192.168.223.144
机器2 : 192.168.223.145
在两台机器的hosts文件中添加如下信息:
vim /etc/hosts
上传并进行解压
上传alibaba-rocketmq-3.2.6.tar.gz文件至/usr/local/application (本人将所有安装软件都放在application目录下)
tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local/application
mv alibaba-rocketmq-3.2.6 alibaba-rocketmq
ln -s alibaba-rocketmq rocketmq
执行完上面命令之后, application目录如下 :
创建存储路径
mkdir /usr/local/application/rocketmq/store
mkdir /usr/local/application/rocketmq/store/commitlog
mkdir /usr/local/application/rocketmq/store/consumequeue
mkdir /usr/local/application/rocketmq/store/index
修改两台机器rocketmq配置文件
vim /usr/local/application/rocketmq/conf/2m-noslave/broker-a.properties
vim /usr/local/application/rocketmq/conf/2m-noslave/broker-b.properties
注意 :
下面的broker名字, 不同的配置文件填写的不一样.
#所属集群名字 brokerClusterName=rocketmq-cluster #broker名字,注意此处不同的配置文件填写的不一样 brokerName=broker-a|broker-b #0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点,默认凌晨 4点 deleteWhen=04 #文件保留时间,默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条,根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/application/rocketmq/store #commitLog 存储路径 storePathCommitLog=/usr/local/application/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/application/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/application/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/application/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/application/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
修改日志配置文件
mkdir -p /usr/local/application/rocketmq/logs
cd /usr/local/application/rocketmq/conf && sed -i ‘s#${user.home}#/usr/local/application/rocketmq#g’ *.xml
修改两台机器启动脚本参数
设置虚拟器启动大小为1G, 最大为1G, 新生代为512M
vim /usr/local/application/rocketmq/bin/runbroker.sh
vim /usr/local/application/rocketmq/bin/runserver.sh
先分别启动两台机器的NameServer
cd /usr/local/application/rocketmq/bin
nohup sh mqnamesrv &
然后分别启动两台机器的BrokerServer.
BrokerServer A(192.168.223.144)(指定配置文件为:broker-a.properties)
cd /usr/local/application/rocketmq/bin
nohup sh mqbroker -c /usr/local/application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
BrokerServer B(192.168.223.145)(指定配置文件:broker-b.properties)
cd /usr/local/application/rocketmq/bin
nohup sh mqbroker -c /usr/local/application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
查看各自启动日志是否正常
tail -f -n 500 /usr/local/application/rocketmq/logs/rocketmqlogs/broker.log
tail -f -n 500 /usr/local/application/rocketmq/logs/rocketmqlogs/namesrv.log
jps查看进程是否存在
管控台搭建:
下载rocketmq-console.war, 并在tomcat中部署rocketmq-console.war利用unzip命令进行解压.
修改配置文件
修改这个目录下的config.properties文件
/usr/local/application/tomcat/apache-tomcat-7.0.69/webapps/rocketmq-console/WEB-INF/classes
保存后, 启动tomcat
至此rocketmq集群搭建完毕!
相关文章推荐
- RocketMQ集群搭建
- rocketmq集群搭建
- RocketMQ集群搭建:从源码开始
- RocketMQ集群配置笔记(二)
- 腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
- mysql-cluster集群原理介绍和搭建步骤(四个data/sql节点)
- 【原创】ApacheTomcat集群在Linux下的搭建步骤
- 基于Hadoop 2.2.0的高可用性集群搭建步骤(64位)
- RocketMQ源码调试环境搭建
- MyRocketMQ集群部署实战-双master-双slave-同步双写-异步刷盘(7台机器)
- Kafka集群搭建详细步骤
- Hadoop集群搭建详细步骤(2.6.0)
- CDH版本大数据集群下搭建的Hue详细启动步骤(图文详解)
- Hadoop2.0 HA集群搭建步骤
- Hadoop集群搭建步骤
- WAS集群系列(3):集群搭建:步骤1:准备文件
- (二)RocketMQ单机环境搭建
- CentOS 6.8 minimal版本安装RocketMQ集群
- RocketMq集群环境实战(双namesrv、双master、双slave)
- rocketmq集群安装部署过程(4.0.0版本)、安装中的常见问题举例