Centos7下如何进行RocketMQ双Master搭建
2017-08-11 14:42
337 查看
使用背景
RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点1、能够保证严格的消息顺序
2、提供丰富的消息拉取模式
3、高效的订阅者水平扩展能力
4、实时的消息订阅机制
5、亿级消息堆积能力
为什么使用RocketMQ
1、强调集群无单点,可扩展,任意一点高可用、水平可扩展
2、海量消息堆积能力,消息堆积后写入低延迟
3、支持上万个队列
4、消息失败重试机制
5、消息可查询
6、开源社区活跃
7、成熟度已经经过淘宝双十一的考验
RocketMQ开源是使用文件作为持久化工具,阿里内部未开源的性能会更高,使用oceanBase(阳振坤开发)作为持久化工具。在RocketMQ1.x和2.x使用zookeeper管理集群,3.x开始使用nameserver代替zk,更轻量级
搭建RocketMq双主步骤
环境:vmware12,centos6.5,1GRAM,20GROM,jdk1.8 64bit1、本机虚拟机下实现,克隆两台虚拟机,IP分别是
192.168.169.128,192.168.169.129,分别在这两台机器的hosts文件中添加
>vim /etc/hosts #rocketmq 192.168.169.128 rocketmq-nameserver1 192.168.169.128 rocketmq-master1 192.168.169.129 rocketmq-nameserver2 192.168.169.129 rocketmq-master2
2、分别将alibaba-rocketmq-3.2.6.tar.gz使用rz命令上传到两台机器,也可以直接官网在线下载
分别使用
[root@localhost local]#tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local/
将RocketMq解压到/usr/local目录下,并使用
[root@localhost local]#ln -s alibaba-rocketmq rocketmq
建立alibaba-rocketmq到rocketmq软连接,如下:
3、创建rocketmq存储的相关路径
[root@localhost local]# mkdir /usr/local/rocketmq/store [root@localhost local]# mkdir /usr/local/rocketmq/store/commitlog [root@localhost local]# mkdir /usr/local/rocketmq/store/consumequeue [root@localhost local]# mkdir /usr/local/rocketmq/store/index
4、分别配置两台机器的broker-a.properties和broker-b.properties文件
我这里由于没有安装中文语言包,出现乱码了,可以通过
[root@localhost local]# yum groupinstall chinese-support
安装中文包,然后通过vim修改broker-a.properties和broker-b.properties文件
[root@localhost local]# vim /usr/local/rocketmq/conf/2m-noslave/broker-a.properties #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字,注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876 # 在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 # 是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true # 是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true # Broker 对外服务的监听端口 listenPort=10911 # 删除文件时间点,默认凌晨 4点 deleteWhen=04 #文件保留时间,默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条,根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir= /usr/local/rocketmq/store #commitLog 存储路径 storePathCommitLog= /usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
5、分别修改两台机器的日志配置文件并且把conf目录下所有xml文件中的${user.home}替换为/usr/local/rocketmq
[root@localhost rocketmq]# mkdir -p /usr/local/rocketmq/logs [root@localhost rocketmq]# cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml
6、分别修改两台机器的rocketmq启动脚本
[root@localhost rocketmq]# vim /usr/local/rocketmq/bin/runbroker.sh JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512g -XX:PermSize=128m -XX:MaxPermSize=320m" JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:+DisableExplicitGC" JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:${HOME}/rmq_bk_gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps" JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow" JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib" #JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n" JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"
RocketMq比较吃内存,一般-Xms和-Xmx最少配置1G
7、分别启动nameserver
启动192.168.169.128
[root@singlenode rocketmq]# cd /usr/local/rocketmq/bin/ [root@singlenode bin]# nohup sh mqnamesrv & [root@singlenode bin]# jps 5577 NamesrvStartup 5597 Jps
启动192.168.169.129
[root@localhost rocketmq]# cd /usr/local/rocketmq/bin/ [root@singlenode bin]# nohup sh mqnamesrv & [root@localhost bin]# jps 2834 Jps 2813 NamesrvStartup
8、分别启动broker
启动192.168.168.128的broker
cd /usr/local/rocketmq/bin [root@singlenode bin]# nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 & [root@singlenode bin]# jps 2993 Jps 2298 NamesrvStartup 2938 BrokerStartup [root@singlenode bin]# tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log 2017-08-10 17:14:13 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver2:9876 OK 2017-08-10 17:14:13 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver1:9876 OK [root@singlenode bin]# tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log 2017-08-10 17:12:27 INFO RemotingExecutorThread_7 - new broker registerd, 192.168.169.129:10911 HAServer: 192.168.169.129:10912 2017-08-10 17:13:03 INFO NSScheduledThread1 - -------------------------------------------------------- 2017-08-10 17:13:03 INFO NSScheduledThread1 - configTable SIZE: 0
启动192.168.168.129的broker同理
[root@rocketmq-nameserver2 bin]#nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
9、部署RocketMq管理界面
首先下载rocketmq-console.war和tomcat,然后通过
jar -xvf rocketmq-console.war
将war包解压到Tomcat的webapps目录下
修改config.properties文件
rocketmq.namesrv.addr=192.168.169.128:9876;192.168.169.129:9876 throwDone=true
启动Tomcat,访问
http://192.168.169.128:8080/rocketmq-console
界面如下:
10、境测试
设定环境变量:
export NAMESRV_ADDR=192.168.169.128:9876\;192.168.169.129:9876\
运行测试:
bash tools.sh com.alibaba.rocketmq.example.quickstart.Producer
bash tools.sh com.alibaba.rocketmq.example.quickstart.Consumer
发送的消息均能消费成功
遇到的问题:
在启动broker时,在broker.log中一直报2017-08-10 17:09:35 WARN BrokerControllerScheduledThread1 - registerBroker Exception, rocketmq-nameserver2:9876 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <rocketmq-nameserver2:9876> failed
原因是防火墙没关通过执行以下命令关闭
[root@singlenode bin]#service iptables status [root@singlenode bin]#service iptables stop
如果是centos7以上使用
systemctl stop firewalld.service
相关文章推荐
- windows7下如何使用myeclipse(eclipse)和cvs进行项目管理
- 如何在Centos7下升级Apache至最新版本
- windows7下如何使用myeclipse(eclipse)和cvs进行项目管理
- centos7下如何将用户加入sudo组
- CentOS7下如何正确安装并启动Docker(图文详解)
- centOS7下如何搭建memcached+mongodb+jdk+tomcat的基础应用环境
- Linux系统下如何配置SSH_Centos7 ssh连接配置 CentOS7下安全配置
- CentOS7下使用CNPM进行NPM、WEBPACK打包
- linux(centos)如何使用svn进行多个版本库的配置
- 如何在sourceforge上找到开源项目并在centos进行安装-以htop的安装为例
- centos7下安装docker(26如何配置Health Check)
- 如何在CentOS6.5中进行PPPOE拨号上网
- centos 7下如何改变网卡名称
- 如何对CentOS防火墙进行配置
- Centos 7下如何安装bzip2
- 在Windows 7下如何进行PHP和Apache配置环境
- (自总结详细资料)如何在CentOS7下安装hadoop2.8分布式集群
- 如何在 CentOS 7 中使用 SSL/TLS 加固 FTP 服务器进行安全文件传输
- centos7下如何隐藏nginx的版本号
- centos 6.9上如何进行二进制安装mariadb 5.5.57