rocketmq3.5.8 原理和集群安装

阿里的rocketmq
RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点：1、支持严格的消息顺序；2、支持Topic与Queue两种模式；3、亿级消息堆积能力；4、比较友好的分布式特性；5、同时支持Push与Pull方式消费消息；
https://github.com/alibaba/RocketMQ/releases 最新版本在生产环境部署Broker，请参考以下软硬件要求https://github.com/alibaba/RocketMQ/wiki/system_requirements

rabbit不知道，但是rocket的性能是（万条每秒），并且能够横向无限扩展，单机topic数量在256时，性能损失较小。rocket可以说是kafka的变种，是阿里在充分reviewkafka代码后，开发的metaQ。在不断更新，修补以后，阿里把metaQ3.0更名为rocket，并且rocket是java写的易于维护。另外就是rocket和kafka有类似无限堆积的能力。想想，断电不丢消息，积压两亿条消息毫无压力，niubilitykafka和rocket性能根本不是你需要考虑的问题

导入本地包mvn install:install-file -DgroupId=net.java.dev.jna -DartifactId=jna -Dversion=4.2.2 -Dpackaging=jar -Dfile=/root/jna-4.2.2.jar

以下文章非常有用http://blog.csdn.net/zknxx/article/details/52974189http://blog.csdn.net/crazyxq/article/details/52870502

rocketmq3.5.8 编译好的包，自己编译太坑了http://download.csdn.net/download/zknxx/9668351

生产一般都主主吧RocketMQ-3.5.8双主双从配置及部署说明 http://download.csdn.net/download/coffeelifelau/9667849
mkdir -p /var/log/rocketmqlogsmkdir -p /data/rocketmq/store/commitlog /data/logsnohup sh mqnamesrv > /var/log/rocketmqlogs/namesrv.log 2>&1 &

a服务器nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

b服务器nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

配置文件参考http://sofar.blog.51cto.com/353572/1540874

配置权限chown -Rnobody.nobody Applicationa.启动NameServer[master-a,master-b]cd /data/Application/rocketmq/binsudo -u nobody nohup sh/data/Application/rocketmq/bin/mqnamesrv &b.启动BrokerA[master-a]sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null2>&1 &c.启动BrokerB[master-b]sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null2>&1 &

关闭nameserver或brokersh ./mqshutdownUseage: mqshutdown broker | namesrv

注意：运行sh os.sh，会发现swap会占用一半，而内存会占用很少。如果需要恢复成开始的样子，修改os.shsudo sysctl -w vm.extra_free_kbytes=0sudo sysctl -w vm.min_free_kbytes=67584sudo sysctl -w vm.overcommit_memory=0sudo sysctl -w vm.drop_caches=0sudo sysctl -w vm.zone_reclaim_mode=0sudo sysctl -w vm.max_map_count=65530sudo sysctl -w vm.dirty_background_ratio=10sudo sysctl -w vm.dirty_ratio=20sudo sysctl -w vm.dirty_writeback_centisecs=500sudo sysctl -w vm.page-cluster=3sudo sysctl -w vm.swappiness=60然后重启后者用网上的swap.sh脚本找到占用swap的进程，重启之。具体os.sh参数的作用1.控制内存回收 grep low /proc/zoneinfo这个参数值用来强制linux虚拟内存保留最小值的空闲
vm.extra_free_kbytesvm.min_free_kbytes 2.vm.max_map_count 虚拟内存使用3.vm.swappiness执行这个脚本出现内存占用的少的原因，估计就是调了控制内存回收
应该是控制broker同步的频率，这样做之后，只有很多的数据，才会同步。

测试export NAMESRV_ADDR=ip1:9876\;ip2:9876bash tools.sh com.alibaba.rocketmq.example.quickstart.Producerbash tools.sh com.alibaba.rocketmq.example.quickstart.Consumer

要解决的问题1.主主还是多主多从http://blog.csdn.net/a19881029/article/details/34446629

2.如何顺序消费RocketMQ消费并行度分两种情况顺序消费方式并行度同Kafka完全一致乱序方式并行度取决于Consumer的线程数，如Topic配置10个队列，10台机器消费，每台机器100个线程，那么并行度为1000

rocketmq 顺序消费理解http://blog.csdn.net/u011686226/article/details/53465357
https://github.com/alibaba/RocketMQ/search?utf8=%E2%9C%93&q=sequence3.你是集群消费还是广播消费，集群消费的话每个消费者都会收到对应的消息，广播则不会，另外即使是集群环境下，也有可能重复消费消息，消费者自己要做到幂等ps：说反了，不好意思，集群消费，只有一次，广播则多次，
目前rocketmq消费是有集群消费和广播消费，上面的楼主说错了，应该是集群消费只能有一个消费者消费一次，而广播消费则是所有的消费者都会消费一次，至于出现重复消费的问题，一种可能的原因是消费者消费完有没有做确认机制．即使消费者做出了确认消费的标识，消费者还是可能出现重复消费的情况，那是一般在高并发下的出现的，rocketmq有说明，几乎主流的mq都有这种情况，一般的就是消费幂等

4.推荐Filter Server生产环境部署，为Consumer提供任意的服务器消息过滤能力

5.支持Topic与Queue两种模式 不是默认都同时支持的

6.rocketmq使用大内存是靠mmap堆外内存啊，而不是设置大的jvm堆内存的，java的堆最好不要超过10G，要不然性能不行

7.Producer/Consumer指定Name Server地址通过代码中指定producer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");或consumer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");通过Java启动参数中指定-Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876通过环境变量指定exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:98768.监控web平台监控安装tomcat这里就省略了。将war放入webapps下，修改vimWEB-INF/classes/config.propertiesrocketmq.namesrv.addr=RocketMQ01:9876 #这里只能写一个throwDone=true监控需要自己git后，编译，网上csdn有现成的。9.benchmark