gopush-cluster 架构
2015-12-04 21:11
393 查看
前言
gopush-cluster是一套golang开发的实时消息推送集群,主要分享一下开发这套系统的想法和思路。
架构
主要分为三个模块来开发,comet/web/message。
comet
主要负责消息排队、消息推送以及和客户端的连接维护;整套系统依据是消息ID顺序原则获取消息(客户端本地获取最大的消息是1,那么之后获取的消息就是大于1的,获取离线消息的时候也要从上次最大消息ID来获取),因此消息推送以后需要在comet中排队然后发起RPC给message实现存储。
message
主要负责消息的存储和读写;接受来自comet模块的消息进行持久化,或者接受web模块的读取消息请求获取离线消息。message是可以部署多个节点来负载来自大量comet的推送压力,比如不同的comet使用不同的message节点(节点无状态),之后在comet也会做多message节点的负载均衡RPC调用和故障转移(TODO)。
web
主要负责节点询问,以及离线消息获取和后台节点管理等;节点询问主要依据客户端的订阅Key一致性hash计算出连接的comet节点地址,因此海量客户端连接的时候可以打散到多个comet来服务;另外离线消息也是通过web接口返回给客户端的,但是消息的读取是通过RPC发送给message模块的,尽量的职责单一。web节点因为无状态,可以部署多个web,来实现负载均衡和故障转移。
thrid-part
消息存储现在主要依赖Redis进行消息读写(Sorted Set),因为Sorted Set不支持int64类型的Score(我们也开发了一个支持int64 Score的分支但是因为时间原因没有大量测试上线),之后可能会使用HBase集群代替Redis的使用,已提供更安全的离线消息存储(TODO)。
另外使用了Zookeeper来实现的同一个comet的故障转移,例如comet 节点1可以有一个备选节点节点2,当节点1注册到zookeeper之后,因为机器或者其他原因宕了,这时候会在web层触发zookeeper的选举选中节点2来服务。
结束语
gopush-cluster大致的架构就说到这了,之后会写其他模块细节以及优化和遇到的问题。
转帖:http://www.cnblogs.com/bhtfg538/p/3585406.html
gopush-cluster是一套golang开发的实时消息推送集群,主要分享一下开发这套系统的想法和思路。
架构
主要分为三个模块来开发,comet/web/message。
comet
主要负责消息排队、消息推送以及和客户端的连接维护;整套系统依据是消息ID顺序原则获取消息(客户端本地获取最大的消息是1,那么之后获取的消息就是大于1的,获取离线消息的时候也要从上次最大消息ID来获取),因此消息推送以后需要在comet中排队然后发起RPC给message实现存储。
message
主要负责消息的存储和读写;接受来自comet模块的消息进行持久化,或者接受web模块的读取消息请求获取离线消息。message是可以部署多个节点来负载来自大量comet的推送压力,比如不同的comet使用不同的message节点(节点无状态),之后在comet也会做多message节点的负载均衡RPC调用和故障转移(TODO)。
web
主要负责节点询问,以及离线消息获取和后台节点管理等;节点询问主要依据客户端的订阅Key一致性hash计算出连接的comet节点地址,因此海量客户端连接的时候可以打散到多个comet来服务;另外离线消息也是通过web接口返回给客户端的,但是消息的读取是通过RPC发送给message模块的,尽量的职责单一。web节点因为无状态,可以部署多个web,来实现负载均衡和故障转移。
thrid-part
消息存储现在主要依赖Redis进行消息读写(Sorted Set),因为Sorted Set不支持int64类型的Score(我们也开发了一个支持int64 Score的分支但是因为时间原因没有大量测试上线),之后可能会使用HBase集群代替Redis的使用,已提供更安全的离线消息存储(TODO)。
另外使用了Zookeeper来实现的同一个comet的故障转移,例如comet 节点1可以有一个备选节点节点2,当节点1注册到zookeeper之后,因为机器或者其他原因宕了,这时候会在web层触发zookeeper的选举选中节点2来服务。
结束语
gopush-cluster大致的架构就说到这了,之后会写其他模块细节以及优化和遇到的问题。
转帖:http://www.cnblogs.com/bhtfg538/p/3585406.html
相关文章推荐
- 网站提权
- 架构之路(八)从CurrentUser说起
- <1>Android Camera架构浅析
- 雅虎WEB前端网站优化 -- 34条军规
- pageadmin企业建站系统为中小企业轻松搭建企业网站
- 如何利用开源思想开发一个SEO友好型网站
- HA高可用集群
- 网站分布式架构的演进
- REST RPC架构思想
- scala 采集网站信息及资源文件
- RESTful架构浅谈
- 揭秘 | 百万并发直播网站龙珠的性能秘籍
- 揭秘 | 百万并发直播网站龙珠的性能秘籍
- Web Services 指南之:Web Services 的架构
- Web Services 指南之:Web Services 的架构
- 技术人员最常用技术网站
- Hive Design【Hive 架构】
- 8款插件使你的网站移动响应
- 检查网站是否宕机
- 提供均衡服务的中间件——高可用