关于MQ的几件小事(七)如果让你设计一个MQ,你怎么设计
其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好
比如说这个消息队列系统,我们来从以下几个角度来考虑一下
(1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker -> topic -> partition,每个partition放一个机器,就存一部分数据。如果现在资源不够了,简单啊,给topic增加partition,然后做数据迁移,增加机器,不就可以存放更多数据,提供更高的吞吐量了?
(2)其次你得考虑一下这个mq的数据要不要落地磁盘吧?那肯定要了,落磁盘,才能保证别进程挂了数据就丢了。那落磁盘的时候怎么落啊?顺序写,这样就没有磁盘随机读写的寻址开销,磁盘顺序读写的性能是很高的,这就是kafka的思路。
(3)其次你考虑一下你的mq的可用性啊?这个事儿,具体参考我们之前可用性那个环节讲解的kafka的高可用保障机制。多副本 -> leader & follower -> broker挂了重新选举leader即可对外服务。
(4)能不能支持数据0丢失啊?可以的,参考我们之前说的那个kafka数据零丢失方案
其实一个mq肯定是很复杂的,其实这是个开放题,就是看看你有没有从架构角度整体构思和设计的思维以及能力。
如果你还不清楚,请参考前面几篇
《消息队列的用途、优缺点、技术选型》
《如何保证消息队列的高可用》
《如何保证消息不重复消费》
《如何防止数据队列数据丢失》
《如何保证消息按顺序执行》
《消息积压在消息队列里怎么办》
转载于:https://www.cnblogs.com/jack1995/p/10908819.html
- 只是一个关于表白的小程序而已,如果你不知道怎么拒绝我,那就来掐死我吧。
- 关于udp socket recvfrom函数的一个易错问题: 如果应用程序指定的接收长度不够怎么办?
- 08 如果让你来开发一个消息队列中间件,你会怎么设计架构?
- 如果让你设计一个网络爬虫,你怎么避免陷入无限循环?
- 如果让你设计一个网络爬虫,你怎么避免陷入无限循环?
- 【一个批量计算的调度系统的设计与实现】如果需要对成千上万的网络抓包数据文件在规定的时间内进行解析,应该怎么做?
- 刚发现了一个问题,关于vs2005 datagridview的,我发现在设计行标头的HeaderCell.Value的时候要是设置RowTemplate.Height 的值>= 17则行标头的那个黑三角就显示出来了,要是小于17就不能显示了,想问问大家,是怎么回事?
- 如果要设计一个网络爬虫程序,该怎么避免陷入无限循环
- 关于Hibernate中如果一个实体类是 Set,怎么去查询数据
- 如果网页内容需要支持多语言,你会怎么做?在设计和开发多语言网站时,有哪些问题你必须要考虑?
- 关于栈的弹出函数设计是否应该有两个返回值,一个表示数据,一个表示是否栈为空
- 一个小tip 如果机箱上的声音插孔都坏了 我该怎么听音乐!
- 如何才能做一个好网站系列 第四篇 开始设计方案,关于框架的选择
- powerdesign设计pdm时怎么增加一个text模块,用于pdm相关说明什么的?
- 《一个著名的日志系统是怎么设计出来的?》
- 如果有一个这样的需求,您会如何设计?考考你的设计能力:)
- 关于栈的弹出函数设计是否应该有两个返回值,一个表示数据,一个表示是否栈为空
- jquery的layer弹出层框架,如果设置 iframe弹出一个页面里是表单提交,提交完怎么关闭弹出层
- C#编译器优化那点事 c# 如果一个对象的值为null,那么它调用扩展方法时为甚么不报错 webAPI 控制器(Controller)太多怎么办? .NET MVC项目设置包含Areas中的页面为默认启动页 (五)Net Core使用静态文件 学习ASP.NET Core Razor 编程系列八——并发处理
- 关于设计一个网络信息收集软件的想法