【面经】面试官:如果让你设计一个高并发的消息中间件,你会怎么做?
写在前面
很多小伙伴去大厂面试,几乎都会遇到一些开放式的题目,这些开放式的题目没有固定的答案,但是它能够实实在在的体现面试者较为真实的系统设计能力和技术功底。如果你回答的比较完美,那么,通过这种开放式题目,就能够让你从众多的面试者中脱颖而出。今天,我们就一起来聊聊,去大厂面试时,一个较为常见的开放式题目:如果让你设计一个高并发的消息中间件,你会怎么做?
消息中间件涉及的知识点
要想设计一个具有高并发的消息中间件,那么首先就要了解下消息中间件涉及哪些具体的知识点。通常,设计一个良好的消息中间件需要了解的知识点如下:
- 生产者消费者模型。
- 支持分布式架构。
- 数据的高可用。
- 消息数据不丢失。
接下来,我们就针对消息中间件来分别谈谈这些技术点。
生产者消费者模型
相信很多小伙伴对于生产者和消费者模型都比较了解了,简单的说:就是消息中间件能够使其他应用来生产消息,也能够使其他应用来消费相应的消息。
对于生产者和消费者模型,我们需要考虑的问题点就比较多了。接下来,我就一步步来引导大家进行思考。
首先,我们来思考这样一个问题: 如果生产者生产了消息,那么消息中间件应该怎样存储相应的数据呢? 存储在内存? 存储在磁盘? 还是同时存储在内存和磁盘中呢?
如果是将消息数据同时存储在内存和磁盘中,我们又该如何处理这些数据呢? 是生产者将消息投递到消息中间件之后,我们就立刻将数据写入磁盘?还是说数据先驻留到内存,然后每隔一段时间刷到磁盘上? 如果是每隔一段时间刷到磁盘上,那我们又要考虑磁盘文件的切分问题,也就是说,需要将分成多少个磁盘文件?(总不能把所有的数据放到一个磁盘文件中吧)。如果是需要切分成多个磁盘文件,那切分的规则又是什么呢?
上面这些问题都是我们在设计一个消息中间件时需要考虑的问题。然而,这还只是一小部分问题。如果想在面试时脱颖而出,那就还需要继续往下看,还有一些重要的问题点需要注意。
如果文件按照一定的规则切分到多个磁盘文件中了,那是不是还需要一些对于元数据的管理来标识数据的具体消息(就像是Hadoop中的NameNode节点中存储着DataNode的元数据信息,NameNode节点通过这些元数据信息就能够更好的管理DataNode节点)?这些元数据可以包括:消息数据的偏移量、也可以是消息数据的唯一ID。
考虑完数据的存储问题,我们还需要考虑的是:消息中间件是如何将数据投递到对应的消费者的?
在设计生产者和消费者时,还一个很重要的问题需要我们考虑:我们在设计消息中间件时,采用的消费模式是什么?会不会将数据均匀的分配给消费者?还是会通过一些其他的规则将数据投递到消费者?
支持分布式架构
如果我们设计的消息中间件,每天会承载TB级别的数据高并发和高吞吐量的写入操作。这里,我们就需要考虑将消息中间件设计成分布式架构。
在设计分布式架构时,我们还需要考虑将存储的比较大的数据,做成分片存储,对数据进行分片等操作。
除了这些,我们还需要考虑另外一个核心问题:对于消息中间件来说,需要支持自动扩容操作。
还有就是否支持数据分片,如何实现数据分片的扩容和自动数据负载均衡迁移。
数据的高可用
一般互联网应用的高可用,是通过本地堆内存,和一份数据在不同的服务器上都搞一个副本来实现的。此时,任何一个存储节点宕机,都不会影响整体的高可用。
消息数据不丢失
此时,我们就需要提供手动ACK的机制,也就是说:当消费者真正消费消息完毕后,向消息中间件返回“ 处理完成” 的标识,消息中间件删除相应的已处理的消息。
但是,细化的话,这里,我们就需要两套ACK机制:
- 一种ACK对应的是生产端。如果一直没有接收到ACK消息,则需要通过生产者来重新发送一条消息来保证生产消息成功。
- 另一种ACK对应的是消费端。一旦消费处理成功一条消息了,必须返回一个ack给消息中间件,然后消息中间件才能删除这条消息。否则一旦消费者宕机,就必须重发这条消息给其他的消费者实例,保证消息一定会被处理成功。
今天,我们没有聊具体的业务点,而是从整体上考虑:如果实现一个消息中间件,需要我们注意的各项知识点和专业技能!好了,今天就到这儿吧。我们下期见!
重磅福利
微信搜一搜【冰河技术】微信公众号,关注这个有深度的程序员,每天阅读超硬核技术干货,公众号内回复【PDF】有我准备的一线大厂面试资料和我原创的超硬核PDF技术文档,以及我为大家精心准备的多套简历模板(不断更新中),希望大家都能找到心仪的工作,学习是一条时而郁郁寡欢,时而开怀大笑的路,加油。如果你通过努力成功进入到了心仪的公司,一定不要懈怠放松,职场成长和新技术学习一样,不进则退。如果有幸我们江湖再见!
另外,我开源的各个PDF,后续我都会持续更新和维护,感谢大家长期以来对冰河的支持!!
- 08 如果让你来开发一个消息队列中间件,你会怎么设计架构?
- 消息中间件面试题:如果让你写一个消息队列,该如何进行架构设计?
- 如果让你写一个消息队列,该如何进行架构设计?
- 【一个批量计算的调度系统的设计与实现】如果需要对成千上万的网络抓包数据文件在规定的时间内进行解析,应该怎么做?
- 如果让你设计一个网络爬虫,你怎么避免陷入无限循环?
- 关于MQ的几件小事(七)如果让你设计一个MQ,你怎么设计
- 如何设计一个消息中间件? 消息中间件的总体架构
- 如果要设计一个网络爬虫程序,该怎么避免陷入无限循环
- 上机2 数据类型 控制结构 10. * 设计并实现一个要求用户输入两个数并猜测两数之和的程序。如果 用户猜对结果,就显示祝贺消息,否则显示慰问信息以及正确答案。 11.* 编写程序,一列数的规律如
- 怎么用python随机生成一个长度不小于50的整数数组,并判断该数组是不是堆,如果不是堆,则设计算法并将该数组调整成堆。
- C#编译器优化那点事 c# 如果一个对象的值为null,那么它调用扩展方法时为甚么不报错 webAPI 控制器(Controller)太多怎么办? .NET MVC项目设置包含Areas中的页面为默认启动页 (五)Net Core使用静态文件 学习ASP.NET Core Razor 编程系列八——并发处理
- 如果让你写一个消息队列,该如何进行架构设计啊?
- 如果让你写一个消息队列,该如何进行架构设计啊?
- 如果让你设计一个网络爬虫,你怎么避免陷入无限循环?
- 面试官:让你实现一个秒杀系统,你会怎么设计?
- 设计一个getMin功能的栈,如果面试官让你写一个数组类,一定不要用指针去管理new出来原生的数组,那就是在给自己挖坑
- 在一个高并发系统中 如果突然出现一个应用或者说一个服务突然变得很慢,应该怎么排查?
- 如果你参与到一个项目中,发现他们使用 Tab 来缩进代码,但是你喜欢空格,你会怎么做?
- 个人随想:对于一个.Neter来说,如果一直想走技术路线,该怎么走下去
- 架构设计:系统间通信(27)——其他消息中间件及场景应用(上)