[C++]合理的设计和使用消息队列
2012-11-17 21:23
781 查看
生产者消费者问题,是永远的经典.
单纯让多个线程去竞争,占有资源然后处理,会让系统的复杂度变得相当复杂,并且整个系统的并发也很难控制.为了让系统简单化,流畅化,引入消息队列,而且这样,系统更具有相当高的吞吐量.因为做的事情简单而有效.
根据具体业务的不同,个人(认为)把消息队列分为1:1模型,还有就是N:M模型的.
如果消费者的消费能力非常高.个人认为就应该使用1:1的队列.这种队列足够简单,可以进行各种优化,比如避免动态内存分配,锁优化,使用lock-free等.这样可以让主循环的等待时间降到最低,使其可以专心致志进行各种逻辑处理.
有时,有些业务逻辑,不是很在乎时许,允许比较小的时间误差,而且消费能力很强的化,也是可以使用1:1的队列,不过生产者变成了n个,消费者还是一个.:-D 当然这种场景,不是非常多.
这边给出一个lock free的message queue.
如果消费者的消费能力比较差,还有一些业务,比如金钱相关的,比如数据库存档相关的,而且这样的系统,想要提高吞吐量,就只能使用N:M的模型.只不过这边把lock-free换成了mutex,虽然mutex有可能会陷入到内核,不过只要临界区足够小,操作足够轻量级,效率还是蛮高的.一般的系统,都不会在这边有瓶颈.
这边给出一个blocking queue的实现.
其实很多业务,1:1的就足够快了.
PS: 其实N:M的lock free queue也是可以实现的,不过需要用到cas. fecth and add使不能实现n个并发的.另外,cas实现消息队列的复杂性相当高,收益也不是非常有效(在CPU核数较多的情况下),故放弃了实现多并发的lock free队列.
另外不关心时序,不是意味着一点都不关心,而是允许有一定的误差,比如10ms.
本来还想贴代码,想想算了,代码在github上开源了,可以自己去看实现.
https://github.com/egmkang/green_turtle/blob/master/green_turtle/blocking_queue.h
https://github.com/egmkang/green_turtle/blob/master/green_turtle/message_queue.h
单纯让多个线程去竞争,占有资源然后处理,会让系统的复杂度变得相当复杂,并且整个系统的并发也很难控制.为了让系统简单化,流畅化,引入消息队列,而且这样,系统更具有相当高的吞吐量.因为做的事情简单而有效.
根据具体业务的不同,个人(认为)把消息队列分为1:1模型,还有就是N:M模型的.
如果消费者的消费能力非常高.个人认为就应该使用1:1的队列.这种队列足够简单,可以进行各种优化,比如避免动态内存分配,锁优化,使用lock-free等.这样可以让主循环的等待时间降到最低,使其可以专心致志进行各种逻辑处理.
有时,有些业务逻辑,不是很在乎时许,允许比较小的时间误差,而且消费能力很强的化,也是可以使用1:1的队列,不过生产者变成了n个,消费者还是一个.:-D 当然这种场景,不是非常多.
这边给出一个lock free的message queue.
如果消费者的消费能力比较差,还有一些业务,比如金钱相关的,比如数据库存档相关的,而且这样的系统,想要提高吞吐量,就只能使用N:M的模型.只不过这边把lock-free换成了mutex,虽然mutex有可能会陷入到内核,不过只要临界区足够小,操作足够轻量级,效率还是蛮高的.一般的系统,都不会在这边有瓶颈.
这边给出一个blocking queue的实现.
消费速度\时序 | 关心 | 不关心 |
消费速度慢 | blocking | blocking |
消费速度快 | 1:1 lock free N:M blcoking | lock free |
PS: 其实N:M的lock free queue也是可以实现的,不过需要用到cas. fecth and add使不能实现n个并发的.另外,cas实现消息队列的复杂性相当高,收益也不是非常有效(在CPU核数较多的情况下),故放弃了实现多并发的lock free队列.
另外不关心时序,不是意味着一点都不关心,而是允许有一定的误差,比如10ms.
本来还想贴代码,想想算了,代码在github上开源了,可以自己去看实现.
https://github.com/egmkang/green_turtle/blob/master/green_turtle/blocking_queue.h
https://github.com/egmkang/green_turtle/blob/master/green_turtle/message_queue.h
相关文章推荐
- zz[C++]合理的设计和使用消息队列
- [转载] 分布式消息队列的设计和使用
- 分布式消息队列的设计和使用
- 分布式消息队列的设计和使用
- [架构设计]关于消息队列的使用
- 分布式消息队列的设计和使用
- C++ 设计模式之状态模式的使用
- java消息队列使用场景
- 消息队列(Message Queue)简介及其使用
- 消息队列-ZeroMQ的安装以及使用
- php 消息队列 rabbitmq 的安装使用
- Linux进程间通信——使用消息队列
- 简单易用的消息队列框架的设计与实现
- C# 使用消息队列,包括远程访问
- 使用消息队列的 10 个理由
- 消息队列(Message Queue)简介及其使用
- 进程间通信----使用消息队列
- 消息队列设计的精髓
- 消息队列机制 思考(C++)
- 基于redis的延迟消息队列设计