您的位置:首页 > 编程语言 > Python开发

【Python之旅】第六篇(五):生产者消费者模型实现多线程异步交互

2015-10-11 22:22 776 查看
虽然标题是“生产者消费者模型实现多线程异步交互”,但这里要说的应该还包括Python的消息队列,因为这里多线程异步交互是通过Python的消息队列来实现的,因此主要内容如下:

1.生产者消费者模型:厨师做包子与顾客吃包子
2.Python的消息队列
3.利用消息队列实现Python多线程异步交互
4.再谈耦合度的问题


1.生产者消费者模型
通过厨师做包子与顾客吃包子来引出生产者消费者模型,如下图:





这里,厨师相当于生产者,顾客相当于消费者,顾客吃包子,厨师做包子。做一个假设,如果厨师做包子的速度远远比顾客吃包子的速度要快,有这样一种情况,厨师等顾客吃完一个包子后再做下一个包子(这时我们说厨师与顾客的耦合度高,即厨师做包子与顾客吃包子是紧密相连的),这样显然效率会很低,现实情况中也不可能是这样,因为一旦顾客多时,厨师就有可能忙不过来了。

可以尝试这样解决:不管顾客有没有吃完包子,厨师也继续做包子,但此时是先把包子放在一个包子柜台中,等顾客有需要时再去包子柜台拿包子。如此一来,厨师和顾客的耦合度就变低了,即厨师做包子并不取决于顾客是否把包子吃完,这样的话效率显然就会高多。

2.Python中的消息队列
通过上面的例子中,就可以引出消息队列了:包子柜台即相当于Python中的消息队列(当然不只有Python才有消息队列)。根据上面的例子,我们做下面的类比分析。
类比分析1:厨师和包子相当于是两个线程(假设线程A和线程B),厨师做的包子即相当于是线程A执行后的结果,而线程B的执行需要利用线程A的执行结果,并且,线程A的执行速度比线程B的执行速度要快。

类比分析2:厨师不会等顾客吃完包子后再做下一个包子,即线程A也不会等线程B使用线程A的执行结果后再去执行下一次功能相同的线程A2,否则程序运行效率会很低。

类比分析3:厨师把做好的包子放在包子柜台里,顾客吃完一个包子后再去包子柜台取,线程A把执行结果存放在消息队列中,然后再执行下一个功能相同的线程A2,线程B在消息队列中取胜线程A的执行结果,然后再执行下一个功能相同的线程B2,如此类推。

通过上面的分析,我们就可以知道,通过使用消息队列,我们就可以降低两个线程之间的耦合度,这样就可以提高程序的运行效率。

3.利用消息队列实现Python多线程异步交互
上面的例子,线程A和线程B的执行速度是不一样的(异步),但却线程B却需要使用线程A的执行结果(交互),通过使用Python的消息队列,就可以实现线程的异步交互。
程序代码如下:
#!/usr/bin/env python

import threading, time
import Queue    #导入消息队列模块
import random   #导入随机数模块,是为了模拟生产者与消费者速度不一致的情形
q = Queue.Queue()    #实例化一个对象

def Producer(name):          #生产者函数
for i in range(20):
q.put(i)     #将结果放入消息队列中
print '\033[32;1mProducer %s has made %s baozi....\033[0m' % (name, i)
time.sleep(random.randrange(3))    #生产者的生产速度,3s内
def Consumer(name):          #消费者函数
count = 0
while count < 20:
data = q.get()    #取用消息队列中存放的结果
print '\033[31;1mConsumer %s has eatem %s baozi...chihuo...\033[0m' % (name, data)
count += 1
time.sleep(random.randrange(4))    #消费者的消费速度,4s内

p = threading.Thread(target = Producer, args = ('Alex',))
c = threading.Thread(target = Consumer, args = ('Wangfanhao',))

p.start()
c.start()
程序执行结果如下:







利用这个程序,很好地模拟了前面“厨师做包子顾客吃包子”的例子,而从程序的执行结果中也可以看出,线程的执行是异步的,尽管如此,数据还是进行了交互,作用是:在多线程和多线程之间进行数据交互的时候,不会出现数据的阻塞。
基于前面3点,对Python多线程异步交互应该是有一个比较好的理解了。

4.再谈耦合度的问题
继续前面“厨师做包子与顾客吃包子”的问题,有一个问题,如果包子的制作是两个厨师完成,即一个做馅,一个包包子,那么正常情况下,两个人的工作需要串行完成才能做完一个包子,即这两个人的耦合度非常高,也就是说他们的工作联系紧密,在这种情况下,我们应该尽可能地减少这种耦合度,这时,只需要在两个厨师之间再加一个队列,即厨师A把馅做好后就放在队列中,厨师B根据自己做包子的快慢去取馅,这样就不会出现厨师A非得等厨师B把一个包子包完了再去做另一个包子的馅,厨师B也不一定需要先等厨师A把手头上的馅做好才去包包子,因为这时队列中已经有馅了,如此因为,再根据两个两项工作速度的不同,给厨师A或厨师B再多增加一名或多名助手,就可以大大地增加整一个做包子的速度了。
运用在写程序的过程中,也应该要这样去思考。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息