Python之Queue模块以及生产消费者模型
2018-01-29 13:36
309 查看
队列
队列类似于一条管道,元素先进先出,进put(arg),取
get()
有一点需要注意的是:队列都是在内存中操作,进程退出,队列清空,另外,队列也是一个阻塞的形态.
队列分类
队列有很多中,但都依赖模块queue
|队列方式|特点|
|---|---|
|queue.Queue|先进先出队列|
|queue.LifoQueue|后进先出队列|
|queue.PriorityQueue|优先级队列|
|queue.deque|双线队列|
队列的方法
方法 | 用法说明 |
---|---|
put | 放数据,Queue.put()默认有block=True和timeout两个参数。当block=True时,写入是阻塞式的,阻塞时间由timeout确定。当队列q被(其他线程)写满后,这段代码就会阻塞,直至其他线程取走数据。Queue.put()方法加上 block=False 的参数,即可解决这个隐蔽的问题。但要注意,非阻塞方式写队列,当队列满时会抛出 exception Queue.Full 的异常 |
get | 取数据(默认阻塞),Queue.get([block[, timeout]])获取队列,timeout等待时间 |
empty | 如果队列为空,返回True,反之False |
qsize | 显示队列中真实存在的元素长度 |
maxsize | 最大支持的队 4000 列长度,使用时无括号 |
join | 实际上意味着等到队列为空,再执行别的操作 |
task_done | 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号 |
full | 如果队列满了,返回True,反之False |
单向队列
import queue q=queue.Queue(5) #如果不设置长度,默认为无限长 print(q.maxsize) #注意没有括号 q.put(123) q.put(456) q.put(789) q.put(100) q.put(111) q.put(233) print(q.get()) print(q.get())
如此打印时候是阻塞的,为什么呢,因为创建了5个元素长度的队列,但我put进去了6个,所以就阻塞了.如果少写一个能显示出正确的
123.
后进先出队列
q = queue.LifoQueue() q.put(12) q.put(34) print(q.get())
优先级队列
需要注意的是,优先级队列put的是一个元组,(优先级,数据),优先级数越小,级别越高q = queue.PriorityQueue() q.put((3,'aaaaa')) q.put((3,'bbbbb')) q.put((1,'ccccc')) q.put((3,'ddddd')) print(q.get()) print(q.get())
out:
(1, 'ccccc') (3, 'aaaaa')
双线队列
q = queue.deque() q.append(123) q.append(456) q.appendleft(780) print(q.pop()) print(q.popleft())
out:
456 780
生产消费者模型
解决什么问题,使用场景
从下面图中可以发现生产者和消费者之间用中间类似一个队列一样的东西串起来。这个队列可以想像成一个存放产品的“仓库”,生产者只需要关心这个“仓库”,并不需要关心具体的消费者,对于生产者而言甚至都不知道有这些消费者存在。对于消费者而言他也不需要关心具体的生产者,到底有多少生产者也不是他关心的事情,他只要关心这个“仓库”中还有没有东西。这种模型是一种松耦合模型。这样可以回答我上面提出的第一个问题。这个模型的产生就是为了复用和解耦。比如常见的消息框架(非常经典的一种生产者消费者模型的使用场景)ActiveMQ。发送端和接收端用Topic进行关联。这个Topic可以理解为我们这里“仓库”的地址,这样就可以实现点对点和广播两种方式进行消息的分发。
一句话总结
解决程序解耦,较少的资源解决高并发的问题import queue,threading,time q=queue.Queue() def product(arg): while True: q.put(str(arg)+'包子') def consumer(arg): while True: print(arg,q.get()) time.sleep(2) for i in range(3): t=threading.Thread(target=product,args=(i,)) t.start() for j in range(20): t=threading.Thread(target=consumer,args=(j,)) t.start()
相关文章推荐
- Python之queue模块以及生产消费者模型
- Java多线程15:Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- python2.0_s12_day9之day8遗留知识(queue队列&生产者消费者模型)
- python queue和生产者和消费者模型
- Java多线程15:Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- Java多线程15:Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- Python3之线程Queue实现生产者消费者模型
- python threading模块使用 以及python多线程操作的实践(使用Queue队列模块)
- python多线程(3)---生产者与消费者(线程通信)和Queue模块
- Java多线程系列-Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- pythond多线程——生产消费者模型
- Java多线程15:Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- Python 第九篇:队列Queue、生产者消费者模型、(IO/异步IP/Select/Poll/Epool)、Mysql操作
- python基础-进线程下的queue、及其生产者消费者模型(2种方式)
- Queue、BlockingQueue以及利用BlockingQueue实现生产者/消费者模型
- Python-yield模拟生产消费者模型
- Python 生产者和消费者模型
- 如何进行服务器的批量管理以及python 的paramiko的模块
- Python的模块与函数以及与自动化的结合
- python Queue模块