您的位置：首页 > 编程语言 > Python开发

Python实现具备元素唯一性的队列

2017-12-14 17:46 501 查看

直奔主题，在用多线程写一个爬虫项目时，很自然的想到用“生产者-消费者”模式，但是又想实现一个额外的需求，即如果爬虫爬到了队列中已存在的url，则不进行入队操作。想实现这个，大概面临两个问题：

1.

Queue

对象不支持

in

操作

2. 即使1成立，如果在

Queue

对象外部通过

if item in q

这种形式也行不通，因为该过程无锁，多线程情况下就无法保证查询结果的准确性

进而观察了一下queue模块的源代码，因为Queue类是基于deque类实现的，那么就好办了：对
put
方法稍加改造，增加一个
unique
参数，依据此参数是否为True，在底层的deque中判断要加入的元素的存在性，以此可实现类似set的特性。

put方法源代码：

def put(self, item, block=True, timeout=None):
with self.not_full:
if self.maxsize > 0:
if not block:
if self._qsize() >= self.maxsize:
raise Full
elif timeout is None:
while self._qsize() >= self.maxsize:
self.not_full.wait()
elif timeout < 0:
raise ValueError("'timeout' must be a non-negative number")
else:
endtime = time() + timeout
while self._qsize() >= self.maxsize:
remaining = endtime - time()
if remaining <= 0.0:
raise Full
self.not_full.wait(remaining)
self._put(item)
self.unfinished_tasks += 1
self.not_empty.notify()

修改后的put方法

def put(self, item, block=True, timeout=None, unique=False):
"""增加了unique参数"""
with self.not_full:
#----- 以下三行为新增代码 -----#
if unique:
if item in self.queue:
return
#----- 新增代码结束 -----#
if self.maxsize > 0:
if not block:
if self._qsize() >= self.maxsize:
raise Full
elif timeout is None:
while self._qsize() >= self.maxsize:
self.not_full.wait()
elif timeout < 0:
raise ValueError("'timeout' must be a non-negative number")
else:
endtime = time() + timeout
while self._qsize() >= self.maxsize:
remaining = endtime - time()
if remaining <= 0.0:
raise Full
self.not_full.wait(remaining)
self._put(item)
self.unfinished_tasks += 1
self.not_empty.notify()

当然也可以仿照

put_nowait

方法增加一个快捷方法

put_unique

，如下

def put_unique(self, item, block=True, timeout=None):
return self.put(item, block, timeout, unique=True)

Have fun!

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： 队列元素唯一性 queue元素唯一队列去重 Queue去重 python

相关文章推荐

新的分享

章节导航