Python中队列和线程的使用

Python中对队列和线程的操作，需要使用模块：Queue 和 threading。其中，Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的同步。

简单的研究了一下使用方法，写了一个小例子，代码如下：

#!/bin/env python
#coding=utf-8

import os
import sys
import threading
import time
import Queue

global g_thread_num
global g_pages_queue

class Parser(threading.Thread):
def __init__(self, threadname, pagequeue):

threading.Thread.__init__(self, name = threadname)

self.queue = pagequeue

def run(self):
print("Parser::thread running...")

while True:
if self.queue.empty():
break
else:
time.sleep(0.05)
page_file = self.queue.get()

#do some thing here
print self.name, self.ident, page_file

self.queue.task_done()

time.sleep(0.05)

return

def GetPagesFromFile(file_name):
if len(file_name) == 0 or file_name == None:
print("GetPagesFromFile::input file is null")
sys.exit(-1)

fp = open(file_name)
for url in fp.readlines():
g_pages_queue.put(url.strip('\n'))
fp.close()

return g_pages_queue.qsize()

def RunFileInterface(file_name):
if len(file_name) == 0:
return

page_nb = GetPagesFromFile(file_name)
print page_nb

for i in range(g_thread_num):

parser = Parser("parser " + str(i), g_pages_queue)

parser.daemon = True

parser.start()

#parser.join()

g_pages_queue.join()

print("RunFileInterface::Done......")

return

if __name__ == '__main__':

g_thread_num = 2

g_pages_queue = Queue.Queue()

if len(sys.argv) == 2 and sys.argv[1] == '-db':

print("Main::Run DB Interface!")

#RunDBInterface()

elif len(sys.argv) >= 2 and sys.argv[1] == '-f':
page_files = ""
if len(sys.argv) == 3:
page_files = str(sys.argv[2])

if os.path.exists(page_files) and os.path.isfile(page_files):

print("Main::Run File Interface!")

RunFileInterface(page_files)

else:
print("Main::File Not Exists!")

sys.exit(0)

功能：从文件中读取每一行，放入队列中，用线程输出

需要注意的几点：

1、"parser.daemon = True" 必须在线程Start之前使用，否则可能出现RuntimeError异常。它的初始值是从主线程继承的，主线程一般不是守护线程，所以它的默认值为False

2、每次从Queue中取出一个元素，处理完成之后，最好调用一下"Queue.task_done()"

参考资料：

1、http://docs.python.org/2/library/queue.html

2、http://docs.python.org/2/library/threading.html

3、http://www.ibm.com/developerworks/cn/aix/library/au-threadingpython/

4、http://www.2cto.com/kf/201109/104515.html

5、http://www.cnblogs.com/holbrook/archive/2012/03/15/2398060.html

6、http://developer.51cto.com/art/201003/186160.htm