python多进程中的进程池pool

由于 python的多线程不能使用多核cpu，只能使用多进程。

在工作中遇到了需要处理几百万的数据条，查阅了相关资料发现使用多进程的进程池功能能够很好的解决问题。

进程池有两个调用执行代码的接口，分别是map和apply_async。map所限于不能调用执行代码有多个参数的情况，因此主要使用apply_async。

在使用过程中不能将执行代码写在类里面。

更新：使用apply_async时进程无法退出，改用map，将参数打包成一个list

map：

def worker(si):
sent = si[0]
id = si[1]
tw = [w for w in atw if w in sent]

return [tw,id]

def find_topic(self):

global atw
global chatpairtopic

atw = self.atw
chatpairtopic = self.chatpairtopic

print('find topic words')
pool = Pool(4)
sents = []
resultlist = []
for i in tqdm(range(len(self.ChatPairs))):
sents.append([self.data[self.ChatPairs[i]['sent']].decode('utf-8'),i])
resultlist=pool.map(worker,sents)
pool.close()
pool.join()

apply_async情况希望哪个大神帮忙指出为什么错误：

def log_result(result):#将worker的返回结果写入到一个新的变量中
tw = result[0]
i = result[1]
if len(tw) == 0:
chatpairtopic['日常对话词汇'].append(i)
else:
#print('w')
for w in tw:

chatpairtopic[w].append(i)
def worker(sent,i):#传输两个参数sent和i
tw = [w for w in atw if w in sent]
result = [tw,i]
return result

    def find_topic(self):

global atw
global chatpairtopic

atw = self.atw
chatpairtopic = self.chatpairtopic

print('find topic words')
pool = Pool(4)
sents = []
resultlist = []
for i in tqdm(range(len(self.ChatPairs))):
sent=self.data[self.ChatPairs[i]['sent']].decode('utf-8')#这步使得进程无法退出，如果sent=u'存在的意义是什么'则没问题
pool.apply_async(worker,(sent,i,),callback=log_result)
pool.close()
pool.join()