Python代码的多线程改造
2015-10-25 06:21
656 查看
并行化处理已经成为了很多工程项目的需求。本文展示了如何使用threadpool模块(支持Python 3.x)将普通的Python程序多线程化。
import requests import bs4 import time import threadpool # build data array data = [] for e in range(10,20): data.append(str(e)) def print_now(request): s = str(request.requestID) print (s) def crawling(link): request_link = "http://www.wandoujia.com/search?key=" + str(link) + "&source=search" response = requests.get(request_link) # other code lines # set the thread number pool = threadpool.ThreadPool(10) # makeRequests(some_callable, list_of_args, callback) reqs = threadpool.makeRequests(crawling, data, print_now) # run [pool.putRequest(req) for req in reqs] pool.wait()
相关文章推荐
- Python多线程学习
- python 写的http后台弱口令爆破工具
- python的分布式任务并行处理框架Jug简单使用
- 进程和线程的理解
- subprocess.check_output 和subprocess.Popen区别
- Python中线程的理解
- python多线程,获取多线程的返回值
- python平行(3):【parallel python】与【sklearn joblib的parallel和delayed】性能对比
- python并行(2):python多进程与多线程
- python并行(1)
- Python多线程Selenium跨浏览器测试
- python 多进程提升模型效率
- python 多线程
- python多线程
- Python多线程详解
- python多线程和多进程
- Python多线程批量插入数据小结
- Python多进程与多线程编程及GIL详解
- Python多线程与多进程及其区别
- [python爬虫] Selenium定向爬取虎扑篮球海量精美图片