Python多线程下载文件的方法
2015-07-10 00:00
941 查看
本文实例讲述了Python多线程下载文件的方法。分享给大家供大家参考。具体实现方法如下:
import httplib import urllib2 import time from threading import Thread from Queue import Queue from time import sleep proxy = 'your proxy'; opener = urllib2.build_opener( urllib2.ProxyHandler({'http':proxy}) ) urllib2.install_opener( opener ) ids = {}; for i in range(1,110): try: listUrl = "http://www.someweb.net/sort/list_8_%d.shtml" % (i); print listUrl; page = urllib2.urlopen(listUrl).read(); speUrl = "http://www.someweb.net/soft/"; speUrlLen = len(speUrl); idx = page.find(speUrl,0); while idx!=-1: dotIdx = page.find(".",idx + speUrlLen); if dotIdx != -1: id = page[idx + speUrlLen:dotIdx]; ids[id] = 1; idx = page.find("http://www.someweb.net/soft/",idx + speUrlLen); except: pass; q = Queue() NUM = 5 failedId = []; def do_somthing_using(id): try: url = "http://www.someweb.net/download.php?softid=%s&type=dx" % (id); h2 = httplib.HTTPConnection("your proxy", "you port"); h2.request("HEAD", url); resp = h2.getresponse(); header = resp.getheaders(); location = header[3][1]; sContent = urllib2.urlopen(location).read(); savePath = "C:\\someweb\\%s.rar" % (id); file=open(savePath,'wb'); file.write(sContent); file.close(); print savePath + " saved"; except: pass; def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done() for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() for id in ids: q.put(id) q.join()
希望本文所述对大家的Python程序设计有所帮助。
相关文章推荐
- python和bash统计CPU利用率的方法
- Python实现提取谷歌音乐搜索结果的方法
- Python读写unicode文件的方法
- Python实现telnet服务器的方法
- Python实现大文件排序的方法
- Python实现的最近最少使用算法
- python实现中文分词FMM算法实例
- Python获取邮件地址的方法
- Python自动登录126邮箱的方法
- Python将阿拉伯数字转换为罗马数字的方法
- Python写入数据到MP3文件中的方法
- Python实现分割文件及合并文件的方法
- python subprocess使用记录
- python语法练习
- Python 3 抓取百度贴吧图片
- Python IDLE中实现清屏
- 一个WXPython+采集的 Demo
- python入门知识
- Python中的__new__()方法与实例化
- Python基本语法