【zz】Python2 批量下载网站文件
2014-03-11 13:11
561 查看
#! encoding=utf-8 import urllib2 import re import os def Download(url,output): print "downloading..."+url response = urllib2.urlopen(url) resourceFile = open(output,"wb") resourceFile.write(response.read()) resourceFile.close() print "downloaded" def Action(url,ext = "pdf",output = "."): #1.domain index = url.rfind("/"); domain = url[0:index+1]; print domain request = urllib2.Request(url) response = urllib2.urlopen(request) #2.content content = response.read() # print content #3.resource mode = '\"([^\"]+'+ext+')\"' pattern = re.compile(mode) strMatch = pattern.findall(content) size = len(strMatch) print "file num: "+str(size) for i in range(0,size,1): # print strMatch[i] one = strMatch[i] partIndex = one.rfind('/') if not one.startswith('http://'): if -1!=partIndex: directDir = one[0:partIndex+1] else: directDir = "" # print directDir try: os.makedirs(output+"/"+directDir) except Exception,e: pass fileUrl = domain+one fileOutput = output+"/"+one print fileUrl print fileOutput Download(fileUrl,fileOutput) else: print one print "........." print one[partIndex:] fileOutput = output+"/"+one[partIndex:] print fileOutput Download(one,fileOutput) #5.download if __name__=='__main__': print "download" url = "http://compgeom.cs.uiuc.edu/~jeffe/teaching/algorithms/"; Action("http://tech.qq.com/","jpg");
View Code
本文转载自:http://blog.csdn.net/infoworld/article/details/9337619
相关文章推荐
- python批量下载兰科植物网站的图片,并重命名文件
- [Python]_[批量下载网站文件]
- [Python]_[批量下载网站文件]
- Python批量下载网页中的表格存储到CSV文件中
- Python 批量下载文件
- python下paramiko模块学习之四:从远程主机批量下载文件到本机
- Python 批量下载文件
- php实现网站文件批量压缩下载功能
- python写的批量操作远程主机脚本(命令执行,上传、下载文件)
- 批量下载matplotlib网站实例源码python脚本
- 在MVC中实现和网站不同服务器的批量文件下载以及NPOI下载数据到Excel的简单学习
- Python urllib模块urlopen()【打开网站,写入本地文件】与urlretrieve()【直接下载网站文件到本地】
- 批量下载网站文件
- 批量下载网站图片的Python实用小工具
- Python实现批量下载文件
- python实现网站的js文件下载
- 批量下载小说网站上的小说(python爬虫)
- [网络]_[批量下载网站文件]
- python实现网站内部视频批量下载
- python下paramiko模块学习之四:从远程主机批量下载文件到本机