urllib.urlretrieve()
2015-12-21 05:43
330 查看
把指定url文件存到filename中。
由上面源码可知,urlretrieve()实际是调用FancyURLopener的retrieve()方法。
其实没什么,就是把读open(url)返回的对象,保存到filename中,filename为空时生成一个临时文件。
这里要单说一下reporthook,这是一个回调函数,在连接建立和每次块读取完之后调用一次。
会传入三个参数:
到现在传输的块数。
每一块的大小。
文件总大小。
如果看进度这是很有用的。
下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。
def urlretrieve(url, filename=None, reporthook=None, data=None): global _urlopener if not _urlopener: _urlopener = FancyURLopener() return _urlopener.retrieve(url, filename, reporthook, data)
由上面源码可知,urlretrieve()实际是调用FancyURLopener的retrieve()方法。
def retrieve(self, url, filename=None, reporthook=None, data=None): """retrieve(url) 对本地对象返回 (filename, headers) 或对远程对象返回(tempfilename, headers)"""
其实没什么,就是把读open(url)返回的对象,保存到filename中,filename为空时生成一个临时文件。
这里要单说一下reporthook,这是一个回调函数,在连接建立和每次块读取完之后调用一次。
会传入三个参数:
到现在传输的块数。
每一块的大小。
文件总大小。
如果看进度这是很有用的。
下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。
def cbk(a, b, c): '''回调函数 @a: 已经下载的数据块 @b: 数据块的大小 @c: 远程文件的大小 ''' per = 100.0 * a * b / c if per > 100: per = 100 print '%.2f%%' % per url = 'http://www.sina.com.cn' local = 'd://sina.html' urllib.urlretrieve(url, local, cbk)
相关文章推荐
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- *Reverse Linked List II
- LeetCode - Remove Duplicates from Sorted Array
- C标准库没提供的助手函数:字符串替换
- LeetCode - Reverse Nodes in k-Group
- Leetcode: Shortest Word Distance II
- Android RecyclerView使用详解四
- *Insertion Sort List
- python对文件及文件夹的一些操作
- 二分查找(折半查找)
- 文章标题
- 312. Burst Balloons
- 处理字符串的一些C函数
- isalpha判断字母函数的使用
- PHP(三)变量、常量
- Unity C#脚本热更
- [hdu4285 circuits] 插头dp
- Unity项目结构和版本控制
- 资源管理系统
- aopalliance.jar的用途