使用python urlretrieve下载文件

urlretrieve()方法直接将远程数据下载到本地。urlretrieve()是python urllib下的一个函数，python3已经将urlretrieve()移到urllib.request下了，使用时需要注意。
urlretrieve(url, filename=None, reporthook=None, data=None):
url：下载链接地址
filename：指定保存本地路径
reporthook：回调函数，可以利用其来显示当前的下载进度。
data：返回一个包含两个元素的(filename, headers) 元组，filename 表示保存到本地的路径，header表示服务器的响应头
下面以下载cifar-10数据集为例，理解urlretrieve的用法：from urllib.request import urlretrieve
import os

def download(url, savepath='./'):
"""
download file from internet
:param url: path to download from
:param savepath: path to save files
:return: None
"""
def reporthook(a, b, c):
"""
显示下载进度
:param a: 已经下载的数据块
:param b: 数据块的大小
:param c: 远程文件大小
:return: None
"""
print("\rdownloading: %5.1f%%" % (a * b * 100.0 / c), end="")
filename = os.path.basename(url)
# 判断文件是否存在，如果不存在则下载
if not os.path.isfile(os.path.join(savepath, filename)):
print('Downloading data from %s' % url)
urlretrieve(url, os.path.join(savepath, filename), reporthook=reporthook)
print('\nDownload finished!')
else:
print('File already exsits!')
# 获取文件大小
filesize = os.path.getsize(os.path.join(savepath, filename))
# 文件大小默认以Bytes计， 转换为Mb
print('File size = %.2f Mb' % (filesize/1024/1024))

if __name__ == '__main__':
# 以下载cifar-10数据集为例
url = "https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz"
download(url, savepath='./')当指定文件夹下不存在待下载文件时，执行下载：Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz downloading: 100.0%
Download finished!
File size = 162.60 Mb当指定文件夹下已存在待下载文件同名文件，则不执行下载：File already exsits!
File size = 162.60 Mb