python从ftp下载数据保存实例
2013-11-20 00:00
1016 查看
《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为,得点到啥时候啊,迅雷应该有批量下载,只是我没找到,估计是我浏览器把迅雷禁掉了,干脆自己用python写一个实现下载好了,网上早了一下,发现很简单啊
#!/usr/bin/python #-*- coding: utf-8 -*- from ftplib import FTP def ftpconnect(): ftp_server = 'ftp3.ncdc.noaa.gov' username = '' password = '' ftp=FTP() ftp.set_debuglevel(2) #打开调试级别2,显示详细信息 ftp.connect(ftp_server,21) #连接 ftp.login(username,password) #登录,如果匿名登录则用空串代替即可 return ftp def downloadfile(): ftp = ftpconnect() #print ftp.getwelcome() #显示ftp服务器欢迎信息 datapath = "/pub/data/noaa/" year=1911 while year<=1930: path=datapath+str(year) li = ftp.nlst(path) for eachFile in li: localpaths = eachFile.split("/") localpath = localpaths[len(localpaths)-1] localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面,方便排序 bufsize = 1024 #设置缓冲块大小 fp = open(localpath,'wb') #以写模式在本地打开文件 ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件 year=year+1 ftp.set_debuglevel(0) #关闭调试 fp.close() ftp.quit() #退出ftp服务器 if __name__=="__main__": downloadfile()
相关文章推荐
- python从ftp下载数据保存实例
- 转:Python 从FTP 下载数据的例子
- python 读取摄像头数据并保存的实例
- 详解python实现读取邮件数据并下载附件的实例
- 用Python下载一个网页保存为本地的HTML文件实例
- python 读取txt中每行数据,并且保存到excel中的实例
- python实现的简单FTP上传下载文件实例
- python实现的简单FTP上传下载文件实例
- Python实例之抓取网易云课堂搜索数据(post方式json型数据)并保存到数据库
- Python实例之抓取淘宝商品数据(json型数据)并保存为TXT
- Python实例之抓取HTML中的数据并保存为TXT
- python 从ftp下载数据
- python使用numpy读取、保存txt数据的实例
- python 将数据保存为excel的xls格式(实例讲解)
- Python爬虫获取图片并下载保存至本地的实例
- C#学习笔记之从FTP服务器上传和下载数据(二)
- jsp ftp上传下载实例
- $用python玩点有趣的数据分析——一元线性回归分析实例
- Spark SQL数据加载和保存实例讲解
- 官方NotePad实例学习--保存数据ContentValue