Python爬虫获取图片并下载保存至本地的实例
2018-06-01 08:51
1031 查看
1、抓取煎蛋网上的图片。
2、代码如下:
import urllib.request import os #to open the url def url_open(url): req=urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0') response=urllib.request.urlopen(url) html=response.read() return html #to get the num of page like 1,2,3,4... def get_page(url): html=url_open(url).decode('utf-8') a=html.find('current-comment-page')+23 #add the 23 offset th arrive at the [2356] b=html.find(']',a) #print(html[a:b]) return html[a:b] #find the url of imgs and return the url of arr def find_imgs(url): html=url_open(url).decode('utf-8') img_addrs=[] a=html.find('img src=') while a!=-1: b=html.find('.jpg',a,a+255) # if false : return -1 if b!=-1: img_addrs.append('http:'+html[a+9:b+4]) else: b=a+9 a=html.find('img src=',b) #print(img_addrs) return img_addrs #print('http:'+each) #save the imgs def save_imgs(folder,img_addrs): for each in img_addrs: filename=each.split('/')[-1] #get the last member of arr,that is the name with open(filename,'wb') as f: img = url_open(each) f.write(img) def download_mm(folder='mm',pages=10): os.mkdir(folder) os.chdir(folder) url='http://jandan.net/ooxx/' page_num=int(get_page(url)) for i in range(pages): page_num -= i page_url = url + 'page-' + str(page_num) + '#comments' img_addrs=find_imgs(page_url) save_imgs(folder,img_addrs) if __name__ == '__main__': download_mm()
以上这篇Python爬虫获取图片并下载保存至本地的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- Python爬虫获取图片并下载保存至本地
- Python简单知乎爬虫--爬取页面的图片并下载到本地
- Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
- Python爬虫下载网站上的图片到本地
- [Python]使用Scrapy爬虫框架简单爬取图片并保存本地
- 用Python下载一个网页保存为本地的HTML文件实例
- Python编写一个简单的简单的爬虫-下载保存在本地
- 不务正业--用python爬虫抓取Konachan的图片并保存到本地文件
- 运维学python之爬虫高级篇(四)Item Pipeline介绍(附爬取网站获取图片到本地代码) 推荐
- Python简单知乎爬虫--爬取页面的图片并下载到本地
- php获取远程图片并下载保存到本地
- Python实例2-获取某文件夹下指定类型的图片名,完成图片格式的转换并保存
- Python 爬虫多线程爬取美女图片保存到本地
- python爬虫-下载图片到本地目录
- php获取远程图片并下载保存到本地
- Python3.x爬虫下载网页图片的实例讲解
- Python 爬虫抓取美女图片保存到本地
- python 获取网络图片并下载到本地(由网络源码改编)
- php获取远程图片并下载保存到本地的方法分析