python利用urllib实现爬取京东网站商品图片的爬虫实例
2017-08-24 09:30
1291 查看
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码!
# -*- coding: utf-8 -* import re import os import urllib import urllib2 from bs4 import BeautifulSoup def craw(url,page): html1=urllib2.urlopen(url).read() html1=str(html1) soup=BeautifulSoup(html1,'lxml') imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img') namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em') #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong') #print pricelist path = "E:/{}/".format(str(goods)) if not os.path.exists(path): os.mkdir(path) for (imageurl,name) in zip(imagelist,namelist): name=name.get_text() imagename=path + name +".jpg" imgurl="http:"+str(imageurl.get('data-lazy-img')) if imgurl == 'http:None': imgurl = "http:" + str(imageurl.get('src')) try: urllib.urlretrieve(imgurl,filename=imagename) except: continue ''' #J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img #plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em #plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i ''' if __name__ == "__main__": goods=raw_input('please input the goos you want:') pages=input('please input the pages you want:') count =0.0 for i in range(1,int(pages+1),2): url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i)) craw(url,i) count += 1 print 'work completed {:.2f}%'.format(count/int(pages)*100)
图片的命名为商品的名称,京东商品图片地址的属性很可能会有所变动,所以大家进行编写的时候应该举一反三,灵活运用!
这是我下载下来的手机类图片文件的截图:
我本地的爬取的速度很快,不到一分钟就能爬取100页上千个商品的图片!
以上这篇python利用urllib实现爬取京东网站商品图片的爬虫实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
- python爬虫实战之爬取京东商城实例教程
- python制作爬虫爬取京东商品评论教程
- python爬虫框架scrapy实战之爬取京东商城进阶篇
- Python爬虫实现爬取京东手机页面的图片(实例代码)
- Python 3实战爬虫之爬取京东图书的图片详解
- python爬虫获取京东手机图片的图文教程
- Python爬虫实现网页信息抓取功能示例【URL与正则模块】
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- python抓取网页图片示例(python爬虫)
- 简单的抓取淘宝图片的Python爬虫
- 编写Python爬虫抓取暴走漫画上gif图片的实例分享
- Python爬虫实现抓取京东店铺信息及下载图片功能示例
相关文章推荐
- Python爬虫实现爬取京东手机页面的图片(实例代码)
- Python爬虫实例(4)-用urllib、re和正则表达式爬取网页图片
- Python爬虫实现抓取京东店铺信息及下载图片功能示例
- [Python爬虫] 之二十六:Selenium +phantomjs 利用 pyquery抓取智能电视网站图片信息
- python实现虎扑网站图片爬虫
- python 实现网站图片抓取小爬虫
- Python爬虫(六)爬京东商品图片
- python自学笔记(8)--Python简单爬虫从网站上下载图片和用第三方库request实现百度翻译
- java实现爬虫爬网站图片的实例代码
- 网络爬虫之网站图片爬取-python实现
- 利用Python爬虫爬取京东商品的简要信息
- Python爬虫利用cookie实现模拟登陆实例详解
- <四>、python爬虫抓取购物网站商品信息--图片价格名称
- Python中使用PIL库实现图片高斯模糊实例
- python3下几个淘宝、天猫、京东爬虫实例。(价格、销量、评论等)
- python爬虫实例(urllib&BeautifulSoup)
- 用python实现的一个抓取图片的爬虫
- python利用beautifulSoup实现爬虫
- 简单的python爬虫抓取图片实例
- Python2.x 利用urllib.quote实现url地址编码解码