scrapy框架图片下载注意点
2016-10-13 10:59
162 查看
在setting中的设置：
ITEM_PIPELINES = {
'beautyImg.pipelines.BeautyimgPipeline': 500,
'scrapy.pipelines.images.ImagesPipeline':1
}
IMAGES_URLS_FIELD = 'IMG_URL'
IMAGES_STORE = r'.' #下载图片存放目录。r"."为工程项目目录
item中格式：
try:
img_url = div.xpath('div[@class="personal-info"]/div[@class="pic-word"]/div/a/img/@src')[0].extract()
item['IMG_URL'] = ["http:" + img_url] #要以list的形式放到item中
print item['IMG_URL']
except Exception,e:
print "ERROR:",e
yield item
ITEM_PIPELINES = {
'beautyImg.pipelines.BeautyimgPipeline': 500,
'scrapy.pipelines.images.ImagesPipeline':1
}
IMAGES_URLS_FIELD = 'IMG_URL'
IMAGES_STORE = r'.' #下载图片存放目录。r"."为工程项目目录
item中格式：
try:
img_url = div.xpath('div[@class="personal-info"]/div[@class="pic-word"]/div/a/img/@src')[0].extract()
item['IMG_URL'] = ["http:" + img_url] #要以list的形式放到item中
print item['IMG_URL']
except Exception,e:
print "ERROR:",e
yield item
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- python爬虫框架scrapy学习图片下载
- 利用scrapy框架爬取并下载天堂图片网的图片和数据
- Scrapy框架之利用ImagesPipeline下载图片
- Scrapy框架下载一个意大利网站所有植物图片并重命名归科
- scrapy框架下载图片
- 爬虫 scrapy 框架学习 2. Scrapy框架业务逻辑的理解 + 爬虫案例 下载指定网站所有图片
- Scrapy框架学习 - 使用内置的ImagesPipeline下载图片
- Python：使用Scrapy框架的ImagesPipeline下载图片如何保持原图片名称呢？
- Scrapy框架学习 - 扩展内置的ImagesPipeline实现图片下载
- 详细讲解Android图片下载框架UniversialImageLoader之内存缓存（三）
- 用 ScrapySharp 并行下载天涯图片
- scrapy 下载图片 ImagesPipeline
- 详细讲解Android的图片下载框架UniversialImageLoader之磁盘缓存的扩展（二）
- scrapy下载图片到指定路径
- Android网络图片下载框架—Volley
- 《node.js实战》案例—基于Express4.x框架的图片上传及下载的web应用
- 详细讲解Android图片下载框架UniversialImageLoader之内存缓存（三）
- scrapy 自动下载图片
- 详细讲解Android图片下载框架UniversialImageLoader之内存缓存扩展（四）
- Android 下载网络图片注意的问题