飞浆paddlepaddle深度学习框架学习心得-爬虫篇
2020-07-14 05:26
155 查看
飞浆paddlepaddle深度学习框架学习心得-爬虫篇
最近又参加了一个训练营-“Python小白逆袭大神”,相比与以前的训练营,这次培训的类容不再以深度学习模型的理解和CV领域为主,重在对于Python、PaddleHub的使用方面,对于自己目前的学习是一个比较好的补充。
课程学习地址:https://aistudio.baidu.com/aistudio/education/group/info/1224
学习,编程都可以在线的jupyter-notebook上完成,不用装任何的python环境
唯一的缺点就是感觉就是在训练模型的时候会报错,然后就必须重启kernel才能解决了。一般的情况下我在完成训练后都会重启下kernel。
感觉最大的收获就是能自己根据特定的需求编写爬虫并自制数据集了。
把代码分享一下吧
导入必要的包
import re import uuid import requests import os import numpy import imghdr from PIL import Image
# 获取百度图片下载图片
def download_image(key_word, save_name, download_max): download_sum = 0 str_gsm = '80' # 把每个类别的图片存放在单独一个文件夹中 save_path = 'F' +':' +'/' +'images' + '/' + save_name if not os.path.exists(save_path): os.makedirs(save_path) while download_sum < download_max: # 下载次数超过指定值就停止下载 if download_sum >= download_max: break str_pn = str(download_sum) # 定义百度图片的路径 url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&' \ 'word=' + key_word + '&pn=' + str_pn + '&gsm=' + str_gsm + '&ct=&ic=0&lm=-1&width=0&height=0' print('正在下载 %s 的第 %d 张图片.....' % (key_word, download_sum)) try: # 获取当前页面的源码 result = requests.get(url, timeout=30).text # 获取当前页面的图片URL img_urls = re.findall('"objURL":"(.*?)",', result, re.S) if len(img_urls) < 1: break # 把这些图片URL一个个下载 for img_url in img_urls: # 获取图片内容 img = requests.get(img_url, timeout=30) img_name = save_path + '/' + str(uuid.uuid1()) + '.jpg' # 保存图片 with open(img_name, 'wb') as f: f.write(img.content) download_sum += 1 if download_sum >= download_max: break except Exception as e: print('【错误】当前图片无法下载,%s' % e) download_sum += 1 continue print('下载完成')
# 删除不是JPEG或者PNG格式的图片 def delete_error_image(father_path): # 获取父级目录的所有文件以及文件夹 try: image_dirs = os.listdir(father_path) for image_dir in image_dirs: image_dir = os.path.join(father_path, image_dir) # 如果是文件夹就继续获取文件夹中的图片 if os.path.isdir(image_dir): images = os.listdir(image_dir) for image in images: image = os.path.join(image_dir, image) try: # 获取图片的类型 image_type = imghdr.what(image) # 如果图片格式不是JPEG同时也不是PNG就删除图片 if image_type is not 'jpeg' and image_type is not 'png': os.remove(image) print('已删除:%s' % image) continue # 删除灰度图 img = numpy.array(Image.open(image)) if len(img.shape) is 2: os.remove(image) print('已删除:%s' % image) except: os.remove(image) print('已删除:%s' % image) except: pass
if __name__ == '__main__': # 定义要下载的图片中文名称和英文名称,ps:英文名称主要是为了设置文件夹名 """ 这里爬了下太极招式中的几张图片,到时候搞个太极姿势识别的模型玩玩 """ key_words = {'起势':'1-QiShi','野马分鬃':'2-YeMaFenZong', '白鹤亮翅':'3-BiHeLianChi','手挥琵琶':'ShouHuiPiPa', '双峰贯耳':'14-ShuangFengGuanEr','海底针':'19-HaiDiZhen','收势':'24-ShouShi'} # 每个类别下载500个 max_sum = 500 for key_word in key_words: save_name = key_words[key_word] download_image(key_word, save_name, max_sum) # 删除错误图片 delete_error_image('images/')
特别说明下,如果你要适配成自己希望爬取的图片,只需要修改这里就型,比如你想爬取明星的照片,自行修改这个列表就可以了
key_words = {'姚明':'1-YaoMing','吴京':'2-WuJing', '甄子丹':'3-ZhenZiDan'}
相关文章推荐
- Paddle框架《深度学习7日入门-CV疫情特辑》--学习心得
- [深度学习工具]·百度PaddlePaddle深度强化学习框架PARL
- 首个完整支持中文文档的深度学习框架——百度PaddlePaddle API文档简介
- 首个完整支持中文文档的深度学习框架——百度PaddlePaddle API文档简介
- 百度PaddlePaddle深度学习七日打卡技术心得及笔记
- 深度学习框架Keras使用心得
- 首个完整支持中文文档的深度学习框架——百度PaddlePaddle API文档简介
- PaddlePaddle, TensorFlow, MXNet, Caffe2 , PyTorch五大深度学习框架2017-10评测
- 记录一下paddlepaddle深度学习心得
- 深度学习框架PaddlePdddle学习( 二)
- python-框架-网页爬虫-文本处理-科学计算-可视化-机器学习-数据挖掘-深度学习
- TechDay实录 | 认识PaddlePaddle:更低使用成本、更高开发效率的深度学习框架
- 如何用深度学习框架PaddlePaddle实现智能春联
- 首个完整支持中文文档的深度学习框架——百度PaddlePaddle API文档简介
- 深度学习框架PaddlePdddle学习( 一)
- 百度深度学习paddlepaddle7日打卡——Python小白逆袭大神学习心得
- 2 万字全面测评深度学习框架 PaddlePaddle、TensorFlow 和 Keras | 程序员硬核评测
- TechDay实录 | 认识PaddlePaddle:更低使用成本、更高开发效率的深度学习框架
- 如何用深度学习框架PaddlePaddle实现智能春联
- 如何用深度学习框架PaddlePaddle实现智能春联