python 爬虫 多任务方式 协程 爬取虎牙美女小姐姐
2019-04-13 22:10
2376 查看
准备工作
- 先进入虎牙直播分类颜秀把网页源码保存在meinv.html的文件中,放在pycharm 项目当前路径下。
- 然后把爬取后的文件保存在pycharm项目当前目录下的picture文件夹下(文件夹提前生成)
多任务思路:
- 先创建卵,把卵创建完后放入列表a中
- 再运用gevent.joinall(a)采用多任务方式下载
import urllib.request import gevent import re from gevent import monkey monkey.patch_all() #图片下载操作 def download(img_name,img_url): req=urllib.request.urlopen(img_url) img_content=req.read() with open("pictures/%s"%img_name,"wb") as f: f.write(img_content) def main(): #读取网页中的源码内容 with open("meinv.html","r",encoding='utf-8') as f: url_content=f.read() #使用正则过滤出图片的网址 img_li=re.findall(r"https://huya.*?\.jpg",url_content) print(len(img_li)) i=0 li = list() for j in img_li: a =li.append(gevent.spawn(download,str(i)+".jpg",j)) i += 1 gevent.joinall(a) if __name__ == '__main__': main()
相关文章推荐
- python协程的多种实现方式
- scrapy+python当你的爬虫遇到验证码处理方式之一
- 一个python爬虫协程的写法(gevent模块)
- python简易爬虫:xpath解析方式抓取几页小猪短租官网的住房信息
- python采用 多进程/多线程/协程 写爬虫以及性能对比,牛逼的分分钟就将一个网站爬下来!
- python 爬虫The One的 数据两种方式
- 跟着鬼哥学爬虫-9-python微信-4-我要自动看美女!
- python3多线程爬虫爬取某美女图片网站的指定页图片资源,你懂的
- python爬虫之爬百度美女图片
- Python 爬虫入门(三) HTTP协议请求方式
- Python实现基于协程的异步爬虫
- 用python写一个爬虫——爬取性感小姐姐
- python爬虫之下载文件的方式总结以及程序实例
- [python爬虫]爬取贴吧某页美女图片+爬取糗百美女图片
- python爬虫入门教程之点点美女图片爬虫代码分享
- Python3 百度图片 美女 下载 爬虫 多线程
- python实现爬虫下载美女图片
- Python 爬虫的集中简单方式
- python爬虫实战-爬取美女图片并保存至本地文件夹(xpath)
- Python 爬虫 urllib模块:get方式