【学习】06 爬虫使用代理地址爬取搜狗微信文章
2017-12-26 16:01
120 查看
参考：静觅丨崔庆才的个人博客
项目地址：copywang/spiders_collection
url需要使用urlencode拼接
使用代理避免IP被封
使用pyquery解析得到需要的字段信息
爬取文章详情页并存储到MongoDB
获取每一页的html代码
从每一页的html代码解析得到具体文章的url
获取具体文章的url，解析得到需要的信息
使用代理IP
异常处理
项目地址：copywang/spiders_collection
实现功能
根据登陆后的cookie制作header，请求搜索微信文章url需要使用urlencode拼接
使用代理避免IP被封
使用pyquery解析得到需要的字段信息
爬取文章详情页并存储到MongoDB
步骤
制作cookie，拼接URL获取每一页的html代码
从每一页的html代码解析得到具体文章的url
获取具体文章的url，解析得到需要的信息
收获
使用pyquery使用代理IP
异常处理
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 【Python3.6爬虫学习记录】（二）使用BeautifulSoup爬取简单静态网页文章
- nodejs爬虫抓取搜狗微信文章详解
- 【Python3.6爬虫学习记录】（六）urllib详细使用方法(header,代理,超时,认证,异常处理)
- nodejs爬虫-通过抓取搜狗微信网站获取微信文章信息
- python爬虫实战（三）--------搜狗微信文章（IP代理池和用户代理池设定----scrapy）
- python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容
- 【Python3.6爬虫学习记录】（十一）使用代理IP及用多线程测试IP可用性--刷访问量
- python爬虫实战--------搜狗微信文章（IP代理池和用户代理池设定----scrapy）
- [bxd学习java基本点]9.ArrayList存对象例子，其除重复及删除，要使用地址，而不是eqauls
- mojoportal学习——文章翻译之使用Artisteer快捷的创建模板
- 记录一下（session共享的文章,wcf记录一下学习地址，Firebug）
- mojoportal学习——文章翻译之在mojoportal中使用微软Ajax技术
- 在ubuntu下使用搜狗的教育网代理
- Framebuffer原理、使用、测试系列文章,非常好的资料，大家一起学习
- Java动态代理学习文章（一）
- 发现一个系列学习wcf的好文章，通读了一遍，地址记下来
- FMDB的使用，比较上篇文章一起学习，应该就会了
- hibernate3学习系列文章的地址列表
- struts2学习系列文章的地址列表
- 使用自动组态指令码情况下取得相应的代理地址