Python scrapy增量爬取实例及实现过程解析
2020-02-13 11:32
716 查看
这篇文章主要介绍了Python scrapy增量爬取实例及实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
开始接触爬虫的时候还是初学Python的那会,用的还是request、bs4、pandas,再后面接触scrapy做个一两个爬虫,觉得还是框架好,可惜都没有记录都忘记了,现在做推荐系统需要爬取一定的文章,所以又把scrapy捡起来。趁着这次机会做一个记录。
目录如下:
- 环境
- 本地窗口调试命令
- 工程目录
- xpath选择器
- 一个简单的增量爬虫示例
- 配置介绍
环境
自己的环境下安装scrapy肯定用anaconda(再次强调anaconda的优越性
本地窗口调试与运行
开发的时候可以利用scrapy自带的调试功能进行模拟请求,这样request、response都会与后面代码保持一样。
# 测试请求某网站 scrapy shell URL # 设置请求头 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" URL # 指定爬虫内容输出文件格式(json、csv等 scrapy crawl SPIDER_NAME -o FILE_NAME.csv # 创建爬虫工程 scrapy startproject articles # 在当前目录创建一个scrapy工程
新工程结构介绍
# spiders文件下存放所有爬虫,item.py格式化数据输出 # middlewares.py 设置请求细节(请求头之类的),pipelines.py为数据输出的管道,每一个封装好的item都会经过这里 # settings.py 对工程进行全局设置(存放配置 ├── articles │ ├── articles │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders │ │ ├── healthy_living.py │ │ ├── __init__.py │ │ └── people_health.py │ └── scrapy.cfg ├── README.en.md └── README.md
页面解析神器――Xpath选择器
scrapy自带xpath选择器,很方便,简单介绍一些常用的
# 全站爬取神器--LinkExtractor,可以自动获取该标签下的所有url跟text(因为网站结构大都一个套路 from scrapy.linkextractors import LinkExtractor le = LinkExtractor(restrict_xpaths="//ul[@class='nav2_UL_1 clearFix']")# 返回一个迭代器,通过循环(for i in le),可获取url(i.url) (i.text) # 获取属性class为所有aa的div标签内容中的内容 response.xpath("//div[@class='aa']/text()").extract() # '//'代表获取所有,'/'代表获取第一个,类似的可以找属性为ul的其它标签 # 获取内容包含“下一页”的所有a标签中包含的链接(提取下一页链接神器 response.xpath("//a[contains(text(),'下一页')]/@href").extract()
一个简单的增量爬取示例
这里增量爬取的思想很简单:目标网站的数据都是按照时间排列的,所以在对某个连接进行request之前,先查询数据库中有没有这条数据,如果有,就停止爬虫,如果没有发起请求
class HealthyLiving(scrapy.Spider): # 一定要一个全局唯一的爬虫名称,命令行启动的时候需要指定该名称 name = "healthy_living" # 指定爬虫入口,scrapy支持多入口,所以一定是lis形式 start_urls = ['http://www.jkb.com.cn/healthyLiving/'] ''' 抓取大类标签入口 ''' def parse(self, response): le = LinkExtractor(restrict_xpaths="//ul[@class='nav2_UL_1 clearFix']") for link in le.extract_links(response)[1:-1]: tag = link.text # 将这一级提取到的信息,通过请求头传递给下一级(这里是为了给数据打标签 meta = {"tag": tag} # 依次解析每一个链接,并传递到下一级进行继续爬取 yield scrapy.Request(link.url, callback=self.parse_articles, meta=meta) ''' 抓取页面内的文章链接及下一页链接 ''' def parse_articles(self, response): # 接收上一级传递的信息 meta = response.meta article_links = response.xpath("//div[@class='txt']/h4/a/@href").extract() for link in article_links: res = self.collection.find_one({"article_url": link}, {"article_url": 1}) full_meta = dict(meta) # 将文章链接传入下一级 full_meta.update({"article_url": link}) if res is None: yield scrapy.Request(link, callback=self.parse_article, meta=full_meta) else: return next_page = response.xpath("//div[@class='page']//a[contains(text(),'»')]/@href").extract()[0] if next_page: yield scrapy.Request(next_page, callback=self.parse_articles, meta=meta) # 最后解析页面,并输出 def parse_article(self, response): # 从item.py中导入数据封装格式 article_item = ArticlesItem() meta = response.meta # 利用xpath提取页面信息并封装成item try: article_item["tag"] = "" # ... 省略 finally: yield article_item
工程配置介绍
设置请求头、配置数据库
# 设置请求头,在middlewares.py中设定,在settings.py中启用 class RandomUA(object): user_agents = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit" "/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit" "/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16" ] def process_request(self, request, spider): request.headers["User-Agent"] = random.choice(self.user_agents) # 设置数据入库处理,在pipeline.py进行配置,在settings.py进行启用 class MongoPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DB') ) def open_spider(self, spider): print("开始爬取", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')) self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] def process_item(self, item, spider): data = self.db[item.collection].find_one({"title": item["title"], "date": item["date"]}) if data is None: self.db[item.collection].insert(dict(item)) # else: # self.close_spider(self, spider) return item def close_spider(self, spider): print("爬取结束", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')) self.client.close() # 在settings.py启动:请求头的修改,数据库的配置 DOWNLOADER_MIDDLEWARES = { # 'articles.middlewares.ArticlesDownloaderMiddleware': 543, 'articles.middlewares.RandomUA': 543,# 543代表优先级,数字越低优先级越高 } ITEM_PIPELINES = { 'articles.pipelines.MongoPipeline': 300, } # 一些其它配置 ROBOTSTXT_OBEY = True # 是否遵守网站的robot协议 FEED_EXPORT_ENCODING = 'utf-8' # 指定数据输出的编码格式 ## 数据库配置 MONGO_URI = '' MONGO_DB = '' MONGO_PORT = 27017 MONGO_COLLECTION = ''
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
- Python Scrapy框架第一个入门程序示例
- python3 Scrapy爬虫框架ip代理配置的方法
- Python利用Scrapy框架爬取豆瓣电影示例
- python scrapy重复执行实现代码详解
- VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy开发环境【图文教程】
- python网络爬虫 Scrapy中selenium用法详解
- Python使用scrapy爬取阳光热线问政平台过程解析
- python scrapy爬虫代码及填坑
- 基于python框架Scrapy爬取自己的博客内容过程详解
- Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 一步步教你用python的scrapy编写一个爬虫
- 详解python3 + Scrapy爬虫学习之创建项目
- 详解Python网络框架Django和Scrapy安装指南
- Scrapy框架爬取Boss直聘网Python职位信息的源码
- windows下搭建python scrapy爬虫框架步骤
- python爬虫库scrapy简单使用实例详解
相关文章推荐
- Python的Socket编程过程中实现UDP端口复用的实例分享
- Python实现朴素贝叶斯的学习与分类过程解析
- 欢迎使用CSDN-markdown编辑器一个用于定期增量式解析 Scrapy 爬虫日志的 Python 库,配合 ScrapydWeb 使用可实现爬 ...
- Python使用scrapy爬取阳光热线问政平台过程解析
- softmax及python实现过程解析
- Python实现串口通信(pyserial)过程解析
- python实现广度优先搜索过程解析
- DES算法详细实例与实现过程解析
- OpenStack建立实例完整过程源码详细分析(12)----依据AMQP通信架构实现消息发送机制解析之一
- OpenStack建立实例完整过程源码详细分析(15)----依据AMQP通信架构实现消息接收机制解析之二
- Python实现抓取网页并且解析的实例
- python实现一个函数版的名片管理系统过程解析
- Python的Socket编程过程中实现UDP端口复用的实例分享
- FFT快速傅里叶变换的python实现过程解析
- Python使用APScheduler实现定时任务过程解析
- Python Collatz序列实现过程解析
- Python3实现zip分卷压缩过程解析
- Python实现修改Windows CMD命令行输出颜色(实例解析)
- python初学之用户登录的实现过程(实例讲解)
- OpenStack建立实例完整过程源码详细分析(14)----依据AMQP通信架构实现消息接收机制解析之一