python scrapy重复执行实现代码详解

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取

Scrapy模块：

1、scheduler:用来存放url队列

2、downloader：发送请求

3、spiders:提取数据和url

4、itemPipeline：数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings

#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())

@defer.inlineCallbacks
def crawl():
while True:
logging.info("new cycle starting")
yield runner.crawl("xxxxx")
#1s跑一次
time.sleep(1)
reactor.stop()

crawl()
reactor.run()

以上就是本文的全部内容，希望对大家的学习有所帮助

您可能感兴趣的文章:

• Python Scrapy框架第一个入门程序示例
• python3 Scrapy爬虫框架ip代理配置的方法
• Python利用Scrapy框架爬取豆瓣电影示例
• Python scrapy增量爬取实例及实现过程解析
• VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy开发环境【图文教程】
• python网络爬虫 Scrapy中selenium用法详解
• Python使用scrapy爬取阳光热线问政平台过程解析
• python scrapy爬虫代码及填坑
• 基于python框架Scrapy爬取自己的博客内容过程详解
• Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
• Python3环境安装Scrapy爬虫框架过程及常见错误
• 图文详解python安装Scrapy框架步骤
• 一步步教你用python的scrapy编写一个爬虫
• 详解python3 + Scrapy爬虫学习之创建项目
• 详解Python网络框架Django和Scrapy安装指南
• Scrapy框架爬取Boss直聘网Python职位信息的源码
• windows下搭建python scrapy爬虫框架步骤
• python爬虫库scrapy简单使用实例详解