您的位置:首页 > 编程语言 > Python开发

cmd命令创建python scrapy 项目

2017-09-05 00:00 447 查看
scrapy startproject xxx 在当前目录创建以xxx名字的工程

目录结构如下,解释:

scrapy.cfg: 项目配置文件
xxx/: 项目python模块, 呆会代码将从这里导入
xxx/items.py: 项目items文件
xxx/pipelines.py: 项目管道文件
xxx/settings.py: 项目配置文件
xxx/spiders: 放置spider的目录

scrapy genspider name domain 创建一个spider
#如:
#scrapy genspider sohu sohu.org

scrapy list 查看当前项目有多少个爬虫

scrapy view url 使用浏览器打开网页

scrapy shell url shell命令 进入scrapy 交互环境

scrapy runspider 爬虫名 直接运行创建的爬虫,不会运行整个项目
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  python scrapy