scrapy工程创建及pycharm运行
2017-07-04 23:56
447 查看
1.通过命令行创建scrapy工程项目
scrapy startproject (工程名)
2.利用爬虫模板设置爬虫文件
在这个过程中我们可以先利用 scrapy genspider -l(小写的L)命令查看当前的爬虫模板
如:scrapy genspider -t 模板名 爬虫文件名 允许的域名
注释:
scrapy genspider -l 查看当前可以使用的爬虫模板
scrapy genspider -t 创建爬虫文件
3.将scrapy工程项目导入到pycharm中
4.编写Item文件(items.py),定义需要关注的数据
5.编写爬虫文件(如上面的myxmlspider.py)
6.编辑scrapy在pycharm的运行环境
在Run中选择Edit Configuration
点击"+"创建一个"Python"
相关配置如下:
scrapy startproject (工程名)
scrapy startproject myxml
2.利用爬虫模板设置爬虫文件
在这个过程中我们可以先利用 scrapy genspider -l(小写的L)命令查看当前的爬虫模板
如:scrapy genspider -t 模板名 爬虫文件名 允许的域名
scrapy genspider -t xmlfeed myxmlspider sina.com.cn
注释:
scrapy genspider -l 查看当前可以使用的爬虫模板
scrapy genspider -t 创建爬虫文件
3.将scrapy工程项目导入到pycharm中
4.编写Item文件(items.py),定义需要关注的数据
import scrapy class ..(scrapy.Item): name = scrapy.Field() email = scrapy.Field() ...
5.编写爬虫文件(如上面的myxmlspider.py)
6.编辑scrapy在pycharm的运行环境
在Run中选择Edit Configuration
点击"+"创建一个"Python"
相关配置如下:
相关文章推荐
- Django系列:(1)PyCharm下创建并运行我们的第一个Django工程
- PyCharm使用-first step(创建并运行第一个python工程)
- Django系列:(1)PyCharm下创建并运行我们的第一个Django工程
- Android NDK工程创建与编译运行
- Django1.5实战第一步之搭建环境,创建工程,运行开发服务器
- 【quick-cocos2dx从零开始做游戏】【二】创建工程与运行
- visual studio 2010 创建的MFC ActiveX 控件的工程不能运行 提示:无法启动.ocx程序
- 基于maven创建spark工程、调试并运行
- 将maven创建的java工程部署到jetty中运行
- eclipse 创建javaweb工程 发布并运行
- Scrapy安装配置,在Pycharm中运行和no module named win32API错误
- IDEA -- IntelliJ IDEA14 创建JavaWeb工程 配置Tomcat 部署 运行
- 文件函数Django1.5实战第一步之搭建环境,创建工程,运行开发服务器Strut2教程-java教程
- cocos2dx学习笔记一:windows下创建工程方法和运行项目方法
- Cocos2dx-3.1.1 探索之旅01----> 目录结构、新项目工程创建及运行
- Android Wearable 工程创建、运行
- 使用QT CREATOR2.4.1创建工程,并在LINUX上运行,能编译,GDB+GDBSERVER调试(例子工程,dvrgui)
- visual studio 2010 创建的MFC ActiveX 控件的工程 不能运行 提示:无法启动.ocx程序
- Python Scrapy创建与运行
- 最全Pycharm教程(9)——创建并运行一个基本的Python测试程序