Pycharm下调试Python的Scrapy爬虫框架程序
2018-03-04 11:53
501 查看
1、准备工作Anaconda:https://www.anaconda.com/download/
Scrapy的官方文档:https://docs.scrapy.org/en/latest/
PyCharm工具:http://www.jetbrains.com/pycharm/download/#section=windows
注意版本统一,我的上述工具全部使用Python3.x的版本,Scrapy库在Anaconda管理器中安装即可。
2、创建scrapy工程首先打开cmd命令窗口,切换目录到需要创建工程的目录下,如我的工程目录在E:\CodePython ,则进入进入该目录下。
打开scrapy的官方文档教程https://docs.scrapy.org/en/latest/intro/tutorial.html,详细操作参考教程。
3、PyCharm打开创建的工程
打开后,右键工程目录,在与scrapy.cfg同级目录创建一个main.py文件,在文件中输入如下代码。from scrapy import cmdline
cmdline.execute("scrapy crawl quotes".split())
点击菜单栏的run ,选择Edit Configurations,修改一下配置。
4、运行调试选中main.py后运行该文件,爬虫即可正常断点调试运行了。
Scrapy的官方文档:https://docs.scrapy.org/en/latest/
PyCharm工具:http://www.jetbrains.com/pycharm/download/#section=windows
注意版本统一,我的上述工具全部使用Python3.x的版本,Scrapy库在Anaconda管理器中安装即可。
2、创建scrapy工程首先打开cmd命令窗口,切换目录到需要创建工程的目录下,如我的工程目录在E:\CodePython ,则进入进入该目录下。
打开scrapy的官方文档教程https://docs.scrapy.org/en/latest/intro/tutorial.html,详细操作参考教程。
3、PyCharm打开创建的工程
打开后,右键工程目录,在与scrapy.cfg同级目录创建一个main.py文件,在文件中输入如下代码。from scrapy import cmdline
cmdline.execute("scrapy crawl quotes".split())
点击菜单栏的run ,选择Edit Configurations,修改一下配置。
4、运行调试选中main.py后运行该文件,爬虫即可正常断点调试运行了。
相关文章推荐
- python利用Pycharm来运行调试Scrapy框架程序
- Python的爬虫程序编写框架Scrapy入门学习教程
- Python的爬虫程序编写框架Scrapy入门学习教程
- python使用PyCharm调试Scrapy程序
- Windows python3下安装scrapy爬虫框架的完美方案
- Python之Scrapy框架Redis实现分布式爬虫详解
- python爬虫框架scrapy实例详解
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- win7安装python爬虫框架scrapy全纪录
- Python爬虫框架scrapy实现的文件下载功能示例
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- (转)python爬虫----(scrapy框架提高(1),自定义Request爬取)
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境
- Python学习(8)---Scrapy框架下的网络爬虫
- python爬虫由浅入深12---scrapy框架的基础入门
- Python网络爬虫框架scrapy的学习
- 静觅 » Python爬虫进阶三之Scrapy框架安装配置
- centos6.3 安装python爬虫框架scrapy
- Wiki——Windows下python2.7 爬虫框架Scrapy环境配置
- 小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验