Python爬虫Scrapy环境搭建
2016-12-14 23:21
288 查看
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下。这里主要记载Windows平台下的环境搭建。win7
,32位,Python2.7
这里假设你已经安装了Python2.7。
(1)安装pywin32
在Windows下必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/
根据需要选择版本,我选择的是pywin32-220.win32-py2.7.exe直接双击安装即可,然后在Python的ide下验证下安装是否正确,输入import win32com回车
若没有错误提示,则表示安装正确
(2)安装pip
pip是使用命令安装其它工具包的工具,下载链接get-pip.py
dos下python
get-pip.py安装
安装完后输入pip --version命令 检查下安装是否正确,如下图
![](https://img-blog.csdn.net/20161214224335828?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbXVheGk4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
(3)安装lxml
https://pypi.python.org/pypi/lxml/3.5.0
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML
dos下直接执行如下命令
pip install lxml
安装过程中可能提示你有vc的库没有找到,在这里去下载 https://www.microsoft.com/en-us/download/details.aspx?id=44266
(4)安装pyOPENSSL
在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
直接双击安装
(5)安装Scrapy
上面的基础环境搭建好以后就到了安徽在哪个scrapy激动人心的时刻了
dos下命令:pip install Scrapy
,32位,Python2.7
这里假设你已经安装了Python2.7。
(1)安装pywin32
在Windows下必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/
根据需要选择版本,我选择的是pywin32-220.win32-py2.7.exe直接双击安装即可,然后在Python的ide下验证下安装是否正确,输入import win32com回车
若没有错误提示,则表示安装正确
(2)安装pip
pip是使用命令安装其它工具包的工具,下载链接get-pip.py
dos下python
get-pip.py安装
安装完后输入pip --version命令 检查下安装是否正确,如下图
(3)安装lxml
https://pypi.python.org/pypi/lxml/3.5.0
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML
dos下直接执行如下命令
pip install lxml
安装过程中可能提示你有vc的库没有找到,在这里去下载 https://www.microsoft.com/en-us/download/details.aspx?id=44266
(4)安装pyOPENSSL
在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
直接双击安装
(5)安装Scrapy
上面的基础环境搭建好以后就到了安徽在哪个scrapy激动人心的时刻了
dos下命令:pip install Scrapy
相关文章推荐
- 【Python学习系列五】Python网络爬虫框架Scrapy环境搭建
- Python开发爬虫之从虚拟机安装到Scrapy环境搭建
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境
- Python爬虫框架Scrapy 学习笔记 1 ----- 环境搭建
- Wiki——Windows下python2.7 爬虫框架Scrapy环境配置
- python+selenium+scrapy搭建简单爬虫
- Python爬虫1-Scrapy环境的安装
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Window环境下安装基于Python的Scrapy网络爬虫框架
- python爬虫环境搭建
- [置顶] python写网络爬虫的环境搭建(windows完整版)
- Windows环境下安装Python的爬虫框架Scrapy
- scrapy 爬虫 环境搭建入门(一)
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 基于scrapy和redis的分布式爬虫环境搭建
- python从零开始写爬虫(1)-- 开发环境搭建
- Mac环境下搭建Python爬虫环境
- python scrapy环境搭建总结
- python+selenium+scrapy搭建简单爬虫
- 初步探索python(三) pycharm开发环境搭建,爬虫