基于Python2.7的Scrapy安装步骤
2017-05-03 18:01
225 查看
之前由于要写一些网络爬虫,于是选择了Python Scrapy这个框架,个人感觉功能还是非常强大的。当时安装可能是运气较好,没费什么周折就成功了,但是最近由于重装Windows,不得已要重新配置环境,发现废了不少时间,因此在这里记录一下最终安装成功的步骤。
由于楼主的系统安装了Anaconda,有自带的Python2.7,于是就基于该环境开始安装,按照网上的各种教程,乱七八糟装了一堆依赖库,结果貌似装成功了,但是运行代码各种出错,解决了一些问题后还是出错,最后的错误都看不懂是什么,果断放弃,选择重新安装。
但是这是系统有conda自带的python,怎么才能重新装一个python环境而又不影响Anaconda呢?楼主是这么解决的,在电脑的环境变量里移除conda中python的路径,然后将新的python路径添加进来就OK了。
系统为Win10 64位系统,具体安装步骤如下:
由于python2.7自带pip和easy_install工具,所以无需自己安装。
验证:import zope.interface
验证:import win32com
在这里要特别注意,直接点击运行.exe文件可能会安装失败,解决方法:以管理员身份打开cmd命令窗口,进入到该安装文件所在路径下进行安装,亲测有效。
安装版本:pyOpenSSL-0.13.1.win-amd64-py2.7.exe
验证:import twisted
验证:import lxml
验证:在cmd中输入scrapy,显示下图所示信息则表示安装成功:
要注意的是选择安装的各项依赖库一定要和自己的系统保持一致,不能随意乱撞,否则容易出错。
(Scrapy安装官方文档)
由于楼主的系统安装了Anaconda,有自带的Python2.7,于是就基于该环境开始安装,按照网上的各种教程,乱七八糟装了一堆依赖库,结果貌似装成功了,但是运行代码各种出错,解决了一些问题后还是出错,最后的错误都看不懂是什么,果断放弃,选择重新安装。
但是这是系统有conda自带的python,怎么才能重新装一个python环境而又不影响Anaconda呢?楼主是这么解决的,在电脑的环境变量里移除conda中python的路径,然后将新的python路径添加进来就OK了。
系统为Win10 64位系统,具体安装步骤如下:
一.安装python2.7
选择版本:python-2.7.12.amd64.msi由于python2.7自带pip和easy_install工具,所以无需自己安装。
二.添加python2.7的环境变量
三.安装zope.interface
选择版本:zope.interface-4.4.0-py2.7-win-amd64.egg验证:import zope.interface
四.安装pywin32
安装版本:pywin32-220.win-amd64-py2.7.exe验证:import win32com
在这里要特别注意,直接点击运行.exe文件可能会安装失败,解决方法:以管理员身份打开cmd命令窗口,进入到该安装文件所在路径下进行安装,亲测有效。
五.安装pyOpenSSL
验证:import OpenSSL安装版本:pyOpenSSL-0.13.1.win-amd64-py2.7.exe
六.安装Twisted
安装版本:Twisted-15.2.0.win-amd64-py2.7.exe验证:import twisted
七.安装lxml
安装版本:lxml-3.2.4.win-amd64-py2.7.exe验证:import lxml
八.安装scrapy
如果以上各依赖库都安装好且import 成功,则可以安装scrapy,使用命令:pip install scrapy验证:在cmd中输入scrapy,显示下图所示信息则表示安装成功:
要注意的是选择安装的各项依赖库一定要和自己的系统保持一致,不能随意乱撞,否则容易出错。
(Scrapy安装官方文档)
相关文章推荐
- windows和python2.7环境下scrapy安装步骤
- Python爬虫框架Scrapy安装使用步骤
- Mac OS X10.9安装的Python2.7升级Python3.3步骤详解
- 在Windows 8.1下 安装基于Python 3.5.2的 Scrapy 框架 !已安装完成
- SCRAPY 1.1 (FOR PYTHON3) 的安装步骤 (UBUNTU 15.10)
- python 3.5 成功安装 scrapy 的步骤
- Python爬虫框架Scrapy安装使用步骤
- Python爬虫框架Scrapy安装使用步骤
- window7 python2.7 安装scrapy
- 在centos 6.2,python2.7 下安装QT 4.8.3,pyqt 4.9.5 详细步骤
- win10下基于python3.5安装scrapy教程
- 在centos 6.2,python2.7 下安装QT 4.8.3,pyqt 4.9.5 详细步骤
- Win7 python2.7 Scrapy的安装
- Mac OS X10.9安装的Python2.7升级Python3.3步骤详解
- python 3.5 成功安装 scrapy 的步骤
- Mac OS X10.9安装的Python2.7升级Python3.3步骤详解
- Mac OS X10.9安装的Python2.7升级Python3.3步骤详解
- python2.7安装requests步骤(接口测试)
- python安装scrapy步骤(转载)
- redhat系统安装scrapy爬虫框架步骤Python版