您的位置:首页 > 编程语言 > Python开发

基于Python2.7的Scrapy安装步骤

2017-05-03 18:01 225 查看
       之前由于要写一些网络爬虫,于是选择了Python Scrapy这个框架,个人感觉功能还是非常强大的。当时安装可能是运气较好,没费什么周折就成功了,但是最近由于重装Windows,不得已要重新配置环境,发现废了不少时间,因此在这里记录一下最终安装成功的步骤。

       由于楼主的系统安装了Anaconda,有自带的Python2.7,于是就基于该环境开始安装,按照网上的各种教程,乱七八糟装了一堆依赖库,结果貌似装成功了,但是运行代码各种出错,解决了一些问题后还是出错,最后的错误都看不懂是什么,果断放弃,选择重新安装。

       但是这是系统有conda自带的python,怎么才能重新装一个python环境而又不影响Anaconda呢?楼主是这么解决的,在电脑的环境变量里移除conda中python的路径,然后将新的python路径添加进来就OK了。

       系统为Win10 64位系统,具体安装步骤如下:

一.安装python2.7

    选择版本:python-2.7.12.amd64.msi

    由于python2.7自带pip和easy_install工具,所以无需自己安装。

二.添加python2.7的环境变量

三.安装zope.interface

    选择版本:zope.interface-4.4.0-py2.7-win-amd64.egg

    验证:import zope.interface

四.安装pywin32

    安装版本:pywin32-220.win-amd64-py2.7.exe

    验证:import win32com

    在这里要特别注意,直接点击运行.exe文件可能会安装失败,解决方法:以管理员身份打开cmd命令窗口,进入到该安装文件所在路径下进行安装,亲测有效。

五.安装pyOpenSSL

    验证:import OpenSSL

    安装版本:pyOpenSSL-0.13.1.win-amd64-py2.7.exe

六.安装Twisted

    安装版本:Twisted-15.2.0.win-amd64-py2.7.exe

    验证:import twisted

七.安装lxml

    安装版本:lxml-3.2.4.win-amd64-py2.7.exe

    验证:import lxml

八.安装scrapy

    如果以上各依赖库都安装好且import 成功,则可以安装scrapy,使用命令:pip install scrapy

    验证:在cmd中输入scrapy,显示下图所示信息则表示安装成功:

    要注意的是选择安装的各项依赖库一定要和自己的系统保持一致,不能随意乱撞,否则容易出错。


                                            
(Scrapy安装官方文档
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息