windows下搭建爬虫框架scrapy

摘要：

主要讲解在windows上搭建scrapy的步骤，该步骤已经在百度上搜索就是一大片的了，但是出于学习以及练习写博客的目的，我还是按照自己的思路写一遍。

最近开始使用python，然后看到忘了上很多人都在用python在抓网页，突然就想起了大学时想弄的网络蜘蛛，于是开始自己写代码，但是第一版做出来不合心意，感觉爬出去了就很难结束，并且想做定制还是比较麻烦。接着在q群众看到有人说使用scrapy来实现网络蜘蛛，于是就上网开始找资料了，终于经过了几个钟头的努力，终于有了成果，下面文章就是对这个搭建步骤的描述。

如果你是一个了解可能还是很熟悉的程序猿，那么下面所描述的内容可以直接忽略了；如果你对scrapy第一次听说，并且还有点兴趣学习的话，可以先登录官网http://scrapy.org/基本浏览一下，然后可以按照一面的步骤来完成环境的搭建。

第一步：当然是安装python了，本人安装的是2.7.3版本；可以到python的官网下载然后双击运行，一路“下一步”即可完成安装。安装好后，将python的安装目录添加到系统变量中，这样才能够在控制台中输入python进入，如下图所示则说明安装python成功了



第二步：按照官网的提示，我们先安装pywin32，在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本（注意要与安装的python版本对应），下载后也是双击运行，直接下一步一路完成。

第三步：安装twisted，在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

1. 安装zope.interface， 从这里https://pypi.python.org/pypi/zope.interface#download下载



我选择了4.0.5版本，点击进去后，点击download按钮即可，下载完后也是双击运行，一路下一步即可完成。

打开cmd，进入python，按照下图显示输出的话表示正确安装了



2. 安装pyopenssl， 从这里https://pypi.python.org/pypi/pyOpenSSL下载，注意要选择对应python的版本。


我选择了倒数第二个，安装成功后通过下面的方式验证：



3. 安装twisted，在下载页面http://twistedmatrix.com/trac/wiki/Downloads中我们可以看到



选择对应python的版本下载安装。

第三步：安装lxml，在这里https://pypi.python.org/pypi/lxml/下载，本人选择了3.2.3版本



最后一步：安装scrapy

在安装前，请先将easytool安装好

在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载，安装好后，需要将python安装目录下的Scripts目录路径添加到系统变量中，因为下面就要用到。

下载scrapy，在这里https://pypi.python.org/pypi/Scrapy下载，下载完后，解压出来，运行cmd，cd到该解压目录下，在cmd中输入

easy_install Scrapy

完成scrapy的安装，然后在cmd中输入scrapy进行验证，如果出现下图所示，则说明安装成功了



到此，整个环境搭建成功！

后续将会继续完成使用scrapy进行爬虫的文章和部分代码。

声明：OSCHINA 博客文章版权属于作者，受法律保护。未经作者同意不得转载。

相关推荐

iPhone5S
将让谷歌变成“更严厉的家长”

Emacs配置颜色主题

IPython
1.0发布，强大的Python交互式Shell

如何用函数表示数
(一)

Linux启动过程综述

No tags for this post.

除非注明，本站文章均为原创或编译，转载请注明： 文章来自KENGINE
| Kankanews.com