win7（win32）安装python 爬虫工具scrapy记录

win7（win32）安装python 爬虫工具scrapy记录

2014-7-19阅读454 评论0

win7（win32）安装python 爬虫工具scrapy记录：

过程中遇到的主要问题总结：

一、pypi网站下的packages不知道怎么准确查找定位，比如“https://pypi.python.org/packages/2.7/s/setuptools/”这个下的packages目录

死活找不到。

二、scrapy官网上没说windows下的安装包，“Scrapy-0.24.2-py2-none-any.whl (md5)”这个安装包的意思是全平台通用？

把这个安装包下载解压放到python的第三方目录C:\Python27\Lib\site-packages中，使用easy_install进行安装成功。

三、第二步完成以后，尝试启动scrapy，起来来，但是有warning：

:0: UserWarning: You do not have a working installation of the service_identity

module: 'No module named service_identity'. Please install it from <https://pyp

i.python.org/pypi/service_identity> and make sure all of its dependencies are sa

tisfied. Without the service_identity module and a recent enough pyOpenSSL to s

upport it, Twisted can perform only rudimentary TLS client hostname verification

. Many valid certificate/hostname mappings may be rejected.

于是执行：easy_install.py service_identity，一大堆看起来就是缺少了一个模块，

让工具自己搜索安装，完成再次启动scrapy，成功！

四、新问题又来了，启动scrapy shell，报错一大堆，尼玛……

找到下面这串：

raise ImportError("Error loading object '%s': %s" % (path, e))

ImportError: Error loading object 'scrapy.core.downloader.handlers.s3.S3Download

Handler': No module named win32api

这又尼玛缺少模块啊。

这次通过网上查找，发现可能是版本问题，提示如下操作：

出现No module named win32api异常，到这里下载对应版本的安装模块
http://starship.python.net/crew/mhammond/downloads/
按操作指示安装完成，启动，终于尼玛成功了！

五、按整个过程得出的理解，只要安装了easy_install以后，其他包都可以下载源码版本放在第三方C:\Python27\Lib\site-packages目录下，通过这个命令进行安装。

注：第四个安装问题是参考：http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4075273解决的。

以下是安装scrapy所需的前提条件，python肯定是必备的，其他的模块安装包之类的，都是硬性要求，看到了找对应版本安装即可。

1、python
https://www.python.org/downloads/windows/
我安装的是，Python 2.7.7 - June 1, 2014，自行按需选择版本即可。

安装完成后需要将python路径加到windows环境变量当中。

2、 Twisted
http://twistedmatrix.com/Releases/Twisted/
目录下有各种版本，选择适合当前安装python版本的最新版即可。

3、setuptools
https://pypi.python.org/packages/2.7/s/setuptools/
选择：setuptools-0.6c11.win32-py2.7.exe 安装。

4、zopo.interface
http://pypi.python.org/packages/2.7/z/zope.interface
下载zope.interface-4.1.1.win32-py2.7.exe 安装。

注：上一步安装完成后，其实可以直接使用easy_install工具了，如下可以直接进入python的脚本scripts目录调起：

C:\Python27\Scripts>easy_install.exe zope.interface-4.1.1.win32-py2.7.exe

5、libxml2

http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe
目录下有很多安装版，同样选择适合当前安装python版本的最新版即可

6、pyOpenssl
https://pypi.python.org/packages/2.7/p/pyOpenSSL/
下载pyOpenSSL-0.13.1.win32-py2.7.exe 安装

7、scrapy

http://scrapy.org/
到scrapy官方网站下载。

scrapy官网上没说windows下的安装包，“Scrapy-0.24.2-py2-none-any.whl (md5)”这个安装包的意思是全平台通用？

另外一种方法：下载scrapy-scrapy-0.25.1-25-ge748ca5.tar后直接解压在python 第三方平台的目录，然后调用easy_install.ext安装即可。

8、w3lib

C:\Python27\Scripts>easy_install.exe w3lib

这个好办，通过命令行安装即可。

另外，安装以后才发现这里的说明很详细，有需要的朋友可以直接参考这个文章：
http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html，这里有比较详细的 安装记录。