win7环境下安装爬虫框架 scrapy
2016-12-05 22:26
330 查看
环境
Windows7 64位Python2.7.6 64位
Python的安装:
打开http://www.python.org/getit/releases/2.7.6/页面,下载Python-2.7.6.amd64.msi 进行安装,安装完成后,需要配置环境变量,环境变量的配置可以参考该文章测试python是否安装成功,如果python成功安装并且配置好环境变量,那么在cmd中输入python,就能得到python版本的详细信息(如32位或64位)
easy_install的安装
保存ez_setup.py至本地,如D盘(如果失效了,可以参考下http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html)在cmd中运行:
[html]
view plain
copy
d:\>python ez_setup.py
进行SetupTools的安装
在运行的时候会发生一个错误,该错误为"ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128)",大意为ascii编码不能解析byte 0xe8。
解决方法:找到并打开python根目录/Lib/mimetypes.py文件,在import urllib后,添加代码:
reload(sys)
sys.setdefaultencoding('gbk')
把默认编码方式改为gbk(网上有写用utf8的,在这个脚本中是无效的,需要改成gbk格式)。重新执行python ez_setup.py,如果出现刷屏的安装信息,则说明安装成功了。此时,在python目录下多了一个Script文件夹,easy_install就在里面
Scrapy依赖项的安装
Scrapy的依赖项可以在这里进行下载:http://pan.baidu.com/s/1mgBOGYG注意,下载依赖项之前一定要确认自己Python的位数。有可能你是64位的系统但装的却是32位的Python。所以先确认,不然安装依赖项的时候会出现诸多错误。
确认好自己的Python位数 下面就开始按照自己的位数和系统去安装依赖。以下是win7 64位系统的范例。
安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下,执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg
验证scrapy依赖项是否安装成功的方法:
cmd执行$ python进入python控制台
执行import lxml,如果没报错,则说明lxml安装成功
执行import twisted,如果没报错,则说明twisted安装成功
执行import OpenSSL,如果没报错,则说明OpenSSL安装成功
执行import zope.interface,如果没报错,则说明zope.interface安装成功
如果安装成功,那么在cmd中执行& python,然后执行import lxml,如果没有报错,则说明lxml安装成功。
安装Scrapy
方法1: 控制台输入:easy_install scrapy方法2:解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。
检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功。
原文 http://blog.csdn.net/php_fly/article/details/19364913
相关文章推荐
- Python3环境安装Scrapy爬虫框架
- Windows环境下安装Python的爬虫框架Scrapy
- Window环境下安装基于Python的Scrapy网络爬虫框架
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- win7环境python34安装scrapy框架
- 【Python】Python34环境下安装爬虫框架scrapy实战篇!
- Python爬虫之Scrapy框架Windows环境安装
- Python3环境安装Scrapy爬虫框架过程及常见错误
- win7安装python爬虫框架scrapy全纪录
- Linux 安装python爬虫框架 scrapy
- Mac下安装爬虫框架Scrapy
- 爬虫实践之爬虫框架Scrapy安装
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- Kali 安装Scrapy爬虫框架
- centos6.3 安装python爬虫框架scrapy
- Win7 64位 安装Python开发环境与Django框架(初版)
- Python爬虫框架Scrapy 学习笔记 1 ----- 环境搭建
- 【网络爬虫】【python】网络爬虫(四):scrapy爬虫框架(架构、win/linux安装、文件结构)