window python3 安装pip和scrapy，lxml 过程和出错解决

如果需要转载请私信,并说明出处链接，谢谢合作

自己爬过的坑。。。。。

我的环境:win7

python :3.5

一.先在cmd下 进入Python的安装目录。

例：C:\Users\asus>cd /d D:\Python\Python35-32

然后在安装目录下输入 easy_install pip

如果提示 缺少 setuptool 模块,有的是自带的，没有的话，可以自行百度Google下载，然后放到Python的安装目录下，放心不是很难。

二.现在开始安装scrapy或者lxml。

cmd安装目录下输入 pip install scrapy。

要下载的，所以要视网速而等。

然后可能会发现报错，“Unable to find vcvarsall.bat ”

这个问题就是没安装微软的 virtual studio ，少了这个.bat，安装virtual studio时要勾选什么Python包什么的。但是virtual studio 太大了，而且版本什么的太麻烦，现在推荐下面这种。

解决办法：

1.pip install wheel

2.在这里下载对应的.whl文件，注意别改文件名

网址： http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy

按Ctrl+F ,输入lxml ,找到下面这段

lxml-3.6.4-cp27-cp27m-win32.whl

lxml-3.6.4-cp27-cp27m-win_amd64.whl

lxml-3.6.4-cp34-cp34m-win32.whl

lxml-3.6.4-cp34-cp34m-win_amd64.whl

lxml-3.6.4-cp35-cp35m-win32.whl

lxml-3.6.4-cp35-cp35m-win_amd64.whl

cp后面是Python的版本号，35表示3.5，根据你的Python版本下载。

然后放到你的Python安装目录下

pip install 完整的.whl文件名和后缀。

4.重新安装scrapy 。

pip install scrapy

没有报错说明成功了，

自己重启编译器 试下。

import scrapy

看是否成功。

还有，可能你代码写完了，在用scrapy框架的时候。

当你开始爬虫的时候，输入

scrapy crawl 你spider的名字

可能会出现

ImportError: cannot import name '_win32stdio'

解决办法就是：

pip install twisted-win

然后重新输入

scrapy crawl 你spider的名字

启动爬虫



如果

出现了 Crawled (200)

那么就恭喜你成功了。

注：

4000
scrapy所需要的依赖包

pywin32
Twisted
zope.interface
lxml
pyOpenSSL

可能每个人不一样。但是看控制台的信息，缺什么就 pip install 什么，但是一定要把包的名字敲对。