MAC10.11 Python3.6 安装Scrapy

MAC10.11 Python3.6 安装Twisted

mac机器上是自带python2的，但是我自己下载使用了python3，最近才开始接触python和爬虫，尝试安装一下scrapy，遇到了一些问题，就记录一下安装成功的步骤吧。

安装wheel

安装lxml

安装Twisted

安装scrapy

LFD: http://www.lfd.uci.edu/~gohlke/pythonlibs/

我们需要的一些包，可以在这个网址上下载

安装wheel

1、去上面的网址下载wheel的包

进到网页，command+F 输入wheel，就可以找到啦。

然后在命令行输入

pip3 install /Users/blue/Downloads/wheel-0.29.0-py2.py3-none-any.whl

路径根据实际自己写啦

2、检查wheel是否安装成功，只要在命令行输入wheel即可

wheel

输出结果是这样的就代表安装成功啦：

安装lxml

法一：

lxml 是一个用来处理 XML 的第三方 Python 库。这个只能通过下载后安装的方法。（我用pip3 install lxml 的方法没有成功）

如果是Windows系统，可以直接在前面的LFD网站下载。cp后的数字是python的版本号。win32表示32位系统，win_amd64表示64位系统

如果不是：

https://pypi.python.org/pypi/lxml/3.8.0

在这个网址找到lxml安装包，cp后面的数字是你的python版本，请根据python版本和系统选择下载。

安装方法和wheel相同

法二：

在pycharm里安装，参照下面安装Twisted的方法。

打开pycharm

PyCharm -> Preferences -> project 项目名 -> project interpreter

点击最下面的+号



找到lxml 然后install即可

安装Twisted

如果是Windows系统，到上面的lfd网站找到下载就可以了。

mac系统的话，地址：https://pypi.python.org/pypi/Twisted/

到这个网址下载tar.gz文件

然后在命令行进入到压缩包所在的目录，进行解压

tar -jvxf /Users/blue/Downloads/Twisted-17.5.0.tar.bz2

进入解压后的文件夹

cd /Users/blue/Downloads/Twisted-17.5.0

进行安装

python3 setup.py install

但是我这里安装完成后，import还是有问题，命令行输入python3

>>>import twisted

会提示 No module nam
4000
ed ‘incremental’

就进入pycharm，一个很好用的 IDE,进入随便一个项目

PyCharm -> Preferences -> project 项目名 -> project interpreter



双击Twisted



就装好了

回到命令行，import twisted 就不会报错了。

安装scrapy

到了这一步就非常简单了，保持网络连接：

pip3 install scrapy

这里可能遇到超时的情况，提示Read time out



这时我们就需要修改它的超时时间

pip3 --default-timeout=100 install -U scrapy

这样安装就可以啦

安装完成后，在命令行输入scrapy，弹出下面的内容就代表安装成功了