Scrapy 1.4 文档 02 安装指南

安装 Scrapy

Scrapy 运行在 Python 2.7 和 Python 3.3 或更高版本上。

如果您使用的是 Anaconda 或 Miniconda，则可以从 conda-forge 通道安装软件包，该通道具有适用于 Linux，Windows 和 OS X 的最新软件包。

使用 conda 安装 Scrapy，运行：

conda install -c conda-forge scrapy

或者，如果您已经熟悉 Python 软件包的安装，可以从 PyPI 安装 Scrapy 及其依赖的库：

pip install Scrapy

请注意，有时需要根据您的操作系统解决某些 Scrapy 依赖库的编译问题，因此请务必查看特定平台的安装说明。

我们强烈建议您在专用的 virtualenv 中安装 Scrapy，以避免与系统包冲突。

下面是有关各种平台更详细的说明。

最好要知道的事

Scrapy 软件包全部是用 Python 语言编写的，并且依赖几个关键的 Python 库（以及其他）：

lxml，一个高效的 XML 和 HTML 解析器

parsel，一个 HTML/XML 数据提取库，依赖 lxml 库

w3lib，用于处理 URL 和网页编码的多用途助手

twisted，一个异步网络框架

cryptography 和 pyOpenSSL，以处理各种网络安全需求

Scrapy 测试过的最低版本是：

Twisted 14.0

lxml 3.4

pyOpenSSL 0.14

这些库更低版本也可能使 Scrapy 正常工作，但在将来不能保证它继续工作，因为它们没有被测试。

其中一些软件包本身依赖非 Python 软件包，这可能需要额外的安装步骤，具体取决于您的平台。 请查看下面的平台安装指南。

如果这些依赖出现了问题，请参考各自的安装说明：

lxml 安装

cryptography 安装

使用虚拟环境（推荐）

（太长，别看）：我们建议在所有平台的虚拟环境中安装 Scrapy。

Python 软件包可以在全局（也称为系统范围）也可以在用户空间中进行安装。 我们不建议在系统空间中安装 Scrapy。

相反，我们建议您在“虚拟环境”（virtualenv）中安装 Scrapy。Virtualenvs 避免了与已经安装的 Python 系统软件包发生冲突（可能会破坏您的一些系统工具和脚本），并且仍然可以通过 pip 安装软件包（没有 sudo 等）。

要开始使用虚拟环境，请参阅 virtualenv 安装说明。

$ [sudo] pip install virtualenv

查看这个用户指南，了解如何创建 virtualenv。

注意

在 Linux 或 OS X 上，virtualenvwrapper 是一个创建 virtualenvs 的便利工具。

一旦创建了一个 virtualenv，就可以像其他 Python 软件包一样在其中安装 Scrapy。 （有关可能需要事先安装的非 Python 依赖关系，请参阅下面的针对特定平台的指南）。

默认情况下，可以创建 Python virtualenvs 以使用 Python 2，或者默认使用 Python 3。

如果要在 Python 3 中使用 scrapy，请在 Python 3 virtualenv 中安装 scrapy。

如果要在 Python 2 中使用 scrapy，请在 Python 2 virtualenv 中安装 scrapy。

具体平台安装说明

Windows

虽然可以使用 pip 在 Windows 上安装 Scrapy，但我们建议您安装 Anaconda 或 Miniconda，并使用 conda-forge 通道中的软件包以避免大多数安装问题。

安装 Anaconda 或 Miniconda 后，安装 Scrapy ：

conda install -c conda-forge scrapy

Ubuntu 12.04 或更高版本

Scrapy 目前正在使用最新版本的 lxml，twisted 和 pyOpenSSL 进行测试，并且与最新的 Ubuntu 发行版兼容。 但它也支持较早版本的 Ubuntu，如 Ubuntu 12.04，尽管存在潜在的 TLS 连接问题。

不要使用 Ubuntu 提供的 python-scrapy 软件包，它们的版本通常太老了。要在 Ubuntu（或类 Ubuntu）系统上安装 scrapy，您需要安装这些依赖项：

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

lxml 需要 python-dev, zlib1g-dev, libxml2-dev 和 libxslt1-dev

cryptography 需要 libssl-dev 和 libffi-dev

如果你想在 Python 3 上安装 Scrapy，你还需要 Python 3 开发头：

sudo apt-get install python3 python3-dev

在 virtualenv 中，您可以使用 pip 安装Scrapy：

pip install scrapy

注意

在 Debian Wheezy（7.0）及更高版本中安装 Scrapy 同样需要上文提到的非 Python 依赖关系。

Mac OS X

构建 Scrapy 的依赖项需要C编译器和开发头。 在 OS X 上，这通常由苹果的 Xcode 开发工具提供。 要安装 Xcode 命令行工具，打开终端窗口并运行：

xcode-select --install

有一个已知的问题阻止 pip 更新系统包。 必须解决这个问题才能成功安装 Scrapy 及其依赖关系。 以下是一些解决方案

（推荐）不要使用系统 Python，安装一个不会与系统其余部分冲突的最新版本。 以下是使用 homebrew 包管理器的方法：

按照 http://brew.sh/ 中的说明安装 homebrew

更新您的 PATH 变量以说明在系统软件包之前应该使用 homebrew 软件包（如果您使用 zsh 作为默认 shell，则要将 .bashrc 更改为 .zshrc）：

echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

重新加载 .bashrc 以确保发生更改：

source ~/.bashrc

安装 Python：

brew install python

最新版本的 Python 绑定了 pip，因此您不需要单独安装它。 如果不是这样，升级 Python：

brew update; brew upgrade python

（可选）在独立的 Python 环境中安装 Scrapy。

此方法是上述 OS X 问题的解决方法，它是管理依赖关系的良好做法，可以补充第一种方法。

virtualenv 是一个可以用来在 python 中创建虚拟环境的工具。 我们推荐阅读 http://docs.python-guide.org/en/latest/dev/virtualenvs/ 这样的教程来了解它。

使用任一上述解决方法后，您应该能够安装 Scrapy：

pip install Scrapy