Ubuntu14.0 64bit 下Scrapy爬虫框架的搭建

Ubuntu14.0 64bit 下Scrapy爬虫框架的搭建

Python 2.7： Scrapy是Python框架，当然要先安装Python ，不过由于Scrapy暂时只支持

Python2.7，因此首先确保你安装的是Python 2.7 .v检查Python的版本,$ python –version

安装以来lxml和OpenSSL，可以通过进入python交互环境输入import lxml和import

OpenSSL，如果没有出现错误则代表依赖成功安装，如果缺少可以通过

sudo apt-get install python-lxml

和sudo apt-get install python-OpenSSL来安装这两个依赖。

安装python-dev和libevent python-dev是linux上开发python比较重要的工具，以下的情况你需要安装

你需要自己安装一个源外的python类库, 而这个类库内含需要编译的调用python api的c/c++文件 你自己写的一个程序编译需要链接libpythonXX.(a|so) libevent是一个时间出发的高性能的网络库，很多框架的底层都使用了libevent 上面两个库是需要安装的，不然后面后报错。使用下面的指令安装

sudo apt-get install python-dev

sudo apt-get install libevent-dev

安装pip 因为Scrapy可以使用pip方便的安装，因此我们需要先安装pip，可以使用下面的指令安装pip sudo apt-get install python-pip

使用pip安装Scrapy 使用下面的指令安装Scrapy。 sudo pip install scrapy 记住一定要获得root权限，否则会出现下面的错误。 至此scrapy安装完成，使用下面的命令检查Scrapy是否安装成功。 $ scrapy version