使用scrapy-redis分布式爬虫 准备工作

环境： ubuntu 14.04

需要Scrapy >= 1.0.0, redis-py >= 2.10.0, redis server >= 2.8.0

1. 安装redis server

参考http://redis.io/download

$ wget http://download.redis.io/releases/redis-3.0.4.tar.gz $ tar xzf redis-3.0.4.tar.gz
$ cd redis-3.0.4
$ make

2. 安装Scrapy

参考：http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

sudo apt-get update && sudo apt-get install scrapy

3. 安装redis客户端redis.py
参考：https://pypi.python.org/pypi/redis

sudo pip install redis

4. 安装scrapy-redis

需要Scrapy >= 1.0.0, redis-py >= 2.10.0, redis server >= 2.8.0

sudo pip install scrapy-redis