搭建scrapy抓取javascript动态数据的爬虫

由于简单的scrapy设置无法抓取如京东产品价格信息等javascript动态输出的数据，需要采用selenium、PhantomJS等工具辅助。

运用这些工具的原理其实就是类似用浏览器打开需要爬取的网页，运行javascript产生目标数据后用scrapy进行采集。

当前平台：ubuntu14.04, Ｐython 2.7

安装软件版本：selenium 2.46.1，

安装过程：

1、scrapy安装：可以按照scrapy网站关于ubuntu下安装说明，直接apt很简单；

2、selenium：按照官网说明安装，安装包下载：https://pypi.python.org/packages/source/s/selenium/selenium-2.46.1.tar.gz ，安装命令：sudo python setup.py install

3、PhantomJS 2.0 没有ubuntu稳定安装包，只能自行编译，过程看官网指南： http://phantomjs.org/build.html 。安装包比较大，在淘宝镜像下载比较方便： http://npm.taobao.org/mirrors/phantomjs 。编译过程30分钟以上，不得已而为之。