爬虫Scrapy框架的安装和使用（Python）

Scrapy框架：

    好处： 省事，快速搭建一个系统，快速抓取数据。
    坏处： 细节不清楚，框架的限制需要考虑，学习成本高，可能隐藏了很多未知的问题。

1.  安装Scrapy

      安装Scrapy in Ubuntu：
               sudo apt-get install python-dev python-piplibxml2-dev libxslt1-dev
               sudo pip install scrapy

2.  制作一个Scrapy需要的四个步骤：

      1）.  新建爬虫项目

              scrapy  startproject  projectName
         项目目录结构：
        tarena@tedu:~/Spider/tencentSpider$tree.：            ├──scrapy.cfg             └──tencentSpider                      ├── __init__.py                      ├── items.py                      ├── middlewares.py                      ├── pipelines.py                      ├── settings.py                      └── spiders                               └── __init__.py
             明确目标：明确你想要抓取的目标，生成一个具体的爬虫：
                    scrapy  genspider tencent
                    scrapy genspider tencent hr.tencent.com
                                   下面需要具体取修改代码逻辑，按照我们的需求去实现自己的爬虫逻辑：                  修改setttings.py 设置                           pipelines.py保存的逻辑                           tecent.py,   抓取页面信息和继续跳转的逻辑                           items.py     保存item的映射

        3) 制作爬虫 (spiders/spiderName.py)：制作爬虫开始爬取网页;
        4) 存储内容 (pipelines.py)：设计管道存储爬取内容;       
        5) 在Scrapy下启动爬虫：

                scrapy crawl tencent

3. setting.py配置

        BOT_NAME = 'tencentSpider'   # 爬虫名字
        # 可以指定多个存储逻辑的管道
        ITEM_PIPELINES = {
                  "MySQLPipelines": 300,       # 300表示优先级居中
                  "FilePipelines": 200,            # 300表示优先级居中
        }