Scrapy学习笔记1-安装环境

       工作上需要使用到Python去抓取数据，在学习Scrapy之前已经使用过BeautifulSoup4进行抓取，由于学习的深度不够，只能是基本能用的状态，听说Scrapy很多人都在用，于是乎也得学习scrapy的使用才行。我目前使用的是python3.6.3的64位版本，在安装scrapy的Twisted的时候，就是会报Microsoft Visual C++ 14.0为必需，百度出来的都是分步安装Twisted, pywin32,
wheel之类的，对于菜鸟来说，这个真的是够烦而且不一定能安装得上。甚至可能报相同的错误，对于习惯使用pip install scrapy让脚本自动去安装必需的组件是最完美的。

        从报错来看，是因为安装的电脑没有安装visual c++编译器，而且必须是14.0版本以上的。说明在安装scrapy相关组件的时候需要使用到这个编译器去编译c++的源码并执行，那么我们安装后再运行是不是就不会报错了。我从http://landinghub.visualstudio.com/visual-cpp-build-tools 下载最新的并安装，彻底一点我在安装完成后还重启了电脑，生怕没有生效。

        重启电脑后，再打开命令提示窗口，使用pip install scrapy，在扫描了哪些未缓存和必须的组件后，自动下载并安装后。一点问题都没有。

        另外还需要使用pip安装pymysql，学习srcapy的目标就是抓取数据保存到对应的数据库，同时需要学习linux的定时执行任务。

        注：Ace哥只是听说过python的好处，还没有系统认真地学过python的基本知识。都是以工作驱动学习，说白了就是工作摆在那里，你死都要死出来。