scrapy入门教程1：scrapy环境配置以及安装

 工具与框架 · Scrapy, 爬虫

原文出处： MrZONT   

0. 基本环境说明

本文截图及运行环境均在MAC OS X 10.9.5上实现，但基本步骤与win 7环境上相同（其实我是先在win7折腾了一把，然后为了写这篇教程，又在OS X 上面重新搞了一遍）
scrapy版本为1.0
参考文献以及下载链接：
anaconda下载链接

1. 基本环境配置

1. anaconda

刚接触python和机器学习的人，想必已经被python中眼花缭乱的安装包和相关类库搞的菊花一紧。我之前也是各种血泪史，完全没有老司机带着我。折腾了差不多半个月，python环境依旧装的破破烂烂。Windows和linux以及MACOS环境下都是演过了，各种蛋疼。直到某一天我见到了anaconda。才感觉这个世界上依旧是好人多，人间还是充满爱的。

anaconda是一个开源的、免费的python类库的集合，貌似一装就安装了200+的包，各种依赖包各种搞定。所以赶快戳顶层链接去下载吧。下面介绍的其他工具一些是anaconda自带的，一些是通过anaconda安装的，总之，anaconda是一切的基石。

2. MySQL 模块安装

anaconda模块竟然木有自带MySQL连接模块，用下面的命令来安装吧，后面抓取的内容要塞到数据库里面的哟~

1	conda install MySQL-python

3. scrapy 安装

下面就是安装scrapy了，其实也是简单的不要要的~，因为我们已经安装了anaconda，所以一切都简单的不要要的哟~，里面会让你有些包更新，直接输入y确认就好了。转者注：(这里需要注意的是，安装anaconda安装完成后，如果之前有打开的cmd窗口这里需要重启cmd，否则会提示conda命令无效，如果安装失败并提示permission denied，说明你需要以管理员方式打开cmd，这里我遇到了这个错误就是这么解决的，之所以出现这个错误的原因可能是我在安装anaconda的时候并没一路默认安装下去，在“选择为哪些用户安装的时候我选择了为所有用户安装，默认的是just me" ， 所以各位在安装的时候注意一下，以管理员打开cmd的方式是“开始菜单->附件->命令提示符->右键以管理员身份运行”)

1	conda install scrapy

注意：在使用conda install 安装的过程中，有时候因为网络问题或者其他问题会引起失败，此时要仔细看提示说明，寻找原因，如果是网络原因的话，重新输入以上命令即可~。我教研室有个师弟，因为网络原因装了8回，所以骚年洗洗菊花做好准备吧~