Python+Scrapy 爬虫配置
2016-08-18 20:34
120 查看
摘要
由于工作需要,要使用Scrapy进行网站数据抓取,我开始接触Scrapy。其安装过程花费我好久才成功的在windows xp系统上安装了这对“黄金搭档”,下面贴出安装过程以供分享。
抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。(我的是xp系统)
1.安装Python
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址。
2.安装lxml
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。
3.安装setuptools
用来安装egg文件,点击 这里下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,点击 这里下载。
7.安装win32py
提供win32api,点击 这里下载
8.安装Scrapy
终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。
安装完成,开始使用吧!
由于工作需要,要使用Scrapy进行网站数据抓取,我开始接触Scrapy。其安装过程花费我好久才成功的在windows xp系统上安装了这对“黄金搭档”,下面贴出安装过程以供分享。
抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。(我的是xp系统)
1.安装Python
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址。
2.安装lxml
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。
3.安装setuptools
用来安装egg文件,点击 这里下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,点击 这里下载。
7.安装win32py
提供win32api,点击 这里下载
8.安装Scrapy
终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。
安装完成,开始使用吧!
相关文章推荐
- Wiki——Windows下python2.7 爬虫框架Scrapy环境配置
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python3 爬虫之 Scrapy 框架安装配置(一)
- python3+Scrapy环境配置外送两个小爬虫
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- Python爬虫系列之----Scrapy(六)settings.py配置文件详解
- python+Scrapy爬虫编程环境配置的资料整理
- linux下在服务器上配置scrapy框架的python爬虫,使用mysql数据库保存
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- python爬虫之Scrapy 使用代理配置
- python爬虫之Scrapy 使用代理配置
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
- python爬虫之Scrapy 使用代理配置
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python爬虫进阶三之Scrapy框架安装配置
- 第三百三十九节,Python分布式爬虫打造搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式
- Python爬虫框架Scrapy学习二记——Scrapy开发环境配置