Scrapy框架——安装Scrapy
2018-01-07 19:44
232 查看
Scrapy框架—— 安装Scrapy
需求配置
安装sqlite依赖库
编译python3.6
编译Twisted
安装Scrapy
测试Scrapy是否成功安装
python3.6
Twisted
下载sqlite库
需求配置
安装sqlite依赖库
编译python3.6
编译Twisted
安装Scrapy
测试Scrapy是否成功安装
Scrapy框架—— 安装Scrapy
Scrapy可以说是爬虫界鼎鼎有名的框架。 它是一个重型的爬虫框架,结合数据抓取,导出,以及部分的数据清洗的功能。
本文针在python3.6的环境下来安装scrapy
需求配置
sqlite依赖库(centos下为sqlite-devel包)scrapy框架的正常运行,你的
python3.6版本需要编译支持
sqlite,
python3.6
Twisted
scrapy的异步功能实现,需要
Twisted的支持。 目前
scrapy的最新版本需要
Twisted>13.0版本, 而
pip3.6, 所以我们需要从源码编译。
安装sqlite依赖库
如果你的python3.6已经编译支持了
sqlite,可以跳过这个步骤。
下载sqlite库
yum install sqlite-devel
编译python3.6
下载python3.6源码cd /tmp curl -O Python-3.6.4.tgz https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz[/code]
编译python3.6tar xvvf Python-3.6.4 cd Python-3.6.4 ./configure make && make install编译Twisted
下载Twisted源码cd /tmp git clone https://github.com/twisted/twisted.git[/code]
编译Twistedcd twisted/ python3.6 setup.py install安装Scrapy
pip3 install scrapy测试Scrapy是否正常工作
这里我们简单的抓一下京东首页的分类列表来测试一下scrapy是否正常工作。scrapy genspider example www.jd.com //该命令会在当前目录下生成一个example.py文件//example.py import scrapy class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['www.jd.com'] start_urls = ['http://www.jd.com/'] def parse(self, response): category = response.xpath('//div[contains(@class,"navitems")]/ul/li/a/text()').extract(); for cate in category: yield {'cate': cate} passscrapy runspider example.py -L INFO -o category.json //该命令会运行example.py爬虫脚本,然后将抓取结果保存到category.json中//category.json [ {"cate": "\u79d2\u6740"}, {"cate": "\u4f18\u60e0\u5238"}, {"cate": "PLUS\u4f1a\u5458"}, {"cate": "\u95ea\u8d2d"}, {"cate": "\u62cd\u5356"}, {"cate": "\u4eac\u4e1c\u670d\u9970"}, {"cate": "\u4eac\u4e1c\u8d85\u5e02"}, {"cate": "\u751f\u9c9c"}, {"cate": "\u5168\u7403\u8d2d"}, {"cate": "\u4eac\u4e1c\u91d1\u878d"} ]
相关文章推荐
- Windows安装scrapy框架步骤
- Scrapy框架Windows下安装
- windows平台安装scrapy框架
- 在Anaconda3(Python3.6)下安装Scrapy框架
- Python爬虫进阶三之Scrapy框架安装配置
- 芝麻HTTP:Python爬虫进阶之Scrapy框架安装配置
- Scrapy框架安装配置
- ubuntu下安装Python Scrapy框架
- 全网友遇到的Mac安装Scrapy框架所有问题
- 注:Python中Scrapy爬虫框架的安装和pywin32安装的问题(py 3.x版本)
- 用pycharm安装scrapy框架
- Python2.7下安装Scrapy框架步骤教程
- python第三方库scrapy框架的安装
- 安装scrapy框架的常见问题及其解决方法
- Ubuntu安装python3 搭建 scrapy框架(哇,不知道怎么写,就这样吧)
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- windows下安装scrapy爬虫框架
- Python爬虫框架Scrapy安装使用步骤
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 在linux和windows下安装python爬虫框架scrapy