Python爬虫进阶二之PySpider框架安装配置
2017-02-08 21:54
561 查看
关于
首先,在此附上项目的地址,以及官方文档PySpider 官方文档
安装
1. pip
首先确保你已经安装了pip,若没有安装,请参照pip安装
2. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。安装
以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装
Ubuntu:
1 | sudo apt-get install phantomjs |
1 | brew install phantomjs |
3. pyspider
直接利用 pip 安装即可1 | pip install pyspider |
1 | sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml |
如果安装过程没有提示任何错误,那就证明一些OK。
命令行输入
1 | pyspider all |
观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK
在此附图一张,这是我写了几个爬虫之后的界面。
好,接下来我会进一步介绍这个框架的使用。
常见错误
我曾遇到过的一个错误:PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。
不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。
如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。
毕竟,这个框架不是我写的。
在此附上Issue地址:
PySpider Issue
转载:静觅 » Python爬虫进阶二之PySpider框架安装配置
相关文章推荐
- Python爬虫进阶一之爬虫框架概述
- Python爬虫利器六之PyQuery的用法
- Python爬虫利器五之Selenium的用法
- Python爬虫利器四之PhantomJS的用法
- Python爬虫利器三之Xpath语法与lxml库的用法
- Python爬虫利器二之Beautiful Soup的用法
- python 解决凸包问题
- Python爬虫利器一之Requests库的用法
- Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
- Python爬虫实战七之计算大学本学期绩点
- Python爬虫实战六之抓取爱问知识人问题并保存至数据库
- Python爬虫实战四之抓取淘宝MM照片
- Python爬虫实战二之爬取百度贴吧帖子
- Python爬虫实战一之爬取糗事百科段子
- win7下安装Python,numpy,matplotlib,scipy,scikit-learn等机器视觉工具包
- Python爬虫入门七之正则表达式
- Python爬虫入门六之Cookie的使用
- 从Scratch到Python:会动的小猫
- Python爬虫入门五之URLError异常处理
- python、main函数和argv参数