采用python的pyquery引擎做网页爬虫,进行数据分析
2013-02-07 00:52
656 查看
python下的 pyquery 很给力的 !!!
pyquery 可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml,pyquery对xml和html的操作将更加快速。
这个库并不是(至少还不是)一个可以和javascript互交的代码库。只是很喜欢jquery API并且在使用python的过程中,我真的很怀念jquery,所以我告诉我自己“让我们在python里面也使用jquery吧!”所以就有了这个库。
这个库可以有多种用途,比如我可以在将来用pyquery对纯http模板就行编辑,或者可以和Deliverance配套使用对样式进行操作.
这个项目现在基于mercurial开发,并用Bitbucket发布。我有权给任何想要审查代码的人权利。如果你想对代码进行贡献,给我电邮吧。
真心觉得比urllib2好用的多。
http://pypi.python.org/packages/source/p/pyquery/pyquery-0.3.tar.gz 解压缩
python setup.py install
就可以了,可能要安装ezsetup
现在的版本是0.3,还有一些jquery的东西没有实现,比如:radio,:password,以及一些ajax的功能,但是已经够用了,强烈推荐
pyquery 可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml,pyquery对xml和html的操作将更加快速。
这个库并不是(至少还不是)一个可以和javascript互交的代码库。只是很喜欢jquery API并且在使用python的过程中,我真的很怀念jquery,所以我告诉我自己“让我们在python里面也使用jquery吧!”所以就有了这个库。
这个库可以有多种用途,比如我可以在将来用pyquery对纯http模板就行编辑,或者可以和Deliverance配套使用对样式进行操作.
这个项目现在基于mercurial开发,并用Bitbucket发布。我有权给任何想要审查代码的人权利。如果你想对代码进行贡献,给我电邮吧。
真心觉得比urllib2好用的多。
http://pypi.python.org/packages/source/p/pyquery/pyquery-0.3.tar.gz 解压缩
python setup.py install
就可以了,可能要安装ezsetup
现在的版本是0.3,还有一些jquery的东西没有实现,比如:radio,:password,以及一些ajax的功能,但是已经够用了,强烈推荐
>>> from pyquery import PyQuery as pq >>>d = pq("<html></html>") #可以直接拼HTML 可加载一段HTML字符串,或一个HTML文件,或是一个url地址 >>>d = pq(url='http://ops.ruifengyun.com/') #也可以打开一个url >>> d('title') #取title元素 [<title>] html()和text() ——获取相应的HTML块或文本块 >>> print d('title').text() ops 自动运维项目 监控,实时数据,集群管理 根据HTML标签来获取元素 >>> d('.s') #根据类名获取元素 [<li.s>, <li.s>, <li.s>, <li.s>, <li.s>, <li.s>, <li.s>, <li.s>] 注意:当获取到的元素不只一个时,html()、text()方法只返回首个元素的相应内容块 >>> a = d('#sshcreate li:e(2)').find('a') #复杂点的选择器也是可以的,看来支持的不错 >>> a.attr('href') #属性操作 'http://monitor.ruifengyun.com/'
#coding=utf-8 import urllib from pyquery import PyQuery res = urllib.urlopen('http://movie.douban.com/subject/2129132/').read() d = PyQuery(res) print "主演:" for starring in d("a[rel='v:starring']"): print PyQuery(starring).text()
相关文章推荐
- 基于Python实现微信公众号爬虫进行数据分析
- 基于Python实现微信公众号爬虫进行数据分析
- [python和大数据-1]利用爬虫登录知乎进行BFS搜索抓取用户信息本地mysql分析【PART1】
- Python实现微信公众号爬虫进行数据分析
- 利用Python进行数据分析网页版
- 用Python进行网络爬虫和数据分析的初次尝试(一)
- Python爬虫(二)——对开封市58同城出租房数据进行分析
- 思维导图-利用Python进行数据分析
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python带你轻松进行网页爬虫
- 利用Python进行数据分析.pdf
- 利用Python进行数据分析(11) pandas基础: 层次化索引
- 利用Python进行数据分析(1)—— Numpy Basic(1)
- python&php数据抓取、爬虫分析与中介,有网址案例
- 利用python进行数据分析之数据规整化
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- [Python爬虫] 之二十五:Selenium +phantomjs 利用 pyquery抓取今日头条网数据
- 用python进行分布式网页数据抓取(三)—— 编码实现
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- 利用Python对NBA SportUV数据进行可视化及分析