您的位置:首页 > 编程语言 > Python开发

Python beautifulsoup的安装与使用

2015-10-18 10:37 459 查看
#个人笔记!
#参考 http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start #参考 http://cuiqingcai.com/1319.html
首先是安装:
1.到http://www.crummy.com/software/BeautifulSoup/网站上上下载
2.下载完成之后需要解压缩,假设放到D:/python下。
3.运行cmd,切换到D:/python/beautifulsoup4-4.1.3/目录下(根据自己解压缩后的目录和下载的版本号修改),
cd /d D:/python//beautifulsoup4-4.1.3
4.运行命令:
setup.py build
setup.py install
5.在IDE下from bs4 import BeautifulSoup,没有报错说明安装成功。

其次是使用:
1.三种对象
把爬下来的html网页装进beautifulsoup中,得到一个soup对象,接着就可以对soup对象进行操作分析,提取所需要的内容。整个html网页可以视为一棵树,最上面的结点就是html标签所表示的结点,可以通过类似于数据结构中树的关系访问整个html的各个节点。
除了soup对象外,还有tag对象和navigablestring对象。tag对象就是各个标签所标记的对象,如html tag,body tag等。navigablestring是最里层的对象,也就是说navigablestring内不含有任何标签。总结起来就是对网页的解析可以分为三种对象,soup对象,tag对象,navigablestring对象。

2.对结点的遍历
对结点有几种遍历方法。
1)用标签直接访问,soup对象.tag属性,就可以返回一个tag对象。如soup.body。
2)用contents和parents访问tag对象的直接子节点和直接父节点
3)用next和previous访问tag对象的下一个节点和上一个节点,按照深度优先的原则遍历
4)用nextsibling和previoussibling访问下一个兄弟结点和上一个兄弟结点
值得一提的是这些遍历方式只对soup对象和tag对象有效,navigablestring对象并没有这些方法。

3.对结点的搜索
对结点的搜索有两个方法,find和findAll。两个方法的一般使用方法就是提供标签关键字和字典关键字。
比如,现在要提取“NBA,虎扑nba中文网,nba为主的专业篮球网站,专注于最全的nba直播,nba视频,图片及原创及nba新闻....”这个标题,可以用以下代码:
soup.find('meta',name="description")['content']




find和findAll的区别在于,find只找到最近的一个复合要求的搜索项,而findAll则返回全部的结果,以ResultSet对象返回,这是一个类似于lis但是又不是list的对象,只能通过迭代去访问,而不能用索引访问。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: