python爬虫提取数据之Beautifulsoup4简单使用

实现原理

遍历字符串,将文档树变成对象树,对象--属性--对象  结构

基本思路

创建对象转化

利用对象获取想要的数据

对象的属性

获取相应的标签,内容

优点,简单

缺点无法根据属性进行查找

对象的方法

find_all(),select()两个方法功能相近,相比来说find_all功能更强大,因为text=的存在,且不能使用正则表达式查找

find_all()

可以通过标签,属性,正则表达式查找,还能以字符串查找,组合查找

select()

可以通过标签,类名,id,属性,组合查找

利用css选择器的部分知识

基本使用

from bs4 import BeautifulSoup
html=''    #html字符串
#创建  Beautiful Soup 对象
soup = BeautifulSoup(html,“lxml”)#'lxml'为解析方式,不写会有警告
#打开本地  HTML ⽂件的⽅式来创建对象
#soup = BeautifulSoup(open('index.html'))
print soup#直接输出对象,结果原样打印字符串
#格式化输出soup 对象的内容

四大对象种类

Beautiful Soup将复杂HTML文档转换成复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:
一: Tag
Tag 通俗点讲就是 HTML 中的一个个标签,即标签对象
例如:
soup.p
soup.a
print type(soup.p)# <class 'bs4.element.Tag'>
注意它查找的是在所有内容中的第一个符合要求的标签
Tag两个重要的属性
name
soup不是Tag对象,但也有name属性soup 对象本身比较特殊，它的
name 即为  [document]
soup.p.name为p
attrs
soup.p.attrs,获取p标签的属性,以字典的形式
soup.p['color'],获取属性
soup.p['class'] = "newClass"
del soup.p['class']
二: NavigableString
获取标签中的内容
print soup.p.string #The Dormouse's story
print type(soup.p.string)
<class 'bs4.element.NavigableString'>
三: BeautifulSoup
BeautifulSoup 对象表示的是整个文档。与 Tag 对象类似，是特殊的
Tag，我们可以分别获取它的类型，name，以及属性
print type(soup.name)# <type 'unicode'>
print soup.name# [document]
print soup.attrs # ⽂档本身的属性为空  {}
四: Comment
这个对象是元素内容的对象
Comment 对象特殊类型的 NavigableString 对象，其输出的内容不包括
注释符号
print type(soup.a.string)# <class 'bs4.element.Comment'>

遍历文档树

对象属性:
contents
print soup.head.contents#head标签的子标签(子),以list返回
chldren
for i in soup.head.chldren:#可迭代对象
print(i)
descendants 属性,所有子孙节点:
print soup.head.descendants
soup.string

搜索文档树find_all 返回值为对象的list
find_all(name, attrs, recursive, text,**kwargs)
name参数
可以查找所有名字为 name 的tag
参数类型
A.传字符串
soup.find_all('b'),以list返回
B.传正则表达式
soup.find_all(re.compile("^b"))
C.传列表
soup.find_all(["a", "b"])
Keyword参数
soup.find_all(id='link2')
text 参数
通过 text 参数搜文档中的字符串内容，与 name 参数的可选值同
样, text 参数接受 字符串 , 正则表达式 , 列表
soup.find_all(text="Elsie")
soup.find_all(text=["Tillie", "Elsie", "Lacie"])
soup.find_all(text=re.compile("Dormouse"))

CSS选择器select()方法
soup.select() ，返回类型是 对象的list
（1）通过标签名查找
print soup.select('title')
（2）通过类名查找
print soup.select('.sister')
（3）通过 id 名查找
print soup.select('#link1')
（4）组合查找
组合查找即多条件查找 与css选择器写法类似，标签名与类名、id名进行的组
合原理是相同的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开
print soup.select('p #link1')
直接⼦标签查找，则使⽤  > 分隔
print soup.select("head > title")
（5）属性查找
查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同
一节点，所以中间不能加空格，否则会无法匹配到
print soup.select('a[class="sister"]')
同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格
print soup.select('p a[href="http://example.com/elsie"]')

获取内容
get_text()方法来获取它的内容,获取所有的,包括子标签
soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()
for title in soup.select('title'):
print title.get_text(0)