简单爬虫python实现02——BeautifulSoup的使用

本节的内容主要是如何使用一个Python 写的一个 HTML/XML的解析器——BeautifulSoup，用它将上一节生成的result文件中所需的内容取出。

关于BeautifulSoup的简介和下载安装请参考黄聪仁兄的博客。
另附BeautifulSoup的中文文档

先上代码：

from bs4 import BeautifulSoup

txt='D:\\result1.html'
f = open(txt, "r")
html=f.read()
f.close()

bs=BeautifulSoup(html)
gvtitle=bs.find_all('div',attrs={'class':'gvtitle'})
for title in gvtitle:
print title.a.text

第1行在程序中引入了BeautifulSoup。
第3至6行是文件操作，将result1.html文件中的内容读取到html变量中。
第8、9行使用BeautifulSoup对html变量进行格式化，并使用find_all方法获取到所需的数据对象。
第10、11行将获取的“产品名称”信息全部展示出来。

对上段的代码进一步解释：
首先，第一个需求是获取如图2-1所示的产品的产品名称信息，即“NewFashion Men Slim Fit Cotton V-Neck Short Sleeve Casual T-Shirt Tops”。



图2-1

其次，观察result1.html中的源代码发现，与48个产品相对应，产品名称全部放在class为gvtitle的48个div内，如图2-2所示。因此使用find_all方法查询出所有含class属性值为gvtitle的div，以列表的形式存入gvtitle变量中。



图2-2

之后，进一步观察图2-2中html文件的结构，发现“New Fashion Men Slim Fit Cotton V-Neck Short Sleeve Casual T-ShirtTops”这行文本就放在div标签内的a标签中，所以在代码的第10行用.a.text获取并展示。上段程序运行结果如图2-3。



图2-3

接下来修改代码，进一步获取产品的价格信息。这部分使用了正则表达式，关于正则表达式的知识请参考——正则表达式入门教程

代码如下：

import re
from bs4 import BeautifulSoup

def getItems(html):
pattern = re.compile('\d+.\d+')
items = re.findall(pattern,html)
return items

txt='D:\\result1.html'
f = open(txt, "r")
html=f.read()
f.close()

bs=BeautifulSoup(html)
gvtitle=bs.find_all('div',attrs={'class':'gvtitle'})
for title in gvtitle:
print title.a.text

prices=bs.find_all('span',attrs={'class':'amt'})
for pri in prices:
result=getItems(str(pri))
print result

第1行引入正则表达式
第4至7行定义了一个方法，功能是使用正则表达式对BeautifulSoup获取来的数据进一步筛选。
第19行使用find_all方法获取到所需的价格。不过观察result1.html中的源码发现，class为amt的span中的数据不如第15行获取的数据那么规则，所以在第21行调用了getItems方法对数据进一步筛选，获得价格。

程序运行结果如图2-4，不过有些产品获取到了2个价格。这是因为有些产品下有多个子产品，这两个数值表示的是最低价和最高价，如图2-5。
为求结果集简单，就将两值取平均值作为最终值。



图2-4



图2-5

修改代码，最后如下：

import re
import sys
from bs4 import BeautifulSoup

def getItems(html):
pattern = re.compile('\d+.\d+')
items = re.findall(pattern,html)
return items

p=0
while p<5:
print ' =='+str(p+1)+'==start=='
txt='D:\\result'+str(p+1)+'.html'
fr = open(txt, "r")
html=fr.read()
bs=BeautifulSoup(html)
gvtitle=bs.find_all('div',attrs={'class':'gvtitle'})

pri_list=[]
prices=bs.find_all('span',attrs={'class':'amt'})
for pri in prices:
res=getItems(str(pri))
if len(res)==2:
val=(float(res[0])+float(res[1]))/2
pri_list.append(val)
else:
pri_list.append(res[0])

j=0
while j<48:
try:
print gvtitle[j].a.text,pri_list[j]
except UnicodeEncodeError, e:
for s in gvtitle[j].a.text:
try:
sys.stdout.write(s)
except UnicodeEncodeError, e:
continue
sys.stdout.flush()
print pri_list[j]
j=j+1
print ' =='+str(p+1)+'====end=='
p=p+1
fr.close()

第31至40行古怪的输出代码是为了删除掉产品名称中有时会出现的“™”符号，暂时没想到更好的办法，恳请各位童鞋指教。

本节到此结束，多谢。