SGMLParser 分类： HTMLParser 2013-11-12 15:25 1066人阅读 评论(1) 收藏

http://www.open-open.com/lib/view/1329700631343

SGMLParser 将 HTML 分解成有用的片段， 比如开始标记和结束标记。一旦它成功地分解出某个数据为一个有用的片段，它会根据 所发现的数据，调用一个自身内部的方法。为了使用这个分析器，您需要子类化 SGML- Parser类，并且覆盖这些方法。

SGMLParser类里面包含了很多内部方法，开始读取html后，遇到相应的数据就会调用其对应的方法，最重要的方法有三个：

start_tagname(self, attrs)
end_tagname(self)
handle_data(self, text)

tagname就是标签名称，比如当遇到<pre>，就会调用start_pre，遇到</pre>，就会调用 end_pre，attrs即为标签的参数，以[(attribute, value), (attribute, value), ...]的形式传回，我们要做的就是在其子类重载自己感兴趣标签对应的函数。

python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类，并在子类中对html文件做具体处理。

例如 具有如下结构的html文件

<div class='entry-content'>
<p>感兴趣内容1</p>
<p>感兴趣内容2</p>
……
<p>感兴趣内容n</p>
</div>
<div class='content'>
<p>内容1</p>
<p>内容2</p>
……
<p>内容n</p>
</div>

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。

可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于

<div class='entry-content'>
<p>这里的内容</p>
<p>还有这里</p>
……
<p>以及这里的内容</p>
</div>

思路如下

遇到<div class='entry-content'> 设置标记flag = True
遇到</div>后 设置标记flag = False
当flag 为True时遇到<p> 设置标记getdata = True
遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

开始标记 (Start tag)



结束标记 (End tag)



字符引用 (Character reference)



实体引用 (Entity reference)



注释 (Comment)



处理指令 (Processing instruction)



声明 (Declaration)



文本数据 (Text data)


综上，得到如下代码

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
SGMLParser.reset(self)

def start_div(self, attrs):
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
self.flag = False

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

[/code]

上面的思路存在一个bug

遇到</div>后 设置标记flag = False

如果遇到div嵌套怎么办？

<div class='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div>

在遇到第一个</div>之后标记flag = False，导致无法的到‘感兴趣内容’。

怎么办呢？如何判断遇到的</div>是和<div class='entry-content'>匹配的哪个呢？

很简单，</div>和<div>是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。

修改后 如下：

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #进入子层div了，层数加1
return
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子层div了，层数减1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

最后 建立了我们自己的类GetIdList后如何使用呢？

简单建立实例 t = GetIdList()

the_page为字符串，内容为html

t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为：

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #进入子层div了，层数加1
return
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子层div了，层数减1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()

the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是来捣乱的</div>
<p>感兴趣内容1</p>
<p>感兴趣内容2</p>
……
<p>感兴趣内容n</p>
<div class= 'ooxx'>我是来捣乱的2<div class= 'ooxx'>我是来捣乱的3</div></div>
</div>
<div class='content'>
<p>内容1</p>
<p>内容2</p>
……
<p>内容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()