python--代码规范

抓取网页指定信息

这里是拿一帖吧做例子，主要要求：1.只抓取楼主发的帖子（这里通过分析URL看出只显示楼主帖子的网页地址后面会加“see_lz=1&pn=1”这个参数）2.显示帖子页数，内容

定义了几个方法：

getPage(self,pageNum) 通过传入pageNum的值得到想访问url的页面

getTitle(self) 获取楼主帖子标题

getPageNum(self) 抓取页面的总页数，和回复数

getContent(self) 显示所有评论

定义方法 然后调用，看起来比较清晰，每个抓取的内容都用不同的方法定义起来。方法之间有关联

import urllib
import urllib2
import re

class BDTB:

#初始化，传入基地址，是否只看楼主的参数
def __init__(self,baseUrl,seeLZ):
self.baseURL = baseUrl
self.seeLZ = '?see_lz='+str(seeLZ)

#传入页码，获取该页帖子的代码
def getPage(self,pageNum):
try:
url = self.baseURL + self.seeLZ+ '&pn=' + str(pageNum)
#request = urllib2.Request(url)
#response = urllib2.urlopen(request)
#print response.read()
response = urllib2.urlopen(url).read()
#print response   #测试输出的网页
return response
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"连接百度贴吧失败,错误原因",e.reason
return None
def getTitle(self):
page = self.getPage(1)
pattern = re.compile('<h1 class="core_title_txt.*?>(.*?)</h1>',re.S)
result = re.search(pattern,page)
if result:
print result.group(1)  #测试输出
return result.group(1).strip()
else:
return None
def getPageNum(self):
page=self.getPage(1)
pattern=re.search("<span[^>]+>(\d+)</span>回复贴，共<span[^>]+>(\d+)</span>页",page)
#pattern=re.search("<span[^>]+>(\d+)</span>回复贴，共<span[^>]+>(\d+)</span>页",page)
if (pattern!=None):
print pattern.group(1)+'条回复'
print pattern.group(2)+'页'
#pattern=re.compile('<li class="l_reply_num.*?><span[^>]+>(\d+)</span>')  #只能抓取到第一个<span></span>对
#print re.findall("<span.*?>(.*?)</span>",page )
#result=re.findall(pattern,page)
#if pattern:

# print result.group()  #测试输出
#return result.group(1).strip()
#else:
#return None
def getContent(self):
page=self.getPage(1)
pattern=re.compile ("<div id=\"post_content.*?>(.*?)</div>")
result=re.findall(pattern,page)
for i in result:
print i
baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)
bdtb.getTitle()
bdtb.getPageNum()
bdtb.getContent()