Python爬虫(十一)_案例：使用正则表达式的爬虫

第一步：获取数据

1. 按照我们之前的用法，我们需要一个加载页面的方法。

import urllib2

class Spider:
"""
内涵段子爬虫类
"""
def loadPage(self, page):
"""
@brief 定义一个url请求网页的方法
@param page需要请求的第几页
@returns 返回的页面url
"""
url = "http://www.neihan8.com/article/list_5_" + str(page)+ ".html"
#user-Agent头
user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT6.1; Trident/5.0"
headers = {"User-Agent":user_agent}
req = urllib2.Request(url, headers = headers)
response = urllib2.urlopen(req)
print html

2.写main函数测试一个loadPage方法

if __name__ == "__main__":
"""
=====================
内涵段子小爬虫
=====================
"""
print("请按下回车开始")
raw_input()

#定义一个Spider对象
mySpider = Spider()
mySpider.loadPage(1)

def loadPage(self, page):
"""
@bridf 定义一个url请求网页的方法
@param page 需要请求的第几页
@returns 返回的页面html
"""

url = "http://www.neihan8.com/article/list_5_"+str(page)+".html"
#user-agent头
user-agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT6.1; Trident/5.0"
headers = {"User-Agent":user-agent}
req = urllib2.Request(url, headers = headers)
response = urllib2.urlopen(req)
html = response.read()
gbk_html = html.decode("gbk").encode("utf-8")

return gbk_html

第二步：筛选数据

import re

我们需要一个匹配规则

我们可以打开内涵段子的网页，鼠标点击右键"查看源代码"你会惊奇的发现，我们需要的每个段子的内容都是在一个

<div>

标签中，而且每个

div

标签都有一个属性

class="f18 mb20"

根据正则表达式，我们可以推算出一个公式是：

<div.*?class="f18 mb20">(.*?)</div>

div

class="f18 mb20"

def loadPage(self, page):
"""
@brief 定义一个url请求网页的办法
@param page 需要请求的第几页
@returns 返回的页面html
"""
url = "http://www.neihan8.com/article/list_5_" +str(page) + ".html"
#User-Agent头
user-agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT6.1; Trident/5.0"

headers = {"User-Agent":user-agent}
req = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(req)

html = response.read()

gbk_html = html.decode("gbk").encode("utf-8")

#找到所有的段子内容<div class="f18 mb20"></div>
#re.S 如果没有re.S,则是只匹配一行有没有符合规则的字符串，如果没有则匹配下一行重新匹配
#如果加上re.S,则是将所有的字符串按一个整体进行匹配
pattern = re.compile(r'<div.*?class="f18 mb20">(.*?)</div>', re.S)
item_list = pattern.findall(gbk_html)

return item_list

def printOnePage(self, item_list, page):
"""
@brief 处理得到的段子列表
@param item_list 得到的段子列表
@param page处理第几页
"""

print("*********第%d页，爬取完毕...******"%page)

for item in item_list:
print("===============")
print ite

re.S

item_list

printOnePage()

python duanzi_spider.py

我们第一页的全部段子，不包含其他信息全部的打印了出来.

<p>

</p>

<p>

def printOnePage(self, item_list, page):
"""
@brief 处理得到的段子列表
@param item_list 得到的段子列表
@param page 处理第几页
"""
print("******第%d页,爬取完毕*****"%page)
for item in item_list:
print("============")
item = item.replace("<p>", "").replace("</p>", "").replace("<br />", "")
print item

第三步：保存数据

def writeToFile(self, text):
"""
@brief 将数据追加写进文件中
@param text 文件内容
"""

myFile = open("./duanzi.txt", "a")  #a追加形式打开文件
myFile.write(text)
myFile.write("-------------------------")
myFile.close()

def printOnePage(self, item_list, page):
"""
@brief  处理得到的段子列表
@param item_list 得到的段子列表
@param page 处理第几页
"""

print("***第%d页，爬取完毕****"%page)
for item in item_list:
item = item.replace("<p>", "").replace("</p>", "").replace("<br />". "")

self.writeToFile(item)

第四步：显示数据

def doWork(self):
"""
让爬虫开始工作
"""
while self.enable:
try:
item_list = self.loadPage(self.page)
except urllib2.URLError, e:
print e.reason
continue

#将得到的段子item_list处理
self.printOnePage(item_list, self.page)
self.page += 1
print "按回车继续...."
print "输入quit退出"

command = raw_input()
if(command == "quit"):
self.enable = False
break