Python3爬虫之三网页解析【爬取豆瓣Top电影】

        这里再练习一下对豆瓣Top250电影的爬取，其首页长这样



        我们需要的信息是电影的序号、电影的名字，因此直接按上一节的方法查看网页代码，解析网页结构，提取我们所需要的信息，完成代码如下：

# coding = utf-8

import re
from urllib import request
from urllib import error

class DouBanSpider(object):
'''
本类主要用于抓取豆瓣中的电影
Attributes:
page:       表示当前所处理的页面
cur_url:    表示当前准备抓取页面的url
datas：     存储处理好的电影名称
_top_num:   用于记录当前的top号码
'''

def __init__(self):
self.page = 1
self.cur_url = 'http://movie.douban.com/top250?start={page}&filter=&type='
self.datas = []
self._top_num = 1
print("开始工作……")

def get_page(self, cur_page):
'''
param cur_page: 表示当前处理页
return: 返回抓取到的整个页面的HTML（unicode编码）
'''
url = self.cur_url
try:
# 因为一个页面有25部电影，所以这里 “* 25”
page = request.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8")
except error.URLError as e:
if hasattr(e, 'code'):
print("HTTPError: the server couldn`t deal with the request")
print("Error code: %s" % e.code)
elif hasattr(e, 'reason'):
print("URLError: failed to reach the server")
print("Reason : %s" % e.reason)
return page

def find_title(self, page):
'''
param page: 当前解析的HTML网页，找到电影排序号及电影名称
return: 返回
'''
tmp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', page, re.S)
for index, item in enumerate(movie_items):
if item.find(" ") == -1:
tmp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(tmp_data)

def start_spider(self):
# 爬虫入口
while self.page <= 5:
page = self.get_page(self.page)
self.find_title(page)
self.page += 1

def main():
# 程序入口
spider = DouBanSpider()
spider.start_spider()
for item in spider.datas:
print(item)

if __name__ == '__main__':
main()

代码运行结果如下：



Git代码