BeautifulSoup爬取豆瓣电影top250信息

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/ayouleyang/article/details/95719813

豆瓣是一个社区网站，创立于2005年3月6日。该网站以书影音起家，提供关于书籍，电影，音乐等作品信息，其描述和评论都是由用户提供的，是Web2.0网站中具有特色的一个网站。
网址：https://movie.douban.com/top250?start=0&filter=
我将基于豆瓣电影top250讲解BeautifulSoup技术的爬虫，获取排名前250名的影片信息，包括（网站名称、豆瓣排名、中文名称、原名称、国家、上映时间、类型、评分、导演主演、评价人数、剧情简介链接、图片地址、影片标签）等。主要内容包括：分析网页DOM树结构，爬取豆瓣电影信息、分析链接跳转及爬取对应的信息。

1、分析网页结构及定位

1.1. 我们先导入相关的的包，获取网页并使用BeautifulSoup解析，代码如下：

# -*- coding: utf-8 -*-
import urllib2
from bs4 import BeautifulSoup

url = "https://movie.douban.com/top250"
html = urllib2.urlopen(url).read()
soup = BeautifulSoup(html,"html.parser")

print u'网站名称：',soup.title.string.replace("\n","")

1.2.把鼠标指在肖申克的救赎模块，右击选择检查，进行详细信息定位

把网页看作一个大盒子，这些信息都是一个一个的小盒子装着的，每一个电影的所有信息都装在

<li> <li>

中，在其中又分出很多的带属性标签，我们需要获取的内容全部在一个叫

<div class="item"> </div>

的标签中装着，如图所示：

只需要在class="item"中做迭代循环就可以获取到模块的所有信息，定位代码如下：

for tag in soup.find_all(attrs={"class":"item"}):

2、获取对应的信息

（1）豆瓣电影排名
电影排名被存在

<em> </em>

标签中，而且是在第一个em标签，方便直接获取

获取第一个em标签内容代码如下：

>>> print u'豆瓣排名：',tag.find('em').string
豆瓣排名： 1
>>> print u'豆瓣排名：',tag.find('em').get_text()
豆瓣排名： 1
>>>

（2）获取电影中文名称
电影的中文名称和英文名称都在span标签中，但中文名称在第一个span标签

获取第一个span标签内容代码如下：

>>> print u'中文名称：',tag.find('span').string
中文名称： 肖申克的救赎
>>> print u'中文名称：',tag.find('span').get_text()
中文名称： 肖申克的救赎
>>>

（2）获取电影原名称

1. 通过第二个span标签找到它
2. 通过spl 3ff7 it(’/’)[1]去掉“/”

>>> English = tag.find_all('span')[1].get_text()
>>> print u'原名称：',English
原名称：  / Intouchables
>>>
>>> print u'原名称：',English.split('/')[1]
原名称：  Intouchables
>>>

（3）获取国家

1. 通过p标签查找所有内容
2. 通过split(’/’)分割，“-”表示向后进行分割

>>> print u'国家：',tag.p.get_text()
国家：
导演: 奥利维·那卡什 Olivier Nakache / 艾力克·托兰达 Eric Toledano   主...
2011 / 法国 / 剧情 喜剧

>>> print u'国家：',tag.p.get_text().split('/')[-2]
国家：  法国
>>>

（4）上映时间

1. 定点p标签内容
2. 用split(’\n’)进行换行符定位截取
3. 通过split(’/’)截取出时间
4. 使用replace(" “,”")替换掉多余的空格

>>> print u'p标签内容：',tag.p.get_text()
p标签内容：
导演: 奥利维·那卡什 Olivier Nakache / 艾力克·托兰达 Eric Toledano   主...
2011 / 法国 / 剧情 喜剧

>>> print u'换行符定位：',tag.p.get_text().split('\n')[2]
换行符定位：                             2011 / 法国 / 剧情 喜剧
>>> print u'截取出时间：',tag.p.get_text().split('\n')[2].split('/')[0]
截取出时间：                             2011
>>> print u'时间去掉空格：',tag.p.get_text().split('\n')[2].split('/')[0].replace(" ","")
时间去掉空格： 2011
>>>

（5）获取类型
在p标签中通过换行符(’\n’)和“/”进行截取，方法同上，代码片段如下：

>>> print u'类型：',tag.p.get_text().split('\n')[2].split('/')[-1]
类型：  剧情 喜剧
>>>

（6）获取电影评分
方法一： 直接获取第五个span标签的内容，代码片段如下：

>>> print u'评分：',tag.find_all('span')[4].get_text()
评分： 9.2
>>>

方法二： 节点定位法，建议多使用它

>>> price = tag.find_all(attrs={"class":"rating_num" })
>>> sore = price[0].get_text()
>>> print u'评分：',sore
评分： 9.2
>>>

（7）获取评论人数

1. 通过span标签倒序截取出内容
2. 使用正则表达式re.compile(r"\d+.?\d*")保留数字

>>> valuation = tag.find_all('span')[-2].get_text()
>>> print valuation
557877人评价
>>> regex = re.compile(r"\d+\.?\d*")#使用正则表达式保留数字
>>> print (regex.findall(valuation))
[u'557877']
>>> print u'评价人数：',(regex.findall(valuation))[0]
评价人数： 557877
>>>

（8）获取导演及主演

1. 获取p标签的后节点的内容
2. 替换掉换行符和空格符

>>> print tag.p.next_element #p的后节点内容

导演: 奥利维·那卡什 Olivier Nakache / 艾力克·托兰达 Eric Toledano   主...
>>> print tag.p.next_element.replace("\n","").replace(" ","")
导演:奥利维·那卡什OlivierNakache/艾力克·托兰达EricToledano   主...
>>>

(9)获取剧情简介链接
通过a标签的 href 直接找到

>>> print u'剧情简介：',
8000
tag.a.get('href')
剧情简介： https://movie.douban.com/subject/6786002/
>>>

(10)图片地址链接
通过 img 标签的 src 直接找到

>>> print u'图片地址：',tag.img.get('src')
图片地址： https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1454261925.jpg
>>>

(11)获取电影标签

1. 获取HTML节点定位

   <span class="other">&nbsp;/&nbsp;/ 闪亮人生(港) / 逆转人生(台)</span>

2. 提取文本

>>> lab = tag.find_all(attrs={"class":"other"})
>>> print lab[0]
<span class="other"> / 闪亮人生(港)  /  逆转人生(台)</span>

>>> lable = lab[0].get_text()
>>> print u'影片标签：',lable
影片标签：  / 闪亮人生(港)  /  逆转人生(台)
>>>

3、实现链接跳转分析爬取

传参函数结构

def part(url):

if __name__ == '__main__':
url = "http://www.ayouleyang.cn/"
part(url)

实现新链接生成及传参代码如下：

# -*- coding: utf-8 -*-
import re
import urllib2
from bs4 import BeautifulSoup

#定位代码范围、爬虫部分
def part(url):
#print需要输出的内容

#主函数，生成链接传参
if __name__ == '__main__':
i = 0
while i<10:
print u'网页当前位置：',(i+1)
num = i*25
url = 'https://movie.douban.com/top250?start='+ str(num) +'&filter='
part(url)
i = i+1

4、完整的爬取代码和运行结果如下

# -*- coding: utf-8 -*-
import re
import urllib2
from bs4 import BeautifulSoup

urls = "https://movie.douban.com/top250"
html = urllib2.urlopen(urls).read()
soup = BeautifulSoup(html,"html.parser")

print u'网站名称：',soup.title.string.replace("\n","")

#定位代码范围、爬虫部分
def part(url):
html = urllib2.urlopen(url).read()
soup = BeautifulSoup(html,"html.parser")

for tag in soup.find_all(attrs={"class":"item"}):print u'豆瓣排名：',tag.find('em').string
print u'中文名称：',tag.find('span').string

English = tag.find_all('span')[1].get_text()
print u'原名称：',English.split('/')[1]

print u'国家：',tag.p.get_text().split('/')[-2]
print u'上映时间：',tag.p.get_text().split('\n')[2].split('/')[0].replace(" ","")
print u'类型：',tag.p.get_text().split('\n')[2].split('/')[-1]

#电影评分
#print tag.find_all('span')[4].get_text()      方法1
price = tag.find_all(attrs={"class":"rating_num" })  #方法2
sore = price[0].get_text()
print u'评分：',sore

#评价人数
valuation = tag.find_all('span')[-2].get_text()
regex = re.compile(r"\d+\.?\d*") #使用正则表达式保留数字
print u'评价人数：',(regex.findall(valuation))[0]

#导演及主演
join = tag.p.next_element #p的后节点
print join.replace("\n","").replace(" ","")

print u'剧情简介：',tag.a.get('href')
print u'图片地址：',tag.img.get('src')

lab = tag.find_all(attrs={"class":"other"})
lable = lab[0].get_text()
print u'影片标签：',lable
print ""
if __name__ == '__main__':
i = 0
while i<10:
print u'网页当前位置：',(i+1)
num = i*25
url = 'https://movie.douban.com/top250?start='+ str(num) +'&filter='
part(url)
i = i+1