爬虫实战【11】Python获取豆瓣热门电影信息

之前我们从猫眼获取过电影信息，而且利用分析ajax技术，获取过今日头条的街拍图片。

今天我们在豆瓣上获取一些热门电影的信息。

页面分析

首先，我们先来看一下豆瓣里面选电影的页面，我们默认选择热门电影，啥都不点了。

【插入图片，豆瓣热门电影页面】



在选电影这个框中其实有很多标签的，这个其实可以在url设置，后面讲，现在就用热门好了。

下面每部电影罗列出来，包括电影封面，评分，电影名称等信息。

最下面是加载更多选项，其实看到这个加载更多，我就意识到这个页面肯定是用ajax技术实现的，就跟今日头条街拍那次一样，只不过不采用向下滚动，而是点击按钮加载的方式。

是不是这样的？我们看一下源代码。

果然都是一些js，我就不放图了，大家自己看一下就好了。

那么来看一下XHR了，果然下面有几个json文件，哈哈，猜测是正确的。

【插入图片，XHR分析】



这次的json信息很简介，一个subjects下面就是各个电影的具体内容了，我们通过json的loads方法，就能够得到里面的信息了。

仍然是通过requests库来获取json信息，消息头的话，我们来看一下：

【插入图片，消息头分析】



这个url的前面部分是固定的，后面是一些参数，我们可以用urlencode来编码。

如果我们想要加载不同的页面，只要改变这个url里面的page_start参数就好了

【插入图片，加载更多】



获取到某条电影信息后，我们就保存到mongodb数据库中。

代码展示

import requests
from urllib.parse import urlencode
import json
import pymongo

'''MONGO设置'''
MONGO_URL = 'localhost'
MONGO_DB = 'douban'
MONGO_Table = '热门'
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

def get_movie_page(start_number):
data = {
'type': 'movie',
'tag': '热门',
'sort': 'recommend',
'page_limit': 20,
'page_start': start_number
}
url = 'https://movie.douban.com/j/search_subjects?' + urlencode(data)
try:
response = requests.get(url)
if response.status_code == 200:
# print(response.text)
return response.text
except Exception:
print('请求出错！')
return None

def parse_index_movie(html):
movie = json.loads(html)
result = []
if movie and 'subjects' in movie.keys():
for item in movie.get('subjects'):
film = {
'rate': item.get('rate'),
'title': item.get('title'),
'url': item.get('url'),
'cover': item.get('cover')
}
result.append(film)
save_to_db(film)
return result

def save_to_db(film):
try:
if db[MONGO_Table].insert(film):
print('保存成功', film)
except Exception:
print('保存出错', film)
pass

def main():
for i in range(100):
html = get_movie_page(i*20)
parse_index_movie(html)

if __name__ == '__main__':
main()

【插入图片，mongo数据】



至此，我们得到了200多部热门电影的信息，尤其是每部电影的url，有了这个信息，我们就能打开每部电影的评论页面，获取到该部电影的短评。

这个留给明天再将。