Python爬取豆瓣电影TOP250相关数据

Python用途广泛，功能强大。。。所以闲来无事想学学python，发帖记录我的学习过程，本次给大家分享一下简单的python爬取豆瓣电影TOP250的一些相关信息，比如电影名、资料等。至于一些关于python的介绍，各位自己再百度，至于代码的意思，注解的也相对很详细了。当然啦，写法有很多，各不相同！我就用贼笨贼low但贼一目了然的那种！各位看官共勉！
因为我是新手，看网上教程说推荐新手使用IDLE(对！就是很多人说比较low的那个！)

话不多说上代码！

"""
爬取豆瓣电影Top250
"""

import requests,bs4,re

def open_url(url):
#使用代理，没有则不用搭理
#proxies = {"http":"127.0.0.1:1080","https":"127.0.0.1:1080"}
#设置头部信息的目的：
#因为如果不设置headers，请求则会使用python默认的，为了避免浏览器将请求当作不合法的请求给踢出(抛出)浏览器,故而添加头部信息进行伪装，这里添加谷歌头(电光毒龙钻)
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0,WOW54) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/57.0.2987.98 Safari/537.36"}

#res = requests.get(url,headers = headers,proxies = proxies)
res = requests.get(url,headers = headers)
#将res返回
return res

def find_movies(res):
#BeautifulSoup组件解析html页面
soup = bs4.BeautifulSoup(res.text,"html.parser")

#电影名
movies = []
#打开开发者工具，在电影名处点击右键检查，定位html代码标签，可以看到在div标签下，class='hd'
targets = soup.find_all("div",class_="hd")
for each in targets:
#在刚才所说的div标签下的a标签下的span标签中，我们提取span标签中的内容，调用text方法即可
movies.append(each.a.span.text)

#评分
ranks = []
#同上
targets = soup.find_all("span",class_="rating_num")
for each in targets:
#评分得到后直接使用%s格式化将each.text即评分带入变量
ranks.append("评分:%s" % each.text)

#资料
messages = []
#同上
targets = soup.find_all("div",class_="bd")
for each in targets:
#使用try的原因：查看本页面源代码可知资料栏中有的数据并没有足够的数据
#即：例如174和175，并没有主演等信息，所以此处使用try、except，否则
#报错超出数组索引范围  list index out of range
try:
messages.append(each.p.text.split('\n')[1].strip() + each.p.text.split('\n')[2].strip())
except:
continue

#返回结果
result = []
#简单的for循环将结果添加到result中，不做过多解释
length = len(movies)
for i in range(length):
result.append(movies[i] + ranks[i] + messages[i] + '\n')

return result

#找出一共有多少页
def find_depth(res):
soup = bs4.BeautifulSoup(res.text,"html.parser")
#这里在页面的下一页处点击右键检查，定位html位置，可知span标签，class属性为next
#调用方法得到总页数，因为一页只显示25个，我们需要得到所有页数
depth = soup.find("span",class_ ="next").previous_sibling.previous_sibling.text
#将总页数返回，后续循环遍历取数据
return int(depth)

def main():
#先在首页面获取总页数
host = "https://movie.douban.com/top250"
res = open_url(host)
depth = find_depth(res)

result = []
for i in range(depth):
#在点击下一页后请求栏里数据会发生改变
#在不同的页码页面请求栏中很明显的可以看到后面添加String的数字，即'/?start='+str(num)
url = host + '/?start=' + str(25 * i)
print(f"正在爬取第{i+1}页：{url}")
res = open_url(url)
#调用方法爬取数据
result.extend(find_movies(res))

#将爬取结果写入到自定义的文件夹下，
with open("E:/develop kits/python3.7.3/Training_files/results/豆瓣TOP250电影.txt","w",encoding = "utf-8") as f:
for each in result:
f.write(each)

print("爬取完毕。")

#调用主方法
if __name__ == "__main__":
main()

新入坑大白鹅“广学技术”，闲来无事把我的学习过程慢慢记录起来以便以后方便回顾，各位大佬不喜勿喷。

• 点赞
• 收藏
• 分享
• 文章举报