一、项目介绍

        今天我们的爬虫内容是bilibili视频弹幕爬取，并保存到本地为JSON格式，正常爬虫只需要发送请求，解析相应内容，而爬取bilibili的内容，视频弹幕并没在响应的html中，而是保存在一个响应的url中，以XML格式保存，所以这算是一个新的内容，我会在下面进行详解。

二、所需技术

1. import requests (发送请求获取响应数据)
2. from lxml import etree (xpath提取内容)
3. import re (正则表达式提取内容)
4. import json (JSON格式与文本格式的转换)

三、网页分析

        首先以今天（2020年2月26日）B站排行榜第一的视频为例，右键检查（使用Chrome浏览器），我们首先需要获取到视频的标题，这里我们使用Chrome的xpath插件更方便的提取内容，发现视频标题存在与html中，而弹幕似乎不在，我们接下来分析。

       一开始我本因为就是正常的保存在html中，而当我跑了很多次之后，html中都没有发现弹幕，这个时候我来到检查中的Network，看一下这里服务器响应的内容，然后数据太多了，但是功夫不负有心人，终于让我找到了，可见下图，是一个url，所以就意味着我们可以向这个url发送请求，就能获取到所需数据，以XML格式存储，我怕这个url还需要别的参数，所以找了几个视频，发现唯一变的就是后面的oid，所以我们还需要获取到oid参数，但是oid在html中保存为cid，这里就需要用到正则表达式提取，然后拼接。可见下图
        1、首先是找到的url

        2、然后是对应的XML响应弹幕内容

        3、正则表达式提取的方法（最后我会放出完整代码）

item["cid:"] = re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", html_str, re.S)[0]

        根据分析我们可以看到，我们首先要拼接url来到视频的地址，获取到标题，然后根据我们分析的到的url响应地址，还需要在html中获取到oid，进行拼接，再次发送请求。也就是说，我们需要发送两次请求，为了读者们看的更为清晰，我会在代码中标清楚注释，便于大家分析，如有不足，希望批评。

四、代码实现

import requests
from lxml import etree
import re
import json

class BiLiBiLi:
# 初始化方法
def __init__(self,av_num):
# 接收av号
self.name = "av号" + str(av_num)
# 拼接视频地址
self.av_url = "https://www.bilibili.com/video/av{}".format(av_num)
# 请求头
self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}

# 响应html内容，并返回
def parse_url(self,av_url):
response = requests.get(url=av_url,headers=self.headers)
return response.content.decode()

# 解析html内容
def get_course(self,html_str):
# 使用xpath
html = etree.HTML(html_str)
# 使用字典保存标题和oid
item = {}
# 这里使用xpath提取标题
item["标题:"] = html.xpath("//div[@id='app']/div/div/div/h1/span/text()")[0] if len(html.xpath("//div[@id='app']/div/div/div/h1/span/text()")) > 0 else None
if item["标题:"]:
# 这里使用正则提取oid
item["cid:"] = re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", html_str, re.S)[0]
else:
print("请输入正确的av号")
# 返回提取到的内容
return item

# 解析弹幕url地址
def get_danmu(self,item):
oid = item["cid:"]
# 拼接从html中获取到的oid
danmu_url = "https://api.bilibili.com/x/v1/dm/list.so?oid={}".format(oid)
# 发送请求
response = requests.get(url=danmu_url,headers=self.headers)
# 解析内容
danmu_json = response.content.decode()
danmu = etree.HTML(danmu_json.encode("utf-8"))
# 使用xpath在xml中获取弹幕
item["弹幕:"] = danmu.xpath("//d/text()")
# 返回获取到的弹幕
return item

# 保存数据
def save(self,all):
# 保存为JSON格式到本地
with open("{}.json".format(self.name),"a",encoding="utf8") as fp:
fp.write(json.dumps(all,ensure_ascii=False,indent=4))

def run(self):
# 获取相应内容
html_str = self.parse_url(self.av_url)
# 提取所需数据
item = self.get_course(html_str)
all = self.get_danmu(item)
# 保存数据为JSON格式到本地
self.save(all)

# 主方法
if __name__ == '__main__':
# 输入av号，便于之后拼接
av_num = input("请输入av号:")
# 传递参数
bilibili = BiLiBiLi(av_num)
# 调用方法
bilibili.run()

五、爬取结果

        由下图可知，一秒钟成功抓取到数据，并以JSON格式保存到本地，方便我们使用。

六、总结

        总体来说整个爬虫并不难，只需要仔细找到我们需要的内容保存在哪里，这是我第一次在CSDN写相关爬虫博客，后面我会带来Scrapy，Bs4，登录爬取，验证码登录等，谢谢大家，如有不足，恳请批评。

• 点赞 8
• 收藏
• 分享
• 文章举报