python爬虫公众号所有信息,并批量下载公众号视频
2020-01-13 03:16
561 查看
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
主要功能
- 如何简单爬虫微信公众号
- 获取信息:标题、摘要、封面、文章地址
- 自动批量下载公众号内的视频
一、获取公众号信息:标题、摘要、封面、文章URL
操作步骤:
1、先自己申请一个公众号
2、登录自己的账号,新建文章图文,点击超链接
代码
import re import requests import jsonpath import json headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36", "Host": "mp.weixin.qq.com", "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040", "Cookie": "自己获取信息时的cookie" } def getInfo(): for i in range(80): # token random 需要要自己的 begin:参数传入 url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5)) response = requests.get(url, headers = headers) jsonRes = response.json() titleList = jsonpath.jsonpath(jsonRes, "$..title") coverList = jsonpath.jsonpath(jsonRes, "$..cover") urlList = jsonpath.jsonpath(jsonRes, "$..link") # 遍历 构造可存储字符串 for index in range(len(titleList)): title = titleList[index] cover = coverList[index] url = urlList[index] scvStr = "%s,%s, %s,\n" % (title, cover, url) with open("info.csv", "a+", encoding="gbk", newline='') as f: f.write(scvStr) 在学习过程中有什么不懂得可以加我的 python学习资源qun,855408893 群里有不错的学习视频教程、开发工具与电子书籍。 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容
获取结果(成功):
二、获取文章内视频:实现批量下载
通过对单篇视频文章分析,我找到了这个链接:
通过网页打开发现,是视频的网页下载链接:
哎,好像有点意思了,找到了视频的网页纯下载链接,那就开始吧。
发现链接里的有一个关键参数vid 不知道哪来的?
和获取到的其他信息也没有关系,那就只能硬来了。
通过对单文章的url请求信息里发现了这个参数,然后进行获取。
response = requests.get(url_wxv, headers=headers) # 我用的是正则,也可以使用xpath jsonRes = response.text # 匹配:wxv_1105179750743556096 dirRe = r"wxv_.{19}" result = re.search(dirRe, jsonRes) wxv = result.group(0) print(wxv) **视频下载:** def getVideo(video_title, url_wxv): video_path = './videoFiles/' + video_title + ".mp4" # 页面可下载形式 video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv response = requests.get(video_url_temp, headers=headers) content = response.content.decode() content = json.loads(content) url_info = content.get("url_info") video_url2 = url_info[0].get("url") print(video_url2) # 请求要下载的url地址 html = requests.get(video_url2) # content返回的是bytes型也就是二进制的数据。 html = html.content with open(video_path, 'wb') as f: f.write(html)
那么所有信息就都完成了,进行code组装。
a、获取公众号信息
b、筛选单篇文章信息
c、获取vid信息
d、拼接视频页面下载URL
e、下载视频,保存
对Python感兴趣或者是正在学习的小伙伴,可以加入我们的Python学习扣qun:855408893 ,从0基础的python脚本到web开发、爬虫、django、数据挖掘数据分析等,0基础到项目实战的资料都有整理。送给每一位python的小伙伴!每晚分享一些学习的方法和需要注意的小细节,学习路线规划,利用编程赚外快。点击加入我们的 python学习圈
代码实验结果:
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- Python爬虫学习,批量爬取下载抖音视频
- python爬虫下载极客学院视频
- python实现批量获取指定文件夹下的所有文件的厂商信息
- 一步步分析百度音乐的播放地址,利用Python爬虫批量下载
- 使用Python编写简单网络爬虫抓取视频下载资源
- Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码
- python实现批量获取指定文件夹下的所有文件的厂商信息
- python+scrapy+selenium爬取并下载麦子学院所有视频教程
- python 爬虫爬取所有上市公司公告信息(三)
- 用python写网络爬虫-下载百思不得姐视频
- python爬虫之:淘宝商品搜索爬虫(收集商品信息/下载详情图)
- Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码
- [Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
- [置顶] 【python 视频爬虫】python下载头条视频
- python3.6+BeautifulSoup4 爬取360手机助手app应用的信息并存储数据库 批量下载apk
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- python爬虫批量抓取新浪微博用户ID及用户信息、微博内容
- Python 网络爬虫 004 (编程) 如何编写一个网络爬虫,来下载(或叫:爬取)一个站点里的所有网页
- 用Python 爬虫批量下载PDF文档
- 利用Python爬虫批量下载百度图库图片