Python 短视频爬虫教程
2021-11-27 04:06
537 查看
好难受,上次发了做游戏的居然没人看,每天为了给你们写啥,老夫心都操碎了~
真的是,今天来给大家爬一波短视频网站吧,都是些很养眼的~
网站地址在代码里面,大家用心一下就能看到了。
使用的软件
python 3.8 pycharm 2021.2
模块
requests parsel re concurrent.futures time warnings
不会安装模块看这篇:python模块的安装以及安装失败的解决方法
知道你们不想看那些步骤,我直接上代码吧
import requests import parsel import re import concurrent.futures import time import warnings # 取消警告 warnings.filterwarnings("ignore") def get_html(url): """发送请求获取网页源代码""" html_data = requests.get(url=url, verify=False).text return html_data def parse_data_1(html_data): """第一次解析, 拿到所有的详情页链接""" selector = parsel.Selector(html_data) url_list = selector.xpath('//a[@class="meta-title"]/@href').getall() return url_list def parse_data_2(html_data): """第二次解析, 获取视频链接""" video_url = re.findall('url: "(.*?)",', html_data)[0] return video_url def save(video_url): """保存视频""" title = video_url.split('/')[-1] # 取链接当中的字段作为标题 video_data = requests.get(video_url, verify=False).content # 发送网络请求 with open(f'video/{title}', mode='wb') as f: f.write(video_data) print(title, "爬取成功!!!") start_time = time.time() url = 'https://www.520mmtv.com/hd/rewu.html' # 1. 向目标网站发送请求 html_data = get_html(url=url) # 2. 第一次解析数据 提取详情页链接 url_list = parse_data_1(html_data=html_data) for info_url in url_list[:10]: # 3. 向详情页发送请求 html_data_2 = get_html(url=info_url) # 4. 第二次解析数据 提取视频播放地址 video_url = parse_data_2(html_data=html_data_2) # 5. 保存视频 save(video_url=video_url) print('花费时间:', time.time() - start_time)
到此这篇关于Python 短视频爬虫教程的文章就介绍到这了,更多相关Python 爬虫教程内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
您可能感兴趣的文章:相关文章推荐
- 零基础21天搞定Python分布式爬虫_分布式网络爬虫入门进阶视频教程
- 视频教程-分布式爬虫之数据存储开发实战-Python
- 视频教程-Python爬虫实战 超多案例(百度,微博,今日头条,网易,boss直聘,豆瓣爬取+全网爬取)-Python...
- 分享python3爬虫及数据分析实战视频教程
- 学习Python就业有哪些方向?附加视频教程(python3从入门到进阶(面向对象),实战(爬虫,飞机游戏,GUI)视频教程)
- 视频教程-[Python全栈]网络爬虫案例课--今日头条中街拍美图爬取-Python
- 视频教程-扎扎实实学Python爬虫视频教程(300分钟)-Python
- 视频教程-Python爬虫视频教程:教你爬取QQ音乐数据(实战处理+数据可视化)-Python...
- 视频教程-手把手带你学会python爬虫-Python
- 视频教程-Python爬虫实战视频教程-Python
- 【备忘】2017年最新Python网络爬虫实战案例视频教程下载 共5章 34课
- 视频教程-Python爬虫高级视频教程(十二)-Python
- Python3爬虫视频学习教程
- 四周实现Python爬虫实战网站视频教程
- Python视频教程网课编程零基础入门数据分析网络爬虫全套自学课程
- 视频教程-Python网络爬虫之--Scrapy框架的使用-Python
- 视频教程-Python数据分析与爬虫-Python
- Python爬虫入门教程 71-100 续上篇,python爬虫爬取B站视频
- 视频教程-python分布式爬虫从入门到精通实战-Python
- Python爬虫入门教程 51-100 Python3爬虫通过m3u8文件下载ts视频-Python爬虫6操作