python爬虫8——下载视频:you-get工具
由于博主经常性会学习一些视频教程,除了自己下的外,就很像把公司买的视频也下下来观摩观摩。先来一个软件,叫you-get的包。
一、you-get说明
You-Get 乃一小小哒命令行程序,提供便利的方式来下载网络上的媒体信息。
利用you-get下载这个网页的视频:
$ you-get http://www.fsf.org/blogs/rms/20140407-geneva-tedx-talk-free-software-free-society Site: fsf.org Title: TEDxGE2014_Stallman05_LQ Type: WebM video (video/webm) Size: 27.12 MiB (28435804 Bytes) Downloading TEDxGE2014_Stallman05_LQ.webm ... 100.0% ( 27.1/27.1 MB) ├████████████████████████████████████████┤[1/1] 12 MB/s
为什么你要好好的用You-get:
- 你欢喜于互联网上的富媒体内容,并为个人寻欢而储存
- 你喜悦观看的视频,然而不得保存;对个人设备无从控制,此乃违背开放互联网之行为
- 你寻求解脱于闭源软件或JavaScript代码,并禁止Flash运行
- 你为黑客精神与自由软件而欣喜
you-get之功用:
- 下载流行网站之音视频,例如YouTube, Youku, Niconico,以及更多. (查看完整支持列表)
- 于您心仪的媒体播放器中观看在线视频,脱离浏览器与广告
- 下载您喜欢的网页上的图片
- 下载任何非HTML内容,例如二进制文件
使用Python编程?敬请查看 源代码 并fork!
1,安装
绪论
以下乃必要依赖,需要单独安装,除非于Windows下使用预包装包:
选项 1: 通过pip安装
you-get之官方版本通过PyPI分发, 可从PyPI镜像中通过pip 包管理器安装. 须知您务必使用版本3的 pip:
$ pip3 install you-get
选项 2: 使用预装包(仅供Windows)
exe (单独文件) 或 7z (包括所有依赖) 可从https://github.com/soimort/you-get/releases/latest 下载.
选项 3: 于GitHub下载
您可选择稳定版 (与PyPI最新版等同) 或 开发版 (更多的热补丁与不稳定功能)的you-get. 解压并将含有you-get的目录加入PATH.
或者, 运行
$ make install
以安装you-get 于永久路径.
选项 4: Git clone
即使您不常使用Python,作为开发者,也请使用此方法。
$ git clone git://github.com/soimort/you-get.git
将目录加入 PATH, 或运行 make install 以安装you-get 于永久路径.
升级
考虑到 you-get 安装方法之差异, 请使用:
$ pip3 install --upgrade you-get
或下载最新更新:
$ you-get https://github.com/soimort/you-get/archive/master.zip
2,相关参数
(1)查看当前视频的清晰度和格式
you-get -i http://v.youku.com/v_show/id_XMTQ2NzQyMjY1Ng.html
部分参数:
site: 优酷 (Youku)
title: 染
streams: # Available quality and codecs
[ DEFAULT ] _________________________________
- format: mp4hd2
container: mp4
video-profile: 超清
size: 13.0 MiB (13621766 bytes)
m3u8_url: http://pl-ali.youku.com/playlist/m3u8?vid=XMTQ2NzQyMjY1Ng&t
ype=hd2&ups_client_netip=da1ac813&utid=JJNuFHVaZA8CAdoayBNZ94Bt&ccode=0516&psid=
f2dc9ab6eaf734e76a8de89579b4b6cd&duration=90&expire=18000&drm_type=1&drm_device=
0&ups_ts=1541907752&onOff=0&encr=0&ups_key=8422ef342986f2d4a07ccb8dcc6ab3cf
# download-with: you-get --format=mp4hd2 http://v.youku.com/v_show/id_XMTQ2NzQyMjY1Ng.html" target=_blank>
(2)选择需要下载的清晰度及格式
you-get --format=hd2 [url=http://v.youku.com/v_show/id_XMTQ2NzQyMjY1Ng.html]http://v.youku.com/v_show/id_XMTQ2NzQyMjY1Ng.html
(3) You-Get 播放命令
you-get -p PotPlayerMini64.exe http://v.youku.com/v_show/id_XMTY0MTA4ODM1Mg==.html
(4).暂停下载与继续下载
1.暂停下载:和Linux一样,按Ctrl+C可以中断命令,下载目录下会保存有一个以.download为扩展名的缓存文件。
2.继续下载:重新执行下载任务,如果下载目录下有上次下载保存的缓存文件,则继续上次下载进度。
3.强制重新下载(即使下载完成也会重新写入):
you-get -f http://www.meipai.com/media/437971164
(5)下载视频列表中的所有视频
优酷等网站会提供视频列表,而 You-Get 可以通过视频列表进行批量下载。
you-get [url=http://www.youku.com/playlist_show/id_25917721.html]http://www.youku.com/playlist_show/id_25917721.html
(6)设置输出文件名或路径
使用--output-dir/-o 设定路径, --output-filename/-O 设定输出文件名:
you-get -o ~/Videos -O zoo.webm 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
(8)代理设置
使用 --http-proxy/-x为you-get设置HTTP代理:
$ you-get -x 127.0.0.1:8087 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
(9)加载cookie
并非所有视频可供任何人观看。如果需要登录以观看 (例如, 私密视频), 可能必须将浏览器cookie通过--cookies/-c 加载入 you-get.
(10)可通过输入you-get或者you-get -h查看帮助信息,如
C:\Users\Administrator>you-get -h
you-get: version 0.4.1164, a tiny downloader that scrapes the web.
usage: you-get [OPTION]... URL...
A tiny downloader that scrapes the web
optional arguments:
-V, --version Print version and exit
-h, --help Print this help message and exit
Dry-run options:
(no actual downloading)
-i, --info Print extracted information
-u, --url Print extracted information with URLs
--json Print extracted URLs in JSON format
Download options:
-n, --no-merge Do not merge video parts
--no-caption Do not download captions (subtitles, lyrics, danmaku,
...)
-f, --force Force overwriting existing files
-F STREAM_ID, --format STREAM_ID
Set video format to STREAM_ID
-O FILE, --output-filename FILE
Set output filename
-o DIR, --output-dir DIR
Set output directory
-p PLAYER, --player PLAYER
Stream extracted URL to a PLAYER
-c COOKIES_FILE, --cookies COOKIES_FILE
Load cookies.txt or cookies.sqlite
-t SECONDS, --timeout SECONDS
Set socket timeout
-d, --debug Show traceback and other debug info
-I FILE, --input-file FILE
Read non-playlist URLs from FILE
-P PASSWORD, --password PASSWORD
Set video visit password to PASSWORD
-l, --playlist Prefer to download a playlist
-a, --auto-rename Auto rename same name different files
Proxy options:
-x HOST:PORT, --http-proxy HOST:PORT
Use an HTTP proxy for downloading
-y HOST:PORT, --extractor-proxy HOST:PORT
Use an HTTP proxy for extracting only
--no-proxy Never use a proxy
-s HOST:PORT, --socks-proxy HOST:PORT
Use an SOCKS5 proxy for downloading
注意:
目前我们支持两种cookie格式:Mozilla cookies.sqlite 和 Netscape cookies.txt.
部分网站在中国大陆可能无法访问,如果想正常访问这些网站,可以去问问神奇海螺。
支持网站
网站 URL 视频? 图像? 音频?
YouTube https://www.youtube.com/ ✓
Twitter https://twitter.com/ ✓ ✓
VK http://vk.com/ ✓
Vine https://vine.co/ ✓
Vimeo https://vimeo.com/ ✓
Vidto http://vidto.me/ ✓
Veoh http://www.veoh.com/ ✓
Tumblr https://www.tumblr.com/ ✓ ✓ ✓
TED http://www.ted.com/ ✓
SoundCloud https://soundcloud.com/ ✓
Pinterest https://www.pinterest.com/ ✓
MusicPlayOn http://en.musicplayon.com/ ✓
MTV81 http://www.mtv81.com/ ✓
Mixcloud https://www.mixcloud.com/ ✓
Metacafe http://www.metacafe.com/ ✓
Magisto http://www.magisto.com/ ✓
Khan Academy https://www.khanacademy.org/ ✓
JPopsuki TV http://www.jpopsuki.tv/ ✓
Internet Archive https://archive.org/ ✓
Instagram https://instagram.com/ ✓ ✓
Heavy Music Archive http://www.heavy-music.ru/ ✓
Google+ https://plus.google.com/ ✓ ✓
Freesound http://www.freesound.org/ ✓
Flickr https://www.flickr.com/ ✓ ✓
Facebook https://www.facebook.com/ ✓
eHow http://www.ehow.com/ ✓
Dailymotion http://www.dailymotion.com/ ✓
CBS http://www.cbs.com/ ✓
Bandcamp http://bandcamp.com/ ✓
AliveThai http://alive.in.th/ ✓
interest.me http://ch.interest.me/tvn ✓
755
ナナゴーゴー http://7gogo.jp/ ✓ ✓
niconico
ニコニコ動画 http://www.nicovideo.jp/ ✓
163
网易视频
网易云音乐 http://v.163.com/
http://music.163.com/ ✓ ✓
56网 http://www.56.com/ ✓
AcFun http://www.acfun.tv/ ✓
Baidu
百度贴吧 http://tieba.baidu.com/ ✓ ✓
爆米花网 http://www.baomihua.com/ ✓
bilibili
哔哩哔哩 http://www.bilibili.com/ ✓
Dilidili http://www.dilidili.com/ ✓
豆瓣 http://www.douban.com/ ✓
斗鱼 http://www.douyutv.com/ ✓
凤凰视频 http://v.ifeng.com/ ✓
风行网 http://www.fun.tv/ ✓
iQIYI
爱奇艺 http://www.iqiyi.com/ ✓
激动网 http://www.joy.cn/ ✓
酷6网 http://www.ku6.com/ ✓
酷狗音乐 http://www.kugou.com/ ✓
酷我音乐 http://www.kuwo.cn/ ✓
乐视网 http://www.letv.com/ ✓
荔枝FM http://www.lizhi.fm/ ✓
秒拍 http://www.miaopai.com/ ✓
MioMio弹幕网 http://www.miomio.tv/ ✓
痞客邦 https://www.pixnet.net/ ✓
PPTV聚力 http://www.pptv.com/ ✓
齐鲁网 http://v.iqilu.com/ ✓
腾讯视频 http://v.qq.com/ ✓
阡陌视频 http://qianmo.com/ ✓
Sina
新浪视频
微博秒拍视频 http://video.sina.com.cn/
http://video.weibo.com/ ✓
Sohu
搜狐视频 http://tv.sohu.com/ ✓
天天动听 http://www.dongting.com/ ✓
Tudou
土豆 http://www.tudou.com/ ✓
虾米 http://www.xiami.com/ ✓
阳光卫视 http://www.isuntv.com/ ✓
音悦Tai http://www.yinyuetai.com/ ✓
Youku
优酷 http://www.youku.com/ ✓
战旗TV http://www.zhanqi.tv/lives ✓
央视网 http://www.cntv.cn/ ✓
3,加载cookie下载视频
阅读更多
- Python.You-Get -- Python的视频下载工具[推荐玩玩]
- You-Get 视频下载工具 Python命令行下载工具
- You-Get--基于Python3的开源网络视频下载工具
- python实现的视频下载工具you-get,支持多个国内外主流视频平台
- 用python you-get下载视频
- 音视频下载工具:you-get
- python(you-get):2分钟快速下载网站视频
- python 使用you-get下载视频
- 视频下载工具 :you-get
- You-Get——基于Python3的媒体下载工具
- 开源you-get项目爬虫,以及基于python+selenium的自动测试利器
- macOS 一键下载 You-Get 支持网站的视频
- Python爬虫2-GET_POST与开发者工具
- Python 利用scrapy爬虫通过短短50行代码下载整站短视频
- macOS 一键下载 You-Get 支持网站的视频
- python爬虫下载极客学院视频
- macOS 一键下载 You-Get 支持网站的视频
- Python 爬虫实例(13) 下载 m3u8 格式视频
- 使用Python编写简单网络爬虫抓取视频下载资源
- Python简单网页爬虫——极客学院视频自动下载