Python 下载网络mp4视频资源

最近着迷化学， 特别是古代的冶炼技术，感叹古人的聪明。









春秋时期的炼铁方法是块炼铁，即在较低的冶炼温度下，将铁矿石固态还原获得海绵铁，再经锻打成的铁块。冶炼块炼铁，一般采用地炉、平地筑炉和竖炉3种。铁矿石在温度较高的炼铁炉中高温还原并渗碳，得到含碳达到3～4％的液态生铁。战国初期，我国已掌握了脱碳、热处理技术方法，发明了韧性铸铁。

在中国，钢铁的总产量在唐代年产已达到1200吨，宋朝为4700吨，明朝最多达到4万吨。在13世纪，中国是世界上最大的铁的生产国和消费国，直到17世纪仍保持着这一领先地位。从汉代到明朝，中国人不仅在数量上处于领先地位，而且还拥有世界上最先进的钢铁冶炼技术。
铸铁脱碳钢 将含碳3～4％的低硅铸铁器在氧化气氛中加热,在适当条件下，特别是厚度不大的情况下,可以避免石墨的形成。早期炼铁温度较低，含硅量低，石墨析出较慢，有利于脱碳，使制造韧性铸铁的工艺发展成为铸铁脱碳成钢的方法。这种钢称为铸铁脱碳钢，这类钢板可加工成的铁镞、环首刀。

炒钢 向熔化的生铁鼓风，同时进行搅拌促使生铁中的碳氧化。用这种方法可将生铁制成熟铁，再经过渗碳锻打成钢。也可有控制地把生铁含碳量炒到需要的程度，再锻制成钢制品。这种钢中含有的硅酸铁夹杂物成分比较一致而数量较少。炒钢技术始于西汉末年，到东汉已相当普及。江苏出土新莽残剑，徐州出土建初二年(77)五十炼钢剑，山东临沂苍山出土的永初六年（112）三十炼钢刀等所用的原料都属于这一类型。曹操（155～220）在《内诫令》提到“百炼利器”，孙权(182～252)有以“百炼”命名的宝刀。初步可以认为百炼钢是用炒钢反复叠打变形，细化晶粒和夹杂物而成的，甚至可以用不同含碳钢材复合组成。炼数大致相当于反复折叠锻打后最后的层数。炼数增多,表明加工量加大，晶粒和夹杂进一步细化,质量提高。炒钢技术的发明是炼钢史上的一次革命。

来源：http://wenku.baidu.com/view/7c9bd28d84868762caaed5ed.html

哎！ 就在查找古人是如何冶炼金属、铸造钱币、分离金属元素时，找到了这个大连理工大学讲的“化学与社会”公开课。讲的很有调理，让读者很容易理解，越看越觉的这个公开课是一个经典课程，想收藏页面怕以后链接会失效，所以决定把这个经典的公开课下载下来。

那么问题来了，下载网页嵌入的flash 视频，不是容易的事。试了网上好多视频下载插件（DownLoad Helper 、 VDownLoad嗅探器、flv视频下载、ImovieBox）也么有分析出网页的链接视频。好吧，我使用F12 调试网页工具查看网络响应，发现有type=video/mp4,然后另存为就可以了，但问题是课程有近100个，不可能一个个打开链接，查看网页Network点击视频让其加载出type=video/mp4 类型，再另存为。这样太麻烦了。开动脑筋想用程序直接把视频下载链接分析出来，然后保存在本地。

1. 获取链接地址

查看：http://ptr.chaoxing.com/course/2533204.html 源码，课程的list写在了clas=“p20” ul里面的li标签列表中
通过PyQuery可以获取所有课程的视频播放地址

d = self.pq('http://ptr.chaoxing.com/course/2533204.html')
DomTree = d('.p20 ul li a')
for my_div in DomTree.items():
URL = 'http://ptr.chaoxing.com' + my_div.attr('href')  # 课时detail URL
l = my_div.find('.l').html()  # 课时章节NO
r = my_div.find('.r').html()  # 课时Name
self.LessonList.append({'url': URL, "name": l + r})

2. 分析下载地址

打开一个课程视频播放时，都会XHR请求加载一个链接，该链接的内容是：



然而我们发现，每一个视频地址页面都会请求一个类似于这样的地址：http://ptr.chaoxing.com/ananas/status/************?k=&_dc=1476770383911
该地址返回一个带有视频mp4路径的Json格式字符串。其中filename为当前视频课程的名称，http为(standard)标准清晰视频 sd.mp4, httphd为(high)高清视频 hd.mp4
进一步的分析我们发现，在该地址请求之前有一个类型为Document的html加载出页面内容区域的html flash播放器



当这个播放器加载完成通过all-classes.js?v=20141027:1的Ajax请求http://ptr.chaoxing.com/ananas/status/************?k=&_dc=***。查看网页源代码，查找status后的这一串字符串发现这个字符串应该是视频播放的objectID





在iframe标签的data属性里面。试着复制一个视频的objectID去模拟请求http://ptr.chaoxing.com/ananas/status/************发现居然成功了！不知道此方法是否也使用其他flash视频下载。
这样下载课程视频的思路就出来了：在第一步获取下载链接，通过每一个视频页面源码中的objectID去请求http://ptr.chaoxing.com/ananas/status/************ 获取下载地址。然后下载视频教程。so easy!

3. 下载视频

通过上一步分析地址，已经知道获取flash视频objectID并Ajax 请求http://ptr.chaoxing.com/ananas/status/************ 就能获取视频地址。这一步我们就下载视频。
通过PyQuery 获取视频页面中的objectID

def getVideo(self, url):
'''
获取视频
'''
d = self.pq(url)
DomTree = d("iframe")
jsonData = DomTree.attr('data')
objectid = json.loads(jsonData)['objectid']  # 获取下载资源视频的对象
downloadUrl = self.pq('http://ptr.chaoxing.com/ananas/status/' + objectid)  # 获取下载资源的URL
jsonData = json.loads(downloadUrl.html())['httphd']  # 在这里，我们要下载的是高清视频
return jsonData

在视频下载中遇到了些小问题，可参考：https://www.zhihu.com/question/41132103

完整代码：

# -*- coding: UTF8 -*-
from pyquery import PyQuery as pq
import sys, os
import json
import requests
from contextlib import closing

class SaveVideo():
LessonList = []

def __init__(self):
pass

# 获取课时的列表
def getLesson(self):
try:
# 该网站请求时必须带上User-Agent
d = self.pq('http://ptr.chaoxing.com/course/2533204.html')
DomTree = d('.p20 ul li a')
for my_div in DomTree.items():
URL = 'http://ptr.chaoxing.com' + my_div.attr('href')  # 课时detail URL
l = my_div.find('.l').html()  # 课时章节NO
r = my_div.find('.r').html()  # 课时Name
self.LessonList.append({'url': URL, "name": l + r})
except Exception as e:
print(e)

if (len(self.LessonList) > 0):
if not os.path.exists('./Video'):
os.makedirs('./Video')

for lesson in self.LessonList:
video = self.getVideo(lesson['url'])
if video:
self.downloadVideo(video, lesson['name'])

print('完成下载!!!')

def getVideo(self, url):
'''
获取视频
'''
d = self.pq(url)
DomTree = d("iframe")
jsonData = DomTree.attr('data')
video=''
try:
objectid = json.loads(jsonData)['objectid']  # 获取下载资源视频的对象
downloadUrl = self.pq('http://ptr.chaoxing.com/ananas/status/' + objectid)  # 获取下载资源的URL
video = json.loads(downloadUrl.html())['httphd']  # 在这里，我们要下载的是高清视频
except:
pass
return video

def pq(self, url, headers=None):
'''
将PyQuery 请求写成方法
'''
d = pq(url=url, headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'})
return d

def downloadVideo(self, url, file_name=''):
'''
下载视频
:param url: 下载url路径
:return: 文件
'''
with closing(requests.get(url, stream=True)) as response:
chunk_size = 1024
content_size = int(response.headers['content-length'])
file_D='./Video/' + file_name + '.mp4'
if(os.path.exists(file_D)  and os.path.getsize(file_D)==content_size):
print('跳过'+file_name)
else:
progress = ProgressBar(file_name, total=content_size, unit="KB", chunk_size=chunk_size, run_status="正在下载",fin_status="下载完成")
with open(file_D, "wb") as file:
for data in response.iter_content(chunk_size=chunk_size):
file.write(data)
progress.refresh(count=len(data))

'''
下载进度
'''
class ProgressBar(object):
def __init__(self, title, count=0.0, run_status=None, fin_status=None, total=100.0, unit='', sep='/',
chunk_size=1.0):
super(ProgressBar, self).__init__()
self.info = "[%s] %s %.2f %s %s %.2f %s"
self.title = title
self.total = total
self.count = count
self.chunk_size = chunk_size
self.status = run_status or ""
self.fin_status = fin_status or " " * len(self.statue)
self.unit = unit
self.seq = sep

def __get_info(self):
# 【名称】状态 进度 单位 分割线 总数 单位
_info = self.info % (
self.title, self.status, self.count / self.chunk_size, self.unit, self.seq, self.total / self.chunk_size,
self.unit)
return _info

def refresh(self, count=1, status=None):
self.count += count
# if status is not None:
self.status = status or self.status
end_str = "\r"
if self.count >= self.total:
end_str = '\n'
self.status = status or self.fin_status
print(self.__get_info(), end=end_str)

if __name__ == '__main__':
C = SaveVideo()
C.getLesson()
sys.exit()

通过pyinstaller打包

import sys

if __name__ == '__main__':
from PyInstaller import __main__
params = ['-F','-c','--noupx', '--icon=favicon.ico', 'save.py']
__main__.run(params)

查看：

4：分享课程视频

已经将视频打包分享到云盘中，有兴趣的可以在这 下载