视频编解码学习之二:数字视频
2016-03-16 19:44
197 查看
第2章 数字视频
1.图像与视频
图像:是人对视觉感知的物质再现。
三维自然场景的对象包括:深度,纹理和亮度信息
二维图像:纹理和亮度信息
视频:连续的图像。
视频由多幅图像构成,包含对象的运动信息,又称为运动图像。
2. 数字视频
数字视频:自然场景空间和时间的数字采样表示。
空间采样
解析度(Resolution)
时间采样
帧率:帧/秒
3. 空间采样
二维数字视频图像空间采样
4. 数字视频系统
采集
照相机,摄像机
处理
编解码器,传输设备
显示
显示器
5. 人类视觉系统HVS (Human Visual System)
HVS
眼睛
神经
大脑
HVS特点:
对高频信息不敏感
对高对比度更敏感
对亮度信息比色度信息更敏感
对运动的信息更敏感
6. 数字视频系统的设计应该考虑HVS的特点:
丢弃高频信息,只编码低频信息
提高边缘信息的主观质量
降低色度的解析度
对感兴趣区域(Region of Interesting,ROI)进行特殊处理
7. RGB色彩空间
三原色:红(R),绿(G),蓝(B)。
任何颜色都可以通过按一定比例混合三原色产生。
RGB色度空间
由RGB三原色组成
广泛用于BMP,TIFF,PPM等
每个色度成分通常用8bit表示[0,255]
8. YUV色彩空间
YUV色彩空间:
Y:亮度分量
UV:两个色度分量
YUV更好的反映HVS特点
9. RGB转化到YUV空间
亮度分量Y与三原色有如下关系:
经过大量实验后ITU-R给出了,
,
,
主流的编解码标准的压缩对象都是YUV图像
10. YUV图像分量采样
YUV图像可以根据HVS的特点,对色度分量下采样,可以降低视频数据量。
根据亮度和色度分量的采样比率,YUV图像通常有以下几种格式:
11. 通用的YUV图像格式
根据YUV图像的亮度分辨率定义图像格式
12. 帧和场图像
一帧图像包括两场——顶场,底场
13. 逐行与隔行图像
逐行图像:一帧图像的两场在同一时间得到,ttop=tbot。
隔行图像:一帧图像的两场在不同时间得到, ttop≠tbot。
14. 视频质量评价
有损视频压缩使编解码图像不同,需要一种手段来评价解码图像的质量。
质量评价:
客观质量评价
主观质量评价
基于视觉的视频质量客观评价
客观质量评价:通过数学方法测量图像质量评价的方式。
优点:
可量化
测量结果可重复
测量简单
缺点:
不完全符合人的主观感知
15. 客观评价的方法
常用的客观评价方法:
16. 主观评价方法
主观质量评价:用人的主观感知直接测量的方式。
优点:
符合人的主观感知
缺点:
不容易量化
受不确定因素影响,测量结果一般不可重复
测量代价高
常用主观评价方法
17. 基于视觉的视频质量客观评价方法
基于视觉的视频质量客观评价:将人的视觉特性用数学方法描述并用于视频质量评价的方式。
结合了主观质量评价和客观质量评价两方面优点。
常用方法:结构相似度(Structural SIMilarity,SSIM)方法。
将HVS的特征用数学模型表达出来。
未来重要的研究方向
1.图像与视频
图像:是人对视觉感知的物质再现。
三维自然场景的对象包括:深度,纹理和亮度信息
二维图像:纹理和亮度信息
视频:连续的图像。
视频由多幅图像构成,包含对象的运动信息,又称为运动图像。
2. 数字视频
数字视频:自然场景空间和时间的数字采样表示。
空间采样
解析度(Resolution)
时间采样
帧率:帧/秒
3. 空间采样
二维数字视频图像空间采样
4. 数字视频系统
采集
照相机,摄像机
处理
编解码器,传输设备
显示
显示器
5. 人类视觉系统HVS (Human Visual System)
HVS
眼睛
神经
大脑
HVS特点:
对高频信息不敏感
对高对比度更敏感
对亮度信息比色度信息更敏感
对运动的信息更敏感
6. 数字视频系统的设计应该考虑HVS的特点:
丢弃高频信息,只编码低频信息
提高边缘信息的主观质量
降低色度的解析度
对感兴趣区域(Region of Interesting,ROI)进行特殊处理
7. RGB色彩空间
三原色:红(R),绿(G),蓝(B)。
任何颜色都可以通过按一定比例混合三原色产生。
RGB色度空间
由RGB三原色组成
广泛用于BMP,TIFF,PPM等
每个色度成分通常用8bit表示[0,255]
8. YUV色彩空间
YUV色彩空间:
Y:亮度分量
UV:两个色度分量
YUV更好的反映HVS特点
9. RGB转化到YUV空间
亮度分量Y与三原色有如下关系:
经过大量实验后ITU-R给出了,
,
,
主流的编解码标准的压缩对象都是YUV图像
10. YUV图像分量采样
YUV图像可以根据HVS的特点,对色度分量下采样,可以降低视频数据量。
根据亮度和色度分量的采样比率,YUV图像通常有以下几种格式:
11. 通用的YUV图像格式
根据YUV图像的亮度分辨率定义图像格式
12. 帧和场图像
一帧图像包括两场——顶场,底场
13. 逐行与隔行图像
逐行图像:一帧图像的两场在同一时间得到,ttop=tbot。
隔行图像:一帧图像的两场在不同时间得到, ttop≠tbot。
14. 视频质量评价
有损视频压缩使编解码图像不同,需要一种手段来评价解码图像的质量。
质量评价:
客观质量评价
主观质量评价
基于视觉的视频质量客观评价
客观质量评价:通过数学方法测量图像质量评价的方式。
优点:
可量化
测量结果可重复
测量简单
缺点:
不完全符合人的主观感知
15. 客观评价的方法
常用的客观评价方法:
16. 主观评价方法
主观质量评价:用人的主观感知直接测量的方式。
优点:
符合人的主观感知
缺点:
不容易量化
受不确定因素影响,测量结果一般不可重复
测量代价高
常用主观评价方法
17. 基于视觉的视频质量客观评价方法
基于视觉的视频质量客观评价:将人的视觉特性用数学方法描述并用于视频质量评价的方式。
结合了主观质量评价和客观质量评价两方面优点。
常用方法:结构相似度(Structural SIMilarity,SSIM)方法。
将HVS的特征用数学模型表达出来。
未来重要的研究方向
相关文章推荐
- Leetcode 147. Insertion Sort List(链表实现快排)
- ZeroC Ice Ice Registry实现负载均衡
- Java中Map按值排序
- Linux---nginx+ffmpeg搭建流媒体服务器
- Ice Registry实现负载均衡
- ubuntu14.04安装telnet
- JavaScript学习笔记(9)——JavaScript语法之流程控制
- Leetcode 19 Remove Nth Node From End of List 链表
- Android---61---TabHost简单使用
- Leetcode Best Time to Buy and Sell Stock III
- 引用类型和值类型区别
- 决策树之CART算法
- LightOJ 1138 - Trailing Zeroes (III)(二分&阶乘末尾0的个数)
- Set集合
- android weight(权重)的具体分析
- 从postgres数据库逆向生成hibernate实体类
- Bootstrap的一个很漂亮的web万能模板
- 源程序版本管理软件和项目管理软件区别
- Jdbc连接数据库
- 抽象类和接口