视频编解码学习之一：理论基础

第1章介绍

1. 为什么要进行视频压缩？
未经压缩的数字视频的数据量巨大

存储困难
一张DVD只能存储几秒钟的未压缩数字视频。

传输困难
1兆的带宽传输一秒的数字电视视频需要大约4分钟。



2. 为什么可以压缩

去除冗余信息
空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到

3. 数据压缩分类

无损压缩（Lossless）
压缩前解压缩后图像完全一致X=X'
压缩比低(2:1~3:1)
例如：Winzip，JPEG-LS

有损压缩（Lossy）
压缩前解压缩后图像不一致X≠X'
压缩比高(10:1~20:1)
利用人的视觉系统的特性
例如：MPEG-2，H.264/AVC，AVS



4. 编解码器

编码器（Encoder）
压缩信号的设备或程序

解码器（Decoder）
解压缩信号的设备或程序

编解码器(Codec)
编解码器对

5. 压缩系统的组成

(1) 编码器中的关键技术



(2) 编解码中的关键技术



6. 编解码器实现

编解码器的实现平台：

超大规模集成电路VLSI
ASIC， FPGA

数字信号处理器DSP
软件

编解码器产品：
机顶盒
数字电视
摄像机
监控器

7. 视频编码标准

编码标准作用：

兼容：
不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码

高效：
标准编解码器可以进行批量生产，节约成本。

主流的视频编码标准：
MPEG-2
MPEG-4 Simple Profile
H.264/AVC
AVS
VC-1

标准化组织：

ITU：International Telecommunications Union
VECG：Video Coding Experts Group

ISO：International Standards Organization
MPEG：Motion Picture Experts Group

8. 视频传输
视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端
传输系统：互联网，地面无线广播，卫星

9. 视频传输面临的问题

传输系统不可靠
带宽限制
信号衰减
噪声干扰
传输延迟

视频传输出现的问题
不能解码出正确的视频
视频播放延迟

10. 视频传输差错控制
差错控制（Error Control）解决视频传输过程中由于数据丢失或延迟导致的问题

差错控制技术：
信道编码差错控制技术
编码器差错恢复
解码器差错隐藏

11. 视频传输的QoS参数
数据包的端到端的延迟
带宽：比特/秒
数据包的流失率
数据包的延迟时间的波动

第2章 数字视频

1.图像与视频
图像：是人对视觉感知的物质再现。
三维自然场景的对象包括：深度，纹理和亮度信息
二维图像：纹理和亮度信息



视频：连续的图像。
视频由多幅图像构成，包含对象的运动信息，又称为运动图像。



2. 数字视频

数字视频：自然场景空间和时间的数字采样表示。

空间采样
解析度（Resolution）

时间采样
帧率：帧/秒



3. 空间采样
二维数字视频图像空间采样



4. 数字视频系统

采集
照相机，摄像机

处理
编解码器，传输设备

显示
显示器



5. 人类视觉系统HVS

HVS
眼睛
神经
大脑



HVS特点：
对高频信息不敏感
对高对比度更敏感
对亮度信息比色度信息更敏感
对运动的信息更敏感



6. 数字视频系统的设计应该考虑HVS的特点：
丢弃高频信息，只编码低频信息
提高边缘信息的主观质量
降低色度的解析度
对感兴趣区域（Region of Interesting，ROI）进行特殊处理



7. RGB色彩空间
三原色：红（R），绿（G），蓝（B）。
任何颜色都可以通过按一定比例混合三原色产生。

RGB色度空间
由RGB三原色组成
广泛用于BMP，TIFF，PPM等
每个色度成分通常用8bit表示[0,255]



8. YUV色彩空间

YUV色彩空间：
Y：亮度分量
UV：两个色度分量
YUV更好的反映HVS特点

9. RGB转化到YUV空间

亮度分量Y与三原色有如下关系：


经过大量实验后ITU-R给出了，

 ， 

 ，




主流的编解码标准的压缩对象都是YUV图像

10. YUV图像分量采样
YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。
根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式：



11. 通用 的YUV图像格式
根据YUV图像的亮度分辨率定义图像格式



12. 帧和场图像
一帧图像包括两场——顶场，底场





13. 逐行与隔行图像
逐行图像：一帧图像的两场在同一时间得到，ttop=tbot。
隔行图像：一帧图像的两场在不同时间得到， ttop≠tbot。



14. 视频质量评价
有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。

质量评价：
客观质量评价
主观质量评价
基于视觉的视频质量客观评价

客观质量评价：通过数学方法测量图像质量评价的方式。

优点：
可量化
测量结果可重复
测量简单

缺点：
不完全符合人的主观感知

15. 客观评价的方法

常用的客观评价方法：



16. 主观评价方法
主观质量评价：用人的主观感知直接测量的方式。

优点：
符合人的主观感知

缺点：
不容易量化
受不确定因素影响，测量结果一般不可重复
测量代价高

常用主观评价方法





17. 基于视觉的视频质量客观评价方法
基于视觉的视频质量客观评价：将人的视觉特性用数学方法描述并用于视频质量评价的方式。
结合了主观质量评价和客观质量评价两方面优点。
常用方法：结构相似度（Structural SIMilarity，SSIM）方法。
将HVS的特征用数学模型表达出来。
未来重要的研究方向