帧间预测：视频内容与最佳预测模式之间的关系（总结）

声明：本文大部分内容摘取至《基于H.264的视频编码处理技术与应用》（科学出版社，贾克斌、刘鹏宇、吕卓逸、邓智玭编著）一书。

最近对H.264的编码框架进行整理和复习，在阅读《基于H.264的视频编码处理技术与应用》一书时，发现其中叙述“帧间预测模式和视频内容之间的相关性”一部分总结的非常好，特摘取过来，作为笔记。

帧间预测过程中，最佳预测模式的选取具有以下几点特性：

（1）实际编码中，纹理复杂的宏块并非全部选择小尺寸划分模式；选择16×16预测模式的也未必都是纹理平坦的宏块。

（2）运动区域的宏块并非全部按照小尺寸划分模式进行编码。

（3）只有在当前帧内加入较多新信息或者发生镜头切换时，宏块才会选择帧内预测模式。

视频内容与预测模式的相关性遵循以下规律：

（1）静止区域的宏块不论纹理特征丰富与否，大多选择Skip或16×16模式；

（2）运动平缓或作整体运动的区域，大多选择16×16,16×8,8×16宏块分割模式；

（3）纹理丰富、运动程度较大的区域，大多选择8×8,8×4,4×8,4×4子块分割模式；

（4）出现激烈运动区域，无法在参考帧的规定搜索区域内找到率失真意义上的匹配块时，启用Intra16×16或Intra4×4帧内预测模式；

分析其原因：视频中趋于静止区域的宏块，运动矢量mv几乎为零，即便具有复杂的纹理特征，但仍与前一帧对应位置处的宏块具有很强的时间相关性，在Skip或者16×16模式下能够获得理想的预测效果；视频中运动平缓或整体运动的区域，宏块内几乎所有像素具有运动一致性特征，采用宏块级分割，得到1~2个运动估计矢量即可完成预测编码，获得最优率失真性能；视频中纹理丰富并且运动幅度较大的区域，宏块内像素往往具有不同的运动特征，更佳适合采用细致的分割方式，小尺寸划分模式可以为每个子块预测出最佳的运动矢量mv，使运动估计率失真开销和编码率失真开销达到最优；当视频场景内出现较激烈的运动区域或者镜头切换时，画面中突然出现新的视频内容信息，当前编码块无法在参考帧规定的搜索区域内找到率失真意义上的最佳匹配块，或者经过帧间预测后，得到的运动估计残差和编码残差都很大，匹配效果不理想，说明序列的时间相关性减弱，而利用序列的空间相关性，采用帧内编码模式反而可以获得更理想的预测效果。