h.264视频编码中快速的帧内预测模式选择

H.264作为最新的视频编码标准，因其拥有了新的特征(例如：帧内帧间预测)，也就实现了较好的视频压 缩。为了获得最佳的帧内和帧间预测，H.264采用了率失真优化(RDO)技术，提高了编码质量，降低了比特率。RDO技术对所有的帧内/帧间预测模式进 行全盘搜索，导致了很高的计算复杂性。本文中，引入了一个新颖的快速帧内预测算法，该算法使用了宏块的特性，并基于主边缘增强(dominant edge strength)技术的。实验结果表明：和全搜索算法相比，引入的算法降低了30%左右的编码时间，而信噪比几乎不变。
关键词：视频编码、DES、RDO
 
一、引言     H.264是ITU-T和ISO/IEC制定的视频编码标准，在该标准中引入了先进的技术，例如：4×4整数变 换、自适应块运动补偿、多参考帧、CABAC、帧内预测等；在这些新的特性中，帧内预测是H.264优于其它标准的主要因素之一；对于亮度分 量，H.264有两种预测类型：intra_16×16和intra_4×4；对含有较多空域细节信息的宏块采用4×4预测，而对于较平坦的区域采用 16×16的预测模式，前者共有9种预测模式可供选择，后者共有4种预测模式可供选择；两个色度分量使用8×8宏块作为帧内预测编码的基本单位，有4种预 测模式可供选择。     在intra_4×4中，每一个4×4块内的像素以及周围像素的分布如图1所 示，其中小写英文字母a到p表示块内部的16个像素，大写字母A到Q表示块周围的像素（这些像素先于本块处理），预测值将利用周围已知像素的值来计算；除 了DC预测模式来预测整个的4×4块之外，还有8个方向的预测如图2所示，块内同一方向上的像素点具有相同的预测值。                          [b]
[b]            [b] [/b] [b]          [/b] 
[/b][/b] 图 1  帧内4×4亮度块预测              图2  帧内4×4亮度块预测方向图     
对于intra_16×16预测，整个宏块使用了4种预测模式如表1所示，预测模式0（垂直预测）、模式1（水平预测）、模式2（DC预测）类似于 intra_4×4中的模式，还有模式3（平面预测）。
                                  表1  4种intra_16×16预测模式

模式0	模式1	模式2	模式3
垂直预测	水平预测	DC预测	平面预测

    色度帧内预测独立于亮度，两个色度分量U、V使用相同的预测模式，模式的选取类似于intra_16×16。     H.264中使用这些先进的帧内预测技术，编码效率提高了，然而在寻求最佳预测模式时带来了巨大的计算量，这也就限制了这个新的视频编码标准的实际应 用。在此论文中，我们引入了一个新颖的快速帧内预测算法加速模式选择的过程，该算法使用了宏块的特性，是基于主边缘增强技术的。论文的其余部分组织如下， 首先，概述宏块的特性；其次引入了DES算法；最后进行仿真。

二、快速的模式选择算法     1．图像采用的帧内编码模式与视频序列的内容有很大关系，Intra_16×16适用于平滑图像的帧内预 测，Intra_4×4适用于图像细节变化比较明显的区域。在这个基础之上，本文根据宏块的特性选择了帧内预测类型，下面将具体介绍这一方法。 （1）DC预测模式 DC预测模式指用上面像素和左边像素的平均值来预测 宏块中所有像素的值。这意味着在Intra_16×16 DC预测宏块中所有像素的值是相等的，如图3(c)所示，使用变量 (Mean AbsoluteDeviation)来区别这个宏块，宏块的 定义如下：

       
（1-1） 式中：p(x,y)是坐标为(x,y)处的像素值；m是这个宏块所有像 素的平均值，宏块中每行或每列都是16个像素。 宏块的DC预测模式有比较小的 值，我们可以选择一个阈值，如果宏块的 值小于或等于这个阈值，则宏块是比较平滑的。                           
                  （a）模式0 （b）模式1 （c）模式2 图3  3种Intra_16×16预测模式 （2）垂直和水平预测模式     垂直预测模式指用上面的像素值预测宏块中每列的像素值，这意味着垂直预测模式的宏块有比较平滑的列，各列中的像 素值几乎相等，如图3(a)所示。使用变量 来区别这类列平滑的宏块， 的定义如下： 
（1-2） 其中， 指宏块中第x列的平均绝对差值，它的定义如：  
   
（1-3）     这里mx指第x列的平 均值。垂直预测模式宏块
4000
有比较小的MADV值。 水平预测模式与垂直预测模式类似， 宏块中每行的所有像素用左边的像素来预测，因此水平预测模式宏块有比较平滑的行，各行中的像素值几乎相等，如图3(b)所示。使用变量MADH来 区别这类行平滑的宏块，MADH的计算与MADV的计算类似；但在计算MADV时， 使用MADY来计算,指第y行的平均绝对差值，重新选择一个阈值，如果宏块的MADV值或者 MADH值 小于阈值，则宏块是比较平滑。     在图像细节变化比较快区域的MADS( MAD、MADV、MADH) 值会明显大于图像平滑区域的 MAD值。因此，可以根据统计数据预先定义阈值TDC和TVH ，如果MADS小 于或等于相应的阈值，说明宏块是平滑的，则该宏块采用Intra_16×16编码模式，这种情况下可以排除所有的Intra_4×4模式，极大地减少了复 杂度，否则采用Intra_4×4编码模式。 利用宏块特性的快速帧内预测算法(FIPAMP)的步骤如 下： （1）通过式（1-1）计算宏块的MAD值，如果MAD≤TDC ，宏块是比较平滑的，则该宏块采用Intra_16×16编码模式； （2）通过式（1-2）计算宏块的 MADV值，如果MADV≤TVH ，宏块是比较平滑的，采用 Intra_16×16编码模式； （3）计算宏块的MADH值，如果MADH≤TVH ，宏块是比较平滑的，采用Intra_16×16编码模式； （4）否则，采用Intra_4×4编码模 式。 2. 在确定了编码模式后，基于主边缘增强(DES)技术，对于Intra_4×4或 者Intra_16×16确定具体编码模式。具体方法如下：    在图像中边缘组成了描述它们内容的重要特性，人们的眼睛对边缘特性是比较敏感的；在MPEG-7中，边缘直方图描述符描述了图像的边缘分布。边缘分为4 类，如图4所示， 4个方向的边缘：垂直、水平、45。对角线、135。对角线。  (a)垂直边缘  (b)水平边缘   (c) 45。边缘  (d) 135。边缘 图4  4种类型的边缘     边缘检测方法是基于空间域滤波技术的，正如图5中显 示的，首先把每个图像块平分成4个子块，随后计算出每个子块的平均像素值，形成2×2像素的图像；图6举例说明了4×4亮度块的上述平均处理过程；fv、fh 、f45、f135分别表示垂直、水平、45。对角线、135。对 角线边缘滤波系数，图7详细描述了滤波器的系数，每一个方向的边缘增强来源于对应的滤波操作：               （1-4）    （1-5） （1-6） （1-7） 这里 表示第n个子块的平均像素值。 （1-4）到（1-7）中计算的最大的边缘增强即为主边缘增强，选取对应于该主边缘增强的边缘。                              图5  子块的定义                     图6  4×4亮度块的平均处理     根据方向，每一个检测的主边缘刚好与帧内预测的选择模式相对应；换句话说，垂直、水平、45。对 角线、135。对角线边缘分别直接对应于选择模式0、1、3和4。我们的快速模式选择算法主要依靠检测的选择模式，因此，在4×4 亮度块中，模式搜索的数量由9降到4。       (a)垂直       (b)水平       (c) 45。对角线    (d) 135。对角线 图7  边缘检测的滤波器系数     对于16×16亮度块或8×8色度块，检测的 主边缘增强 和 刚好直接对应于选择模式0、1。因此，在搜索过程中， 16×16亮度块和8×8色度块只有2种预选模式而非4种。 提到的基于DES算法的整个操作和处理是有规律的，而且比较简单，适用于硬件设计。 三、实验结果     为了验证提出的算法的有效性和正确性，对算法进行了软件 仿真，这里使用了H.264/AVC的参考软件JM86。 本文实验环境如下：Intel、Celeron 2.4GHz、内存256（DDR）；操作系统Windows XP。     选择的测试序列为 QCIF和CIF格式，例如foreman、mobile、vectra、M&D、Claire，每种序列选取100帧进行仿真实验。 实验中JM86编码器配置如下：（1）H.264的Baseline的编码；（2）关闭了多帧参考；（3）使用了全部的 预测模式；（4）使用的序列全为I帧；（5）没有使用哈达马变换。 表2  优化后的编码器性能测试结果

序列	文件格式	PSNR_Y 变化(dB)	PSNR_U 变化(dB)	PSNR_V 变化(dB)	编码速度提高（%）	比特率增加(%)
Foreman	CIF	-0.13	0.03	-0.02	32.41	9.31
Mobile	CIF	0.01	0	-0.03	26.42	3.75
Vectra	CIF	-0.02	0.01	-0.02	34.36	5.97
Claire	CIF	-0.09	-0.01	0.02	31.43	8.66
Foreman	QCIF	-0.21	0.02	0.02	31.86	9.33
Mobile	QCIF	-0.04	0.02	0.02	27.83	1.82
M&D	QCIF	-0.09	0.01	0.05	35.49	6.93

由表2可以看出，与全搜索算法相比，引入的算法使得编码速度提高了30%左右，而PSNR几乎没有什么变化；图8显示了序列 mobile优化前后的性能比较，由图可以看出，使用算法前后，序列的PSNR几乎没有什么变化。    图8  优化前后mobile序列性能比较 四、结论     本论文引入了一个快速的模式选择算法用于H.264视频编码标准帧内预测，该算法使用了宏块的特性，并基于主边缘增强 (DES)技术的。利用宏块的特性确定使用Intra_16×16编码模式或者Intra_4×4编码模式；DES技术降低了帧内预测的模式。实验结果表 明：和全搜索算法相比，引入的算法降低了30%左右的编码时间，而信噪比几乎不变，同时计算复杂度大大的降低了，有利于我们实际的设计和应用