适用于实时监控系统的快速模式选择算法.doc

适用于实时监控系统的快速模式选择算法刘海恩，武 频，武 伟（上海大学 计算机工程与科学学院 计算机科学与技术系，上海 200072）摘 要：针对当前模式选择中复杂性较高的问题, 通过分析实时视频监控序列图像模块分布情况, 提出了一种基于宏块运动区域特征和运动残差信息的快速模式选择算法。该算法首先将1616块划分为四个88块, 依据运动特征的不同将宏块划分为静态块SMB和动态块AMB；然后再利用编码块模式CBP和运动矢量残差MVD信息来作为判断准则选择较小范围的模式进行率失真代价计算。实验结果表明,对于实时视频监控序列图像, 该快速模式选择算法可以在视频质量几乎没有损失的前提下, 编码速度比H. 264中的算法平均提高83.96% ,更加适合于视频监控序列图像的编码。关键词：视频监控; H. 264; 快速模式选择；编码块模式； 运动残差中图分类号：TN919.81 文献标识码：AA Fast Mode Selection Algorithm Used in Video Surveillance System LIU Hai-en, WU Pin, Wu Wei（School of Computer Engineering and Science, Shanghai University, Shanghai 200072, China）ABSTRACT：In order to overcome the disadvantage of high computational complexity, with the analysis of video sequences mode decision in the real-time video surveillance system, a fast mode selection algorithm based on motion region and motion vectors difference of macroblock is proposed. Firstly a 16x16 macroblock is divided into four 8x8 blocks and it is classified into two types: SMB(Static Macroblock) and AMB(Active Macroblock) according the motion information of different regions. Then the proposed algorithm utilized a rule based on Coded Block Pattern (CBP) and Motion Vector Difference (MVD) to decide a minimum range of mode selection. The experimental results show that there is about 84.30% encoding time saved compared with the original H. 264 reference software for the video surveillance sequences with almost no loss of video quality, and the proposed mode selection are very suitable for video surveillance compared .Keywords: video surveillance; H.264; fast mode selection; coded block pattern; motion difference0 引 言随着国内各行业信息化建设的需要，目前各地市公安、电力、金融、交通、水利、教育、工厂等部门，已建立综合信息网络系统。其中视频监控是这些部门信息化建设的重点需求之一。H.264(也称为MPEG-4 Part 10/AVC)可支持当今市场上最高效的视频压缩技术，在不影响图像质量的情况下，与采用M-JPEG和传统的MPEG-4 Part 2标准相比，H.264的编码可以使数字视频文件的大小分别减少80%和50%以上。由于能够提供如此强大的压缩能力，H.264成为极其适用于视频监控应用的压缩标准。1 H.264的可变块技术H.264编码模式中使用了7种不同块尺寸，它们分别是1616、168、816（文中简称为P16模式）和88，而每一个88块又可以进一步分割成88、84、48和44，它们又被统一标记为P8模式。对于每种分割模式，各个块都要单独做运动估计，这种灵活的宏块划分更切合图像中实际运动物体的形状，能有效提高编码的准确性。在H.264编码标准中，采用率失真控制机制对所有的模式在参考帧中进行匹配比较，从中选出代价最小的一个模式来进行预测编码。2 视频监控的模式选择算法现在已经存在很多种模式选择算法, 文献2提出了基于模式利用率和时空相关性的快速算法，只需要对某种和某些模式进行搜索和代价计算，就能确定最终的编码模式。文献3则利用模式优先权和余弦平面的单调性特征来判断可能的最佳模式，使得编码复杂度大大下降。文献4根据视频帧的运动区域将宏块划分为不同的类型，并进一步的筛选宏块模式，从而降低了编码的复杂度。但是在很多情况下不能得到最优的编码模式，算法复杂度的降低也有限。因此,文章在分析视频监控序列图像运动信息和宏块残差信息分布特点的基础上,提出了一种新的专门针对视频监控序列图像的快速模式选择算法。3 基于运动区域特征以及CBP的模式选择算法在模式预测时，合理的宏块划分方式对压缩性能有显著的影响。选择较大分块尺寸的划分意味着可以在运动矢量的编码上花费较少的比特数，但残差数据将会包含较多的细节信息；而选择较小的尺寸的划分可以提供包含较少信息的残差，但是在运动矢量的编码上花费较多；模式的选择实际上就是二者折中折衷考虑的结果。3.1 H.264编码模式选择统计规律分析文章对部分标准序列编码时的模式选择情况进行了统计，统计结果如表1所示。表1 不同测试序列宏块编码模式选择统计表测试序列Skip16x1616x88x16P8IntraMonitor4.04.10.0NewsAkiyo83.06.23.0Foreman66.80.93.9从统计结果可以看出，在模式选择中把最优模式确定为Skip和1616模式的宏块占了很大比例，如果算法中能优先根据一定的准则对这个两个模式进行判断，其他模式就基本可以被省略，这样可以大大加快编码速度。3.2 宏块的分类借鉴文献3的方法, 将图象中的宏块分为两种独立的类型：(1) 静态块SMB (Static MB)：没有运动或者只有轻微运动的宏块。(2) 动态块AMB( Active MB)：既含背景又包含运动物体的宏块。宏块中的运动区域M(x,y|s,c(REF)计算如式(1)。 (1)式中s为编码图像，c为参考帧图像。B为形态学上的闭合运算，大小为33。|v|表示v的绝对值。如果v大于2，T(v)=1；否则T(v)=0。0x, y15。将宏块分割为4为88块，则第(i,j)个88块中运动区域的比例计算由式(2)给出： (2)宏块类型判别如下： (1) 如果 Di，j 0.25对4个8x8块都成立,则将宏块判别为静态块SMB。 (2) 在其余情况下,宏块判别为动态块AMB。 3.3 编码块模式CBP(Coded Block Pattern)在H.264规则中，CBP位于亚宏块层语法元素里。此语法元素有6个有效位。4个8 x 8亮度块是否编码残差系数的值用低4位的位元b0-b3来表示, 如果任意的块有非零的系数则相应的位元就为1, 而位元为0时表示亮度块的系数全为零;b4和b5两个位元则分别表示Cb和Cr两个色度块是否含有编码残差系数。CBP值介于0(000000)47(101111)之间。如果CBP值为0，则4个亮度块及2个色度块的残差系数都不编码，说明此编码区域内残差较小，运动细节不多，图像变换缓慢，像素平滑。当CBP值为15(001111), 31(011111), 47(101111)时，则4个亮度块残差系数都要进行编码，表明此编码区域存在较多细节，运动信息较为丰富。而当CBP值在015之间时，只有部分亮度块需要编码。MVD越小，表明图像越平滑，运动越不剧烈，区域一致性越大，意味着残差数值越小，预测越准确，编码所用比特数越少，选择大块模式的概率越大。反之，选择小块模式的概率越大。3.4 算法的提出通过上面的分析可知，在实时视频监控序列中，图像的大部分宏块都只含有少量细节信息，运动不剧烈，图像很平滑，在一般的模式选择算法中选择大模式的概率很高，所以根据序列中每个宏块的运动区域特征将宏块识别为具体类型后，就可以利用CBP残差信息值采用不同的方式进行模式选择。3.4.1 静态块SMB由于SMB大都属于背景图像，细节信息很少，因此直接比较Skip和1616模式的率失真因子从而选择最佳模式即可。3.4.2 动态块AMB在视频序列中，运动物体的多样性对宏块的划分方式有很大的影响。由于AMB为含有较大的残差信息(CBP多为15，31，47)的宏块，宜选用P8等较小的模式，运动后各子块的运动矢量一般差异较大。反之如果物体只是做简单的平移运动，运动补偿后残差数据将很小，CBP集中在015之间，宜选用较大的P16等分块模式。图2 算法流程图 (P16=1616,168,816；P8=88，84，48；Intra=Intra16,Intra4)算法的具体步骤如下：第一步：将宏块进行分类，宏块为SMB则执行第五步，否则继续下一步；第二步：搜索1616块的运动矢量，比较MV与PMV的关系，统计所有CBP信息值下的残差。如果MV=PMV，则执行第六步,否则继续下一步。第三步：若CBP值为0，15，31，47，则执行第七步，否则继续下一步。第四步：若CBP值位于(0，l5)，则执行第六步,否则执行第八步。第五步：在Skip，1616模式中选择率失真代价最小的模式作为最佳模式并结束选择。大宏块模式的率失真代价计算公式为(3)； (3)式中：N表示最佳的预测模式，M代表分块模式k中最佳模式的所有运动矢量的集合，mvd代表预测运动矢量(PMV)与实际运动矢量( MV) 的运动矢量差值。第六步：在Skip、1616、168、816等模式中利用公式(3)计算率失真代价，选择率失真代价最小的模式作为最佳模式并结束选择过程。第七步：计算88、84、48、Intra等模式的率失真代价。选择率失真代价最小的模式最为最佳模式，小宏块模式的率失真代价计算公式为(4)； (4)第八步：在Skip、1616、168、816、88、84、48等模式中根据公式(3)、(4)计算各模式的率失真代价，选择率失真代价最小的模式作为最佳模式并结束模式选择。算法流程图如图2所示。表2 实验结果视频序列QPPSNR/dBT/%BR/%Monitor28-0.006-86.17+0.8232-0.011-87.24+0.74News28-0.006-89.17+0.1232-0.009-88.24+0.23Akiyo28-0.006-85.21+0.7332-0.009-86.32+0.95Foreman28-0.014-74.23+1.0732-0.010-75.10+0.854 仿真实验结果和分析该快速模式选择算法在JVT提供的H.264参考模型JM15.1上实现并对4个标准测试序（Monitor、News、Akiyo和Foreman）列进行了测试; 采用QCIF(176144)图像格式, GOP结构为IPPP, 100帧, 帧率为30fps, 运动矢量搜索范围为16, 熵编码方式为CABAC。实验环境为：P4，2.8G CPU，1024MB内存，Windows XP操作系统，所有对比在是否采用该快速模式选择算法的JM15.1之间进行。用3个指标评价本算法性能,它们分别是重建图像质量的降低PSNR，比特率的增加百分比BR和节省编码时间百分比T，测试结果如表2所示。表4中的实验结果表明，该快速模式选择算法与JM15.1的模式选择算法相比，在视频质量和码率影响较小的情况下平均可以节省83.96%的编码时间，特别是对于类似于视频监控序列的Monitor标准视频序列，在图像质量和码率影响不大的情况下，节省了近87%的编码时间。该算法对于中度运动视频序列Foreman也可以平均节省了近75%的编码时间。5 结 语文章在充分研究了H.264模式选择规律和监控视频序列图像特点的基础上，提出了一种基于宏块运动区域特征和运动残差信息相结合的快速模式选择算法。本文的创新点：(1) 提出了一种针对视频监控图像特点的区域分类算法，能快速区分出动态块和静态块;(2) 将视频编码块模式和运动残差信息应用到模式选择中，加速选择速度；(3) 本算较于其他算法实现简单，编码图像质量相对较高，较易进行实际应用。仿真实验的数据说明了该快速算法对于视频监控序列，在图像质量损失不大(平均为-0.008)和码率增加平均仅0.76%的情况下，能将编码时间平均缩短了近84%。与其他方法相比，该算法实现简单，适用于不同的环境下的视频监控系统。参考文献：1 张朝伟，周兵等基于H.264嵌入式视频监控的设计与实现J微计算机信息2009，3-2：40-422 辛 丰, 罗桂娥, 杨欣荣. 一种基于H.264/AVC的快速帧间模式选择算法J. 计算机应用, 2008, 28(12): 3157-3159.3 陆 璐, 周 维. 适用于H.264 的快速模式选择算法J. 通信学报, 2006, 27(7): p117-121.4 Wong K W，Lam K M，Siu W CAn effective Low Bit-Rate Video Coding Algorithm Focusing on Moving regionsJ. IEEE Trans, circuits and systems for video technology，2001,11(10)：1128-11345 Joint Video Team(JVT) of I