基于全局运动补偿编码的AVS编码器设计.doc

第10期龚声蓉等：基于全局运动补偿编码的AVS编码器设计107基于全局运动补偿编码的AVS编码器设计龚声蓉1, 郭丽1, 韩军2, 崔志明1, 刘全1（1. 苏州大学 计算机科学与技术学院，江苏 苏州215006; 2. 上海大学 通信与信息工程学院, 上海200444）摘 要：对全局运动估计算法进行了改进的基础上，提出了基于全局运动补偿编码的编码体系，并实现了基于全局运动补偿编码的AVS编码器。通过标准测试序列的测试表明，基于全局运动补偿的编码器可以使重建图像的质量有一定程度的提高。关键词：全局运动估计；全局运动补偿；局部运动补偿；AVS中图分类号：TP391 文献标识码：B 文章编号：1000-436X(2007)10-0102-07AVS video coding based on global motion compensationGONG Sheng-rong1, GUO Li1, HAN Jun2, CUI Zhi-ming1, LIU Quan1(1.Computer Science and Technology School, Soochow University, Suzhou 215006, China;2. School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China)Abstract: An algorithm about global motion estimation was improved and the coder structure based on the algorithm was proposed. Based on those, an AVS coder was implemented. Some standard sequences were used to test the new coder. The experimental results showed that the quality of the restructured image has been improved.Key words: global motion estimation; global motion compensation; local motion compensation; AVS1 引言收稿日期：2007-03-26；修回日期：2007-07-03基金项目：国家自然科学基金资助项目（60673092）；铁道部“铁路信息科学与工程”开放实验室基金资助项目（TDXX0501）Foundation Items: The National Natural Science Foundation of China (60673092); The Key Laboratory Project of Information Science & Engineering of Rairway of the National Ministry of Railways (TDXX0501)面向我国信息产业需求而制定的AVS标准，主要服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通信、互联网宽带流媒体等重大信息产业的应用，是数字音视频产业的基础性标准。AVS日前已通过国家标准化管理委员会审批，成为推荐性国家标准，第二部分视频于2006年3月开始实施1。AVS采用混合DPCM/DCT视频编码设计模型，运动估计和补偿采用通用的基于分块匹配的方法。AVS具有如下新的优点：首先，计算复杂度低，适用于长方形视频图像和分块图像变换（如离散余弦变换）；其次，它给许多视频流提供了一种高效的时域模型。尽管如此，当宏块经历相似的运动，如摄像头摇动使视频场景产生明显的线性移动以及镜头的缩放或旋转使得物体发生旋转、移近和移远、变形等比较复杂的运动时，利用每个宏块单独作运动估计和补偿难以提供高效的时域模型，此时AVS仍存在进一步改进的空间。基于模型的编码是下一代编码方法的发展方向，它不但可以提高编码效率，同时可以改善解码后图像的质量。全局运动补偿编码是一种基于模型的编码方法，它建立在全局运动估计基础上24。目前，全局运动估计已经被用于MPEG-4编码中2。清华大学计算机系人机交互与媒体集成研究所的赵学军、贺玉文和杨士强等也在提出快速顽健的全局运动估计算法的基础上，针对AVS提交了一种用于Sprite视频编码的快速顽健的全局运动估计算法提案(M1023)5。全局运动估计方法可以分成两类：基于像素梯度的方法和基于运动矢量的方法68。基于像素梯度的方法对每个像素点进行迭代计算，计算量较大。基于运动矢量的方法对一定大小的块进行迭代计算，可大大降低计算复杂度。因此，本文在改进现有基于运动矢量全局运动估计算法的基础上，实现了一种基于全局运动补偿编码的AVS编码器，进一步改善了AVS编码器的性能。2 基于运动矢量的全局运动估计算法2.1 全局运动估计算法假设图像和是相关联的两幅图像，即图像可以经过运动变换到图像。视频运动可以用参数模型来表示，假设和分别为图像和中相对应的位置，这两幅图像之间的运动可以表示为 ，(1)其中，p是运动模型的参数集，和是定义的函数，即参数模型表达式，i为对应位置的下标。通过最小化两幅图像的强度残差来求得参数集p，用公式表达如下(2)其中，和分别代表图像和中对应位置的强度。最小化两幅图像的强度残差可以推广到最小化两幅图像的运动矢量(MV，moving vector)残差，即最小化输入的MV和估计的MV之间的误差。对于输入的MV，每一个MV（）由每一个宏块中心位置像素点的运动矢量来表示，由运动模型所求得的运动向量，表示为，它等于(3)定义水平方向和垂直方向的残差为(4)(5)平方差用以下公式来计算(6)在实际中，由于有局部运动的存在，需要排除有大噪声的MV，因此选择一个权值，上述表达式可以表示成(7)其中，是一个简单的二值函数，当其为0时表示是局部运动点，当其为1时表示需要计算的点。使用牛顿迭代方法来求解，在每一步迭代过程中，模型参数由以下等式来更新(8)其中， 。矩阵A和b中的元素的计算表达式如下(9)(10)根据式(4)、式5)可知，(11)对于6参数仿射运动模型(12) (13)可知，代入式(9)和式(10)可以求得矩阵A和b，由迭代优化算法即可求得相应的全局运动参数。2.2 改进算法局部运动的干扰会使得全局运动估计算法的计算结果不准确。因此，必须对局部运动的块进行有效去除。为此，本文借助贺玉文等5基于像素梯度的全局运动估计算法的思想，对局部运动点去除法进行推广，提出了新的基于运动矢量的全局运动估计算法。将经过运动补偿后的残差图像分成MN大小的块，计算每个块的SAD(sum of absolute difference)值。定义SAD值如下(14)其中，是点的残差。将所有块的SAD值进行排序并将SAD值大的前30%的块作为预去除块，按照下面的方法确定最后的去除块。1) 如图1所示，设B0是当前预选去除块，如果它的8邻域块中有多于4个预选去除块，那么这个预选去除块将被去除，并标志为去除块；图2 全局运动补偿编码中运动估计和运动补偿部分的结构图1 基于块的外点去除2) 第一步完成后，对于剩余预选去除块，如果它的8邻域块中有去除块，那么这个预选去除块也将被去除。为了减少计算量，块的大小与宏块大小相同。算法可具体描述为： 设初始全局运动模型参数集为； 将当前帧图像分成1616大小的宏块，利用块匹配法求得每个宏块的运动矢量； 根据求得的运动矢量对当前帧进行运动补偿，求得每个宏块的残差数据； 调用基于块的局部运动点去除法去除局部运动块； 根据式(3)和式(4)，由剩余块的运动矢量计算矩阵A和b； 根据求得，并根据 对初始参数集进行更新； 重复第步和第步，直到迭代次数达到5次，或者求解得到的中，平移参数值小于0.001或者其他参数值小于0.000 1为止，此时求得的即为最终的全局运动参数集。3 基于全局运动补偿编码的编码体系全局运动补偿编码首先利用全局运动估计得到和前一帧之间的全局运动参数，然后进行运动补偿编码。基于全局运动补偿编码的视频编码体系总体上遵循现有的混合DPCM/DCT的编码器设计模型。但在运动估计和运动补偿这2个模块做了修改，加入的运动估计和运动补偿模块的结构框图如图2所示。从图2可以看出，基于全局运动补偿编码的视频编码体系结合了全局运动估计和补偿方法以及局部运动估计和补偿方法。对存在全局运动的视频序列，一方面根据当前帧和参考帧，利用全局运动估计得到当前帧和参考帧之间的全局运动模型参数，根据全局运动模型参数对参考帧进行全局运动补偿，形成新的参考帧；另一方面，运用块匹配算法，将当前帧和参考帧都分成固定大小的块，对当前帧中的每个块在参考帧中找到最佳的匹配块，记录下2个匹配块之间的运动矢量以及2个块的残差。对每个块进行编码时，求得全局运动补偿后的残差后，与经过块匹配算法求得的残差进行比较，如果前者求得的残差小，直接对求得的残差进行编码；如果后者求得的残差小，则对相应的残差以及块匹配算法中求得的运动矢量进行编码。对于存在全局运动的视频序列，其背景仅存在全局运动，因此选择全局运动补偿。前景物体由于存在局部运动，更适合于局部运动补偿。基于全局运动补偿编码的编码体系可以充分利用两者的优点，更精确地描述物体的运动，使得压缩的效率有了很大的提高。在原有的视频编码结构中加入全局运动补偿，需要完成以下3个部分：1）全局运动估计；2）对每一个宏块，决定其最佳的编码模式；3）对视频编码标准的语义和语法作相应的修改。其中，全局运动估计采用上节改进算法，宏块最佳编码模式选择和视频编码标准的语义和语法修改如下。3.1 宏块最佳编码模式选择全局运动补偿编码是针对帧间预测而言的。因此，AVS编码器帧内预测模式不需做任何修改。在全局运动补偿编码中，既有由摄像机运动引起的全局运动，又有前景物体自身运动引起的局部运动。编码时，就要有选择的使用全局运动补偿（GMC，global motion compensation）和局部运动补偿（LMC，local motion compensation），使运动估计的残差最小，以节省码率。在全局运动补偿和局部运动补偿之间选择时，需要同时考虑编码的码流长度以及重建图像的质量。使用局部运动补偿时，每个编码块需要编码相应的局部运动矢量，使用全局运动补偿则可以省略。局部运动补偿块的尺寸可以小于全局运动补偿块的尺寸，从而使残差经过DCT变换后位数减少。综合考虑以上因素，选择拉格朗日函数作为最佳模式选择的依据。拉格朗日函数定义如下(15)AVS的LMC包括：Intra、InterSearch1616、InterSearch168、InterSearch816、InterSearch88。因此可供选择的块的编码模式IK包括6种：Intra、InterSearch1616、InterSearch168、InterSearch8 16、InterSearch88和GMC。表示重建块（）与原始块（）的残差的平方和。用公式定义如下(16) 其中，A代表被编码的块。表示编码规定句法、运动矢量和残差所用的码字的位数。参数根据下式计算(17)最后选择使得最小的模式为当前块的最佳编码模式。3.2 修改视频编码标准的语义和句法由于采用了全局运动估计和补偿，视频编码标准的语义和句法需要做相关的修改。1) 图像层修改。全局运动估计是对整帧图像而言的，求得的参数可应用于整帧图像的各个宏块。因此，需要修改P帧图像层码流结构。首先用一个比特码字来标识当前帧图像是否存在全局运动，当该比特为“1”时，表明该帧存在全局运动，反之，则不存在。然后，编码全局运动估计算法求得的6个参数。为了进一步节省码流，可采用参考点编码方式1，6参数仿射模型用3个参考点来表示。由3个参考点根据文献6描述的计算公式可以分别计算出在参考帧和当前帧中的3个相对应的点，由这3对点列出6个方程，求解就可以得到仿射运算的6个参数。2) 宏块层修改。对宏块进行编码时，需要增加一个比特码字用来标识当前宏块是否采用全局运动补偿编码。当该标识为“1”时，表明采用全局运动补偿编码；反之，则不采用。采用全局运动补偿编码时，跳过运动矢量残差编码，直接对Block coeff编码；不采用全局运动补偿编码时，先对运动矢量残差编码，再对Block coeff编码。4 基于全局运动补偿的AVS编码器基于上节的思想及改进算法，本文在AVS（RM52c修正）编码程序基础上设计实现了基于全局运动补偿编码的AVS编码器，主要分为以下几部分：编码参数设置、视频数据输入、帧内编码、帧间编码、熵编码、码流输出等。本节首先从整体上描述整个编码器的实现框图，然后以全局运动估计和补偿的实现为重点，对其中涉及到的关键技术进行详细的描述。AVS编码器框图如图3所示。图3 基于全局运动补偿的AVS编码器流程对每一帧图像的编码处理过程如下：1) 判断当前帧是I帧还是P帧。2) 如果当前帧是I帧，则对每个宏块进行帧内预测，形成残差数据。3) 如果当前帧是P帧，则调用全局运动估计算法，计算出全局运动模型参数。4) 判断当前帧是P帧、B帧还是G帧（全局运动）。5) 如果当前帧是P帧或B帧，则对每个宏块进行循环处理，首先判断宏块的类型：INTRA（帧内）或INTER（帧间），如果为INTRA，则进行帧内预测，计算残差数据；如果为INTER，则进行帧间预测，在1616、168、816、88和skip中选择最佳的编码模式，计算残差数据。6) 如果当前帧是G帧，则首先判断每个宏块的类型：INTRA、INTER或G，INTRA和INTER的处理和5）相同，对于类型G，则利用全局运动补偿后的参考帧进行预测，计算残差数据。7) 对每个宏块的残差值进行DCT变换、量化、Z字型扫描，最后熵编码形成码流。5 实验结果为了测试全局运动补偿编码的性能，本文对一些标准测试序列进行了测试。实验数据分别为： City序列，格式为标清（1280720），针对摄像头旋转和平移运动；Stefan序列，格式为704480，针对摄像头大平移运动。对每个序列，分别测试了在没有全局运动补偿编码（NGMC）情况下和有全局运动补偿编码（GMC）情况下的亮度、色度的峰值信噪比值、码率和时间。由于AVS主要应用于标清、高清码流，因此对AVS编码器的优化更侧重于对重建图像的质量的改善。表1、表2列出了实验条件和实验结果，相应的比特率和峰值信噪比对照曲线图如图4、图5所示。其中，NGMC为原编码方法，GMC为全局运动补偿编码方法，Y、Cb、Cr分别代表亮度和2个色度的峰值信噪比的值。1) City序列分析表1、图4可以看到，使用了全局运动估计和补偿后，峰值信噪比比没有使用全局运动估计和补偿提高了0.10.8dB。表1实验条件和实验结果City 1 280720, 250frame,30frame/s, 平均比特率和峰值信噪比量化步长原编码方法全局运动补偿编码方法Y/dBCr/dBCb/dB比特率/(kbits-1)时间/sY/dBCr/dBCb/dB比特率/(kbits-1)时间/s2243.9750.3150.6311 215.001474.3044.0650.3150.6411 308.151 670.212641.9148.9149.278 312.911376.8142.1048.9349.318 286.441 699.703039.1347.2047.535 571.101355.8739.4347.3447.595 491.281 529.273436.9145.8746.293 925.701389.1337.3145.9646.403 725.981 616.193834.4644.2444.632 661.621262.7334.9744.3444.762 419.891 448.59表2实验条件和实验结果Stefan 704480,75frame, 30frame/s, 平均比特率和峰值信噪比量化步长原编码方法全局运动补偿编码方法Y/dBCr/dBCb/dB比特率/(kbits-1)时间/sY/dBCr/dBCb/dB比特率/(kbits-1)时间/s2639.3643.4543.5912 412.88183.9739.4443.5043.6312 320.42205.523036.8741.4441.578 338.32167.7236.9641.4841.618 282.91192.203434.9839.9040.056 053.34159.3035.1039.9440.085 997.14183.683832.6838.1238.234 031.34151.3232.8838.1738.293 963.78175.58 图4 City序列测试结果 图5 Stefan序列测试结果2）Stefan序列分析表2、图5可以看到，使用了全局运动估计和补偿后，峰值信噪比比没有使用全局运动估计和补偿提高了0.2dB左右。6 结束语本文在提出基于全局运动补偿编码的编码体系的基础上，设计了基于运动矢量的全局运动估计算法改进的基础上，实现了基于全局运动补偿的AVS编码器。实验结果表明，与原来的AVS编码器相比，对于标清、高清码流，重建图像的峰值信噪比值提高了0.1dB以上，编码器性能得到了进一步改善。对于高码率情况还需做进一步的测试分析，这也是今后的工作重点。参考文献：1GB/T 20090.2-2006, 信息技术先进视频编码(第2部分): 视频S.GB/T 20090.2-2006, Information Technolog-Advanced Coding of Audio(Part 2): VideoS.2ISO/IEC WG11 MPEG Video Group. MPEG-4 Video Verification Model Version 15.0S. 3DUFAUX F, KONRAD J. Efficient, robust, and fast global motion estimation for video codingJ. IEEE Transactions on Image Processing, 2000, 9(3): 497-501.4KELLER Y, AVERBUCH A. Fast gradient methods based on global motion estimation for video compressionJ. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(4): 300-309.5贺玉文,赵黎,钟玉琢等.快速顽健的全局运动估计算法J.软件学报,2001, 12(8): 1220-1228.HE Y W, ZHAO L, ZHONG Y Z, et al. A Fast and