基于提升技术的三维小波视频时域滤波方案设计

1、基于提升技术的三维小波视频时域滤波方案设计姜婷安徽经济管理学院 安徽 合肥 230059摘要:提出了一种新的三维小波视频时域滤波方案。通过小波提升技术实现运动补偿时域滤波,编码效率因为自适应滤波方式和子象素运动补偿的使用而大大提高。实验结果证明,该方案能较为有效地提高时域滤波后零系数的个数，为后面的熵编码中实现较高的压缩率提供了可能。关键词:视频编码；运动补偿；提升小波；时域滤波中图分类号: TN 919.81文献标识码: BDesign of 3-D Wavelet Video temporal filter Based On lifting filter implementation Ji

2、ang TingAnhui Economic Management College, Hefei 230059Abstract: A new temporal filter of 3-D wavelet video is described. The motion compensated temporal filtering process is achieved in terms of the concept of lifting filters. The coding efficiency is improved due to the use of adaptive filtering a

3、nd accurate subpixel motion compensation. The experimented results show that the proposed system can effectively improve the number of zero coefficients after temporal filtering. So it is impossible to achieve a better compress ratio in the entropy codec. Keywords: video coding; motion compensation;

4、 lifting wavelets; temporal filtering1 引言随着网络与通信技术的飞速发展，新的多媒体通信业务不断出现。作为多媒体重要组成部分的视频，其有效通信与存储有着非常重要的意义。在视频业务的开发过程中,视频信息的数据量非常庞大。这样大的数据量，无疑给存储器的存储容量、通信干线的信道传输速度和计算机的速度都增加了极大的压力，所以高效的编码技术已成为视频技术得以进一步发展的关键所在。三维小波视频编码技术12是实现视频有效压缩和编码的重要方法之一，其中，含运动补偿的三维小波视频编码是二维空间小波图像压缩向三维视频空间的推广。这种方案一般由帧间的时域滤波、帧内的空域滤波和熵

5、编码组成。本文基于这种结构，在时域滤波方面提出了改进方案。该方案使用罗琳提出的MCLIFT34帧结构，在对序列帧进行帧间时域变换时,不是对各帧中同一坐标的象素进行,而是对各帧中由运动矢量联系起来的象素进行。时域滤波采用小波提升技术进行,高频帧由提升技术中的预测步骤(prediction step) 来生成,根据运动估计的情况,可以自适应地采用双向滤波、前向滤波或后向滤波。同时,运动估计精度可以达到任意的子象素精度,它保证了时域滤波的有效性,进而提高了整个系统的编码效率。 2 基于提升技术的三维小波视频时域滤波方案2.1 含运动补偿技术的三维小波视频编码方案含运动补偿技术的三维小波视频编码方案的

6、系统框图如图1 5所示。视频序列首先根据运动估计得到运动矢量,根据运动矢量进行运动补偿时域提升滤波,然后对经过滤波后的每一帧数据进行空域变换，最后对小波系数熵编码,并与运动矢量信息一起封包输出。本文将对该编码方案的时域滤波部分进行探讨和改进。视频源基于运动补偿和提升的帧间(时域)滤波帧内空域变换熵编码码流图1 基于运动补偿的三维提升小波视频编码总体框图2.2 小波提升算法传统的基于卷积的小波变换的缺点是计算量大，计算复杂程度高，对于存储空间的要求高，不利于硬件实现。提升算法是一种更为快速有效的小波变换实现方法，它不依赖于傅立叶变换，被誉为第二代小波变换67。简单说来，提升方案把小波变换过程分为

7、三个阶段：分解（Split）、预测(Predict)、更新(Update)。任何离散小波变换都可以被分解成一系列简单的提升步骤，通过预测和更新两个提升环节实现信号高低频的分离，由于信号局部相关性，某一点的信号值可以根据相邻信号的值由适当的预测算子预测出来，而这种预测所产生的误差就是高频信息，这个过程称为预测环节；预测环节得到的高频信息又通过更新算子来调整信号的下抽样来得到低频信息，这个过程称为更新环节。本文的运动补偿时域滤波就是以提升小波技术为基础，提升公式为： (1)当a=-1/2, b = 1/4时，此变换即为W5/3提升小波变换。2.3 本文采用的帧结构本文的方案使用了罗琳在MCLIFT

8、方案提出的帧结构。帧结构如图2所示，其中F0-F7为一个GOP的8个帧，F8为下一个GOP的第一帧。F0, F1,，F8是原始视频序列中的9帧。F0和F8是未经提升的，把它们标记为A帧。F4是以F0和F8为参考帧(两个A帧)提升得来，称之为B帧。同样的，F2和F6以相邻的两个A和B帧为参考帧提升得来，称为C帧。而F1,F3、F5和F7各自以相邻的A, B, C帧做为参考帧提升而来，称为D帧。在三维小波提升变换中，D, C, B帧分别对应了第一、第二和第三级提升小波变换。图2 本方案使用的MCLIFT帧结构2.2本文采用的时域滤波方案本文方案中在研究了MPEG方案的I帧、B帧及P帧的特点的基础上

9、参考8提出了新的预测方法，公式如下： (2)通过计算函数中三式中最小值确定是使用双向、前向还是后向预测。本文在选择运动补偿提升算法时，为了减少运动向量的数目，在时间轴分析中使用了“截短的5-3小波滤波器(truncated 5-3 filter)”。截短的小波中滤波器只有提升参数a=-1/2的高通滤波，而省略了小波提升过程的第二步(低通滤波)。这样，本文的帧间滤波方案总结如下：运动补偿时域提升滤波以W5/3小波的提升方案为基础。高频帧根据运动估计得到的运动向量由提升方案生成，低频帧则为对应的原始视频帧。图3为高频帧的生成方式，其中当前帧(B)经滤波后将成为高频帧，首先对当前帧进行运动估计，并根

10、据运动估计的匹配情况（如式1所示）来决定采用双向滤波、前向滤波和后向滤波中的哪一种滤波方式。图3 高频帧生成方式3 实验结果及分析3.1 实验过程 (1）将视频序列划分为一系列的图像组(Group of Picture，简称GOP)，每个图像组由8帧组成，帧结构采用了罗琳在MCLIFT方案中提出的结构，如图2所示。分组后以GOP为编码单元进行独立的变换。时域滤波沿时间轴进行3级提升小波分解（使用W5/3为小波基）。(2)运动估计(Motion Estimate)将图像分为16*16（也可以取其它值） 的宏块，以宏块为单位在参考帧中找出待编码帧的匹配块。在此部分采用较先进的菱形搜索法(DS),该

11、方法目前已应用于MPEG4的运动估计中。(3)运动补偿(Motion Compensation)经运动估计后求得运动向量(motion vector)，将该运动向量加上原图像得到运动补偿图像(Motion Compensated Image)(4)求差值该步骤是提升小波的预测步骤。将原图像与运动补偿图像求差值，按前向、后向以及双向的差值最小决定滤波方向。同时为了重构时能够较好地复原原值，需要将滤波方向的情况（本文定义为方向因子）放到一个数组中，数组为两维数据，行列为图像宏块的块号，即滤波方向的选择以宏块为单位。在求差值部分使用了小波提升技术，小波基为双正交5/3小波。(5)输出经时域滤波输出的

12、是运动向量、差值和方向因子以及参考帧（即每个GOP的第一帧）。重构输出的量，将其与原始视频进行比较。3.2 实验结果(1)使用本文方案及McLift对Caltrain的第5、22帧进行变换再重构的帧与原帧图像比较如图4和图5: 图4 第5帧比较图 图5 第22帧比较图(2)取Caltrain视频序列的7帧进行两种方法的比较，结果如表1，其中Num指经时滤（帧间）滤波后输出的原图像与运动补偿图像的差值矩阵中系数为零的数量，PSNR为重构图像与原帧图像的比较结果：表5-1 Caltrain视频序列实验结果第5帧（B帧）第10帧(D帧)第13帧(B帧)第16帧（D帧）第19帧(C帧)第22帧（D帧）

13、第27帧（C帧）NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案1407731.811509437.911407532.371316738.491216235.291269638.661294133.96McLift9528159.6213532159.629259159.6212151159.6210006159.6211945159.6210449159.62（3）使用本文方案及McLift对Alex的第3、28帧进行变换再重构的帧与原帧图像比较图如图6和图7：图6 Alex第3帧对比图图7 Alex第28帧对比图(4) 取Alex

14、视频序列的7帧进行两种方法的比较，结果如表5-2：表5-2 Alex视频序列实验结果第3帧(C帧)第13帧(B帧)第15帧(C帧)第18帧(D帧)第21帧(B帧)第24帧(D帧)第28帧(D帧)NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案4324046.634051548.274197449.173889261.614237549.233887958.663980452.99McLift38857157.3237813157.3238917157.3237876157.3238741157.3237602157.3237143157

15、.323.3 实验结果分析从以上实验结果可以看出：（1）本方案比McLIift方案在时域滤波部分生成的原图像与运动补偿图像的差值矩阵可以得到更多的零系数。而差值矩阵的零系数作为时域（帧间）滤波经过之后的帧内分解之后可以在最后的熵编码中进行消除，从而保证了比McLift更高的压缩率。(2)在本方案的 B、C、D三类帧中，重构的D帧PSNR值最高，其次是C帧，最低的是B帧。D、C、B分别对应时域滤波的一级、二级、三级提升，通过观察数据可以看出，本方案是随着提升级别PSNR降低，同时0系数增多。说明本方案在失真度提高的同时，压缩率也被提高了。事实上，逼真度和压缩率一直是视频编码器需要兼顾又相互矛盾的

16、两方面。（3）由于Mclift方案使用双向滤波所以可以充分考虑小波的平滑性，PSNR比本方案高很多，而且每一级的PSNR都是一样的，这说明双正交5/3小波用于双向预测的时域滤波时能够比较好地降低失真度。4 小结本章介绍了一种新的三维小波视频编码器的构架并实现了该方案的改进部分：时域（帧间）滤波。研究表明，该编码器在能够较为有效地提高输入视频经时域滤波后零系数的个数，为后面的熵编码中实现较高的压缩率提供了可能。参考文献1 Tseng Y H , Shih H K, Hsu P H. Hyperspectral image compression using three dimensional w

17、avelet transformation A . The 21st Asian Conference on Remote SensingC, 2000:809-814.2 杨春玲,余英林.基于三维小波变换嵌入式视频压缩算法的研究J .电子学报, 2001,29 (10):1381-1375.3 Luo Lin, Li Jin, Li Shipeng, Zhuang Zhenquan, and Zhang Ya-Qin . Motion compensated lifting wavelet and its application in video codingC/, IEEE Int. Co

18、nf on Multimedia and Expo (ICME 2001), Tokyo, Japan,2001: 481-484.4 Luo Lin, Li Jin, Li Shipeng,and Zhuang Zhenquan. A motion compensated lifting wavelet codec for 3D video coding. J. Comput Sci & Technol. Mar. 2003,18(2): 214-222.5 区骋.基于运动补偿技术和三维小波变换的视频编码器研究D.广西大学计算机系,2004.6 SWELDENS W. The lifting scheme: A construction of second generation wavele