（计算机软件与理论专业论文）小波可扩展视频编码中运动补偿时域滤波方案的研究.pdf

摘要 摘要 对于在时变、带宽受限的网络中进行的实时视频通信，用户终端的处理能 力和用户对服务质量的需求具有异构的特点。作为一种针对性的解决方案，可 扩展视频编码技术对视频数据只编码一次，但可以根据用户的不同需求，进行 多种时间、空间分辨率或质量的解码。 与传统的采用离散余弦变换的可扩展视频编码相比，基于小波变换的编码 方案不但实现了时间、空间分辨率和质量的完全可扩展性，而且保持了编码的 效率。本文介绍了相关的小波理论，概述了可扩展视频编码的研究现况。 在三维小波视频编码中采用运动补偿时域滤波技术，能使视频序列的时域 相关性得到充分利用，可以有效地提高视频编码的质量。本文对运动补偿时域 滤波技术进行了深入的研究。 本文提出了新的运动补偿时域滤波方案，使得高频帧方差、低频帧与对应 的原始帧之间的均方误差都比现有方案的要小；对联合运动估计算法进行了优 化，使其时间复杂度大大降低；在处理匹配不良块时加入了均值预测的选择， 减小了高频帧方差；给出了从指向多连接象索的多个运动矢量中选取唯一有效 的运动矢量的准则，并把原来的双向独立选择改进为双向联合选择，从而减小 了低频帧与对应的原始帧之间的均方误差。 为了评估改进的效果，本人编码实现了本文提出的运动补偿时域滤波新方 案以及现有的方案。对论文中提出的改进点，本文设计了有代表性的实验并给 出了详细的测试结果。 实验证明，本文提出的新方案比现有方案在总体性能上改进很多，是可行 与有效的。 关键词： 小波变换可扩展视频编码运动补偿时域滤波联合运动估计多连接象素 a b s t r a c t a b s t r a c t f o rt h er e a l t i m ev i d e oc o m m 吼i c a t i o nc 删e dt h r o u g ht h et l m e v a r i a n ta 1 1 d b a i l d l i m i t e dn e t w o r k ，t e n n i n a l sh a l l d l i n gc 印a b i l i t ya n du s e r sd e m a l l df o r t h e s e r v i c eq u a l i t ya r ei s o m e r o u s a so n ek i n do fp e m n e n ts o l u t i o n ，s c a l a b l ev i d e o c o d i n g ( s v c ) t e c h n o l o g ye n c o d e st h ev i d e od a t a0 1 1 l yo n c e ；h o 、v e v e r ，i tc a nd e c o d e t 1 1 e m 、v i t hv 鲥o u st e m p o r a la n ds p a t i a lr e s o l u t j o n so rq u a l i t j e sa c c o r d i n gt ou s e r s d i 日b r e md e m a n d s c o m p a r e d 、v i t l lt h et r a d i t i o n a ld c t b a s e ds v c ，d w t - b a s e ds v cn o to n l y r e a l i z c st h e 如l ls c a l a b i l i t yo ft e m p o r a l 锄ds p a t i a lr e s o l u t i o na 1 1 dq u a l i 吼b u ta l s o m a i n t a i l l st l l ec o d i n ge 伍c i e n c y i nt l l i st l l e s i s ，r e l e v a n tt l l e o r i e so fw a v e l e tw e r e d i s c u s s e da n dr e c e n tr e s e a r c hs i t u a t i o na b o u ts v cw a ss u m m a r i z e d a p p l y i n gm o t i o nc o m p e n s a t i o nt e m 舭1f i l t 嘶n g ( m c t f ) t e c h n o l o g yi n 3 d d w t d e oc o d i n gc a ns u 硒c i e n t l yl l s et h et e m p o m lr e l e v a n c eo f v i d e os e q u e n c e a i l de 鼠c t i v e l yi m p m v et h eq u a l i t yo fv i d e oc o d i n 晷n l i sm e s i sh a sc o m p l e t e da m o r o u 曲r e s e a r c ho nt h em c t ft e c h n 0 1 0 阱 i nt l i i sn l e s i s ，an o v e lm c t fs c h 锄ew a sb r o u g h tf o r w 舡d ，w h j c hm a k e sm e v a r i a n c eo fh i 曲一f 沁q u e n c y 触m ea i l dm s eb e t w e e nl o w - 疔e q u e n c y 丹锄ea i l di t s c o r r c s p o r 试i n go r i g i n a l 疗a m es m a l l e rt h a i lt h o s eo fe x i s t i n gs c h e m e s b yo p t i m i z i n g m ej o i n tm o t i o ne s t i m a t ea l g 嘶t 1 1 m ，m et i m ec o m p l e x i 锣w a sr e d u c e d 乒e a t ly t h e v a r i a n c eo f1 1 i 曲一f r e q u e n c y 疔a m eh a sa l s ob e e nr e d u c e d 、 ，h e nt l l es e l e c t i o no f m e a n u e p r e d i c tw a si n c l u d e dw h i l ep r o c e s s i n gm eb a d m a t c h e db l o c k m o r e o v e r ， m s eb e t 、e e nl o w - 矗e q u e n c y 矗a i l l ea i l di t sc o r r e s p o n d i n go r i 酉n a l 行锄ew a sr e d u c e d w h e nan e wc r i t e r i o nw a sa p p l i e di ns e l e c t i n g 也eu i l i q u ev a l i dm o t i o nv e c t o r 矗o m s e v e r a im o t i o nv e c t o r sw i l i c h p o i n t t 0am u l t i - c o i l l l e c t c d p i x e l 锄do r i g i n a l b i d i 蚤e c t i o n a li n d e p e n d e n ts e l e c t i o n 郴r c p l a c e db yb i d i r e c t i o n a lj o i n ts e l e c t i o n t be v a l u a t et h ei m p m v e m e n to fm ep r 叩o s e ds c h e m e ，id e v e l 叩e dap r o g r a i nt o r e a l i z c 也en o v e lm c t fs c h e m ea 1 1 dt l l e “i s t i n gs c h e m e s ia l s od e s i g n e ds o m e r 印r e s e n t a t i v ee x p e r i m e n t sa 1 1 dp r o v i d e dd e t a i l e dt e s t r e s u l t st od e m o n s t r a t em e i i i m p r o v e m e n t m ye x p e r i m e m sp r o v e dt h a t ，c o m p a r e dw i t ht h ee x i s t i n gs c h e m e s ，t h en o v e l s c h e m ep r o p o s e di nt 1 1 i st l e s i si sn o to n l yf e a s i b l ea i l de n e c t i v e ，b u ta l s oc a ni m p r o v e t h eo v e r a l lp e r f o m a l l c e 酽e a t l y k e y w o r d ： 、v e 】e tt r a n s f - o n n ，s c a l a b l ev j d e oc o d i n g ，m o t i o nc o m p e n s a t i o nt e m p o r a l f i l t e r i n g ，j o h l tm o t i o ne s t i m a t e ，m u l t i c o n n e c t e dp i x e l 】j j 第一章引言 1 1 1 研究背景 第一章引言 第一节研究背景及现况 近年来，视频编码技术的发展突飞猛进，基于网络的视频应用为人们提供 了丰富的信息交流渠道，人们可以通过网络查看视频资料、欣赏电影、进行视 频聊天等等。种种网络视频技术的应用，方便了我们的工作、学习，使我们的 生活更加丰富多彩。 当前，视频信息主要通过从无线连接到有线网络等具有不同带宽的信道传 输；高容量的d v d 和一些可读写的存储器为视频数据提供了容量不同的存储选 择；另外，视频信息会在高清晰电视、计算机、移动电话等不同设备上回放。 这样，在视频传输、存储和回放的过程中，出现了对视频信息在时间分辨率( 帧 率) 、空间分辨率( 图像大小) 、质量等方面的不同需求。 图1 1 异构网络上的视频应用 对于不同需求，传统的解决方法是将同一视频流分别压缩成具有不同时间 分辨率、空间分辨率和质量的多个码流，然后根据实际需求来传输、存储和回 第一章引言 放适当的码流。然而，这样既要消耗大量的系统资源，又不能保证能对某一需 求提供最优的可用视频。 更好的解决方案需要对视频编码算法的复杂度、压缩效率、容错能力、可 扩展能力等方面做综合的考虑。而可扩展视频编码( s v c ，s c a l a b 】ev i d e o c o d i n g ) 则正是满足这种要求的一种可行解决方案，它对视频数据只编码一次，但可以 根据用户的不同需求，进行多种时间、空间分辨率或质量的解码。目前这种编 码思想已被h 2 6 3 、m p e g 4 等国际标准所采纳。 现有的视频压缩编码标准如m p e g 一2 、h 2 6 3 等主要是通过块运动估计与补 偿技术消除时间冗余，采用基于块的离散余弦变换消除图像的空间冗余，最后 经过熵编码消除统计冗余。然而，这类编码方式所固有的预测循环反馈结构限 制了编码器的可扩展能力，不易实现高度的完全可扩展性编码。而且，这类编 码方式所采用的分块离散余弦变换技术在低比特率情况下容易导致方块效应、 飞蚊噪声等失真现象。 近年来，有关完全可扩展性编码的新技术不断涌现，其中相当多的是基于 时，空域的小波变换。基于小波变换的编码是随着小波分析的研究而提出的一种 具有很好发展前景的图像视频编码方法。作为一种多分辨率分析方法，小波变 换具有很好的时空频局域化特性，特别适合按照人眼视觉系统特性设计图像视 频编码方案，也非常有利于图像视频信号的分层传输。 与传统的采用离散余弦变换的可扩展视频编码相比，基于小波变换的编码 方案不但实现了时间、空间分辨率和质量的完全可扩展性，而且保持了编码的 效率。 1 1 2 研究现况 目前，小波视频编码方法可分为二维和三维小波编码两类。 二维小波视频编码主要有两种：基于象素域运动估计补偿的小波编码和基 于小波变换域运动估计幸h 偿的视频编码。前者会造成漂移误差( “re r i d r ) ，后 者则存在小波变换的移变( s h i rv a r i a n t ) 问题。 三维小波视频编码可分为不含运动估计件h 偿的和包含运动估计补偿的两 种。前者对于运动剧烈的视频序列效果很差，并且编码时延和空间需求大，而 后者则是近几年小波视频编码技术研究的主流。 第一章引言 运动补偿三维小波视频编码方法同时采用了运动补偿和时域一维小波变换 去除时域的冗余信息，可以获得非常好的效果。这种技术就是我们论文里要研 究的运动补偿时域滤波( m c t f ，m o t i o n c o m p e n s a t e dt e m p o m lf i i t e r i n g ) 。 在进行运动补偿时域滤波时，为了获得更多的编码增益，现有的方案大多 采用了亚象素精度的运动估计来代替整象素精度的运动估计；之后在进行时域 的一维小波变换时，5 3 变换被用来取代传统的h a a r 变换以更好的利用帧问相关 性。同时，为了解决这两种改进带来的小波变换不可逆及算法时、空问复杂度 高等问题，在时域的小波变换过程中，传统的小波变换被提升实现的小波变换 所替代。 当前，运动补偿时域滤波方案主要有两种，区别在于是否包含“除去遮挡 块”及“匹配不良块”检测。不进行检测的方案是在对奇数帧运动估计后直接 求高频帧，然后求偶数帧运动矢量，最后得到低频帧。对于中低码率视频中运 动剧烈的片断，这种方案产生的视频质量很差。因此，c h e n 在他的方案中提出 了在求高频帧之前对奇数帧进行“除去遮挡块”及“匹配不良块”的检测i l 】，这 在一定程度上解决了上述问题，取得了较好的效果。本文以该方案为基础做进 一步的研究。 作为小波可扩展视频编码的一个基础组成部分，运动补偿时域滤波是否高 效对视频编码质量的影响很大，具有较高的研究价值，目前的研究成果仍有不 少需要改进的地方。 1 2 1 研究目的 第二节研究目的、方法与成果 一般而言，我们在运动补偿时域滤波阶段输入的是原始帧序列，输出的是 时域滤波产生的高、低频帧序列和奇数帧的块运动矢量及分类信息。为了将来 能更高效的压缩，高频帧应具有较低的能量，也即高频帧方差要小；另一方面， 为提高低帧率视频的质量，低频帧与对应的原始帧之间的均方误差也要小。 因此，本文的研究目的是：对运动补偿时域滤波过程进行改进，使得求出 的高频帧方差更小，同时使低频帧与对应的原始帧之间的均方误差也更小。 第一章引言 1 2 2 研究方法 为进行改进效果的评估，本人编码实现了本文提出的运动补偿时域滤波新 方案和现有的方案。程序所采用的测试序列是视频编码领域国际通用的标准测 试序列。 在评估改进效果时，实现改进方案的程序与实现原方案的程序相比，除改 进点所需的设置不同外，其它的设置保持相同，这样就能保证在同一基础上进 行客观比较。两种算法得出的结果根据需要，在高频帧方差或低频帧与对应原 始帧的均方误差等方面进行对比，绘制出图表。为保持叙述的流畅性，本文将 程序说明及实验结果集中放至第五章中。 1 2 _ 3 研究成果 下面按在论文中出现的先后顺序， 第一，优化了联合运动估计算法， 度大大降低。 列出了本文的研究成果。 使其在保持较好性能的情况下时间复杂 第二，在求高频帧时，对匹配不良块，加入了均值预测的选择，减小了高 频帧方差。 第三，根据实验结果，给出了从指向多连接象素的多个运动矢量中选择唯 一有效的运动矢量的准则，并把原来的双向独立选择改进为双向联合选择。 第四，提出了新的运动补偿时域滤波方案：把现有的h a a r 滤波的方案推广 到5 3 和h a a r 混合滤波的情形，引入了新的多连接象素处理方法并解决了由此 引发的矛盾。 实验证明，总体性能上，本文提出的新方案比现有方案改进很多，是可行 与有效的。 第三节论文的结构 本文在第二章中系统的介绍了小波变换的基本知识。由傅立叶分析的缺陷 引入小波分析，说明了多分辨率分析的概念，介绍了m a l l a t 分解，重构算法1 2 1 。 然后是小波变换的提升实现方法。最后对小波变换在图像编码方面的应用进行 第一章引言 了概述。 第三章是对可扩展视频编码的一个综述。从基于离散余弦变换到基于离散 小波变换是可扩展视频编码的发展方向，引入运动补偿时域滤波则大大提高了 小波视频编码的质量。 第四章详细的研究了运动补偿时域滤波技术。第一节介绍了基本概念；第 二节讨论了运动估计，给出了一个优化的联合运动估计算法；第三节研究了象 素的分类问题，总结了前人的成果，对其中匹配不良块的处理给出了新方法， 并根据实验结果改进了多连接象素的处理方法；第四节提出了运动补偿时域滤 波的新方案。 第五章介绍了程序实现中的细节问题及实验结果，对第四章中的论点给予 了实验数据上的证明。 第六章总结全文，对未来可行的研究方向提出了建议。 第二章小波变换 第二章小波变换 小波编码是近年来随着小波变换而提出的一种在图像和视频压缩领域具有 很好发展前景的编码技术。由于小波变换具有良好的时空频局域化特性以及适 应人眼视觉系统的特点，因此非常有利于图像和视频信号的压缩编码。小波变 换在分析信号的局部特征方面是传统的傅立叶变换所不能相比的。 j m s h a p i r o 提出了嵌入式零树小波变换编码( e z w ，e m b e d d e dz e r o t r e e w 打e l e t ) 算法，向人们展示了小波编码的优异性能。此后，a s a i d 等人提出的 s p i h t ( s e tp a n i t i o n i n 2i nh i e r a r c h i c a lt r e e ) 算法，在运算复杂度显著降低的同 时，也获得了与e z w 算法相当或更好的压缩率。这些算法成功的应用确立了小 波变换在图像和视频编码中的重要地位。 在第2 1 节中，我们引入了小波分析，说明了多分辨率分析的概念，介绍了 m a l l a t 分解，重构算法。第2 2 节是小波变换的提升实现方法。第2 3 节对小波变 换在图像编码方面的应用进行了概述。 第一节小波变换的基本理论 2 1 1 小波变换的引入 对信号进行分析时，一般采用时域和频域两种形式。傅立叶变换是常用的 分析方法，它能较好地刻画出信号在频域上的特性，但它为研究频谱，需获得 时域所有的信息，甚至包括将来的信息；另外，它对信号的局部变化也没有标 定和度量能力。也就是说，傅立叶变换无法进行时频局域化的分析。然而在很 多非平稳信号分析和实时信号处理的应用中，人们所关心的是信号在局部范围 内的特征，这就需要时频局域化的分析方法1 3 】。 2 1 1 1 短时傅立叶变换 1 9 4 6 年，d g a b o r 在他的论文中为提取信号傅立叶变换的局部信息，引入了 一个时间局域化的窗函数g ( 卜6 ) ，其中参数6 用于平移窗口以便覆盖整个时域， 这样就提出了短时傅立叶变换( s t f t ，s h o nt i m e f o 面e rt r a l l s f o n l l ) 的概念。 第二章小波变换 短时傅立叶变换又称为窗口傅立叶变换，其定义为 g ，( ，6 ) = e e 一脚朋) 而 这里，窗函数g ( f ) 满足： g ( r ) r ( r ) ，喀( r ) r ( 尺) ( 2 1 ) 其中，r ( r ) 为实轴上平方可积( 能量有限) 函数的全体组成的空问，即 m ) = ic ，2 ( f ) 出 佃 ( 2 短时傅立叶变抉的及燹抉为： 厂( f ) 2 去ee e 埘+ g ，( 吐”酏一6 ) d m 如 ( 2 4 ) 短时傅立叶变换的性质与物理含义可以通过时间窗和频率窗来考察。定义 g ( f ) 的中心为： r 2 卉肌2 ( ，) 西 ( 2 s ) 半径为： g = ( 2 6 ) 则g j ( ，6 ) 给出了，( f ) 在时间窗 r + 6 一g ，r + 6 + g 】上的局部信息。 同样，设雪( ) 为g ( r ) 的傅立叶变换，其中心和半径分别为+ 和謇，可推 出g ，( 国，6 ) 给出了，( 国) 在频率窗 + + 一罐，+ + 季 上的局部信息。由此可 知，短时傅立叶变换的时间频率窗为： f + 6 一船，f + 6 + g + + 珊一罐，出+ + 脚+ 鳝( 2 7 ) 它的时域宽度为2 g ，频域宽度为2 鸯，具有不变的窗面积：4 g 罐。 第二章小波变换 由测不准原理知：g 矩1 2 ，即时频窗的面积有下限。当g ( r ) 为g a u s s 型函数时，称此短时傅立叶变换为g a b o r 变换，可以取得下限值1 2 。g a b o r 变 换被称为最优短时傅立叶变换。 当选定g ( f ) 后，短时傅立叶变换的时频窗宽度不变，与信号频率无关，是一 种恒分辨率分析。 当分析信号时，一般希望高频时能用窄时间窗确定高频细节，低频时能用 宽时间窗确定低频特性，由此可见，短时傅立叶变换不适合分析同时具有很高 频率和很低频率成分的信号。这就引入了连续小波变换。 2 1 1 2 连续小波变换 如果( ，) r ( 月) 满足： q = e 铎舨栅 则称y ( r ) 为基小波。 对于厂( f ) r ( r ) ，其连续小波变换为： ( 2 8 ) 嘣啪) 斯；e 朋州等灿啪醵口。 ( 2 9 ) 令，以) = h 一；y ( 等) ，上式可用内积形式表示为 ，( 口，6 ) = 连续小波变换的反变换公式为： ，( r ) = 吉e e “吼畛虬，( f ) 争 一 ( 2 1 0 ) ( 2 1 1 ) 设窗函数( r ) 的中心为广，半径为l ；f ，痧( 国) 的中心为，半径为驴， 可推出连续小波变换的时间频率窗为： 第二章小波变换 ，毗r 埘y 知譬+ 扣 b 仍 它的时间窗宽度为2 臼，频率窗宽度为兰驴，具有不变的窗面积： 口 4 泓痧。 在这里，日用来调节窗口的宽度，当口值较小时，时间轴上观察范围小，而 在频域上相当于用较高频率做分辨率较高的分析，即用高频小波做细致观察。 当日值较大时，时间轴上观察范围大，而在频域上相当于用低频小波做概貌观察， 是一种可变分辨率分析。分析频率有高有低，但在各分析频段内分析的品质因 子( 中心频率带宽) 却保持一致。这是一项很符合实际工作需要的特点，因为 如果希望在时域上观察的愈细致，就愈要压缩频域观察范围。 2 1 1 3 连续小波变换的离散化 连续小波变换，( d ，6 ) 在口一6 半平面上各点的值是相关的，( ，6 0 ) 处的小 波变换值，( 口0 ，6 0 ) 可以表示成半平面上各点值。，( 口，6 ) 的总贡献，也就是说， 一维信号厂( f ) 做连续小波变换成为二维的，r ( 口，6 ) 后其信息是有冗余的，因此 从压缩数据及节约计算的角度上看，希望能只在一些离散的尺度和位移值下计 算小波变换，而不致丢失信息。 最常用的连续小波变换离散化的方法是令口= 2 ，6 = _ i ( ，z ) 。 一 令妒“o ) = 22 y ( 2 1 f 一) ，离散小波变换定义为： ，( 口，6 ) = e 邝) 瓦面= 2 1 2 多分辨率分析 ( 2 1 3 ) m a l l a t 在文献【4 】【5 l 中首先从函数空间剖分的角度讨论了多分辨率分析。在二 分情况下，m a l l a t 从函数的多分辨率空间分解概念出发，在小波变换与多分辨率 分析之间建立起联系。把平方可积函数，( r ) 看成是某一逐级逼近的极限情况， 每级逼近都是用某一低通平滑函数对，( ，) 作平滑的结果，只是逐级逼近时平滑 函数也作逐级伸缩。也就是用不同分辨率来逐级逼近待分析的函数，这就是“多 第二章小波变换 分辨率”得名的来由。f 面我们进行具体的介绍。 第一步，先将函数空间r ( r ) 进行逐级剖分。 设 巧 。是r ( r ) 的一串闭子空间序列，满足以下条件： ( 1 ) 单调性：巧c 一+ 。 ( 2 ) 平移不变性：，( x ) - 厂扛一女) ( 3 ) 二进伸缩相关性：厂( x ) _ 铮，( 2 x ) 巧+ 1 ，( 2 z ) ( 4 ) 逼近性：u 巧= r ( r ) ，n 巧= o 足 ( 5 ) 存在函数妒k ，且 妒 一| i ) ) 。是的规范正交基 从 巧) 脚通过做正交补可构造出r 似) 的正交分解子空间序列 脚，满 巧o 2 巧+ l ，巧上，上( ，七) 可推出： 4 r ( r ) = o 巩 j = ( 2 1 4 ) ( 2 1 5 ) 第二步，研究这些空间的规范正交基。 从k 的规范正交基 矿q 一七) 。可构造出的一个规范正交基 y 0 一) ) 。，还可进一步推出： 办，。= z c z _ j x 一七叶。是巧的一个规范正交基； 蚧，。：f 2 l l f ，( 2 一女) l是的一个规范正交基。 l j t e z 第二章小波变换 第三步，考察函数在不同分辨率空间上的投影及其差值 v r ( r ) ，在_ 上的投影为：矗c m 办，。，其中c = 称为 e z 离散逼近。在这里，表示分辨率，越大，办，越逼近厂。 分辨率可以以不同的形式体现在具体应用中，例如一幅图像，保留的频带 越宽，失真越小，在这里，较宽的频带就代表着较高的分辨率。 由_ = _ 一。o 一。和巧一，j - 一，可得：矗= 毛。+ ，矗一。是厂在一- 上的投 影，实际上反映了，在和一一。这两级逼近之间的细节差异，有 矗。= d j 1 ，。y j - 1 其中嘭- 1 。= 被称为离散细节。 t e z 如图2 1 ，对上面所述做一简要总结。 图2 1 多分辨率分析概念的简要总结 由巧= 巧一。o 一，= 巧一：o 一：o 一。- 一k o 彬o o 一：o 一( ， ， ，是有实际意义的最低分辨率) ，可得矗= q ，。旃，。+ 靠，。，。举例来说 e zi s ( ， z 蒌寺一 军薹 一* 一 第二章小波变换 对于图像压缩，可认为原始图像就是矗，我们保留离散逼近c ，。 z ) ，对离散 细节叱。( ，m 七z ) 进行压缩。 当j 较大时，可由办，来近似表示。可以通过空间的嵌套分解，得到厂在 不同分辨率空间的离散逼近，以及相邻两级逼近之间的离散细节。通过研究和 处理离散逼近和离散细节，可以实现对，的处理，这就是多分辨率分析的含义。 应用多分辨率分析的重点在于求出离散逼近q ，。和离散细节嘭按照式 ( 2 1 6 ) 和式( 2 1 7 ) 进行求解则太复杂。 吧一 2 = j 厂( r ) 22 ( 2 1 f 一七炒 ( 2 1 6 ) 嘭广 厂，墨+ 巾) 2 币瓦面， ( 2 1 7 ) m a l l a t 在1 9 8 9 年提出了m a l l a t 塔式分解和重构算法【2 】，也就是离散小波变 换的快速算法，下面直接给出结果： = ( n 一2 t ) c 川， n e z 嘭，。= g ( ”一2 ) 其中，矗( 玎) = ，g ( ”) = 。示意如下： 、 d j - 、dj 一! m a l l a t 重构算法与此类似，此处不再赘述。 2 1 _ 3 多分辨率分析与小波变换的关系 ( 2 1 8 ) ( 2 1 9 ) 第二章小波变换 在第2 1 1 节和第2 1 2 节中我们分别介缁j 小波变换与多分辨翠分析的概 念，下面我们给出两者之间的一些关系。 ( 1 ) 多分辨率分析中的空间 巧 。称为尺度空间，就是尺度函数；空间 。称为小波空间，矿就是小波函数。 c z ，* = z c z l x 一尼矗懈舡：是r c r ，的一个规范正交小波基。 ( 3 ) 离散细节嘭j = 就是函数的离散小波变换a ( 4 ) 多分辨率分析可以用来构造小波，但有些小波没有对应的多分辨率 分析。 第二节小波变换的提升实现 离散小波变换传统的实现方法之一是采用m a l l a t 的塔式分解重构算法，这 种基于卷积的方法计算量大，对存储空间的要求也高。1 9 9 4 年，s w e l d e n s 提出 了不依赖于傅立叶变换的基于提升实现的小波变换算法【“，也被称为第二代小波 或整数小波变换i ”。之后，d a u b e c l l i e s 证明了，任何离散小波变换或具有有限长 滤波器的两阶滤波变换都可以被分解成为一系列简单的提升步骤，所有能够用 m a l l a t 算法实现的小波变换，都可以用提升算法来实现。提升算法可以成倍的提 高计算速度，减少计算所用的内存空间。在基于小波变换的可扩展视频编码中， 提升算法在进行亚象素精度运动补偿时域滤波时能保持小波变换的可逆性，这 是传统小波变换难以实现的。 2 2 1 提升算法的过程 如图2 2 所示，用提升方法实现的分解过程可分为分裂、预测、更新三个步 骤： 首先是分裂。信号s ( ”) 按出现的奇偶次序被分裂成为两个不相交的子集 墨( n ) 和( 玎) 。 其次是预测。由于信号之间有相关性，& ( ”) 被用来预测s 。( ”) ，d ( ”) 是预测 第二章小波变换 误差，相当于小波变换后的高频信号。如果预测比较准确，则d ( ”) 将包含较少 的信息。 办 一) 重构过程 图2 2 小波变换的提升实现 最后是更新。由于分解成子集，原来信号的一些特征丢失了，通过更新使 子集的数据和原来的数据保持一些相同的特征。具体操作是用d ( n ) 来更新 ( n ) ，产生出低频信号来。 用提升方法实现的小波变换的重构公式与分解公式相同，改变计算次序和 符号就可以了。 2 2 2 常用小波变换的提升实现 第二章小波变换 下面我们给出h a a r 和5 3 这两种很有用的小波变换的提升实现。 h a a r 小波的分解过程为： 分裂： 预测 s ”】= s 肜n 】，+ ，m = 0 【2 n + 1 ( 2 2 0 ) t + 【川= 碟， ”卜s “川 更新： o + 。【一】= 霹+ 。【”】+ ；t + 。【一】 h a a r 小波的重构过程为： 更新： 【川= 洲川- ；t 一川 预测： 。m = 嘭+ 。m + g + 【n 】 合并： o 【2 川= s 鼻。m ，s 妒”+ 1 】= 【”】 5 ，3 小波的分裂与合并和h a a r 小波一样，其分解过程为 预测： 划川= 略加卜( s 加m 枷+ 1 】) 更新： 一。【” = c 。【一】+ ；( t + 。m 一1 + 4 。【一】) ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) 第二章小波变换 5 3 小波的重构过程为： 更新： s n 巾，一；( 由+ 。旷1 + t + ，m ) 预测： 。m = 划小畎。m + 吐。 】) 第三节小波变换在图像编码中的应用 ( 2 2 8 ) ( 2 2 9 ) 数字图像与视频的压缩是人们广泛关注的热点课题之一，目前有多种压缩 算法和以j p e g 、m p e g 、h 2 6 x 等为代表的国际压缩标准。一般说来，视频由 图像序列构成，图像压缩是视频压缩的基础。 小波变换具有良好的时空频局域化特性，在信号处理中非常适合于非平稳 信号的分析；其次，小波变换系数具有天然的塔式数据结构特性，可以采用特 殊的系数编码方法提高编码效率；最后，通过小波变换的多分辨率分析可以更 加容易实现图像的可扩展编码，满足不同的应用需求。因此，二十世纪八十年 代以后，小波变换被广泛的应用于图像编码。 典型的图像压缩标准j p e g 采用了基于块的离散余弦变换( d c t ，d i s c r c t e c o s i n et r 锄s f o m ) 消除图像的空间冗余，再用变长编码进行统计冗余的消除。 随着研究和应用的不断深入，基于分块离散余弦变换编码的缺点逐渐暴露出来， 尤其在低比特率环境下，图像不可避免地出现方块效应和飞蚊噪声等。这是因 为一般情况下，图像信号是高度非平稳的，而且图像中的一些突变结构如边缘 信息远比图像的平稳信息重要，用余弦基作为非平稳信号的逼近其结果不是最 优的。新的图像压缩国际标准j p e g 2 0 0 0 采用了小波变换代替离散余弦变换，取 得了良好的效果。 2 3 1 图像的小波编解码过程 一般而言，图像的小波变换编码具有如图2 3 所示的过程。 1 6 第二章小波变换 原始图像一- 二三至至三二 + 二二三至二二 二三三乎比特流输出 恢复图像+ 二三至至三三二 二三三三三二 + 二三亘乎比特流输入 图2 - 3 小波编解码过程 在进行图像压缩时，二维可分离小波变换对图像的行和列独立的依次进行 一维小波变换，形成四个子带；个低频子带l l ( 水平和垂直方向均经过一系 列低通滤波) ，以及三个方向上的高频子带序列，即水平高通垂直低通子带h l ， 水平低通垂直高通子带l h ，水平高通垂直高通子带h h 。当进行n 级小波分解 时，原图像被分为3 n + 1 个子带，如图2 4 所示： l kl h 2 i 朋 h l 2删2 h l ， 珊】 图2 4 图像的小波分解过程 2 3 2 采用小波变换的图像压缩算法 小波变换所得的小波系数矩阵具有以下特点： ( 1 ) 从频率分解上看，原始图像的能量大部分集中在低频子带； ( 2 ) 从空间分布上看，高频子带的能量大部分集中在原始图像边缘位置； ( 3 )同方向上各级高频子带系数幅值的分布相似； 小波系数矩阵的这种四叉树形结构的特点，是构造小波变换编码器的一个 切入点。 另外，当前的网络条件要求图像编码最好具有嵌入式编码的特点。嵌入式 第二章小波变换 编码是指编码器输出的码流有这样的特点：一个低比特编码嵌在码流的开始部 分，即从嵌入式码流的起始位置任取一段，这段码流相当于一个低码率的完整 的码流，由它可以解码重构出完整的图像。与原码流相比，这部分码流解码出 的图像质量和分辨率比较低，但解码的图像是完整的。嵌入式码流中的比特位 是按照重要性排序的，排在前面的比特更重要。这种特性适用于图像的渐进传 输。 嵌入式编码算法需要解决两个关键问题：( 1 ) 如何把树形结构的小波系数 按照重要性排序，并且要隐含重要小波系数的位置；( 2 ) 如何实现重要系数的 渐进编码。 对于第一个问题的不同解决方法划分出两类目前应用广泛的嵌入式编码方 法：基于零树或零块结构的编码和基于上下文模型的块编码。基于零树或零块 结构的方法是利用金字塔式小波分解的层次树结构和小波系数矩阵的特性，通 过零树分裂或集分裂过程间接定位重要系数并排列，如e z w 、s p i h t 、s p e c k 等算法；基于上下文模型的块编码方法是把所有系数按照其上下文进行分类和 排序，并综合利用小波系数分布的统计特性建立有效的、基于上下文的概率模 型以实现自适应算术编码，如e b c o t 、m r w d 、p c a s 等算法。 作为一种具有代表性的嵌入式编码方案，e z w 算法具有编码效率高、运算 复杂性较低等显著特点；但也存在一些问题： ( 1 ) 由于编码时它形成多棵零树，需要多次扫描图像，因而效率很低。而 且每一棵树必须在前一棵树形成之后才能形成，所以也很难用并行算法进行优 化： ( 2 ) 对所有的频域进行等同重要度的编码，不能充分利用小波变换的特点。 改进办法之一是把最低频子图与其他子图分开处理，对其进行单独的无失真编 码。 ( 3 ) 在一棵零树中包含的元素越多，则越有利于数据压缩，而e z w 算法 没有利用这样的树间冗余。s p i h t 算法则对此进行了改进。 s p i h t 算法初始化、细化过程虽然与e z w 算法类似，但s p i h t 算法对重要 系数集合的表示方法作了改进，使得集合的表示更精简，从而提高了编码效率。 因此，s p i h t 算法在不同的比特率下比e z w 算法的峰值信噪比都有所提高。 e z w 和s p i h t 算法采用层次树结构编码，使得不同分辨率等级的子带系数 交叉地分布在码流中，不具备分辨率可扩展性，抗误码性能也差。相比之下， 第二章小波变换 e b c o t 算法的复杂度比e z w 和s p i h t 要高，但性能有所提高，另外由于采用 了基于子带块的编码，该算法可以同时实现图像的质量和分辨率的可扩展性。 此外，该算法还具有很强的抗误码能力。e b c o t 算法的基本思想已经应用于 j p e g 2 0 0 0 方案之中了。 第三章可扩展视频编码 第三章可扩展视频编码 在具有较大噪声干扰的信道、易丢包的信道和异构网络中进行视频通信时， 可扩展视频编码具有很大的潜力。近几年来，这方面的研究取得了不少进展， 但在实际应用时仍存在着较多的问题。本章在第3 1 节中对相关的研究现况进行 了概要总结，在3 2 中介绍了当前性能最好的采用运动补偿时域滤波的三维小波 视频编码。 第一节可扩展视频编码发展概况 按照出现时间的先后和采用的基本技术，可以将一些具有代表性的可扩展 视频编码分为传统的可扩展视频编码、精细粒度可扩展视频编码和小波可扩展 视频编码。 3 1 1 传统的可扩展视频编码 传统的可扩展视频编码以h 2 6 3 、m p e g 2 标准为代表，是基于离散余弦变 换和运动补偿技术的分层编码方法。下面以m p e g 2 中的可扩展编码技术为例 进行介绍。 可扩展编码最早出现在m p e g 2 标准中。它定义了三种可扩展性：时间可 扩展性、空间可扩展性和质量可扩展性，其中质量可扩展性又被称为信噪比可 扩展性( s n r ，s i g i l a lt on o i s er a t i o ) 。 对于时间可扩展性，m p e g 2 将视频序列分成两层以上。每层的空间分辨率 一样，但帧率却不一样，将这些层进行合并后可以提供与输入视频相同的时间 分辨率。基本层提供低帧率的视频。那些被基本层的重构帧预测的其它帧在增 强层编码。 以实现两层时间可扩展编码为例，m p e g 2 先将输入的视频序列的所有帧分 为两组，得到两个视频序列。然后其中一个视频序列被编码成基本层码流，另 一个视频序列被编码成增强层位流。这两个码流最后被系统多路复用器复合成 一个单一的码流输出。 第三章可扩展视频编码 空间可扩展性是指在空间域进行的分层编码，也就是说，编码产生的层具 有相同的帧率，但具有不同的空间分辨率。 m p e g - 2 采用了分块离散余弦变换进行空间分层编码。首先，对输入视频序 列进行下采样，得到低空间分辨率的序列，将该序列进行离散余弦变换，得到 了基本层码流。然后，基本层上采样到原始图像大小，作为高分辨率序列的预 测，预测误差编码后就是增强层。 质量可扩展性是指每层具有不同质量，而所有的层具有相同的空间和时问 分辨率。 m p e g 2 的质量可扩展性是在对离散余弦变换系数进行量化的过程中实现 的。基本层是对离散余弦变换系数粗量化的值，增强层是对原始离散余弦变换 系数与基本层逆量化的离散余弦变换系数的差值或原始输入图像与重构的基本 层图像的差值进行精细量化得到的值。 m p e g 2 既支持单一类型的可扩展性，也支持时问、空间和质量可扩展性中 的两种可扩展性的组合。实际支持的组合有质量。空间可扩展性和质量时间可扩 展性。 3 1 2 精细粒度可扩展视频编码 在理想的视频传输系统中，编码器按照信道带宽将输入的视频信号压缩， 解码器对从信道中所接收到的视频信号进行重构。在这些系统中，信道带宽可 被预知是一个基本的假设前提。然而，对于实时视频流应用来说，实际情况是 信道的带宽在不断地发生变化，编码器不可能预先知道信道的带宽，也就不可 能知道应该优化哪个码率的视频质量。因此，在这种环境下视频编码的目标就 相应地变为：在一定的码率变化范围内，尽可能地提高视频质量。 为了容易并精确的适应信道带宽的变化，m p e g 4 中采用了精细粒度可扩展 性( f g s ，f i n eg r 枷l 砌t ys c a l a b i l i t y ) 的视频编码。f g s 的基本思想是将视频 序列编码成基本层和增强层。基本层可采用传统的离散余弦变换加运动补偿的 编码方法得到，而增强层可使用一个精细粒度的方法进行编码。解码器从接收 到的基本层和增强层码流( 部分或全部) 中重构出高分辨率的视频。此时，高 分辨率的视频质量是正比于解码时每帧对应的比特数的。 m p e g 。4 征集f g s 提案时，共有三种备选方案，分别是：离散余弦变换残 第三章可扩展视频编码 差的位平面( b i t p l a l l e ) 编码【8 1 、图像残差的小波变换编码和预测离散余弦变换 残差的匹配追求编码【9 】。经过几个核心实验，离散余弦变换残差的位平面编码以 其