（计算机应用技术专业论文）基于三维小波变换的视频可分级编码研究.pdf

学位论文独创性声明 l l l l 11i tilli i 1 1 1i iiil y 18 9 0 0 3 5 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。论文中除特别加以标注 和致谢的地方外，不包含他人和其他机构已经撰写或发表过的研究成果，其他同志的研究成果对本 人的启示和所提供的帮助，均已在论文中做了明确的声明并表示谢意。 学位论文作者签名：丕雌 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规定，及学校有 权保留并向国家有关部门或机构送交复印件或磁盘，允许论文被查阅和借阅。本文授权 辽宁师范大学，可以将学位论文的全部或部分内容编入有关数据库并进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质 论文的内容相一致。 保密的学位论文在解密后使用本授权书。 学位论文作者签名：么髀 指导教师 签名日期： f 年多月7 日 辽宁师范大学硕士学位论文 摘要 现有的视频可分级编码总体分为两类。第一类是以m p e g 和h 2 6 x 系列标准为代表 的采用闭环混合预测结构的编码，如h 2 6 4 m p e g - 4a v c 的扩展标准s v c 。而随着小 波等多尺度分析理论的发展，人们发现小波变换的多分辨率特性使它较d c t 更易于实 现灵活的可分级，并具有更优秀的非线性逼近能力，更加有利于提高编码效率，于是就 产生了以小波变换为代表的采用闭环或开环预测结构的第二类编码。研究基于小波的视 频可分级编码对于迸一步改善现有方法的效率及其在各领域的应用均是非常必要的。 文章首先对视频可分级编码技术进行了概述。其次，对视频可分级编码的关键技术 基于m c t f 的三维小波变换进行了详细的说明。最后，在充分分析三维小波变换系数分 布特性的基础上，本文提出了三种嵌入式视频可分级编码算法：( 1 ) 以零树为基础，提出 一种3 d 混合的空间树形结构，同时结合人眼对不同子带的敏感性提出一种小波系数的 加权模型；在此基础上提出一种编码算法，该算法一方面可根据低频和高频小波系数的 自相关特性，采用与之相适应的树结构来处理时间低频系数与时间高频系数，从而尽可 能地减少用于定位重要系数的同步信息；另一方面可根据人眼对于不同频率分量的敏感 度对小波系数进行加权，使得对重构视频主观质量有重要作用的系数尽可能的排在码率 前端，在一定程度上改善了中低码率下重构视频的视觉质量。( 2 ) 首先分析了3 d 小波变 换后低频帧与高频帧系数分布特点，将其分别编码，并优先编码时间域低频部分；同时 根据帧差图像的固有特性，以“零体块的形式将系数组织起来，以消除传统“零树 中“孤独零的消极影响，减少同步信息的开销。最后在对待编码系数扫描过程中，只 有当某个系数为重要系数时，才对其编码，避免了对不重要系数的反复扫描，提高了编 码效率。( 3 ) 分析了双正交小波的各子带对于重构信号能量的作用，提出一种基于能量的 系数加权方法；进而在加权系数的分布特性基础上，将那些成为重要系数概率相近的系 数置于树结构的同一层，提出了重要性概率平衡的3 d 小波树，并利用像素块代替单个 像素来减少同步比特的码率；在此基础上给出了基于能量加权树的3 d 小波视频编码算 法的实现过程。实验结果表明，对于多种类型的标准测试视频序列，本文算法始终能够 保持较高的重构质量。 关键词：视频编码；可分级编码；3 d 小波变换；零树；帧差 基于三维小波变换的视频可分级编码研究 r e s e a r c ho n3 dw a v e l e tt r a n s f o r m b a s e ds c a l a b l ev i d e oc o d i n g a b s tr a c t s t a t e o f - t h e a r tv i d e oc o d i n gs t a n d a r d sc a l lb er o u g h l yc l a s s i f i e di n t ot w oc a t e g o r i e s t h ef i r s t c a t e g o r yi n c l u d e s t h en 口e ga n dh 2 6 xs t a n d a r d sw i 也c l o s e d 1 0 0 pm o t i o n c o m p e n s a t i n gh y b r i dc o d i n ga r c h i t e c t u r e ，s u c ha ss v ce x t e n s i o no fh 2 6 4 m p e g - 4a v c h o w e v e r , w i t ht h ea d v a n c e so fw a v e l e tt h e o r ya n dm u l t i s c a l ea n a l y s i s ，i ti sf o u n dt h a tt h e m u l t i r e s o l u t i o nf e a t u r eo fw a v e l e tt r a n s f o r mm a k e si tm o r ef l e x i b l e 也a nd i s c r e t ec o s i n e t r a n s f o r m ( d c l ) ，a n dt h a tt h ew a v e l e th a ss u p e r i o rn o l l l i n e a ra p p r o x i m a t i o na b i l i t yt od c t s o a st oi m p r o v ec o d i n ge f f i c i e n c y s ot h es e c o n dc a t e g o r yc o n s i s t so fc l o s e d - l o o po r o p e n - l o o pv i d e oc o d i n gm e t h o d sb a s e do nw a v e l e tt r a n s f o r m i ti sn e c e s s a r yt or e s e a r c h w a v e l e t - b a s e ds c a l a b l ev i d e oc o d i n gf o rf u r t h e ri m p r o v i n gs t a t e o f - t h e - a r tc o d i n ge f f i c i e n c y a n di t sa p p l i c a t i o ni nv a r i o u sf i e l d s f i r s t l y ，t h i sp a p e rs u m m a r i z e st h et e c h n i q u e so ft h es c a l a b l ev i d e oc o d i n g t h e n , g i v e sa d e t a i l e dd e s c r i p t i o no ft h ek e yt h r e e d i m e n s i o n a lw a v e l e tt r a n s f o r mb a s e do nm c t fw h i c hi s t h ek e yt e c h n o l o g yo fs c a l a b l ev i d e oc o d i n g f i n a l l y , b a s e do nt h ea n a l y s i so f3 dw a v e l e t c o e 伍c i c n t sd i s t r i b u t i o nc h a r a c t e r i s t i c s t h r e ee m b e d d e dq u a l i t ys c a l a b l ev i d e oc o d i n g a l g o r i t h m sa r ep r o p o s e d ( 1 ) b a s e do nt h ez e r o t r e es t r u c t u r e ，w ei n t r o d u c ea3 - dh y b r i dt r e e s t r u c t u r ea n daw e i g h tm o d e lf o rw a v e l e tc o e 伍c i e n t sa c c o r d i n gt ot h eh u m a n s s e n s i t i v i t yt o d i f f e r e n ts u b b a n d s an o v e lv i d e oc o d i n ga l g o r i t h mi ss u b s e q u e n t l yp r o p o s e d o nt h eo n e h a n d , t h i sa l g o r i t h mi sa b l et oa d a p tt r e es t r u c t u r et ot h el o wa n dh i g hf r e q u e n c yw a v e l e t c o e 街c i e n t s c o d i n gi nt e r m so ft h e i ra u t o c o r r e l a t i o n b yt h i sw a yt h es y n c h r o n i z a t i o n i n f o r m a t i o nf o rl o c a t i n gs i g n i f i c a n tc o e f f i c i e n t si se x p e c t e dt ob er e d u c e da sm u c ha sp o s s i b l e o nt h eo t h e rh a n d , o u ra l g o r i t h mw e i g h t se a c hw a v e l e tc o e f f i c i e n ta c c o r d i n gt oh u m a n s s e n s i t i v i t yt ot h ed i f f e r e n tf r e q u e n c yc o m p o n e n t s 1 1 1 ec o e f f i c i e n t sh a v i n gc r u c i a le f f e c t so n s u b j e c t i v eq u a l i t yo fr e c o n s t r u c t e dv i d e oc a l lt h u sb ea r r a n g e di nt h ef r o n to fc o d e db i t s t r e a m , i m p r o v i n gt h er e c o n s t r u c t e dv i d e ov i s u a lq u a l i t ya tl o wa n dm e d i u mb i t r a t e st os o m ee x t e n t ( 2 ) a n a l y z e st h e3 dw a v e l e tc o e f f i c i e n t sd i s t r i b u t i o nc h a r a c t e r i s t i c s t h el o wf r e q u e n c ya n d h i g hf r e q u e n c yf r a m e sa r ec o d e dr e s p e c t i v e l y a tt h es a m et i m e ，o r g a n i z e st h ec o e f f i c i e n t sb y z e r o c u b e b a s e do nt h ei n h e r e n tc h a r a c t e r i s t i e so ff r a m ed i f f e r e n c et oe l i m i n a t en e g a t i v e i m p a c t i o no ft h e “l o n e l yz e r o i nz e r o t r e e s o 也eo v e r h e a do fs y n c h r o n i z a t i o ni n f o r m a t i o n c a nb er e d u c e d f i n a l l y , i nt h ep r o c e s so fs c a n n i n gc o e f f i c i e n t s ，w h e nac o e f f i c i e n ti s s i g n i f i c a n t ，c o d e si tt oa v o i dr e p e a t e dt r e a t m e n tt oi m p r o v et h ec o d i n ge f f i c i e n c y ( 3 ) a n a l y z e s t h ec o n t r i b u t i o no fe a c hb i o r t h o g o n a lw a v e l e ts u b b a n dt ot h ee n e r g yo fr e c o n s t r u c t e ds i g n a l ， 二i i 辽宁师范大学硕士学位论文 a n dp r o p o s e sac o e f f i c i e n tw e i g h t i n gm e t h o da c c o r d i n gt ow a v e l e tb a s i se n e r g y b a s e do n d i s t r i b u t i o no fw e i g h t e dc o e f f i c i e n t s ，w ef u l l e rd i s c u s sa3 dw a v e l e tt r e es t r u c t u r en a m e d b a l a n c e ds i g n i f i c a n c ep r o b a b i l i t yt r e e ) w h i c hp l a c e st h ec o e f f i c i e n t sw i t hs i m i l a rp r o b a b i l i t i e s o fb e i n gs i g n i f i c a n to i lt h es a m el a y e r w eu s eb l o c ko fp i x e l si n s t e a do fas i n g l ep i x e lt o r e d u c et h eb i tr a t es y n c h r o n i z a t i o n s u b s e q u e n t l y ，w ep r e s e n tan o v e l3 dw a v e l e tv i d e oc o d i n g a l g o r i t h mb a s e do ne n e r g y - w e i g h t e dt r e e e x t e n s i v ee x p e r i m e n t a lr e s u l t si l l u s t r a t et h a tt h e p r o p o s e da l g o r i t h ma l w a y sa c h i e v e sg o o dr e c o n s t r u c t i o nq u a l i t yf o rm a n y s t a n d a r dt e s tv i d e o s e q u e n c e s k e yw o r d s ：v i d e oc o d i n g ；s c a l a b l ec o d i n g ：3 dw a v e l e tt r a n s f o r m ；z e r o t r e e ：f r a m e d i f f e r e n c e i i i i 。 1 1 ：! ：! ：； 1 2 3 数率可分级。3 1 - 3 国内外研究现状4 1 3 1 第一类视频可分级编码4 1 3 2 第二类视频可分级编码5 1 4 本文的工作7 2 基于m c t f 的三维小波变换9 2 1 三维小波变换概述9 2 2 运动补偿时域滤波( m c t f ) 1 0 2 2 1 提升小波变换1 0 2 2 2m c t f 提升过程1 1 2 2 3m c t f 中的关键技术。1 2 2 3 本章小结1 3 3 基于3 d 混合树和视觉特性的视频可分级编码算法1 4 3 1 弓l 言1 4 3 2 小波变换系数的相关性分析1 4 3 3 混合时空方向树结构1 5 3 4 基于h v s 的小波系数加权模型1 6 3 5 基于3 d 混合树和视觉特性的视频可分级编码算法1 7 3 6 实验结果与分析1 9 3 6 1 主观解码质量比较。2 0 3 6 2 客观解码质量比较2 1 3 7 本章小结2 2 4 基于八叉体分裂的3 d 小波视频编码算法2 3 4 1 引言_ 2 3 辽宁师范大学硕士学位论文 4 2 视频时间高频帧零树失效性分析2 3 4 3 基于八叉体分裂的3 d 小波视频编码算法2 4 4 3 1 零体块模型的提出2 4 4 3 2 八叉体分裂2 5 4 3 3 本文提出的视频编码算法2 6 4 4 实验结果与分析2 7 4 4 1 主观解码质量比较2 7 4 4 2 客观解码质量比较2 8 4 5 本章小结。3 0 5 基于能量加权树的3 d 小波视频编码算法31 5 1 引言，31 5 2 基于能量的小波系数加权3 1 5 3 重要性概率平衡的3 d 小波树结构。3 2 5 4 基于能量加权树的3 d 小波视频编码算法。3 5 5 5 实验结果与分析3 7 5 5 1 主观解码质量比较3 7 5 5 2 客观解码质量比较3 8 5 6 本章小结4 0 6 总结与展望4 1 6 1 总结41 6 2 展望：4 1 参考文献4 3 攻读硕士学位期间发表、投稿论文及参加科研项目情况。4 7 致谢4 8 一v 一 但是，视频在网上传输的过程中，用户接收视频信息的设备、解码能力和播放方式 多种多样，对于流视频服务，一个服务器可能同时需要为成千上万的用户提供服务。用 户要求不同，终端能力不同，异构网络的不同支路所能提供的服务质量不同，甚至由于 网络传输条件的变化( 比如噪声、拥塞等) ，同一个用户所能得到的带宽也因时而变。这 诸多原因导致了视频的渐进传输和多质量视频服务等应用需求，并且对视频编码提出了 严峻的挑战。视频可分级编码( s e a l a b l ev i d e oc o d i n g ，s v c ) 是一种能有效解决上述难题 的方案【l 】，成为近十年来多媒体信息传输领域的研究热点。 传统的视频编码方法可以看作是基于运动补偿和离散余弦变换相结合的混合编码 方法。该方法能够取得很好的压缩比也被一些工业标准所采纳，但很难提供可分级功能， 灵活性差而且有漂移问题的存在。小波变换固有的可扩展性能够给出图像和视频信号的 多尺度表示。此外，在基于小波的视频编码中应用运动补偿时间滤波( m c t f ) 来代替传统 的运动补偿过程，避免了回路的出现，很好的解决了漂移问题。因此，基于小波的视频 编码方法受到人们的重视。m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 在2 0 0 3 年征集视频可分 级编码方案时，收到了世界范围内的共1 4 项提议，其中1 2 项均采用了小波变换，可见 基于小波的视频编码已经登上标准化的舞台。另一方面，研究表明在码率已知或者在系 统设计的目标码率下，闭环预测结构编码器的效率要高于开环预测结构；而在其它情况 下，后者的编码效率则会高于或者近似等于前者 2 1 。故此，基于3 d 小波的开环结构的视 频可分级编码受到了更为广泛的重视，出现了诸如3 d s p i h t i s l 、m c e z b c n ，v i d w a v 平台 5 1 以及 6 1 1 等算法，然其效率仍略低于基于h 2 6 4 架构的可分级编码。小波视频编 码的发展促使t ( j o mv i d e ot e a m ) 组织成立了一个特别研究组来探索基于小波变换的 更高效率的编码。除了提供现有可分级编码的所有功能外，该编码还将在一些特定的应 用领域发挥出更优良的性能，如：高分辨率视频的存储与分发、很高层次的时空分解、 基于三维小波变换的视频可分级编码研究 非二进比例的空间分辨率可分级、极细粒度的信噪比可分级、多描述编码，区域分辨率 可变的自适应解码等。因此，研究基于小波的视频可分级编码对于进一步改善现有方法 的效率及其在各领域的应用均是非常必要的。 1 2 视频可分级编码技术概述 视频可分级编码或称视频可伸缩编码，是一种灵活的编码方式。所谓可分级性是指 视频编码器经过一次性压缩后所产生的码流能被解码端以不同的码率、帧率和空间分辨 率进行解码，以适用于不同的用户终端。这种编码方式与目前使用的联播、转码等编码 方式相比，满足各种不同需要的能力更强，编码效率更高。视频的可分级性主要有三种 基本形式，即空间分辨率可分级、时间分辨率可分级、数率可分级( 或称s n r 可分级) 【1 2 1 ， 如图1 1 所示。 图1 1 可分级视频编码示意图 f i g u r e l 1 f r a m e w o r ko fs c a l a b l ev i d e oc o d i n g 1 2 1 空间可分级 空间可分级是指以不同空间分辨率解码图像的能力。其主要是应用于接收端设备显 示屏幕分辨率不同的情况，如图1 2 所示。其实现过程是先对原始视频在空间方向进行 下采样得到低分辨率图像，对各个低分辨率进行编码得到空域基本层码流。然后将原图 像和低分辨率图像上采样恢复图像进行做差运算，对差值信息进行编码生成空域增强层 码流。 国画圜 夕畸 1 2 2 时间可分级 时间可分级是指视频帧率的更新可以被调整，如图1 3 所示。对于由连续的多帧图 像组成的视频序列，帧率越高，视频序列播放越流畅，给人的视觉效果越好。但是，帧 率增加对信道传输及终端设备的显示及处理能力都提出了更高的要求。因此，不同的应 用，对视频序列的帧率有不同的要求。目前为主流视频标准所采用的时域可伸缩编码是 通过分级b 帧和m c t f 来实现【1 3 】。 懈 低 商 图1 - 3 时间可分级示意图 f i g u r e l 3t e m p o r a ls c a l a b l ef r a m e w o r k 1 2 3 数率可分级 数率可分级是指对一个压缩的码流，终端可根据实际情况从码流的开始端来截取相 应的一段码流进行任意比率的解码，如图1 4 所示。 在基于d c t 的数率可分级编码中，分为基本层和增强层。基本层包含重要信息， 在粗糙量化基础上采用传统的非可伸缩视频编码方法。增强层由原视频帧与通过基本层 重构的视频帧之间的差值组成，编码方法与基本层相同，量化更新。以此类推，后面的 每一层都包含原始视频帧与由前面一层重构的视频帧之间更细量化的差值，便得到了多 层可分级结构【1 4 】。 l i ll r r 2 4 基于三维小波变换的视频可分级编码研究 在基于d w t 的数率可分级编码中，由于小波变换本身具有良好的空间频率局部化 特性，如频率压缩性、空间压缩性和系数分布相似特性。一些卓有成效的数率可分级编 码方案被相应的提出e z 1 5 1 ，s p i h t 1 6 1 ，e b c o t 1 7 1 。 一 1 2 8 k b p s5 1 2 k b p s1 5 0 0 k b p s 图1 4 数率可分级示意图 f i g u r e l 4q u a u t ys e a l a b l ef r a m e w o r k 1 3 国内外研究现状 现有的视频可分级编码总体分为两类。第一类是以m p e g 和h 2 6 x 系列标准为代表 的采用闭环混合预测结构的编码，如h 2 6 4 m p e g - 4a v c 的扩展标准s v c ”】。而随着 小波等多尺度分析理论的发展，人们发现小波变换的多分辨率特性使它较离散余弦变换 ( d i s c r e t ec o s i n et r a n s f o r m , d c t ) 更易于实现灵活的可分级，并具有更优秀的非线性逼近 能力，进而有利于提高编码效率。于是就产生了以小波变换为代表的采用闭环 1 8 , 1 9 1 或开 环预测结构【2 0 2 1 1 的第二类编码。 1 3 1 第一类视频可分级编码 早期的视频标准像h 2 6 1 和m p e g 一1 ，主要用于可视电话，视频会议和数据存储功 能。由于这些应用并不需要可分级性，因此标准中并没有提出可分级的编码机制。 m p e g - 2 是针对标准数字电视和高清晰电视在各种应用下的编码标准。由于基本算 法相同，其与m p e g 1 相兼容。相比于m p e g 1 ，m p e g 2 主要提供了可分级功能。主 要支持数率可分级、空间可分级和时间可分级，以及这几种可分级形式的组合，称之为 混合可分级。其可分级性质采用分层机制通过2 3 个流的组合来表示一个视频【2 2 1 。在基 本可分级编码的情况下，可分为基本层和增强层的两层视频编码；而在混合可分级编码 中，可支持三层的视频编码。基本信息层包含对图像解码至关重要的信息，增强层中包 含图像的细节。这样，在网络条件较好的情况下，可以同时收到基本信息和细节信息， 重构出高质量的图像；在网络条件较差的条件下，只接收基本信息，保证传输过程的顺 利完成。 一4 一 辽宁师范大学硕士学位论文 m p e g 4 除提供一般的空间、时间、数率可分级与m p e g 2 相类似外，主要引入细 粒度可分级的概念。分层机制( 基本层和增强层) 的一个共同特性是要想使得解码精度得 以提高，增强层的码流必须完全解码，否则不会增强解码的质量。为了解决上述问题， 世界各地的学者提出了许多解决方案，最终l iw e i p i n g 的f g s l 2 3 】方案被选中。其基本思 想是将一个视频序列编码为一个基本层码流和一个增强层码流。基本层采用非可分级编 码方式进行编码，其码率作为解码端可分级解码的下界；增强层是对原始d c t 系数与 基层粗量化系数之差用基于位平面的编码方式，将每个系数按位平面从上到下的顺序展 开，可以保证每个系数最重要的部分优先编码，这样在任意部分对码流进行解码的时候， 都能保证重要信息首先被解码，从而提供了精细可分级的特性。 h 2 6 4 m p e g - 4a v c 的扩展标准s v c 作为h 2 6 4 m p e g - 4a v c 的修正版本，主要 提供可分级功能。在与h 2 6 4 m p e g - 4a v c 相兼容的前提下，提供一个基本层和一个完 全可分级的增强层来实现空间，时间和质量可分级。在空间可分级方面，采用基于金字 塔型的层间预测方案，其自由的选择空间分辨率层间的依赖关系，使空间可分级编码更 加有效；在时间可分级方面，用运动补偿时域滤波来代替简单的分层编码方式，为视频 序列提供了内在的时间可分级性；在数率可分级方面，主要通过细粒度可分级来实现， 为了增强码流的自适应能力，重要的信息可以被嵌入到n a l 单元中，并优先传输。 1 3 2 第二类视频可分级编码 目前基于小波的视频编码技术总体上分为两大类：基于二维小波的视频可分级编码 和基于三维小波的视频可分级编码【1 4 】。 基于二维小波的视频可分级编码根据运动补偿的应用区域主要有两种情况： 基于空域运动补偿的小波视频编码方案是通过空域运动补偿和二维小波变换消除 视频时空方向冗余。该类方法是将小波变换引入视频编码器最直接、最简单的方法。与 传统基于d c t 的方法相比，其实质在于对补偿帧差的处理，用小波变换代替分块d c t 变换，采用重叠块运动补偿技术进行运动补偿，可以有效地消除方块效应，降低补偿帧 差的能量，提高重构视频的主观质量。对帧差的编码可以采用e z w 、s p i h t 、e b c o t 等经典的二维小波图像压缩算法。此外，在进行可分级解码时，由于运动估计是在编码 端的空域进行的，因此以部分码流重构出的参考帧与编码端的参考帧会出现失配现象， 从而产生漂移误差，降低视频的重构质量。 基于变换域运动补偿的小波视频编码方案是通过二维小波变换和小波域运动补偿 消除空间和时间冗余，对变换域的补偿残差进行小波压缩编码。与基于空间域运动估计 的小波视频编码相比，这类方法能更充分地利用小波变换优良的性质，不仅能够节省大 基于三维小波变换的视频可分级编码研究 量运动估计时间，降低时间复杂度，而且能够提供对对象和运动的渐进表示，便于实 视频可分级编码。小波域的多分辨率运动估计技术是上述方案的关键环节之一，其实质 是一种分层块匹配运动估计，充分利用了小波分解金字塔结构每层间的运动相关性，从 而提高运动估计的速度 2 4 1 。但是，由于小波的平移可变性，多分辨率运动估计的精确性 受到了一定影响，计算复杂度和估计准确度之间的折中成为当前研究的一个热点问题。 基于3 d 小波变换的视频编码是将视频信号看作三维图像来处理，在时间方向和空 间方向分别进行小波变换以去除视频的相关性，对得到的三维系数根据其分布特性，进 行量化和熵编码形成输出码流。图1 5 是基于三维小波的视频编码的总体框架示意图。 其中阴影框起来的运动估计部分，是指在进行时间域滤波之前，运动估计是可选的。根 据是否进行运动估计，我们又可以将三维小波视频编码分为两类：编码过程不进行运动 补偿的三维小波视频编码和编码过程进行运动补偿的三维小波视频编码。下面对这两类 编码方法进行阐述。 图1 5 基于三维小波的视频编码总体框架 f i g u r e1 5f r a m e w o r ko f 3 dw a v e l e tv i d e oc o d i n g 不进行运动补偿的三维滤波的提出，最早可以追溯到1 9 8 7 年【2 5 1 ，其中使用了2 拍 h a a r 小波进行时间域滤波。后来，p o d i l c h u k 等人在相同变换结构的基础上，又利用自 适应差分脉冲编码调制和向量量化技术进一步提高去除时间冗余的效率；与此同时， c h c n 和p e a r l m a n 将表现二维空间内尺度间小波系数相关性的零树结构推广至三维空间， 提出了3 di e z w 算法1 2 6 。这样，类似于图像嵌入式可分级编码，视频可分级编码就转 变成三维空间下重要小波系数的编码问题。该类视频编码基本是二维方法的直接扩展， 简单且计算复杂度相对较低。但是，该类方法主要有两个缺点：( 1 ) 由于编码过程中没有 进行运动估计补偿，去除时间冗余的能力有限，对于运动复杂度低、纹理复杂度也较低 的视频序列，可以获得较好的重构质量；而对于中等以上运动复杂度、纹理复杂度也较 高的视频序列，其编码效率和重构质量会大大下降口丌。( 2 ) 为了进行时间域滤波，往往需 一6 一 辽宁师范大学硕士学位论文 要存储1 6 帧图像，造成编码内存需求大，延时过大。这对于实时性较高或系统存储能 力有限的视频通信应用来说是难以忍受的。 为了解决上述时间域滤波效率不高的问题，文献 2 8 】首先将运动补偿时域滤波 ( m o t i o nc o m p e n s a t i o nt e m p o r a lf i l t e r i n g ，m c t f ) 弓 ) k 到三维小波变换中。它将运动补偿 技术和时间维方向的一维小波变换结合起来，在时间域上沿着物体的运动轨迹进行小波 分解。由于同时采用了运动补偿和时域一维小波分解去除时间冗余信息，不仅明显降低 了时域高通子带的能量，也减少了时域低通子带中重要系数的个数，进而显著地提高了 编码效率。 利用三维小波进行视频编码的优势在于能够生成完全嵌入式的码流，具有精确的码 率控制能力，便于提供空间、时间、数率等多种形式的连续可分级服务，且没有块效应。 为了进行时间域滤波，往往需要存储1 6 帧图像，造成编码内存需求大，延时过大。比 较直接的解决方法是牺牲一定程度的编码效率，减少参与时间域小波变换的帧数，进而减 小缓存需求和延时。对于没有进行运动补偿的编码过程，其去除时间冗余的能力有限， 不利于编码中等以上运动复杂度、纹理复杂度也较高的视频序列。对于进行运动补偿的 编码过程，其沿着运动轨迹的精确滤波过程能够很好的去除时间冗余，为后续高效的编 码奠定基础，但其也耗费了大量的时间。因此，在实际应用的过程中，要有选择的使用， 找到一个合适的平衡点。 1 4 本文的工作 传统的视频编码方法可以看作是基于运动补偿和离散余弦变换相结合的混合编码 方法。该方法能够取得很好的压缩比也被一些工业标准所采纳，但其可分级功能是基于 分层结构实现的，灵活性差而且有漂移问题的存在。小波变换固有的可扩展性能够给出 图像和视频信号的多尺度表示。在基于小波的视频编码中应用运动补偿时间滤波来代替 传统的运动补偿过程，避免了回路的出现，很好的解决了漂移问题。因此，基于三维小 波的视频编码方法受到人们的重视。 本文将对基于三维小波的视频可分级技术进行研究，具体工作安排如下： 第一章首先介绍论文选题背景及意义，明确了本文应该从哪些方面对视频编码技术 进行研究和改进。接着介绍了视频编码的可分级性并就当前国内外研究现状进行了详细 的说明。 第二章介绍三维小波变换的基本结构，并详细分析了其中的关键技术运动补偿时域 滤波( m c t f ) 的原理与实现过程。 一7 一 基于三维小波变换的视频可分级编码研究 第三章以零树为基础，提出一种3 d 混合的空间树形结构，同时结合人眼对不同子 带的敏感性提出一种小波系数的加权模型；在此基础上提出一种基于3 d 混合树和视觉 特性的视频可分级编码算法。 第四章首先对基于3 d 小波的视频可分级编码技术的发展情况进行了概述，进一步 对视频的3 d 小波变换及其统计特性进行了分析，特别对时间高频帧零树编码的无效性 进行了分析，提出一种时间高频帧的“零体块 模型，在此基础上提出一种基于八叉体 分裂的3 d 小波视频编码算法。 第五章分析了双正交小波的各子带对于重构信号能量的作用，提出一种基于能量的 系数加权方法；进而在加权系数的分布特性基础上，将那些成为重要系数概率相近的系 数置于树结构的同一层，提出了重要性概率平衡的3 d 小波树，并利用像素块代替单个 像素来减少同步比特的码率；在此基础上给出了基于能量加权树的3 d 小波视频编码算 法。 一8 一 辽宁师范大学硕士学位论文 2 基于m c t f 的三维小波变换 2 1 三维小波变换概述 在基于三维小波【2 9 】的视频编码中，通过三维小波变换来去除时间方向和空间方向的 冗余。根据三维小波时间滤波和空间滤波的执行顺序大致分为两类：一类称为t + 2 d 系 统，视频序列首先通过m c t f 去除时间冗余，然后对产生的低频帧和高频帧进行二维离 散小波变换，生成的三维小波系数被组织成特性各异的子带。另一类称为2 d + t 系统， 与上面t + 2 d 系统的处理顺序相反，视频序列首先进行二维离散小波变换，然后对小波 变换后各个子带进行运动补偿时域滤波。两类系统最后都利用小波系数的分布特性，进 行量化和熵编码形成输出码流。这两类系统各有利弊。但是从总体上说，t + 2 d 系统更 有效，2 d + t 系统在低比特率下性能较好，但不能很好地满足高比特率情况【3 们。 目前，不管是什2 d 系统还是2 d + t 系统在三维小波分解的过程中都有对称的和分解 的两种分解方式。我们以t + 2 d 系统为例，对称的三维小波变换就是二维小波变换的直 接扩展，如图2 1 左图所示。虽然二维小波变换应用到图像中取得了很好的效果，但其 直接扩展应用到视频序列中并不是最优的。原因在于视频序列沿着各个方向表现出不同 的属性，早先的视频编码系统【2 够l 】就是用的这种分解方式。分解的三维小波变换，其基 本思想就是对视频序列首先进行多级时间方向的小波变换，以充分去除视频之间的时间 冗余，然后在对得到的各个时间低频和高频子带进行二维小波变换，去除空间冗余。如 图2 1 右图所示。有统计表明，视频序列沿着时间方向的相关性要明显强于沿着空间方 向的相关性【3 2 】，分解的小波变换能更好地去除时间和空间的冗余。因此，目前大部分三 维小波的视频编码【3 珊】就是采用这种分解方式，这也是本文所采用的分解方式。 1 ) 对称的三维小波变换2 ) 分解的三维小波变换 图2 1 三维小波变换两种分解方式 f i g u r e2 1 t w o p a t t e r n so ft h r e ed i m e n s i o n a lw a v e l e td e c o m p o s i t i o n 基于三维小波变换的视频可分级编码研究 2 2 运动补偿时域滤波( m c t f ) 早期的视频编码系统。为了简单，滤波过程是通过各个视频帧中相同位置上的像素 之间的操作实现的，不能有效地去除视频帧间的冗余，降低了编码效率。为了提高滤波 效率，将运动补偿引入到时域滤波中。运动补偿时域滤波的实质就是沿着运动轨迹进行 滤波，如图2 2 所示，其中每一列代表一帧。以f 1 帧中的h 0 为例，h 0 并不是通过f o ， f 2 中相同位置上的像素点滤波得到的，而是沿着前后运动向量确定的运动轨迹方向滤 波实现的。目前，m c t f 都是基于小波提升方法来实现的。 q誊尊臻9露o参 数。：参0 ：铖 兰、生：一一葚0 2 2 1 提升小波变换 s w e l d e n s 等受到d o n o h o 和l o u n s b e r y 等工作的启发，将多尺度分析理论推广到第 二代小波的构造中，提出了机遇提升方案的小波构造框架，并在此基础上，提出了基于 提升方案的快速小波变换。与卷积运算相比，构造简单，变换速度更快，并且可以完全 重构。其过程可分为三个步骤：分裂、预测和更新。 分裂过程，该过程将输入信号x 划分成两个样本集合，划分方法不同，对应的初始 小波基也不同。最常用的划分方法是将信号分解为偶数样