（通信与信息系统专业论文）基于变换域wynerziv视频编码的率失真模型研究.pdf

摘要 y 2 - 0 6 7 8 8 3 1 分布式视频编码的典型特点是编码简单、解码复杂，这与传统的视频压缩算法 如h 2 6 x 和m p e g 截然不同。近年来，无线低功耗视频监控、无线视频传感器网 络、无线视频移动设备等新的应用，由于功耗、存储空间等限制，普遍需要编码 器简单，而分布式视频编码的特点正好适用于这些应用场景。因此很多国内外学 者投入分布式视频编码的研究，其中w y n e r - z i v 视频编码是一个主要研究热点。 本论文主要是基于无反馈w y n e r - z i v 视频编码，提出了基于l a p l a c i a n 分布的 率失真( l d r d ) 模型，并将这个率失真模型应用于d c ( 直流) 系数的量化。首先 分析了量化步长对w y n e r - z i v 帧d c 系数的失真与速率的影响，并构建了一个基于 l a p l a c i a n 分布的率失真模型。接下来，利用l d r - d 模型，提出了两种确定d c 系 数量化步长的算法，即基于l d r - d 模型的量化步长算法和自适应的量化步长算法。 其中，基于l d r d 模型的算法主要是在率失真模型的基础上，采用二分法求解出 d c 系数的量化步长；而自适应的量化步长算法给出了基于内容自适应的d c 系数 的量化步长计算方法，该方法考虑了视频内容的变化。 实验结果表明，基于l d r - d 模型的量化步长算法，能有效提高系统的率失真 性能，其平均p s n r 有0 3 1 0 d b 的提高；而自适应的量化步长算法相比基于l d r d 模型的算法，系统能再有o 1 0 2 d b 的提高，且大大改善了恢复视频的主观质量。 同时，由算法引入而增加的编码时间小于4 ，基本没有增加编码器的复杂度。 关键词： w y n e r - z iv 视频编码，拉普拉斯分布，率失真模型，d c 系数，量化步长 a b s t r a c t d i s t r i b u t e dv i d e oc o d i n g ( d v c ) f e a t u r e ss i m p l ee n c o d e r sb u tc o m p l e xd e c o d e r s ， w h i c hl i e si nc o n t r a s tt oc o n v e n t i o n a lv i d e oc o m p r e s s i o ns o l u t i o n ss u c ha sh 2 6 xa n d m p e gt h i sd i s t i n g u i s h i n gf e a t u r ei sw e l ls u i t e df o ra p p l i c a t i o n sw i t hr e s t r i c t e dp o w e r o rs t o r a g es p a c e ，s u c ha sw i r e l e s sl o w - p o w e rs u r v e i l l a n c ea n dm u l t i m e d i as e n s o r n e t w o r k s ，w i r e l e s sc a m e r a s ，a n dm o b i l ec a m e r ap h o n e s t h e r e f o r e ，d v ci ss t u d y i n g w i d e l yb yt h es c h o l a r sa r o u n dt h ew o r l d w y n e r - z i vv i d e oc o d i n gh a sr e c e n t l yb e c o m e ar e s e a r c hf o c u so fd i s t r i b u t e dv i d e oc o d i n g t h i sp a p e rp r e s e n t sar a t e d i s t o r t i o nm o d e lb a s e do nl a p l a c i a nd i s t r i b u t i o n ( l d r - d ) i nu n i d i r e c t i o n a ld i s t r i b u t e dv i d e oc o d i n g ，w h i c hi sa p p l i e dt ot h eq u a n t i z a t i o nf o rd c c o e f f i c i e n to fw y n e r - z i vf r a m e f i r s t l y , t h er a t e - d i s t o r t i o nm o d e lb a s e do nl a p l a c i a n d i s t r i b u t i o ni sd e v e l o p e db ya n a l y z i n gt h ee f f e c t so fq u a n t i z a t i o ns t e po nb o t hd i s t o r t i o n a n dr a t e w i t ht h el d r - dm o d e l ，t w oa l g o r i t h m so nt h eq u a n t i z a t i o nf o rd cc o e f f i c i e n t a r ep r o p o s e d ： q u a n t i z a t i o ns t e pb a s e do nl d r dm o d e l ，a d a p t i v eq u a n t i z a t i o ns t e p b a s e do nl d r - dm o d e l m o r es p e c i f i c a l l y , w i t ht h er - dm o d e l ，t h ef o r m e ru s e st h e b i n a r ys e a r c ht of i n dt h eq u a n t i z a t i o ns t e po fd c c o e f f i c i e n t a n da d a p t i v eq u a n t i z a t i o n s t e pb a s e do nl d r - dm o d e li sp r e s e n t e dt os e a r c ht h eq u a n t i z a t i o ns t e p ，w h i c hi s a d a p t i v et ot h ec o n t e n to fv i d e o s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tq u a n t i z a t i o n 、 ，i n lo u rp r o p o s e da l g o r i t h m sc a l l h a v eas i g n i f i c a n tr dp e r f o r m a n c ei m p r o v e m e n t t h ea v e r a g ep s n ro fw zf r a m e si n t h es y s t e mu s i n gq u a n t i z a t i o ns t e pb a s e do nl d r - dm o d e li sa b o u t0 3 - 1 0 d bh i g h e r t h a nt h eo n ew i t h o u tu s i n gi t a n dc o m p a r e dw i mt h ef o r m e r , a d a p t i v eq u a n t i z a t i o ns t e p b a s e do nl d r dm o d e lc a l li m p r o v et h ea v e r a g ep s n ro fw zf r a m e sb y0 1 o 2 d b a n dc a l lp r o v i d eb e t t e rs u b j e c t i v eq u a l i t y w h i l eu s i n go u ra l g o r i t h m s ，t h ec o d i n g c o m p l e x i t yi n c r e a s es l i g h t l y , o n l ya b o u t4p e r c e n t k e y w o r d s ：w y n e r - z i vv i d e oc o d i n g ，l a p l a c i a nd i s t r i b u t i o n ，r a t e d i s t o r t i o nm o d e l ， d c c o e f f i c i e n t ，q u a n t i z a t i o ns t e p 第一章绪论 第一章绪论 1 1 引言 随着信息技术和互联网的快速发展，人们对信息的需求、获取、描述、交流、 传输等发生了巨大的改变，多媒体尤其视频已成为人们获取信息最主要的载体， 视频相关技术成为信息领域开发和研究的热点之一。i t u t 和i s o 制定了一系列 图像编码标准，从h 2 6 1 到h 2 6 3 ，m p e g 2 ，m p e g - 4 ，h 2 6 4 a v c t l 叫。这些标 准的制定，极大地促进了视频编码技术的应用化和产业化，并带来了一系列的产 品，如可视电话、v c d 、会议电视、数字电视( d t v ) 等等，极大丰富了我们的生活。 视频图像数据拥有大量的冗余信息，如空间冗余、时间冗余、信息熵冗余、视 觉冗余等，传统的数字视频编码方法普遍是基于预测的混合编码技术，其目的是 最大限度地去除视频序列空间域和时间域的冗余度，用尽可能少的编码比特来表“ 示其所包含的信息，以达到数据的高效压缩的效果。这种编码技术采用了不对称 编码方式，需要在编码端进行复杂的运动估计、变换、量化、熵编码以及参考帧 重建等处理，同时编码端通常会隐含着一个解码器，因此编码器的复杂度远高于 “ 解码器。尤其是编码器的运动估计和运动补偿部分占用了大量资源，使得编码器 的运算复杂度是解码器的5 至1 0 倍以上【5 】。因此这些传统的视频编码方法非常适 用于硬盘存储、广播、视频点播等需要一次编码和多次解码的应用场合。 近年来，在多媒体通信技术领域许多新的视频应用不断涌现，需求也很广泛， 如便携式视频摄像机、移动视频电话、多媒体传感器网络等。因其设备的计算速 度、内存空间、电池容量都有限，这些应用要求编码设备相对简单，而解码设备 则可以拥有较多的资源进行复杂的计算。而传统的视频编码标准( 如m p e g 和 h 2 6 x ) 在编码端的复杂度很高，难以满足这些新应用的需求。在这种情况下，传统 视频编码方法面临巨大挑战。与传统视频编码方法相反，一种全新的视频编码框 架分布式视频编码( d i s t r i b u t e dv i d e oc o d i n g ，d v c ) 6 - 9 1 ，其主要特点就是编码 简单，解码相对复杂。该视频编码方法主要思想是将运动估计和运动补偿模块的 计算复杂度转移到解码端，以使编码器轻量化，从而降低了编码器的计算复杂度。 从理论上而言，d v c 系统能提供与传统的视频编码系统相当的编码性能。分布式 视频编码是设计具有低计算复杂度的视频编码器和解码器的一种有效解决方案， 所以对分布式视频编码的研究既具有理论意义，同时又有较大的实用价值。 2 基于变换域w y n e r - z i v 视频编码的率失真模型研究 1 2 分布式视频编码研究现状与典型应用 对分布式信源编码的研究最早始于2 0 世纪7 0 年代，s l e p i a n 和w 6 l f 建立了分 布式无损编码理论【1 0 l s l e p i a l l w b l f 理论，它是分布式信源编码的开创性理论。 在此基础上，w y n e r 和z i v 扩展并将其理论延伸至有失真的情况，从而建立了有损 分布式编码理论【1 1 1 ，形成了w y n e r - z i v 编码理论。这两个理论奠定了d v c 的理论 基础。虽然上述理论早在2 0 世纪7 0 年代就已经提出，但由于缺乏有效的实现方 案，其后的几十年里分布视编码的发展速度相对缓慢。直到近年来，随着无线视 频传感器网络和无线视频移动设备的应用需求和优秀实用的信道编码技术的发 展，d v c 才重新成为研究热点。 1 2 1 分布式视频编码研究现状 虽然w y n e r z i v 理论给出了在给定失真度条件下的编码信息码率的下限，但并 没有提供可行的系统实现方案。相关领域的学者对w y n e r - z i v 编码相关实用技术 进行了研究，有力地促进了分布式视频编码技术的发展。下面介绍几个典型方案： 美国斯坦福大学的b g i r o d 等人较早地提出了基于像素域的d v c 系统 1 2 2 0 l 。 该系统采用均匀标量量化器对每个像素量化，然后用基于t u r b o 码的s l e p i a n - w o l f 编码器对量化序列进行压缩。像素域w y n e r - z i v 帧编码能取得介于传统帧内和帧 间编码之间的率失真性能。不久，d c t 变换被g i r o d 课题组引入至d v c 中，产生 了基于t u r b o 码的变换域d v c 系统。 美国加州大学的r a m c h a n d r a n 课题组也实现了基于d c t 变换域d v c 方案，即 基于伴随式的高效率鲁棒多媒体编码，( p o w e r e 筒c i e n t ，r o b u s t ，h i g h _ c o m p r e s s i o n ， s y n d r o m e - - - b a s e dm u l t i m e d i ac o d i n g ，p r i s m ) 2 1 - 2 2 1 方案。其主要做法是对8 8 块 的d c t 变换系数进行标量量化，用t r e l l i s 码压缩量化的d c t 系数。由于变换编 码能进一步去除图像的空间冗余，因此基于d c t 变换域的d v c 解决方案在编码 性能上要优于像素域。 z i x i a n gx i o n g 提出的分级w y n e r z i v 编码算法也是一种很有代表性的分布式 视频编码方案瞄1 1 2 4 1 。在这种分级w y n e r - z i v 视频编码方案中，视频编码被分为基 本层和增强层。其中基本层编码使用h 2 6 x 编码，增强层则采用w y n e r z i v 编码。 这种编码方式的最大特点是可以避免由于传输错误造成的编码和解码失配问题， 因此该方案具有更好的抗误码能力。 第一章绪论 3 1 2 2 分布式视频编码的优点 分布式视频编码特殊的结构决定了它具有以往普通编解码方案所不具有的优 点： 1 、d v c 转移复杂度至解码端，使编码端复杂度降低。 分布式视频编码采用了与传统视频压缩方法完全不相同的编码方式。分布式视 频编码对各视频帧进行独立编码，只进行变换、量化和s l e p i a n - w o l f 编码。相比传 统的视频编码方法，d v c 在编码侧不进行或只进行非常简单的运动估计，从而去 除了以往在传统视频编码中的大量复杂预测与估计计算。另外在编码侧无需缓存 已编码的图像，d v c 省去了传统视频编码算法中编码侧的解码环。而在解码 w y n e r - z i v 帧时，除了利用编码端发送的码流外，d v c 需要利用视频帧之间的相 关性进行复杂高的运动估计运动补偿计算产生边信息，然后结合边信息进行 s l e p i a n w o l f 解码和图像重构。因此复杂度的转移造就了d v c 编码器复杂度的降 低。 2 、d v c 具有与生俱来的抗误码能力。 从本质上讲，分布式编码技术是一种联合信源信道编码技术。分布式编码与信 道编码具有的内在联系使得它对信道传输噪声具有与生俱来的鲁棒性。分布式编 码的编码器构造多数是以信道编码技术为基础。p r a d h a n 和r a m c h a n d r a n 最早开始 了d i s c u s t 2 5 】【2 q ( d i s t r i b u t e ds o u r c ec o d i n gu s i n gs y n d r o m e s ) 的研究。另外，实 用且性能优秀的t u r b o 码和l d p c ( 低密度校验码) 被应用于分布式视频编码，它 们的压缩性能可以接近s l e p i 孤w r o l f 理论的编码下限。因为信道编码具有的抗误码 能力，在分布式编码中，不仅原始信息与边信息之间的误差能够通过信道编码被 纠j 下，而且冈网络传输而导致的码流也可以被纠正。 此外d v c 的独立编码的结构，使得d v c 能有效的防止误码扩散。因为分布 式解码时，仅需考虑当前解码帧和预测边信息之间的相关性统计，只要在解码侧 可以使用符合相关性的边信息即可正确解码。这样的结构有效地避免了传统编码 方法中因为用于解码当前帧的预测帧的误码而带来的误码扩散。 1 2 3 分布式视频编码的应用前景 因为分布式视频编码算法具有抗误码能力良好，编码器复杂度低等特点，所以 其应用前景相当广阔。下面介绍一些典型的应用： 无线移动视频通信：移动电话自身在计算能力、存储和电力资源等方面的受到 限制，而分布式视频编码器低复杂度的优点可以满足该需求。如图1 1 所示，这样 结构能使得编码终端和解码终端都简单易实现、功耗低，且有效地保证视频通信 4 基于变换域w y n e r - z i v 视频编码的率失真模型研究 质量 6 1 r l 。分布式视频编码可以与转码技术结合使用，在无线网络中采用转码代理 服务器，将运算负担转移给网络中间的节点。 图1 1d v c 在移动设备上的应用 视频传感器网络：图1 2 为相机矩阵，这是典型的视频传感器网络系统【2 7 1 。相 机阵列通过不同视角的拍摄得到物体的立体图像，该系统具有海量数据和高冗余 的特点，所以数据的高效压缩至关重要。 图1 2 相机阵列 多视角视频应用：对于同一场景的图像，多视角视频应用是从不同视角来捕捉 的，相比非多视角视频应用，多视角视频应用所需捕捉的图像数据量相对较大， 这就要求有较大的存储空间来存放数据，同时要能允许以较大的传输速率进行发 送。由于传感器的运算能力、功率等的限制，传感器传输数据与存储的能力就变 得有限，这就要求对得到的数据尽量压缩以达到使用较小的存储空间存放较多的 数据。所以高压缩率是多视角视频应用需要考虑的重要因素。不同视角间的相关 一；。阉。，1r，“【1。rl。v。i 第一章绪论 5 性较大，这就需要一个复杂度较低的编码器来满足多视角视频应用的限制。分布 式视频编码具有编码简单、较高压缩率和高容错能力等特点，使得它非常适合于 多视角视频应用。 在可伸缩视频编码中，分布式视频编码算法也能很好的应用。在文献【2 8 】中所实 现的可伸缩视频编码系统中，视频流分成了基本层和增强层。其中基本层是由传 统的h 2 6 x 视频编码器生成，增强层则由w y n e r - z i v 编码器生成。 1 3 论文的研究内容和章节安排 论文以国家自然科学基金项目分布式视频编码的关键技术研究( 项目编号 6 0 8 0 2 0 3 2 ) 为研究背景，主要在无反馈的w y n e r - z i v 视频编码中，针对d c 系数， 提出了一种基于l a p l a c i a n 分布的率失真模型，并将率失真模型应用于量化中。以 下是本文的具体研究内容： l 、基于无反馈w y n e r - z i v 视频编码系统，对w y n e r - z i v 帧d c 系数，、提出并 构建了一种新的率失真模型。率失真模型分析了量化步长对w y n e r - z i v 帧d c 系数 的失真与编码速率的影响，并基于l a p l a c i a n 分布定义了相应的速率与失真的代价 函数，其中代价函数可以寻找d c 系数的量化步长。该率失真模型可应用于无反馈 分布式视频编码w y n e r z i v 帧的d c 系数的量化。 2 、在无反馈w y n e r - z i v 视频编码系统中，提出并实现了两种基于l d r d 模型 确定d c 系数的量化步长算法，即基于l d r - d 模型的量化步长算法和自适应量化 步长确定算法。其中基于l d r d 模型的量化步长算法主要思路是利用建立的率失 真模型中的代价函数，并用二分法求解d c 系数的量化步长；而在前一种算法的基 础上，基于l d r - d 模型自适应的量化步长算法，加入了与图像内容自适应的设计。 这两种算法都能有效地提升系统的率失真性能。 论文各章的安排如下： 第一章给出了分布式视频编码的研究背景，然后简述了其研究进展、优点以及 典型应用，最后给出了论文的结构安排。 第二章简要介绍了分布式视频编码的基本理论，已有的实现方案和其相关关键 技术介绍。 第三章首先给出了本文提出的无反馈分布式视频编码系统中w y n e r - z i v 帧量 化器设计。然后特别针对w y n e r z i v 帧的d c 系数，建立了一种新的基于l a p l a c i a n 分布率失真模型。该模型分析了量化步长对其失真与编码速率的影响，在模型中 定义了量化步长对应的率失真代价函数，并给出了代价函数最小值证明。其中代 价函数可以用于寻找d c 系数的量化步长。 第四章主要是在本文建立基于l d r - d 模型上，提出了两种确定d c 系数的量 6 基于变换域w y n e r - z i v 视频编码的率失真模型研究 化步长的算法，即基于l d r - d 模型的量化步长算法和自适应量化步长确定算法。 首先基于l d r d 模型的量化步长算法主要是基于l d r - d 模型，并利用二分法求 解出了d c 系数的量化步长；接着在前一种算法基础上，基于l d r - d 模型自适应 量化步长算法，提出了基于内容自适应的确定d c 系数的量化步长算法；最后对两 种算法的率失真性能进行了比较。 第五章总结了全文，并指出了下一步研究方向。 第二章分布式视频编码 7 第二章分布式视频编码 2 1 分布式信源编码理论 分布式视频编码的思想最早由s l e p i a n 和w o l f , w y n e r 和z i v 以信息编码理论 的方式提出，并且加以论证。他们分别建立了s l e p i a n w o l f 无损分布式编码理论和 w y n e r - z i v 有损分布式编码理论。s l e p i a n - w o l f 理论主要是采用在编码端对视频帧 进行独立编码，并在解码器端进行联合译码思路，从而能够避免了传统编码方法 在编码端的复杂的帧间预测编码，降低了编码端的复杂度。w y n e r - z i v 理论则是采 用了联合边信息解码方法，主要是利用当前帧与边信息之间的相关性来对当前帧 进行译码，其中边信息由译码端使用已解码的视频帧生成。 分布式编码的理论给国内外学者对分布式视频编码的实现方案和系统框架及 实用技术进行了广泛的研究提供了理论的基础，并指导其开发出了一系列实用 d v c 方案。下面详细介绍s l e p i a n w o l f 理论与w y n e r - z i v 理论。 2 1 1s l e p i a n - w o l f 无损分布式编码理论 分布式信源编码指的是对两个( 或更多) 相关的随机序列进行编码，每一个信 源采用独立的编码器，编码后的码流发送到同一个解码器，该解码器利用序列间 的统计相关特性，联合所有输入的码流进行联合解码。如图2 1 所示，假定x 和】， 为两个统计相关的离散无记忆信源。 图2 1s l e p i a n - w o l f 无损分布式编码示意图 s l e p i a n w o l fj 里论指出x 和】，要达到无损压缩，编码x 和】，的总码率下限条件 r = 如+ 耳= h ( 置y ) 。也就是说只有满足上述条件后，x 和y 才可以在解码端无 损地重构。s l e p i a n w o l f 编码理论说明采用单独编码一联合解码的编码方式( 仅在解 码端利用x 和】，之间相关性) ，系统无损压缩x 和】，的最低码率与联合编码，联合 8 基于变换域w y n e r - z i v 视频编码的率失真模型研究 解码编码( 传统编码采用的方案) 方式的码率相同。当编码码率同时满足式2 1 、 2 2 、2 3 的条件时，解码器则能以任意小的错误概率对压缩信源进行解码。 磁+ 墨( 置功( 2 1 ) 如h ( x i 】，) ( 2 2 )-，、- - ， 墨h ( y i x ) ( 2 - 3 ) 其中，戤、尺】，和月i 、4 ( 分别为k 】，的码率和信息熵。 根据s l e p i a n w o l f 编码理论，编码器所需要满足的码率范围如图2 2 的阴影区 域所示。 图2 2s l e p i a n - w o l f 编码理论的码率图 图2 2 中a 点为分布式编码的一个特例，它对应着原始信源为z 边信息为】， 的情况，a 点的情况可实现为如图2 3 所示。对于在编码侧x 和y 独立编码且解码 端以】，为边信息对j 进行解码的情况，s l e p i a n w o l f 理论指出，】，的编码码率需要 满足r ，h ( y ) ，则在解码端可以无损地重构】，同时x 无损压缩的码率必须满足 条件如h ( xi 】，) ，因此总码率为r r + r y 日( 】，) + h ( x i ，) 。另外不管边信息】， 在编码端是否被利用来进行编码，该结论都成立。 图2 3 使用边信息的无损分布式编码 虚拟信道的概念被引入了分布式信源编码，其主要的思想是利用信源x 和边信 息】，间的相关性构造一个虚拟的信道。具体来说，虚拟信道的输入为工虚拟信道 的输出为边信息l x 和y 之间的差别可看成是由虚拟信道的噪声干扰造成的误码。 第二章分布式视频编码 9 由于x 和】，间的相关性，所以虚拟信道容量，( x ；功大于0 ，即虚拟信道是携带了 一定信息量的，因此在构建一个信道码字时尽量等于，( x ；功的减少量。解码器结 合了边信息】，后，彳中剩余的不确定性为：h ( x i 即= h ( x ) - i ( x ；即，即日( x i 功 为x 另外需要传输的码率，则易知边信息】，存在可节省的码率为，( x ；聊。 2 2 2w y n e r - z i v 有损编码理论 图2 4 使用边信息的有损分布式编码 基于s l e p i a n 和w o l f 的工作，w y n e r 和z i v 发展了s l e p i a n w o l f 无损编码理论， 将其延伸到了有损压缩领域。设x 和】，为两个统计相关的信源，x 为原始信息，】，： 为边信息，如图2 4 所示。对信源x 进行w y n e r - z i v 编码，在解码侧重构得到信号一 x ，失真为d = n d ( x ，删，当编码侧和解码侧都已知边信息时，编码x 的最低 码率为氐y ( d ) ；当编码侧不知道边信息，且边信息仅在解码侧可知时，编码x 的 最低码率略( d ) 满足式2 - 4 ： r x 鞴y ( d ) - r x i y ( d ) o ( 2 4 ) 可以看出，在编码端不知道边信息的情况下，x 的编码码率高于编码侧知道边 信息情况下的码率。当信源是高斯无记忆信源且失真函数采用均方误差的条件下， w y n e r - z i v 理论证明编码码率满足晦( d ) = 如i y ( d ) 。 2 2 典型的分布式视频编码系统与实现方案 由s l e p i a n ，w o l f 和w y n e r ，z i v 建立的分布式信源编码理论s l 印i a i l - w o l f 和w y n e r - z i v 理论，近些年被应用于视频压缩领域中，称为分布式视频编码。目前 分布式视频编码有很多不同的实现框架，比较典型的分布式视频编码系统是斯坦 福大学b e m dg i r o d 小组提出的w y n e r - z i v 视频编码系统，以及加州大学伯克利分 校k a n n a nr a m c h a n d r a n 小组提出p r i s m 系统。下面分别介绍两种系统： 1 0 基于变换域w y n e r - z i v 视频编码的率失真模型研究 2 2 1 斯坦福w y n e r - z i v 方案 斯坦福大学提出的w y n e r - z i v 视频编码系统，可分为基于像素域的分布式视频 编码系统【2 9 【3 0 】和基于变换域的分布式视频编码系统f 3 l 】【3 2 1 。基于像素域的w y n e r - z i v 视频编码器考虑并去除帧间的时间相关性，但是w y n e r - z i v 帧的空间相关性被忽略 了。变换域w y n e r - z i v 视频编码则克服了这点，因此变换域w y n e r - z i v 视频编码具 有更好的压缩性能和更好的解码图像质量，其系统框图如图2 5 所示。 图2 5 给出的系统使用了帧内编码帧间解码的体系结构。系统将输入视频帧分 为关键帧k 和w y n e r - z i v 帧职其中关键帧采用传统的帧内编解码方法，如h 2 6 x 或m p e g 的帧内编解码。 下面介绍其w y n e r - z i v 帧的编码过程如下：首先待编码的图像以块为单位进行 d c t 变换，得到d c t 变换系数按块中相同位置的按组组合一起，形成系数带凰。 然后对系数带尥进行2 坼级量化( 对于不同的系数带，m k 的取值不同) ，即将系数 带内的所有系数对应到2 机个区间内，每个量化后的系数用m k 个比特表示。接着 量化后的系数带鲰，所有系数从高位到低位将相同位的比特提取出来，形成坛个 位平面，t u r b o 编码器以比特而为单位进行编码。最后将信道编码t u r b o 输h 的校 验位缓存在编码侧，待传输到解码侧； 图2 5 基于d c t 域的w y n e r - z i v 视频编码系统 w y n e r - z i v 帧的解码过程如下：解码侧首先利用解码出的关键帧k 和 w y n e r - z i v 帧w ，通过内插或外推方法产生边信息帧旷，以用于解码和重构当前 w y n e r - z i v 帧。接着对渺帧进行d c t 变换，并通过组合相同频率系数产生边信息 的系数带丘。t u r b o 解码器联合边信息系数带丘和收到的校验位，从系数带的最 高位平面开始依次解码，若解码失败则请求编码侧发送更多的校验位进行解码， 直到获得可接受的解码错误概率为止。然后，将t u r b o 解码器纠正后位平面进行合 并，形成量化后的系数带玑。接下来，利用巩和边信息系数带丘，根据式2 5 重 第二章分布式视频编码 构系数带z ，并对所有系数进行i d c t 得到w y n e r - z i v 帧的解码重构图像矿。 x 7 = e i 五i 靠，五l ( 2 5 ) 可以看出，在图2 5 中变换域的分布式视频编码系统中，编码侧只进行了简单 的d c t 变换、量化、t u r b o 编码，并未进行像传统编码方法中的运动估计和运动 补偿等运算，因此编码器计算复杂度很低。相反，解码侧需要进行复杂的运动估 计和运动补偿计算，以产生边信息，用于辅助w y n e r - z i v 帧的解码重构。由于这样 计算相对耗时，则要求解码器具有较高的运算处理能力。 实验结果表明，与基于d c t 的帧内编码方法相比，w y n e r - z i v 系统的恢复图像 客观质量p s n r ( 峰值信噪比) 有4 - - - 7 d b 的提高，但与h 2 6 3 + 帧间编码相比，p s n r 则更低，且有2 - - 3 d b 差距1 3 。另外，w y n e r - z i v 帧的编码复杂度非常低，以h 2 6 3 + 帧间编码的时间为基准，编码时间仅为帧间编码的7 。 2 2 2p r i s m 系统 加州大学伯克利分校提出并实现另外一个典型的分布式视频编码系统 p r i s m 系统【3 3 1 ，其系统框图如图2 6 所示。 ( a ) 编码器 ( b ) 解码器 图2 6 p r i s m 系统 其编码过程如下：待编码的图像分为若干n x n 子块，以子块进行编码，基于 对子块与前一帧中预测块的相关性分析，予块被分为不同类型，不同类型的子块 要采用不同的编码模式，这样以后就能确定子块需要编码的位平面数目。对子块 进行d c t 变换和z i g z a g 扫描后，二维系数就变为一维向量了，系统对变换系数进 行量化时根据恢复图像的质量要求选择量化步长。最后量化后的系数被送入混合 1 2 基于变换域w y n e r - z i v 视频编码的率失真模型研究 编码器，对于每个子块内量化后系数的各个位平面，一部分进行熵编码，另一部 分结合陪集信道码进行编码，同时在编码端对每个子块内量化后系数生成一个循 环冗余校验作为h a s h 码字，用来辅助解码侧的运动估计。 其解码过程如下：解码器结合收到的视频码流与通过运动估计产生的边信息， 进行联合解码，并对解码结果做h a s h 校验。如果校验正确，则认为解码成功；否 则，重新进行运动搜索生成另一个边信息，并重复解码与校验过程。解码成功后， 利用解码得到的量化系数和边信息进行重构，随后进行反z i g z a g 扫描和i d c t 变 换后得到解码的图像。 p r i s m 系统可以根据编码器的能力，灵活的调整编码器和解码器的运算复杂 度，主要采用的办法是在编码侧的子块分类过程中，根据需求进行不同复杂度的 运动估计。如果编码端的计算能力有限， 前块的预测块，从而避免进行运动估计， 则直接将前一帧中对应位置子块作为当 这样以后，解码端可能需要多次生成边 信息重复解码，从而需要多次进行边信息生成计算，增加了解码器的运算量，同 时也降低压缩效率。反之，如果编码端有足够的运算能力，则可以进行精确的运 动估计。编码器用在前帧搜索到最佳匹配块作为当前块的预测值，并将运动矢 量发送到解码侧，而解码端则根据运动矢量准确的产生边信息进行解码，从而解 码器的复杂度降低，同时系统的压缩效率也能提高。 与p r i s m 系统相比，w y n e r - z i v 视频编码系统具有结构灵活的特点，且编码器 复杂度低，并且对视频图像整体进行编码，可以更充分利用视频帧的时间和空间 相关性。因此对w y n e r - z i v 视频编码系统的研究和应用较为普遍，本文工作也是基 于w y n e r - z i v 视频编码系统。 2 3 1 边信息生成 2 3 分布式视频编码的关键技术 在分布式视频编码系统中，边信息( s i ) 是帮助解码当前w y n e r - z i v 帧的辅助 信息，是利用前、后已解码的相邻关键帧生成的。边信息的生成过程就是利用相 邻重构帧在空域和时域的相关性估计当前编码图像的过程。衡量生成边信息的好 坏，就看生成的边信息与当前帧的相似度的大小。边信息与当前帧的相似度越大， 表示边信息越好，这会降低为纠正边信息错误所需要的校验位，从而提高分布式 视频编码的效率。 一般情况下，生成边信息的质量与计算量是成反比的。质量较好的边信息与当 前帧具有较多的相关信息，而这些相关信息的产生也就需要增加边信息产生过程 中运动估计的计算量，并大大地增加计算复杂度。往往一些应用中，还要考虑到 第二章 分布式视频编码 产生边信息所带来一些时延。所以较好的边信息生成算法就应该克服这些不足， 这就要求好的生成算法在保证生成的边信息与当前帧的相似度尽可能大的情况 下，尽量使得边信息生成过程中执行运动估计、运动补偿的计算量尽可能小，以 减小时延。 目前边信息的生成主要方法如下： 1 、平均值法：该方法不考虑图像的运动情况，直接将相邻的前后已解码关键 帧取均值作为边信息。该方法运算复杂度低，但对于运动剧烈、场景变化大的视 频序列，边信息质量较差。 2 、帧插值算法，它包括帧间内插法和帧间外推法。帧间内插和帧间外推都是 基于块的插值算法，且都假设目标运动是线性连续的，外推法和内插法如图2 7 所 示。 ( a ) 外推法生产边信息 ( b ) 内插法生成边信息 图2 7 外推和内插的边信息生成方法 在图2 7 ( a ) ，外推法主要依靠前向帧来估计边信息帧中待插值块的运动矢量。 采用外推法生成边信息时，解码端可以顺序解码。例如n a t a r i o 和b r i t e s 的外推法 生成边信息的算法【3 4 1 ，考虑了视频内容的运动性，并采用重叠块来降低方块效应。 其主要思想是利用前两帧已解码图像进行重叠块运动估计，结合运动平滑技术将 前一帧中的各子块投影到当前帧，并外推出边信息，效果较好。 在图2 7 ( b ) 中，内插法利用前( t - i ) 重构帧和后向重构帧( t + 1 ) 进行运动估计， 边信息帧的待插值块至( t 1 ) 和( t + 1 ) 两帧预测块的运动矢量被认为是大小相同 而方向相反的，最后边信息图像是通过双向运动补偿产生的。现有的边信息内插 1 4 基于变换域w y n e r - z i v 视频编码的率失真模型研究 算法大多是基于运动补偿时域内插( m c t i ) 1 3 5 1 ，它主要包括三个步骤：运动估计、 运动矢量( m v ) 修正和运动补偿插值。采用内插法需要乱序解码，但内插法生成 的边信息帧图像质量优于外推算法。例如，a s c e n s o 和b r i t e s 的生成算法通过空间 中值滤波器消除了同一区域中运动物体边缘和背景之间运动的不连续性，该算法 同时利用了时间和空间相关性，生成的边信息质量较好。该算法主要做法是对前 后两帧已解码图像，进行前向运动估计、双向运动估计和运动平滑得到准确的运 动域信息，然后通过双向运动补偿来生成边信息p 6 1 。 2 3 2 相关噪声模型 当前帧与边信息的相关性一般是使用虚拟信道来描述的。现有d v c 系统大多 数都选择位置参数为零的拉普拉斯分布作为相关噪声模型。如下式2 6 ： n p w z ( x ，y ) 一汀( x ，y ) 】= e x p 一al w z ( x ，y ) 一s i ( x ，y ) l 】 ( 2 - 6 ) z 其中a 是拉普拉斯分布系数，定义为a = x 2 c r 2 ，仃2 表示原始视频序列与相 应的辅助边信息帧之间残差数据的方差，a 可以根据时间和空间位置变化而变化。 相关噪声模型分像素域与变换域的，而噪声参数的估计噪声参数估计准确与否， 对编码效率影响较大。 首先介绍基于像素域w y n e r - z i v 编解码系统提出的像素域的噪声参数的估计估 计算法。文献【3 7 】基于像素域分布编码结构上，提出的相关噪声模型采用零均值 拉普拉斯分布，其分布参数固定，参数估计是由不同视频序列实验得出。文献1 3 9 j 在帧级别中，提出了在解码端估计拉普拉斯分布参数的算法。该算法主要思路是 利用运动补偿后的最佳匹配块的残差估计分布参数，一种符合实际应用的算法。 在随后的研究中，文献1 4 0 l 利用残差置信度并提出了在解码端估计拉普拉斯分布参 数的算法。该算法在帧、块、像素3 种不同级别对拉普拉斯分布参数进行了估计， 并与编码端参数估计的算法进行了详细的分析和比较。 对于变换域的w z 编码系统，相关噪声模型及参数估计算法与像素域的的大多 相似。比如，文献【3 8 1 的相关噪声分布模型采用零均值拉普拉斯分布，与文献【3 7 1 像 素域的估计方法相似，其中分布参数对整个序列保持不变，而其值在编码端估计。 同样，这种估计分布参数方法没有考虑序列时间的变化，这导致其编码效率低， 且由于是在编码端估计边信息的设计使得其不适合实际分布式编码的应用。文献1 4 l 】 采用了零均值拉普拉斯分布模型，在解码端进行参数估计，其思路与文献1 4 0 】相似， 适用于实际分布式编码。该算法没有考虑变换域不同残差系数带的统计分布的变 化。 第二章分布式视频编码1 5 2 3 3 重构方法 分布式视频编码通常采用的是帧内编码帧间解码的结构。原始视频序列被分 为关键帧k 和w y n e r - z i v 帧，其中k 帧的编解码是利用传统的帧内编解码算法， 如h 2 6 x 和m p e g ，而所谓的w y n e r - z i v 帧的重构位于w y n e r - z i v 的解码器中，是 在解码端利用w y n e r - z i v 编码产生相应的校验位和在解码端的利用关键帧产生的 边信息去重建原始w y n e r - z i v 帧的过程。 在分布式视频编码中，w y n e r - z i v 帧重构是一个非常重要的模块，重构过程直 接决定了解码生成w y n e r - z i v 帧的图像质量，从而影响整个系统的率失真性能。重 构主要是利用解码端解码后量化区间，边信息的d c t 系数和相关噪声模型参数来 提高解码出的量化值精度，重构的作用与w y n e r - z i v 视频系统中的d c t 变换和量 化对于图像压缩一样重要，但它是个逆过程。 现有的分布式视频编码系统中主要有两类重构方法：有反馈的重构方法和无反 馈的重构方法。其中采用有反馈的解码重构方法，是利用反馈信道采用“解码一请