（计算机应用技术专业论文）wynerziv编解码器中的边信息估计.pdf

摘要 摘要 无线监控，视频传感器网络以及移动相机等新应用的出现，使得低复杂度视 频编码方法的研究变得非常迫切。适应这些需求，分布式视频编码得到重视。分 布式视频编码是一种全新新的视频编码模式，它建立在两个重要的信息论结果之 上：即，s l e p i a n - w o l f 的分布式无失真编码定理以及w y n c r - z i v 的只在解码器端使 用边信息进行有损压缩时的率失真理论。分布式视频编码的一个特殊情形： w y n e r - z i v 视频编码，即只在解码器端利用边信息的有损编码，使得只在解码端利 用视频帧间的冗余变为现实。从而编码器可以对视频帧进行独立编码，而在解码 器端进行联合解码。这样即实现了将编码复杂度转移到解码端的目的，满足了新 应用的要求。 本文以研究w ”* z i v 编解码器中的边信息估计为目的。首先简要介绍了分布 式视频编码的整个发展历程，然后研究了w y n e r - z i v 视频编码技术背景和基础理 论，着重研究了其中的采用哈希信息和帧间内插的边信息估计方法，并主要完成 了以下三方面工作：首先，针对边信息估计问题进行了大量的研究，其次，采用 哈希信息和帧间内插的边信息估计理论，经过大量编码和实验，实现了相应的平 台，并评价了两者之间的性能。帧间内插性能好，但运算复杂度高。而基于哈希 的方法则恰恰相反。最后，通过像素域的w y n e r - z w 视频编码方案对边信息估计方 法的性能进行了验证，实验中边信息采用帧间内插法生成，并与h 2 6 4 帧内编码 解码进行了相关比较，验证了边信息对图像解码的重要性，取得了良好的试验效 果。 关键词：分布式视频编码w y n e r z i vs i e p i a n - w o l f 帧内插法 a b s t r a c t a b s tr a c t e m e r g i n ga p p l i c a t i o n ss u c h a sw i r e l e s ss u r v e i l l a n c es y s t e m s ，v i d e os e n s o r n e t w o r k sa n dm o b i l ec a m e r a sa m o n go t h e r s ，l e a dt ou r g e n tn e e do f t h el o wc o m p l e x i t y v i d e oc o d i n gs t u d y a d a p t i n gt ot h e s er e q u i r e m e n t s ，d i s t r i b u t e dv i d e oc o d i n g ( d v c ) a t t m c t sm a n yr e s e a r c he f f o r t s d v ci san e wc o d i n gp a r a d i g mb a s e do nt w om a j o r i n f o r m a t i o nt h e o r yr e s u l t s ：t h ed i s t r i b u t e dl o s s l e s sc o d i n go fs l e p i a n - w o l fa n dl o s s y c o d i n gw i t hd e c o d e rs i d ei n f o r m a t i o no fw y n e r - z i vt h e o r e m s ap a r t i c u l a rc a s eo f d i s t r i b u t e dv i d e oc o d i n gi st h ew y n e r - z i vv i d e oc o d i n g a sl o s s ye o d i n gw i t hd e c o d e r s i d ei n f o r m a t i o n , m a k i n ge x p l o i t i n gt h er e d u n d a n c ye x i s t i n gi nav i d e os e q u e n c ea tt h e d e c o d e rc o m e st r u e t h u s ，i n d e p e n d e n te n c o d i n gc a np r o c e e di ne n c o d e r , e o m b i n e d d e c o d i n gi nd e c o d e r s oc o m p l e x i t yt r a n s f e r r i n gf r o me n c o d e rt o d e c o d e rb e i n gt r u e s a t i s f i e dt h en e w a p p l i c a t i o n s t h i sp a p e ra i m st or e s e a r c ht h es i d ei n f o r m a t i o ne s t i m a t i o no fw y n e r - z i vc o d i n g f i r s tt h ew h o l ed e v e l o p i n gh i s t o r yo fd v ci si n t r o d u c e di nt h i st h e s i s t h e nt h e b a c k g r o u n da n db a s i ct h e o r i e so fw y n e r - z i vi ss t u d i e d ，e s p e c i a l l yo nt h et h e o r i e so f s i d ei n f o r m a t i o ne s t i m a t i o nb a s e do nh a s ha n df r a m ei n t e r p o l a t i o n , a n di th a sm a i n l y c o m p l e t e dt h r e ea s p e c t so ft h ew o r k 懿f o l l o w s ：f i r s t l y , al o to fr e s e a r c h e sh a v eb e e n d o n et oa i ma tt h es i d ei n f o r m a t i o ne s t i m a t i o n s e c o n d l y , u s i n gt h et h e o r i e so f t h es i d e i n f o r m a t i o ne s t i m a t i o nb a s e do nh a s ha n df r a m ei n t e r p o l a t i o n , a n dt h r o u g hm a n yt i m e s o fc o d i n g sa n de x p e r i m e n t s ，w eh a v ea c c o m p l i s h e dt h ec o r r e s p o n d i n gp l a t f o r m ，a n dw e e v a l u a t et h ep e r f o r m a n c eb e t w e e nt h et w ot h e o r i e s t h et h e o r yo ff r a m ei n t e r p o l a t i o n h a sag o o dp e r f o r m a n c e ，b u ti t sc o m p u t a t i o n a lc o m p l e x i t yi sh i g h , o nt h ec o n t r a r y , t h e t h e o r yb a s e do n h a s hi so p p o s i t et oi t f i n a l l y , t h r o u g hap i x e ld o m a i nw y n e r - z i vc o d e c ， i ti sv e r i f i e dw h i c hi st h ep e r f o r m a n c eo ft h es i d ei n f o r m a t i o ne s t i m a t i o n i nt h i s e x p e f i m e r i t , t h es i d ei n f o r m a t i o ni se s t i m a t e db yt h em e t h o do ff r a m ei n t e r p o l a t i o n , a n d c o n t r a s tt ot h eh 2 6 4i n t r aa tl a s t f r o ma b o v e ，t h ei m p o r t a n c eo f t h es i d ei n f o r m a t i o nt o t h ei m a g ed e c o d i n gh a sb e e nv e r i f i e d ，a n dt h i se x p e r i m e n th a sa c h i e v e dag o o dr e s u l t k e y w o r d s ：d i s t r i b u t e dv i d e oc o d i n gw y n e r - z i 、rs i e p i a n - w o l f f r a m ei n t e r p o l a t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本燧名：坞 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名：本鸟 日期： 导师签名： 2 石毳髫。 导师签名：兰竺，一望! 边王：l i 日期：21 1 z ：兰：! 生 第一章绪论 第一章绪论 m p e g - x 和h 2 6 x 代表的传统的视频编码技术成功地解决了视频的存储和发 布( 如将电影制作成d v d ) 。但对于另外一些应用如无线、低功耗的多媒体传感器 网络，无线p c 照相机和移动视频电话等，传统视频编码技术的应用受到挑战，这 些应用领域中编码设备比较简单，而解码设备拥有较多的资源可以进行复杂的计 算，正好与传统视频编码标准适用的场景相反。在这种情况下，分布式编码引起 人们的重视。分布式编码使得低复杂度编码成为可能，它可以很好地解决视频终 端受限的情况，因此研究分布式编码具有重要的应用价值。 1 1 分布式视频编码技术的研究背景 如今的数字视频编码模式，以i t u - t 和i s o i e cm p e g 两类标准化方案为代 表，建立在d c t 和帧间预测混合编码基础之上。在这一编码框架里，编码系统是 基于常用的运动补偿和d c t 变换方法，编码器需要的计算复杂度要高于解码器( 典 型值为5 1 0 倍或更高【1 】) 。这种结构适合编码一次，解码多次的视频应用，即一对 多的布局，如：电视节目、视频点播。 最近几年里，如无线、低功耗的多媒体传感器网络，无线p c 照相机和移动视 频电话等应用的浮出，传统的视频编码体系遇到挑战。这些应用的需求和传统的 视频传输系统有很大的不同。一些应用，在编码器和解码器端都必须具有低功耗， 例如移动视频电话。在另外一些应用，特别是当有大量的编码器，但只有一个解 码器，如监视系统，低成本的编码设备是必需的。为了满足这些需要，低功耗和 低复杂度的编码设备是非常有必要的，哪怕代价是更复杂的解码器。图1 1 说明了 这个设想。 在这个方案中，另一个重要的目标是达到和传统视频方案( 现在的代表是 i t u th 2 6 4 m p e g - 4a v c 标准【2 】) 相似的效率，即将复杂度从编码器移到解码器， 并且不以编码效率为代价。 图1 1 一些新兴视频应用的理想编码结构 现在摆在我们面前的问题是：这一新的图像信息系统，怎样才能达到实现高 2w y n c r - z i v 编解码器中的边信息估计 效的、低复杂度的视频压缩编码，特别是在传统的视频编码没有提供一个可行的 解决方案的情况下? 答案可以从信息论中的两个重要结论即s l e p i a n - w o l f 的分布式无失真编码定 理，以及w y n e r - z i v 的只在接收端使用边信息时的率失真理论中得到。解决这一问 题的途径是在解码器端部分或全部利用信源的统计特性，而让编码端变得简单。 即采用所谓的分布式视频编码。 1 2 本文的研究内容和意义 本文主要研究w y n e r - z i v 中的解码器边信息( s i d ei n f o r m a t i o n ) 估计问题，针对 采用不同方式获取边信息进行比较，以期获得较优的边信息，比较的边信息如下： 将前一解码关键帧直接作为边信息。 直接把前解码关键帧和后一解码关键帧进行平均。 基于帧间内插的边信息估计。 基于h a s h 码的边信息估计。 本文的主要工作如下： 1 、介绍了分布式视频编码的基本原理，主要介绍了s l e p i a n - w o l f 定理和 w y n e r - z i v 定理，以及一个基本的w y n e r - z i v 视频编码结构。 2 、介绍了边信息的生成方法。主要研究了基于帧间内插的边信息估计方法， 以及基于哈希码的边信息估计方法。评价了这些方法的性能。 3 、通过一个像素域的w y n e r - z i v 编码解码器，验证上面提出的边信息生成方 法的性能。 1 3 论文的结构安排 本文各章内容的具体安排如下： 第一章：绪论 介绍了论文的研究背景、本文的研究内容、意义和结构安排。 第二章：w y n e r - z i v 视频编码技术 介绍信息论背景，分布式编码的理论基础：s l e p i a n - w o l f 定理和w y n e r - z i v 定 理，介绍了w y n e r - z i v 编码结构以及边信息的重要性。 第三章：边信息估计 研究了基于帧间内插和哈希码的边信息估计方法，通过实验序列验证了其性 能。 第四章：边信息估计性能的编码验证 第一章绪论3 通过一个像素域的w y n e r - z i v 视频编码解码器，采用实验序列，验证第三章中 边信息估计方法的性能。 第五章：结束语 总结本文工作，并提出了进一步需要研究的问题。 第二章w y n e r - z i v 视频编码技术 第二章w y n e r - z iv 视频编码技术 w y n e r - z i v 编码，即只在接收端应用边信息条件下的有损压缩，通过将计算复 杂度转移到解码端，而使低复杂度视频编码成为可能。本章主要回顾w y n e r - z i v 编码的理论基础。即s l e p i a n - w o l f 的分布式无失真编码定理，以及w y n e r - z i v 的只 在接收端使用边信息时的率失真理论。 2 1 信息论背景 在介绍与分布式编码相对应的信息论结论前，我们首先以信息论观点来观察 一下传统的视频编码方式。 对于传统视频编码方案，目标是回答以下问题：当联合编码两个统计相关序 列x 和y ，其中x 和y 代表一个视频序列的连续帧，要使x 和y 可以在解码器 端被无误差联合解码，理论上所能达到的最小编码码率r 是多少? 图2 1 描述了 这个问题。显然，从信息论可以知道，需要的最小编码码率r 是x 和y 的联合熵 r = h ( x ，y ) 。 x ，y 统计相 图2 1 传统的编码模型 x 、，y 当统计相关的序列x 和y 独立编码和解码时，相应问题的结果也是很清楚的： r x h ( x ) 和r y s 0 0 。在这种情况下，对x 和y 编码的每信源符号所需的最小 比特数是由信源的熵，h ( x ) 和h ( y ) 分别决定的。总的传输率r 和单独编码 解码的x 和y 的关系为r = r x “哼- h ( x ，y ) 。 但当上述统计相关的序列x 和y 独立编码，但联合解码时，所需码率的理论 下限是什么? s l e p i a n 和w o l f 很好地回答了这个问题。 2 2s l e p i a n - w o l f 理论 如2 i 节所示，两序列x 和y 在码率为r x _ h ( x ) 和r v _ h ( y ) 的条件下 各自独立的进行编码和解码，在解码端可实现序列的无误差重建。现在考虑如图 2 1 2 描述的情况，x 和y 这两个统计相关序列各自独立进行编码但实现联合解码。 6w y n e r o z i v 编解码器中的边信息估计 x ： 统 ： t y x ，y 图2 2 两个统计相关的独立的随机序列x 和y 的分布式压缩( i i d ) 与独立编码和解码情况相比，使用相同的总比特率似乎是很自然的，r h ( x ) + h ( y ) h ( x ，y ) ，由于序列x 和y 相关并且总比特率r 远大于联合 熵h ( x ，y ) ，它们在解码器上可实现正确的重建。但实际问题是在可能的任意小 的重建误差的条件下，如果使用低的比特率而不用各自的熵对它们进行编码，是 否可完全恢复这些相关序列。 在2 0 世纪七十年代，s l 印i a n 和w o l f 第一次对分布式信源编码进行了研究【引。 考虑图2 2 中具有独立同一分布( i i d ( i n d e p e n d e n t l ya n di d e n t i c a l l yd i s t r i b u t e d ) ) 的统计相关序列：x 和y ，他们分别以码率r x 和r y 独立编码，利用它们之间的 相关性联合解码。以任意小误差概率重构x 和y 的r x 和r y 组合码率的可能性被 s l e p i a n - w o l f 证实。这些可能的码率组合用公式表示如下： r x h ( x i y ) r y h ( y i x ) r x + r v h ( x ，y ) ( 2 1 ) ( 2 - 2 ) ( 2 3 ) 这里h ( x i y ) 是y 已知情况下，x 的条件熵，h ( y i x ) 是x 已知情况下， y 的条件熵。式( 2 3 ) 指出，甚至当相关信源独立编码，总码率r - r - r y ，等于 联合熵也是满足的。因此，分布式视频编码方案下的独立编码和用于传统视频编 码方案下的联合编码比较，理论上，没有任何压缩效率上的损失。这就是 s l e p i a n - w o f f 理论的内容例。 s l 印i a n w o l f 编码是学术上用于描述如图2 2 所描述的编码结构的术语。 s l e p i a n - w o l f 编码在学术上也被叫做无损分布式信源编码。注意，就此而论，无损 不同于数学意义上的无损，它只是误差总量在允许的可控范围内。 s l e p i a n - w o l f 编码的一个有趣的特性是它与信道编码是相关联的。这种关系 w y n e r 在二十世纪七十年代开始研究【4 】，它建立在如图2 3 描述的两个不同的编码 观点之上。 第二章w y n e r - z i v 视频编码技术 7 要笔詈r i一-：ji圃，：r 图2 3 信道编码和s l e p i a n - w o l f 编码之间的关系 1 ) 考虑解码器端出现的两个二进制序列，一个是被编码的二进制序列x ，另 一个是序列x 通过一个有噪声的信道后得到的序列y 。为纠正这两个二进制序列 之间的误差，信道编码可以施加于序列x 。因此，联合了y 的解码器使用编码器 产生的奇偶校验位来纠正错误，得到序列x 的一个完美的解码。简单的说，这就 是信道编码这一概念所能提供的。 2 ) 现在从s l e p i a n w o l f 编码的观点考虑图2 3 。由于x 和y 是两个统计相关 的序列，可以认为一个虚拟“相关信道”存在于x 序列( 虚拟信道输入) 和y 序 列( 虚拟信道输出) 之间。y 序列是有“噪声”或“误差”的x 序列，“相关信道” 引入的“噪声”是和两序列之间的相关性相联系的。“相关信道”的概念使人们试 图采用信道编码技术来达到s l e p i a n - w o l f 给出的理论下限，因为y 序列是x 序列 的信道噪声版，如1 ) 所述。这样对x 序列应用信道编码可以消除x 和y 序列之 间的误差。编码端送来的附加比特和y 一起保障解码端x 序列的最佳重建。 2 3w y n e r z i v 理论 1 9 7 6 年，a w y n e r 和j z i v 研究了s l e p i a n w o l f 编码的一个特例，对应于码率 r x = h ( x i y ) ，r y = h ( y ) 。这一特例用于解决当边信息y 只用于解码器时x 序 列的信源编码。在文献中，这一特例就是带解码器边信息的有损压缩。【5 l w y n e r - z i v 编码适用于图2 4 所示的多路摄像系统( 监控系统) 等应用。在多 路摄像系统中，一个场景同时被多个摄像机从不同角度观测。每一个摄像机独立 传送它所观测到的场景( 对应于图2 4 中的x 序列) 到中心站的解码器。在每一 时刻，中心站可以获得一个粗略的或是“有噪声”的场景记录( 对应于图2 4 的y 序列) ，它也是同一个解码器的输入的组成部分；这个粗略的场景的观测记录可能 是产生于先前某一时刻解码的场景。既然摄像机相距不远，它们的观测记录将和 中心站应用的“有噪声”的观测记录相关。这样，每个摄像机和中心站的连接由 图2 4 所描述的情形来定。 w y n e r - z i v 编解码器中的边信息估计 x 二统计相关| y 图2 4 带解码边信息的有损压缩 w y n e r - z i v 编码概念也适合视频编码方案。在这种情形下，一些视频帧采用 w y n e r - z i v 编码( 对应图2 4 的x 序列) ，而其它的帧则使用传统的视频编码标准 中的帧内编码。在解码器端通过帧内插和外插技术产生当前帧的估计，在把这个 边信息用在当前w y n e r - z i v 编码帧的解码中。 针对视频编码的情形再次考虑图2 4 ，设x ，y 是统计相关的i i d 随机序列， x 是将被编码的序列，即所谓的主信息，y 即所谓的边信息，被认为是在解码端 可用。这里在编码器端没有应用x 和y 之间的统计相关性，y 只是独立的在解码 端应用。假定解码器端边信息y 是可用的，w y n e r - z i v 的研究工作确立了在确保x 在平均失真率低于d 时的重建的要求下的编码x 所需的最小码率r w z ( d ) 。 w y n e r - z i v 得出的结论表明，当只在解码端使用x 和y 之间的统计相性时，与同 时在解码和编码端使用x 和y 之间的统计相性相比，在相同的平均失真率d 下， 传送速率有所增加。这正好是w y n e r - z i v 理论呈现的内容【5 】ow y n e r - z i v 理论可表 示为： r “( d ) r x l v ( d ) ，佗- 4 ) r w z ( d ) 代表x 的w y n e r - z i v 最小编码率，r y ( d ) 代表y 在编码和解码端 同时有用时编码x 的最小码率( 一般情况下有相同的平均失真率d ) 。r w z ( d ) 和 r m y ( d ) 被称为率失真( r d ) 函数。注意到，当d = 0 时，即不存在失帧，( 2 - 4 ) 退回到s l e p i a n - w o l f 的结论，即r w z ( d ) = r y ( o ) 。这就是说，以任意小的误差 概率甚至x 和边信息之间的相关性只在解码器端应用，重建x 序列至少在理论上 是可行的。 另外，z a m i r l 6 1 已经证明，w y n e r - z i v 编码率相当于在联合编解码( x 序列的编 码在编码器和解码器均应用相关的y 序列) 的码率上增加0 5 比特信源符号。这 一结果数学表示为： r x l v ( d ) + 0 5 b i t r “( d ) ( 2 5 ) 它是在解码端应用均方误差( m s e ) 度量重建误差得到的一般意义上的统计 第二章w y n e r - z i v 视频编码技术 9 数字。 w y n e r - z i v 指出，不管怎样，当所有的d o ，x 和y 是联合高斯序列，且考虑 到m s e 失真，这里没有率增长【5 1 。同样，( 2 - 4 ) 式中x 和y 也是联合高斯序列； 这意味着x 和y 的统计相关性在编码端和解码端均应用如图2 4 中的情况，传输 率理论上没有增加。 最后，信息论中著名的s l e p i a n - w o l f 和w y n e r - z i v 定理指出：使用与两个统计 相关的信号一起编码和一起解码的系统( 例如传统视频编码方案) 相似的码率， 以分布式方法( 单独编码，联合解码) 压缩这两个统计相关的信号是可行的；对 w y n e r - z i v 理论来说，这一结论只在下面的条件下有效：x 和y 是联合高斯序列， 且考虑到m s e 失真。例如，在传统视频编码方案中这些信号可以是视频序列中的 奇数和偶数帧。 2 4 分布式编码组成结构 1 、基本的w y n e r - z i v 编码体系 采用什么样的d v c 框架的能最接近信息论的建议? 变换编码，量化，信道编 码是三个主要的工具，它们可以用于只在接收端使用边信息时x 的分布式编码。 w y n e r - z i v 视频编码体系由三个基本模块组成，如图2 5 所示。 w y n e r - z i ve n e o d e rjw y n e r - z i vd e c o d e r 图2 5 基本的w y n e r - z i v 编解码器的框图 概括来说，图2 5 的编码过程如下： 首先对序列x 进行变换以去除序列中相邻元素之间的相关性。 然后对相应的变换系数进行量化，产生量化的符号流。 如图2 5 所示，量化后的符号流经由s l e p i a n - w o f f 编码器产生量化符号流的奇 偶校验信息。 在解码端通过边信息序列y 和s l e p i a n - w o l f 编码器发送的校验比特对量化符 号流进行解码。 解码的量化符号流和边信息y 一起通过重建模块来估计变换系数。 1 0w y n e r - z i v 编解码器中的边信息估计 通过反变换重建x 序列，x 。 下面具体描述w y n e r - z i v 编解码结构中的各个模块。 2 、w y n e r - z i v 编解码器中的变换 变换编码是w y n e r - z i v 编码中的第一步。一般是将一帧图像分成nxn 的取样 块，在取样块上进行变换编码。通过变换使块的能量主要集中在几个大的变换系 数上；因为它们一般位于低频位置，因此这些系数称为低频变换系数( 临近d c ) 。 由于低频系数包含了大部分信息并且有最大的值，只把这些系数传送到解码器可 能会减少编码x 所需的比特数。下面简要回顾一下关于变换编码在分布式编码中 的应用。 。 在2 0 0 1 年，p r a d h a n 和r a m e h a n d r a n 在w y n e r - z i v 编码方案中应用基于小波 变换的图像编码1 7 】；w y n e r - z i v 编码是分布式编码的一个特例，在那里只考虑一个 信源的情况。 在2 0 0 3 年，就失真率表现而言，r e b o l l o m o n e d e r o 【8 】确定图2 5 所示的编码模 型，d c t 是变换模块的最优选择。同时对w y n e r - z i v 视频编码d c t 应用做出评价。 编码器中帧内空间相关性的使用可以改善率失真，+ 这个结果说明研究分布式编码 中的变换编码是有用的。 3 、w y n e r - z i v 编解码器中的量化 在传统编码中，量化用来将一定范围内的值为压缩为一个单值。从减少比特 率方面考虑，量化同样可用于分布式编码。分布式编码的量化器在多大程度上和 传统编码中的量化器相似呢? 下面叙述一下分布式编码中的量化器的研究状况。 1 9 8 7 年，f l y n n 和g r a y 9 1 研究两个独立传感器观测同一个目标的分布式检测系 统中的量化问题。一个传感器是远程传感器，用一个只是基于量化和传输的编码 结构将观测的图像编码后传送到另一个传感器，本地传感器。本地传感器结合远 程传感器的编码图像和本地的观测图像联合解码产生远程观测的最可能相似的估 计。 1 9 9 8 年，s h a m a i ，v e r d u 和z a m i r 提出的量化器是为带接收器边信息的有损压 缩方案中的b e r n o u l l i 信源和联合g a u s s i a n 信源设计的 1 0 1 。他们用于信源信息编码 的编码器组成为：任意排列的熵编码代码簿工具和s t e p i a n - w o l f 编码器。解码器使 用边信息来降低码率，需要编码信源信息，信源重建与代码簿相关的失真。解码 器的重建误差一般是对b e r n o u l l i 和g a u s s i a n 信源使用h a m m i n g 距离和m s e ( 均 方误差) 来度量的。 2 0 0 0 年，s e v e t t o t 1 为量化器构造家族的贡献是为了达到目标码率h ( x i y ) 。 s e r v e a o 的研究工作是针对联合高斯信源在解码器中用m s e 度量重建误差。分析 和经验得到的率失真表现在高码率下比较，表明经验结果和分析结果是一致的 ( w y n e r - z i v 率失真函数) 。 第二章w y n c r - z i v 视频编码技术 2 0 0 1 年，f l e m i n g 和e f f r o s l l 2 1 在研究固定码率的网络信源编码的率失真优化矢 量量化器时提出了矢量量化器。他们通过找出相对来说可以减小一个节点取样值 的失真码字，应用通用的l l o y d 算法优化一个三节点的网络的每一个编码器和解码 器。为研究率失真的性能评价的三节点网络【1 2 1 如图2 6 所示。得到的结果是，从相 关信源的独立编码方案中可获得相当大的编码收益。 x y z 图2 6 三节点网络 x ，y 2 0 0 2 年，m r r e s a n 和e f f r o s f l 3 】证两阶梯量化和直方图分割之阉的关系，为的是 开发一个算法来优化量化器的设计。m u r e s a n 和e f f r o s 在他们的算法中考虑了在毗 邻的格子中分离符号系统信源和字母符号量化。和不相连间隔的量化对比得出， 连续间隔的量化将导致更差的率失真表现。 2 0 0 3 年，r e b o l l o m o n e d e r o ，z h a n g 和g i r o d i l 4 1 研究w y n e r - z i v 编码方案下的 最优量化器设计。结论是从研究g a u s s i a n 信源和离散时间间隔的量化中得到的。 这种情况下得到的率失真的表现和没有重复的量化索引的量化器获得的结果是相 似的。这样的率失真相似性还表现在量化器具有较多量化阶时。 4 、w y n e r - z i v 编解码器中的s l e p i a n - w o l f 编码 s l e p i a n - w o l f 编码器是w y n e r - z i v 视频编码器中的一个模块，目标是减少主信 息的传输率以达到或接近s l e p i a n - w o l f 和w y n e r - z i v 所给出的理论下限。基于 s l e p i a n w o l f 编码和信道编码的联系，s l e p i a n - w o l f 编码主要通过信道编码来实现。 近年来在s l e p i a n - w o l f 编码方面的发展如下： 1 9 9 9 年，p r a d h a n 和r a m c h a n d r a n l l5 j 完成了分布式信源编码的实用方案的第一 步。他们的解决方案称作d i s c u s ( d i s t r i b u t e ds o u r c ec o d i n gu s i n gs y n d r o m e s ) 。 结果表明，分布式编码的性能得益于信道编码技术的使用。 在此之后，就信噪比( s n r ) 而言，w a n g 和o r c h a r d l l 6 1 应用嵌套栅格码 ( e m b e d d e dt r e l l i sc o d e s ) 的方案比前面的方案取得了更好的效果( 大约误差率在 p e = 1 0 e 6 时有l d b 的改进) 。 g a r c i a - f r i a s 和z h a o 1 7 1 【1 8 1 ，b a j c s y 和m i t r a n 19 】【2 川在此之后使用二元随机序列 进行了t u r b o 码的测试。a a r o n 和g i r o d 2 1 1 也提出了一个基于t u r b o 码的系统，并 w y n e r - z i v 编解码器中的边信息估计 且用二值和高斯序列进行了测试。a k r o n 和g i r o d 用高斯序列的实验结果中最引入 注意的是：和前一个方案相比，误差率大约在p e = 1 0 e - 4 时，信噪比( s n r ) 增加 了3 d b 。 基于s l e p i a n w r o l f 编码和信道编码之间的关系1 4 ，l i v e r i s ，x i o n g 和 g e o r g h i a d e s 在分布式信源编码中使用l d p c ( 1 0 w - d e n s i t yp a r i t y - c h e c k ) 编码瞄】， 就总比特率( r x + r y ) 而言，也有很好的性能表现。l i v e f i s 同样也研究了i r a ( i r r e g u l a rr e p e a t - a c c u m u l a t ec o d e s ) ，结果表明，i r a 码在分布式编码的过程中 也有好的性能表现 2 3 1 。 最近，l i v e r i s 设计出基于t u r b o 码的新的s l e p i a n w j l f 编解码器1 2 4 。并且 s t a n k o v i c ，l i v e r i s ，x i o n g 和g e o r g h i a d e s 2 s l 设计出基于l d p c 的编解码器，同时 设计出此解码器的还有，s c h o n b e r g ，p r a d h a n 和r a m c h a n d r a n 2 6 1 ，以及c o l e m a n ， l e e ，m e d a r d 和e f f r o s 2 7 1 。大体上说，得到的结果表明它们在性能上接近于 s l e p i a n - w o l f 和w y n e r - z i v 的理论下限。 5 、w y n e r - z i v 编解码器中的s l e p i a n - w o l f 解码 基本的w y n e r - z i v 解码器( 如图2 5 ) 的第一个操作是s l e p i a n - w o l f 解码过程。 在这一部分，解码器应用边信息完成联合信源一信道解码，由接收到的主信息比 特流恢复( 估计) 量化符号( 量化模块的输出) 。 6 、w y n e r - z i v 编解码器中的重建 一旦量化符号被解码，基本w y n e r - z i v 编解码器体系的第二步工作就是重建。 在这一部分，使用解码量化符号q 和边信息y 一起共同得到主信息的变换系数的 估计： e ( x l q ，y )( 2 - 6 ) 7 、w y n e r - z i v 编解码器中的反变换 变换的逆过程，用以重建解码图像。 最后，率失真性能和以上基本w y n e r - z i v 体系结构是相关的，依赖于该体系中 每一模块使用的技术。 2 5 边信息估计 边信息( s i d ei n f o r m a t i o n ) 是在解码器端生成的主信息的一个估计；边信息在 主信息的解码过程中给解码器以帮助。主信息( m a i ni n f o r m a t i o n ) 是w y n e r - z i v 编码的信息，在边信息的帮助下，得以解码。图2 1 3 中的y 即是边信息。w y n e r - z i v 编解码中，由前面叙述知，功能主要分为两大块，一个是信道编码，也就是 s l e p i a n - w o l f 编码，另一部分即是边信息解码。在边信息解码这一部分，边信息的 第二章w y n e r - z i v 视频编码技术 获取，也即如何产生一个合适的边信息是需要认真考虑的问题。最简单的考虑， 当前帧的边信息可以由它前后的已重建帧来代替，即当前帧为x ，那y 可以直接 取：y = x + 1 或y = x 1 ，对低速率的图像序列，这可以做到很好的近似。 在下一章里，将重点介绍研究边信息估计方法，主要是讨论基于帧内插的边 信息估计方法和基于哈希码的边信息估计方法。 2 6 小结 分布式编码是相对于如m p e g 等传统视频编码的一种新的视频框架，相对与 传统的视频编码，它具有轻量级的编码器和复杂的解码器，大量的运算都由编码 器端移到了解码器端。本章介绍了分布式视频编码的基本原理，主要介绍了 s l e p i a n w o l f 定理和w y n e r - z i v 定理，以及一个基本的w y n e r - z i v 视频编码结构。 第三章边信息估计 第三章边信息估计 在w y n e r - z i v 视频编码中，视频图像帧被分为两种：i 帧( 帧内编码图像) 和 w y n e r - z i v 帧。i 帧采用传统视频编码方法进行编码而w y n e r - z i v 帧采用w y n e r - z i v 编码。在编码端，所有帧都是独立编码的。在解码端，w y n e r - z i v 帧利用边信息进 行联合解码。因此，在w y n e r - z i v 视频编码结构里，边信息在解码过程中起着举足 轻重的作用。 本章主要研究解码过程中的边信息估计方法，特别是基于帧间内插的边信息 估计方法和基于哈希码的边信息估计方法。 3 1 边信息估计方法概述 在w y n e r - z i v 视频编码中，解码w y n e r - z i v 帧时，需要通过已经解码的关键帧 和w y n e r - z i v 帧来生成边信息。最简单的边信息生成方法是直接利用前一解码的关 键帧。它的好处是简单，但只单纯利用前一解码关键帧，无法得到当前帧的很好 近似，因此编码效率低。另一种也很简单的方法是直接把前一解码关键帧和后一 解码关键帧进行平均。这种方法在运动不是很剧烈时可以取得复杂度低且效率好 的结果。要使得生成的边信息可以很好近似当前解码图象，必须采用复杂的帧间 外插和帧间内插。所谓帧间外插是指用前面已经解码的两帧图像进行运动估计， 并假设两帧中的块做直线运动，这样可以外推出当前解码帧中块的运动，进而利 用前面已解码的帧得到当前帧的近似。帧间内插和外插相似，只是这时利用的是 当前帧的前帧和后一帧解码图象来估计当前帧中块的位移。另外，利用编码端 传递少量信息的方法也可用于解码器边信息估计。这即是所谓的基于哈希码的边 信息估计。 3 2 帧间内插法边信息估计 视频序列x 由奇数帧和偶数帧( x 2 i ) 组成，奇数帧为关键帧，偶数帧为 w y n e r - z i v 帧。w y n e r - z i v 解码器需要可用的边信息来重建x 2 i 。那么，这个边信息 在解码器端是怎样产生的呢? 假定视频序列的奇数帧x 2 i 1 和x 2 1 + l ( 关键帧) 在解 码器端是可用的并且没有任何压缩。这里有几种技术可以用来在w y n e r - z i v 解码器 端产生边信息y 2 i 。 最简单的帧插值法技术是让y 五等于时间上相邻的前一帧x ：2 j 1 ，这意味着 1 6w y n e r - z i v 编解码器中的边信息估计 假定这里没有时间上的变化或者是在x 2 i 1 和x 2 i + l 两关键帧之间进行平均。但 是，如果这种技术应用于生成边信息的视频序列的两个时间相邻的帧之间的相似 性很低，y 2 i 大概将是x 2 i 的一个粗略的估计。在这种情况下，与y 2 i