（通信与信息系统专业论文）分布式视频编码研究.pdf

摘要 摘要 目前数字视频压缩作为数字视频产品和服务的核心技术，取得了大量成果， 多个视频压缩国际标准被提出，不过这些标准采用的都是不对称编码方式，编码 器包括了交换、量化、熵编码、相应的解量化，解变换，以及运动估计，运动补 偿过程。因此可以说编码器已经隐含了一个解码器，这使得编码端的复杂度远远 高于解码端，大约5 到1 0 倍以上。这种方式适于采用服务器一客户端结构的数字 视频广播，视频点播等服务。然而对于移动视频设备或无线视频传感器网络等需 要进行现场编码，并传输到中心节点的应用方式而言，编码端在运算、功耗、存 储容量和带宽等多方面受到限制；面解码端则可以拥有较多的资源进行复杂运算： 这与传统的视频编码方案适用的场景恰恰相反。随着人们对无线移动视频分辨率 和视觉质量提出越来越高的要求，如何在资源受限的系统上提供高效的视频编码 已经成为一个迫切的要求。而分布式视频编码将成为解决以上资源受限问题的有 效途径之一。 分布式视频编码( d i s t r i b u t e dv i d e oc o d i n g ，d v c ) 建立在2 0 世纪7 0 年代提 出的相关信源编码理论的基础上，即s l e p i a n w o l f 和w y n e r - z i v 分布式编码信息论 原理，与传统视频编码技术相比，分布式视频编码从原理到实现方法上是全新的。 它是基于解码端获得边信息( s i d ei n f o r m a t i o n ) 的有损编码，这能够降低编码端的 复杂度，而把大量的运算转移到解码端。 本文首先系统地阐述了分布式视频编码技术的基本原理及其发展历程；然后 列举了国内外多个研究小组的基本思想和研究现状：分析了分布式视频编码技术 的发展趋势；揭示关键技术和研究热点；另外还介绍了简单的分布式视频编码平 台实现方案，最后提出改进与研究的方向。 关键字：视频编码，分布式视频编码，s l e p i a n - w o l f , w y n e r - z i v ，边信息 a b s t r a c t m a tp r e s e n t ，a st h ec o r et e c h n o l o g i e so ft h ed i g i t a lv i d e op r o d u c ta n ds e r v i c c ， d i g i t a lv i d e oc o m p r e s s i o nh a sm a d em a s s i v ep r o g r e s s e s ，m a n yv i d e oc o m p r e s s i o n i n t e r n a t i o n a ls t a n d a r d sw e r ep r o p o s e d ，b u tt h e s es t a n d a r d sa r ea s y m m e t r i c a le n c o d i n g m e t h o d s ，t h ee n c o d e ri s6 0 m p o s e do f i r a n s f o r m a t i o n ，q u a n t i f i c a t i o n ，e n t r o p yc o d e ， d e q u a n t i f i c a t i o n ，d e t r a n s f o r m a t i o n ，a sw e l la st h em o t i o ne s t i m a t i o na n dc o m p e n s a t i o n p r o c e s s t h e r e f o r ee n c o d e rh a sa l r e a d yi n c l u d e dad e c o d e r ；t h i sr e s u l t si na b o u t5t o1 0 t i m e sh i g hi nc o m p l e x i t yc o m p a r e dw i t hd e c o d e r ，w h i c hi ss u i t a b l ef o rs e r v e r - c l i e n t s e r v i c e s ，s u c ha st h ed i g i t a lv i d e ob r o a d c a s t ，s e r v i c e sa n dv i d e oo nd e m a n d h o w e v e r ， f o rt h ew i r e l e s sv i d e os e n s o rn e t w o r k ，w h i c he n c o d i n go i ls p o ta n dt r a n s m i t t i n gt ot h e c e n t r a ld e c o d i n gn o d e ，t h ep o w e rl o s s ，s t o r a g ec a p a c i t ya n dt h eb a n dw i d t ha n da r e r e s t r i c t e d ；b u td e c o d e rh a se n o u g hr e s o u r c e st oc a r r yo nt h ec o m p l e xo p e r a t i o n ：t h i si s j u s tt h eo p p o s i t e w i t ht h et r a d i t i o n a lv i d e oc o d i n gs c h e m e a sm o r ea n dm o r e r e q u i r e m e n t st ot h ew i r e l e s sv i d e o r e s o l u t i o na n dv i s u a lq u a l i t y ，h o wt op r o v i d eh i g h l y e f f i c i e n tv i d e oc o d i n gi nr e s o u r c e - l i m i t e ds y s t e mr a i s e da n db e c o m ea nu r g e n tr e q u e s t d i s t r i b u t e dv i d e oc o d i n gw i l lb e c o m eo n eo ft h ee f f i c i e n tp a t h st os o l v et h ea b o v e p r o b l e m s t h ed i s t r i b u t e dv i d e oc o d i n g ( d v c ) p r o p o s e di nt h e1 9 7 0 s ，e s t a b l i s h e so nt h e c o r r e l a t i v es o u r c e e n c o d i n gt h e o r y s f o u n d a t i o n ， n a m e l ys l e p i a n w o l fa n dt h e w y n e r - z i vd i s t r i b u t e dc o d ei n f o r m a t i o nt h e o r yp r i n c i p l e ，c o m p a r i n gw i t ht h et r a d i t i o n a l v i d e oc o d i n gt e c h n i q u e s ，i ti sb r a n d - n e wi nf r o mp r i n c i p l et ot h er e a l i z a t i o nm e n l o d i t i sb a s e do nt h es i d ei n f o r m a t i o no b t a i n e do nt h ed e c o d e r ，t h i sc a nr e d u c et h ee n c o d e r c o m p l e x i t y ，b u ts h i f t st h em a s s i v eo p e r a t i o n st ot h ed e c o d e r f i r s t l yt h i sp a p e ri n t r o d u c e db a s i cp r i n c i p l eo f d v cs c h e m e s e c o n d l y ，l i s t e dt h e d e v e l o p m e n ti nr e c e n ty e a r s ，r e p o r t e dt h es y s t e md i a g r a ma n da c h i e v e m e n t so f s e v e r a l w o r k i n gt e a m si n t h i sf i e l d t h i r d l y ，i n t r o d u c ea ns i m p l ei m p l e m e n t a t i o n o f d v c f i n a l l y ，f o r e c a s tt h et r e n do f t h ed v ct e c h n i q u e s k e yw o r d s ：v i d e oe n c o d e ，d i s t r i b u t e dv i d e oc o d i n g ，s l e p i a n w o l w y n e r - z i v , s i d e i n _ f o r m a t i o n 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：堑盏 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名 导师签名 第一章绪论 第一章绪论 1 。1 引言 信息技术的发展日新月异，正在从各个方面改变着人类的生活方式。从通信 到医疗健康，从商业到教育，各个方面都体现出信息在当今社会中的重要性。随 着信息技术的进步，人们希望无论何时何地都能够方便、快捷、灵活地通过语音、 数据、图像与视频等多种方式进行通信。这其中，对视觉信息的需求占据了大约 7 0 以上，它能给入f 】以直观、生动的形象反映，也正因此，图像和视频的传输 更受到人们越来越广泛的关注。 经数字化后的视频数据有海量性的特点，给视频传输和存储造成了很大的困 难，在无线视频通信中这一问题尤为突出。因此，如何有效地压缩视频数据，以 最少的码字获取所需的信息，一直是研究者们契而不舍追求的且标。经过5 0 多年 的发展，在国际国内逐渐形成了多个标准化组织以及一系列视频编码标准，这些 标准融合了各种性能优良的图像编码i l h 3 】方法，代表了视频编码的发展水平。 1 2 视频编码技术研究进展 s h a n n o n 的编码定理告诉我们：一个具有率失真函数“l u j 的信源，若有平均 失真d ，并具有两个任意小的正数占与d ，则必定存在一种信源编译码方法使其信 息比特率r r ( d ) + 占，而平均失真d s d 十万，也就是说码率在某个界限内的压 缩编码是有可能的。这为视频压缩及信道编码奠定了理论基础。 研究视频图像数据可以发现其中存在大量的冗余，这些冗余主要表现在空间 冗余度、时间冗余度两个方面，其他还包括信息嫡冗余、视觉冗余、结构冗余、 知识冗余、纹理统计冗余等等，减少这些冗余度可以极大地减少图像的数据量。 视频编码方法研究的主要内容也就集中在如何有效地减少这些冗余。 视频编码方法种类繁多，从信息保持的角度可以分为无损压缩和有损压缩两 大类。无损压缩利用数据的统计冗余( 数据之间的相关性、可预测性) 进行压缩， 以预测编码和熵编码为基础，可完全恢复原始数据而不引入任何失真，但其压缩 率受到数据统计冗余度的理论限制，一般为2 ：1 到5 ：1 。此类方法广泛用于文本数 据、程序和特殊应用场合的图像数据( 如指纹图像、医学图像等) 压缩。鉴于压 缩比的限制，仅使用无损压缩方法不可能解决图像和数字视频在存储和传输应用 分布式视频编码研究 中的问题。因此，视频有损压缩方法也得到了长足的进步和发展，它除了利用统 计冗余进行压缩编码外，还利用了视频数据的视觉冗余特性，即利用人类视觉系 统( h v s ) 对视频信息中某些频率成分不敏感的特性，允许压缩过程中损失一定 的信息，这虽然不能在解码端完全恢复原始数据，但所损失的部分信息对理解原 始图像的影响相对较小( 即视觉无明显失真) ，同时却换来了相当大的压缩率。 图1 ，1 视剔图像压缩编码国际标准发展史 国际标准化协会( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) 、国际电子 学委员会( i n t e m a t i o n a le l e c t r o n i c sc o m m i t t e e ，i e c ) 、国际电信协会( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，i t u ) 等组织于二十世纪九十年代领导制定了三个有关 视频图像压缩编码的系列化的国际标准【4 h 4 】：j p e g 标准、h 2 6 x 标准和m p e g - x 标准，图1 1 和表1 1 总结了视频编码标准的发展历史及各自的设计目标、应用场 合，除此之外还有一些过渡性的、没有形成很大影响的非主流的视频压缩算法， 比如i t u t 的h 2 6 2 ，m i c r o s o f t 公司的w m 系列，o s 2 公司的v p 系列、r e a l n e t w o r k s 公司的r m 等，这里不再一一列举。 表11 国际标准化组织制定的一系列视频，图像压缩标准 第一章绪论 1 3 传统视频编码标准实现架构特点 尽管各种视频编码标准由不同组织制定，应用场合也不尽相同，但就其实现 的方案可以看作是同源殊途，下面以最新的h 2 6 4 a v c 标准为例介绍这一类传统 视频标准实现架构特点【”h 1 - q 。 h 2 6 4 编码器和解码器的功能组成分别如图1 2 和图1 3 所示。从图1 2 和图 1 3 中可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g - 4 ) 中 的编解码器功能块的组成并没有什么区别，主要的不同在于各功能块的细节。由 于视频的内容时刻在变化，有时空间细节很多，有时大面积的平坦。这种内容的 多变性就必须采用相应的自适应的技术措施；由于信道在环境恶劣下也是多变的， 例如互联嘲，有时畅通，有时不畅，有时阻塞：又如无线网络，有时发生严重衰 落，有时衰耗很小，这就要求采取相应的自适应方法来对抗这种信道畸变带来的 不良影响。这两方面的多变带来了自适应压缩技术的复杂性。h 2 6 4 就是利用实现 的复杂性获得压缩性能的明显改善。 4 分布式视频编码研究 图1 2 h ，2 6 4 编码器 n l 图1 3 h 2 6 4 解码器 在编码端前向路径，f 。表示当前输入帧。帧以宏块为单位进行处理( 对应原 始图像的1 6 1 6 个象素) 。每个宏块都按帧内或帧间模式进行编码。在任何一种 情况下，都由重建帧褥到一个预测宏块p ，在帧内模式下，p 是由当前帧第n 帧中己进行编码、解码和重建的采样点构建的( 在图1 1 中用“l l f 。”表示，使用 未滤波的采样点构建p 1 。在帧间模式下，预测宏块p 由一个或多个参考帧通过运 动补偿预测进行构建。在图中参考帧是作为己编码的帧f + ，出现的。每个宏块可 由一个或多个已经进行编码和重构的前帧或后帧( 以时间为顺序) 预测得到。 将预测宏块p 从当前宏块中减去，得到一个残差宏块d 。并对它进行变换、量 化，得到x 。对变换系数x 重新排序而后进行熵编码。熵编码后的系数与附加信 息用来从压缩的比特流中解出宏块( 比如宏块的预测模式、量化步长、运动矢量 信息等等) 。这些都被递交给网络提取层( n a l ) 进行传输或存储。 在编码器重建路径中，量化后的宏块系数x 被解码，用来重建一个帧，进而 对下一个宏块进行编码。系数x 经过反量化和反变换，得到残差宏块d 。它与 原来的残差宏块d n 己经不同，量化的过程带来了精度上的损失，所以d _ 较d n 有 失真。预测宏块p 与d 。相加得到一个重建宏块u n ( 对原宏块的恢复，存在失真) 。 用滤波器去除块效应，重建的参考帧由一系列的宏块f i n 构建。 解码器从网络提取层接收压缩的比特流。对数据元素进行熵解码、重排序， 得到一组量化后的系数x 。而后再对x 进行反量化和反变换，得到d 。( 它与编码 第一章绪论 器中所示的d 。相同) 。解码器用从比特流中解出的头信息，构建预测宏块p ，它与 编码器中的预测宏块p 相同。p 与d 。相加得到u f 。，再经过去方块滤波得到重建解码 宏块f 。从图和以上的论述中我们可以看出，编码器中的重建路径是为了确保编 码器与解码器使用相同的参考帧构建预测宏块p 。否则，编解码器中的预测宏块p 将会不同，从而导致编解码器之间的误差累积和“漂移( d r i ”现象。 通过上面的介绍会发现编码端已经隐含了一个解码器，这使得编码端的复杂 度远远高于解码端，大约5 到l o 倍以上。这种方式适于采用服务器客户端结构的 数字视频广播，视频点播等服务。然而对于移动视频设备或无线视频传感器网络 等需要进行现场编码，并传输到中心节点的应用方式而言，编码端在运算、功耗、 存储容量和带宽等多方面受到限制；而解码端则可以拥有较多的资源进行复杂运 算：这与传统视频编码方案适用情况恰恰相反。 1 4 本文研究内容及主要贡献 对于上一节最后提出的问题，传统编码标准实现从复杂度和功耗角度精心设 计帧间预测等主要功能模块，但是不能从根本上解决问题，于是有人提出了一种 全新的解决方案，从编解码端计算复杂度重分配角度出发，将预测模块转移至可 用资源丰富的解码端，从而大大减轻视频编码端负担，即分布式视频编码方案。 本文的结构安排如下： 第一章绪论。简要介绍视频压缩编码技术，重点说明传统视频编码标准实现 架构特点，并指出该种架构在新的应用环境中所表现出的不足，最后提出分布式 视频编码作为解决方案的可能性。 第二章分布式信源编码基础理论。重点介绍新方案的基础：分布式信源编码 理论。包括：相关信源理论，分布式信源编码模型以及基本编码框架s l e p i a n w o l f 编码器和w y n c r - z i v 编码器。 第三章分布式视频编码技术。首先提出分布式信源编码用于视频编码的优 点。主要介绍国内外多个研究小组的基本思想和研究现状；揭示分布式视频编码 的关键技术和研究热点；分析了分布式视频编码技术的发展趋势；最后介绍了其 在视频鲁棒传输中的应用。 第四章分布式视频编解码平台开发方案。介绍一种分布式视频编码器的简单 实现方案，并参照传统编码标准进行性能钡0 试分析。 第五章结束语。 第二章分布式信源编码基础理论 第二章分布式信源编码基础理论 2 1 信源编码 信源编码一直是信息论研究的一个重要方向。无失真信源编码主要研究无扰 信道中如何以最低的信息速率传输信息，而在接收端应无失真或以任意小的失真 恢复信息。若已知信源熵h ( u ) ，由信息论原理可知可用平均长度不超过 l - i f f u ) l o g d + 1 l 的不等长码无失真传输。若用等长码，则当分组长度不小于【h o p 6 】l o g d 时，失真不会超过给定值。简单的说对于信源u 的输出只要以r h ( u ) 速率编码，就可以使译码错误概率为任意小。 若传输过程中的信息允许有一定失真，则信息速率可以降低，即r h or ) 的速率编码， 就可使译码错误概率为任意小。若统一考虑信源1 和信源2 ，则只要编码速率 r h ( u 1 ，u 0 ，就可以正确恢复信源1 和信源2 的输出。而在独立编码时编码器l 和编码器2 的编码速率选择就成为下文s l e p i a n - w o l f 问题所关注和研究的对象，即 分布式信源编码问题。 2 2 2s l e p i a n - w o l f 无损分布式编码1 町，【1 硼 在s l 印i 柚，w o l f ( 1 9 7 3 ) 分析过的两个信源和两个译码器之间可能的1 6 种连 接方式中，图2 2 所示结构是最具意义的一种。在其所发表的研究论文中得到如下 的结论：一般情况下r 1 ，和r 与h ( u o 、h ( u 2 ) 、h ( u i i u 2 ) 、h ( u 2 j u , ) 和h ( u l ， u 0 的关系如图2 3 给出，其中的阴影部分为可达速率区 冀2 h 椰i 埘 h d 埘 埔蛐， o 瑚u i l 均i o j 0i 讯j 4 u 对 黜 望分布式视频编码研究 图2 3 相关信源独立编码可达速率区域图 域，它满足：r 1 h ( u 1 | u 2 ) ；r 2 h ( u 2j u 0 ；r 气r 1 ) ；r l + r 2 h ( u l ，u 2 ) ，即 s l 印i a n w b l f 定理：对于任意离散无记忆信源，满足上式中的速率对r 爿r 1 r 2 ) 是可达的。其正证明方法源于e lg a m a l ，c o v e r ( 1 9 8 0 ) 。这个定理揭示了当两个 信源统计相关时，如果译码器译码时能彼此提供译得的有关两个信源输出的结果， 则两个编码器独立编码时刻不必分别保证最大信息速率，即r i h ( u 0 ，r 2 h ( u 2 ) ， 就可实现任意可靠通信。将u 2 提供给u l 或u 1 提供给u 2 的信息称为边信息( s i d e i n f o m a t i o n ) 。例如当选择r i h ( u l l u 2 ) ，r 2 h ( u 2 ) 时，u j 可精确译出，而u 2 给出 的关于u 1 的信息量为：1 0 3 , ；u 2 户h ( u 0 h f u l l u g ) ，因此，要确定u “只要有大 于h ( u 1 | u 2 ) 的信息量就足够了。 基于解码端边信息的压缩系统是上述相关信源独立编码系统的一个特例，如 图2 4 所示。源消息序列包含统计相关序列x 和y ，分布式信源编码所关心的是 只能在解码端获得边信息序列y 的情况。其编码效果与在编码端联合编码x 和y 序列的情况是一样的，在编码速率为p y h ( y ) ，p x 一h c x l 的条件下，可保证解 码端以任意小错误概率恢复x 序列信息。 图2 4 基于解码端边信息的无损压缩系统 实际情况下，如果x 和y 相似，那么会有一个误差序列由_ ) ( + y ，它由大多 数“0 ”和少数“l ”构成，其中的“l ”表明了x 和y 不一致的地方。为了防止 序列x 产生误码，可以采用系统信道编码，只传输奇偶校验位。在解码端，用奇 偶校验位与辅助信息y 合成纠错码。如果x 和y 确实非常相似，那么只需要传输 极少的奇偶校验位( 或陪集校验位) ，则压缩效果显著。这种方法不采用前向纠错 来防止传输通道产生的误差，而是采用一个虚拟信道来捕捉x 和辅助信息y 的统 计相关性。 目前大多数的分布式信源编码技术都源自信道编码的思想，最早的研究是对 统计相关的二值高斯信源使用标量和和t r e l l i s 集构造的方法来研究解码端辅助信 息的信源编码的非对称情况，随后又研究了对相同码率信源x 和y 的对称编码方 式。其后又使用嵌入式t r e l l i s 集编码结构对高斯信源的非对称编码进行了研究，并 获得了比之前的方法更好的实验结果。之后有更复杂的信道编码技术应用于分布 式信源编码，如使用贝叶斯网络、维特比解码器、t u r b o 码、 l d p c ( l o w - d e n s i t y p a r i t y - c h e c k ) 码等。 第二章分布式信源编码基础理论 2 2 3w y n e r - z i v 有损分布式编码n 明，【2 0 1 。 2 2 1 基于$ 1 + p i a n 和w o l f 的理论，w y n e r 和z i v 建立了使用解码端辅助信息的有损 分布式编码理论。为了便于说明，用x 和y 表示两个独立同分布随即序列的样本， 两个序列可能有无限的符号集d 和b ，分别构造信源和辅助信息。如图2 5 所示 信源x 在编码时无法使用边信息y ，而在解码端可以利用边信息得到重构值，则 失真度为d e d ( x ，n x ) 】。w y n e r - z i v 率失真函数r w z x ) y ( d ) 表示了在失真度d 的 约束条件下，分布式编码的码率下限。如果编码端同样可以利用边信息y ，则率 失真函数为p - x l y ( d ) 。w y n e r 和z i v 证明了如果编码端不能利用边信息，则 r w z x l y ( d ) p - x l y ( d ) 0 。在高斯无记忆信源、均方误差失真的条件下， r w z x l y ( d ) - r x l y c d ) = 0 ，经实验证明码率损失小于0 5 比特，样本。如果信源序列x 是任意分布辅助信息y 和独立高斯噪声的和，该等式同样成立。 r w z x l y ( d ) - r x l y t d ) 一。 图2 5 基于解码端边信息的有损压缩系统 实际应用中的w y n e r - z i v 编解码系统如图2 6 所示。经证明在特定条件下，如 果源消息与边信息是联合高斯分布，则采用线性码和网格码将可能达到w y n e r - z i v 编码速率的理论下限。 w y a e r - z l v 编码器i w y a e r - z “, 解再器 图2 6 实际应用的w y n e r - z i v 压缩系统 2 3 本章小结 本章主要对分布式信源编码基础理论进行了说明，包括：相关信源理论，分 布式信源编码模型以及基本编码框架s l e p i a n w o l f 编码器和w y n e r - z i v 编码器的基 本结构和实际应用结构。但是对于实际视频编码应用来说，本章内容只是基础， 关于如何将分布式信源编码理论有效应用到视频编码领域中，还有许多工作要完 成。这些内容将在第三、四章进行详细的介绍和说明。 第三章分布式视频编码技术 第三章分布式视频编码技术 3 1 分布式视频编码的优势 由第一章关于视频编码标准的介绍，可知当前流行的视频编码标准的实现方 案，例如m p e g - 4 ，h 2 6 4 等，在编码器端的运算量要远远高于解码端，其设计复 杂度往往是解码端设计的5 1 0 倍，这种非对称方式适于采用服务器客户端结构的 数字视频广播，视频点播等服务，即只需完成一次压缩编码后就可以多次解码应 用，但是对于某些应用需要低复杂度编码器，并以高复杂度解码器为代价实现高 效的视频系统，包括用于监控的无线视频传感网络，无线摄像机，移动视频设备 等方面的应用。而这些应用都是编码端存储、运算量( 功耗) 受限的。 根据前面的介绍，可知s l e p i a n - w o l f 和w y n e r - z i v 分布式编码理论为解决上述 问题提供了一种非传统的视频编码方案，即对于各帧进行独立编码，以及统一的 条件解码，经验证该方案的实现效果已经接近传统的采用运动补偿的帧间编码方 案，并己超过传统的帧内编码方案。相比于传统的预测编码方案中经运动补偿得 到的前一帧作为编码端的边信息，在分布式编码方案中作为边信息的前一帧只能 在解码端获得，编码端只进行帧内编码，解码端将采用帧间预测的方法提取各帧 间的相关统计特性，负责较大的运算工作。 另外即便接收端也属复杂度受限设备，比如移动终端设备，仍可采用分布式 编码方案，只需与转码器结合即可，如图3 1 所示，一台移动终端作为编码端，采 用分布式视频编码方案，其码流传输至固定的基站设备进行解码和转码工作，输 出传统标准码流，如m p e g ，h 2 6 4 等，再传输至另一台终端设备进行传统标准解 码工作。这种系统结构不仅将复杂的运算工作转移至固定的网络基站设备，而且 还可与多个用户高效的分享视频资源。 图3 1 包含转码的无线视频应用系统 分布式视频编码研究 3 2 分布式视频编码研究现状及成果 3 2 1 分布式视频编码研究现状 总体而言，分布式视频编码有4 个主要特点：( 1 ) 低复杂度编码、高复杂度 解码；( 2 ) 对于容易产生误码的无线网络，具有较好的鲁棒性；( 3 ) 具有较高的 压缩效率；( 4 ) 易形成分级编码的码流。因此分布式视频编码较为适合编码复杂 度较低的无线视频场合。目前主要的编解码算法有：b e m dg i r o d 等提出的 w y n e r - z i v 视频编码剀；r a m e h a n d r a n 等提出的p r i s m 视频编码【2 6 】：z i x i a n gx i o n g 提出的分级w y n e r - z i v 视频编码1 2 s 。这些分布式视频编码都是在编码端，把各帧 图像看成“独立信源”，各帧之间进行独立编码，类似于传统的帧内编码。在解码 端利用时域相邻帧的高相关性，通过对已解码重建帧进行运动估计，进行时域内 插值求取边信息，最后边信息用于s l c p i a n w o l f 解码和当前解码帧的重构。由于在 分布式视频编码系统中的解码端，需要运动估计来提取时域相邻帧的相关信息， 所以编码器可以较为简单，把计算量较大的帧间预测( 如运动估计) 转移至解码 端。 3 2 2 几种典型的分布式视频编码结构方案 ( 1 ) 空间域w y n e r - z i v 视频编码1 2 4 。该方案由b e m dg i r o d 等提出。其原理框图 如图3 2 所示。编码端采用两种编码方式：一种是w y n e r - z i v 帧，图像信号均匀量 化后，进行基于t u r b o 码的s l e p i a n w o l f 编码，其目的是保持视频信号的基本轮廓； 另一种是关键帧编码，采用的是传统视频编码中的帧内编码。 空间域w y n e r - z i v 编码框架中，解码比较复杂，其步骤如下： s t e p l ：对已解码的关键帧k 之间通过运动估计，得到运动矢量，进行 时域插值，得到边信息n s 。 s t e p 2 ：t u r b o 解码器利用边信息一s 联合解码出n s q 。 s t e p 3 ：一s 和 s q 利用最大后验估计联合重构w y n e r - z i v 帧。 可见在空间域w y n e r - z i v 视频编码中，其编码仅仅是传统的帧内编码和基于 t u r b o 码的w y n e r - z i v 编码，所以编码复杂度不高；而解码较为复杂，通过帧内解 码、t u r b o 解码、运动估计、插值补偿和最大后验估计等联合解码才等到较好的效 果。 第三章分布式视频编码技术 帧栩箱码 棱阅解码 图3 2 空n 域w y n e r - z i v 分布式视频编码系统 ( 2 ) 交换域w y n e r - z i v 视频编码1 1 札。空间域w y n e r - z i v 编码算法中，图像信 号量化后，进行基于t u r b o 码的s l e p i a n w o l f 编码，解码端主要进行帧间预测以对 时间冗余进行压缩，而对于视频信号的空间冗余没有进行特别处理，为了提高压 缩效率，b e m dg i r o d 等在后续研究中提出变换域w y n e r - z i v 视频编码方案，如图 3 3 所示。 簟内囊玛糟捌嘴 图3 3 频域w y n e r - z i v 分布式视频编码系统 频域w y n e r - z i v 视频编码和空间域w y n e r - z i v 视频编码类似，都采用了 w y n e r - z i v 帧和关键帧两种编码帧方式。不同之处在于对w y n e r - z i v 帧的编码方式 不同： s t e p l ：对w y n e r - z i v 帧进行d c t 变换。 s t e p 2 ：对于d c t 低频部分系数进行二元m 级量化，进行基于t u r b o 码的 s l e p i a n w o l f 编码。 s t e p 3 ：d c t 高频部分的系数量化，通过关键帧k 的编码系数预测，进行熵编 码。 由于提高了编码复杂度，频域w y n e r - z i v 视频编码的效果更好，但其所需的存 储单元有定的提高，某些模块类似于帧间预测。 1 6 分布式视频编码研究 ( 3 ) p r i s m 视频编码 2 6 】。p r i s m ( p o w e re f f i c i e n tr o b u s th i g h - c o m p r e s s i o n s y n d r o m e - b a s e d m u l t i m e d i a ) 视频编码框架由r o h i p u r l 等在2 0 0 3 年提出，其基本 结构与b e r n dg i r o d 等提出的频域w y n e r - z i v 视频编码方案类似，然而提出的时间 更早，其框图如图3 4 所示。主要过程如下： s t e p l ：进行8 x 8 或1 6 x 1 6 宏块的d c t 变换。 s t e p 2 ：根据宏块在空间域和时间域的特性，对编码宏块进行分类 ( c l a s s i f i c a t i o n ) 。 s t e p 3 ：变换后d c t 系数的低频部分依次进行初量化( b a s eq u a n t i z a t i o n ) ，基 于分类的符号组( s y n d r o m e ) 编码，精量化( r e f i n e m e n t q u a n t i z a t i o n ) 。 s t e p 4 ：变换后d c t 系数的高频部分进行量化，熵编码。 i 膏鞭部分 图3 4p r i s m 分布式视频编码系统 解码端首先通过运动搜索得到边信息，进行s y n d r o m e 联合解码，然后进行逆 扫描、反量化、i d c t 、最终实现对当前帧的估计和重建。p r i s m 视频编码有三个 主要特点：一是计算复杂度可以根据编码端和解码端的实际情况进行较为合理的 分配；二是编解码体系具有较好的鲁棒性；三是具有灵活的码流结构。从文献的 实验结果看，p r i s m 的编码效率在h 2 6 3 + 的帧内编码和帧间编码之间，总体来说， p r i s m 的分布式编码方案是相当有效的。 ( 4 ) 分级w y n e r - z i v 视频编码1 2 5 】。z i x i a n gx i o n g 提出的分级w y n e r - z i v 视频编 码也是一种较为代表性的分布式视频编码方案，其编码框图如图3 5 所示。在该编 码方案中，基本层采用h 2 6 l 编码，增强层采用基于l d p c 码的w y n e r - z i v 编码。 其中w y n e r - z i v 编码编码器的主要编码过程是依次进行d c t 变换，嵌套标量量化 ( n s q ，n e s t e ds c a l a rq u a n t i z e r ) 和基于l d p c 的s l e p i a n - w o l f 编码。 从实验结果看，分级w y n e r - z i v 视频编码的效果和m p e g - 4 h 2 6 l 的精细分级 编码( f g s ，f i n eg r a n u l a rs c a l a b i l i t y ) 大致相当。但重要的区别在于：在编码端， 增强层( w y n e r - z i v 帧) 的编码和基本层( h - 2 6 l 帧) 的编码是独立进行的没有任 何关联，而在解码端则采用联合解码。所以和m p e g - 4 h 2 6 l 分级编码相比，这 种编码方式可以避免由于传输错误造成的编码与解码失配问题( e n c o d e r - d e c o d e r m i s m a t c h ) ，具有更好的抗误码特性。 第三章分布式视频编码技术 叫o h 。2 乩视频编码； - - - i- | 。h 舶l j 视频编码l 6 ； 蜇 l i 蚤 娅圣量蝌 一； 、。羹 w y - 口嘶蝙码w y _ * 舀y 解码 图3 5 分级w y n e r - z i v 分布式视频编码系统 3 3 关键技术与研究热点 分布式编码是视频压缩领域的一个新框架，其中编解码系统的开发、熵编码、 量化和变换等技术已经成为这项全新的编码技术发展和创新的关键。 3 3 1 编码器 虽然s l e p i a nw o l f 的理论产生于2 0 世纪7 0 年代，但是它却是在最近几年才获 得了实际的应用。三十年前人们就明白s l e p i a nw o l f 编码非常接近于信道编码，可 以使用一个系统信道编码传输校验位。在解码端，可以接收校验位和边信息y ， 并且执行纠错解码。如果x 、y 非常相似，只需要传输少许校验位和重要的压缩 结果。需要强调的是这个方法并不执行前向纠错来保护信道传输的错误，而是使 用一个虚拟的相关信道来获取x 和边信息y 的统计相关。 另一种编码实现方法，即对序列x 进行陪集划分，编码端发送x 所属的陪集 索引，接收端选择陪集中与边信息y 最接近的码字。可以看出两种解释是相同的， 在校验位的解释下，发送一个二进制的行矢量x p = x p ，g 为系统线性块编码的生 成矩阵，在陪集的解释下，发送伴随阵s = x h ，h 是线性块码c 的校验矩阵。如 果p = h ，传输的码流是相同的。可以使用t u r b o 码来实现s l e p i a nw o l f 编码器。由 于t u r b o 码的良好性能，这种方法能够很好接近s l e p i a nw o l f 给定的编码界。之后， 有人采用l d p c ( i o wd e n s i t y p a r i t yc h e c k ) 码来实现s l e p i a nw o l f 编码器。仿真结果表 明它比当时所有的t u r b o 码的压缩性能都好，更能接近理论限。后来他们又使用 i r a ( i r r e g u l a rr e p e a ta c c u m u l a t e ) 码进行实验，也得到了很好的结果。 3 3 2 量化技术 因为图像的失真度基本上是由量化器决定的，所以对于视频编码而言，量化 分布式视频编码研究 器是非常关键的一个环节。由于分布式编码中，解码器的动作是整个编码系统结 构的核心，这不同于传统的编码器端决定图像质量的工作方式。分布式编码中的 量化器无法直接继承传统图像视频编码技术中的量化器设计方法。在s l e p i a n w o l f 编码的基础上，w y n e r - z i v 编码机制有了很大进展，对于重建边信息的初步量化器 设计目的来自于信息论。在特定情况下，线性编码和嵌入式格码，接近w y n e r - z i v 的率失真函数。特别是当信源和边信息是联合高斯分布时，构成了分布式编码中 量化器设计的理论基础。 通常情况下，认为w y n e r z i v 编码器由一个量化器和一个s l e p i a n w o l f 编码器 组成。量化器将信号空间分为单元，不相邻子单元映射到相同的量化索引q 。经 过优化的量化器采用理想s l e p i a n w o l f 编码器编码量化索引，其码率估算依赖于量 化索引和边信息，使s l e p i a n w j i f 编码器的块长与量化器维数分离，而这是实际系 统的基本要求。对于高码率，在特定的情况下，最优量化是格子量化，分离的量 化单元不需要影射到同一个索引。在编码端不具有边信息的情况下，它是渐进无 性能损失的。 3 3 3 联合解码和运动补偿 为了获得更高的压缩效率，可以在解码端进行运动补偿。传统的运动补偿编 码配合w y n e r - z i v 码流以及辅助信息可以在这里采用，例如c r c 可以用于解码端 的运动补偿【硐，来确定每一个码块具有不同的运动矢量，每个解码版本的c r c 和 传送的c r c 进行比较选用。另外一种方法由s t a n f o r d 完成，即发送个鲁棒的h a s h 码字来辅助解码端估计运动。目前的h a