（通信与信息系统专业论文）分布式视频编码系统中边信息的构造.pdf

分布式视频编码系统中边信息的构造 专业：通信与信息系统 硕士生：欧珊珊 指导教师：梁凡副教授 摘要 随着网络与多媒体的发展，越来越多需要低计算复杂度编码器的移动视频终 端加入到网络中，实行多次编码，一次解码，这种视频上行链路传输模型将日益 流行。传统的视频压缩标准因编码端过于复杂而不便应用到这些视频终端中去。 基于s l e p i a n w o l f 和w y n e l t - z i v 理论的分布式视频编码作为一种新的非对称的视 频压缩框架，提出一种单独编码联合解码的方案，使低复杂度的编码端得以实现； 并且由于运用信道编码技术，大大提高视频传输系统的抗误码性能。 在分布式视频编码系统中，边信息是极为重要的。如何准确的构造边信息是 分布式视频编码的一个突出难点。边信息的正确性对分布式视频编码系统的率失 真效率与压缩效率有显著影响。边信息构造得越准确，解码端就需要越少的校验 比特进行解码，压缩效率就越高。 本文提出一种新的基于运动补偿帧插值的自适应边信息构造算法。该算法采 用了扩展块进行前向和后向运动估值，并使用了矢量中值滤波器对运动矢量场进 行平滑。这样得到的矢量场更加准确，重构帧的质量更加好。该算法还利用前向 运动补偿和后向运动补偿插值帧的互补性以及重叠块运动补偿进一步改进边信 息的质量。本文提出的算法还采用静止块的判定以及自适应设定运动搜索范围的 方法降低运算复杂度。实验结果表明，本文算法重构出来的边信息在p s n r ，主 观质量以及运算复杂度等方面都比现有一些算法( 如帧速率上采样双向运动估 值，运动补偿时域插值，运动矢量场帧插值等) 有所提高。 关键字：分布式视频编码，边信息，运动估值，帧插值 c o n s t r u c t i o no fs i d ei n f o r m a t i o nf o rd i s t r ib u t e dv i d e o c o d i n gs y s t e m m a j o r ：c o m m u n i c a t i o na n di n f o 蛐a t i o ns y s t e m n 锄e ：o us h a n s h a i l s u p e i s o r ：a s s o c i a t ep r o f i j a n gf a n a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to fn e t w o r ka n dm u l t i m e d i a ，m o r ea n dm o r em o b i l e v i d e ot e 瑚i n a l sw h i c hn e e ds i m p l ee n c o d e rj o i ni nn e t w o r k ，t h e yu s u a l l ye n c o d em a n y t i m e sa n dd e c o d e0 n l y o n c e ， a n dt h i s u p l i n kv i d e ot r a n s m i s s i o nm o d e lw i nb e i n c r e a s i n g l yp o p u l a r 1 r a d i t i o n a lv i d e oc o d i n gs t a n d a r d sw i l ln o tb es u i t a b l ef o rs u c h a p p l i c a t i o n sb e c a u s eo fc o m p l e xe n c o d e ld i s t r i b u t e dv i d e oc o d i n g ( d v c ) b a s e do n s l e p i a n w b l fa n dw y n e r z i vt h e o r yp r e s e n t sa ni n t r a - f t a m ee n c o d i n ga n di n t e i - f r a m e d e c o d i n gs o l u t i o n ，r e a l i z i n gas i m p l ee n c o d e rf t a m e w o r k i na d d i t i o n ， a n t i e n d r p e 哟m a n c eo fs y s t e mw i l lb ei m p m v e d 伊e a t l yb e c a u s eo fc h a n n e lc o d i n gt e c h n i q u e i nd v c s y s t e m ，s i d ei n f o 姗a t i o ni so fg r e a ti m p o r t a n c ea n do n eo ft h es t a n d i n g 0 u td i f 矗c u l t i e si nd v c s y s t e m t h ev e r a c i t yo fs i d ei n f b 瑚a t i o nw o u l de s s e n t i a u y i n f l u e n c ed v cs y s t e mr a t ed i s t o n i o n柚dc o m p r e s s i o np e 怕r m a n c e t h em o r e a c c u r a t et h es i d ei n f b n n a t i o ni s ，t h ef e w e rp a r i t yb i t sn e e dt ob es e n tt od e c o d e r ，i n t h i sw a y ，d v cs y s t e mh a sab e t t e rc o m p r e s s i o np e 怕姗a n c e w ep r o p o s ean e wm e t h o d0 fm o t i o nc o m p e n s a t e df r a m ei n t e r p o l a t i o nb a s e d a d a p t i v e l y s i d ei n f o 姗a t i o nc o n s t r u c t i o n b o t hf b r w a r da n db a c k w a r dm o t i o n e s t i m a t i o ni sc o n d u c t e da n dv e c t o rm e d i a nf i l t e ri su s e dt os m o o t ht h em o t i o nv e c t o r s i l lt h i sw a y m o t i o nv e c t o r sa r em o r ec o r r e c t ， a n da t t a i nah i g l l e rq u a l i t yo f r e c o n s t m c t e df h m e t h e p r o p o s e d m e t h o da l s ot a k e s a d v a n t a g e o ft h e c o m p l e m e n t a r yf r a m e su s i n g f o n a r da n db a c k w a r dm o t i o ne s t i m a t i o na n d o v e r l a p p e db l o c km o t i o nc o m p e n s a t i o nt of u n h e ri m p r o v et h eq u a l i t yo fs i d e i n f o m a t i o n a n di ta l s op r o p o s e st h em e t h o do fs t a t i cb l o c kj u d g m e n ta i l da d 叩t i v e l y v e n a c t m e n tf o rm o t i o ne s t i m a t i o ns e a r c hr a n g et or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dp e 怕册sb e t t e rt h a no t h e r0 l d m e t h o d s ( s u c ha sf r a m er a t eu p - c o n v e r s i o nb i d i r e c t i o n a lm o t i o ne s t i m a t i o n ，m o t i o n c o m p e n s a t i o nt e m p o r a l i n t e 叩o l a t i o n ，m o t i o nf i e l df r a m ei n t e r p o l a t i o ne t c ) i np s n r ， p e r c e p t u a lq u a l i t ya n dc o m p u t a t i o n a lr e q u i r e m e n t s k e yw o r d s ：d i s t r i b u t e d d e oc o d i n g ，s i d el n f 6 咖a t i o n ，m o t i o ne s t i m a t i o n ，f r 锄e i n t e r p o l a t i o n 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体己经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：欢时埘 日期：工硼g 年歹月? 日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名：直泛锵次9 导师签 日期：互w 作歹月g 日日期：d 护年f 月2 日 1 1 论文的研究意义 第1 章绪论 随着网络以及多媒体通信的发展，一些移动视频录制设备，如无线传感网络 中的低功耗的视频传感器，移动视频电话，无线p c 照相机等等，越来越广泛地 应用到网络中。这些应用往往需要低复杂度和高压缩效率的编码器，如计算能力， 内存容量和耗电量都受到限制的无线视频终端。现在流行的视频压缩标准【1 】【6 1 ， 如m p e g 系列和h 2 6 x 系列等，却不能为这些应用提供较好的解决方法。传统的 视频压缩标准的编码端由于利用输入视频帧之间的相似性并采用了帧间预测编 码方案，需要进行运动估值，计算复杂度一般比解码端要高出5 至l o 倒7 1 。这 种不对称的视频编码框架因编码端过于复杂而不便应用到实际中去。这就要求我 们建立一个与传统视频编码框架相反的框架，而这个框架必须具备以下几个特点 1 8 j ：( 1 ) 低计算复杂度的编码单元。( 2 ) 高压缩效率的编码器。( 3 ) 在复杂 的无线信道中传播，具有良好的抗误码性能。 分布式视频编码系统作为一种全新的非对称的视频压缩框架，是建立在2 0 世纪7 0 年代s l e p i a n 和w o l f 以及w y n e r 和z i v 提出的信息理论基础上的。它提 出一种单独编码( 帧内编码) 和联合解码( 帧间解码) 的方案，只在解码端利用 信源的相关性，并能获得良好的压缩性能；并且采用了信道编码技术，很好地解 决了无线信道中传输的抗误码性问题【7 1 。分布式视频编码适用于需要多次编码， 一次解码的情况，因此，将在需要编码复杂度较低的无线视频场合得到较广泛的 应用。 在分布式视频编码系统中，边信息是极为重要的。如何准确的构造边信息是 分布式视频编码的一个突出难点。边信息根据不同的信道编码方法和信道要求有 不同的定义；可以包括传统视频编码中所指的运动矢量、编码模式等等1 1 】- 【6 1 ，可 以是像素灰度值、d c t 系数、或者像素梯度方向，图像二进制边缘等等【7 1 。总的 来说，边信息就是解码器提供的与当前欲解码帧具有较强相关性的一些信息。边 信息的正确性对分布式视频编码系统的率失真效率与压缩效率有显著影响。边信 息构造得越准确，解码端就需要越少的校验比特进行解码，压缩效率就越高。构 建准确的边信息对提高分布式编码系统率失真效率与压缩效率具有举足轻重的 分布式视频编码系统中边信息的构造 作用。 1 2 研究现状 1 2 1 分布式视频编码系统研究现状 虽然s l e p i a n 和w 0 1 f 以及w y n e r 和z i v 提出的理论始于2 0 世纪7 0 年代， 但是关于分布式视频编码系统的研究却是在前几年才兴起。目前主要的编码算法 有：b e r n dg i r o d 提出的w y n e r z i v 视频编码框架【7 ，9 ，1 0 】：r a m c h a n d r a n 等提出的 p r i s m ( p o w e r e f f i c i e n tr o b u s th i g h c o m p r e s s i o ns y n d r o m e b a s em u l t i m e d i a ) 视频编码【1 1 ，1 2 】；z i x i a n gx i o n g 提出的分级w y n e r z i v 视频编副1 3 ，1 4 】；基于小波 编码的分布式视频编码方案；m e ig u o 等人提出的利用空间与时间相关性的多 参考帧的分布式视频编码方案【1 6 】；a d i k a r i 等提出的递归解码分布式视频编码方 案【r 7 】等等。这些分布式视频编码系统都是在编码端对各个视频帧进行单独编码。 在解码端，利用相邻解码帧之间时域的高度相关性，对解码帧进行运动估值，通 过时域内插或外推求取边信息，最后利用边信息进行解码和当前解码帧的重构。 1 2 2 边信息研究现状简介 分布式视频编码系统有两种输入：关键帧和w y n e 卜z i v 帧( w z 帧) 。边信 息构造最简单的方法就是直接调用前一解码的关键帧，或者用前后两个关键帧的 平均值来构造边信息。当视频序列物体运动趋势较大时，直接法或平均法构造的 边信息将很不可靠【9 1 。文献【1 0 1 使用运动补偿外推技术进行边信息构造。这一技术 的优点是只用已解码的帧构造边信息；缺点是已解码w z 帧的错误会降低运动补 偿的可靠性，可能引起错误的递归1 1 0 j 。其余大部分现有的w y n e r z i v 编码系统 均采用帧插值的技术构造边信息。文献f 1 8 】提出基于运动补偿的插值方法。所有的 运动矢量均需代表物体的真实运动轨迹，因为插值过程是同运动矢量控制1 18 。然 而因为假设物体运动轨迹的线性特性，插值重构后的视频会出现空洞或像素重叠 的现象。c h i w a ht a n g 等人在文献1 1 9 j 中提出m c m 技术。这一技术基于视频中 物体运动线性平滑的前提。而实际情况下，物体运动的非线性会引入严重的方块 效应、像素重叠以空洞现象。s c h 锄和j w w o o d s 在文献【1 8 j 中提出了一 2 中山大学硕士学位论文 种应用于帧速率上采样的基于双向运动估值的帧插值方法。该方法通过双向运动 估值和平滑算法对运动矢量场进行修正，最后进行帧插值重构得出边信息。该算 法的主要特点是不会产生任何重叠的像素以及空洞。m o h a m m e de m u a l l a 在 文献1 2 0 j 中提出一种低复杂度的基于像素域的帧插值技术。该算法首先得出基于块 的运动矢量场，然后再利用插值公式将基于块的矢量场转换成基于像素的矢量 场。该算法比起基于像素域的运动估值有较低的运算复杂度，并能减轻方块效应。 1 3 论文成果 本文提出了一种新的基于运动补偿插值的自适应边信息构造算法。该算法利 用扩展块匹配运动估值得出运动矢量。由于初步得到的运动矢量会存在不连续性 或不正确性，再利用矢量中值滤波器对运动矢量进行修正。对平滑后的运动矢量， 利用重叠块运动补偿得出前向和后向运动补偿重构帧。最后利用两者的互补性进 行自适应双向插值。实验结果表明，该算法比运动补偿时域插值( m c t i ) ，帧 速率上采样双向运动估值( f f a m er a t eu p c o n v e r s i o nb m e ) 和运动矢量场插值 ( m f i ) 等算法在p s n r ，主观质量等各方面均有改善。本文还通过静止块的判 定以及自适应设定运动估值搜索范围的方法来降低运算复杂度。实验结果表明， 本文提出的算法对于仿真的视频序列基本能在降低运算复杂度的同时，保证 p s n r 以及视觉效果的提高。 1 4 论文内容安排 论文的具体安排如下： 第1 章引言，介绍论文的研究意义，研究现状和我的研究内容。 第2 章分布式视频编码，前半部分总结了分布式视频编码理论基础以及一般 框架，并就其中两个经典的框架进行了分析。后半部分对现有的边信息研究现状 进行探讨，并对现有的其中几个边信息构造方法的算法流程进行了系统性的介 绍。 第3 章基于运动补偿插值的自适应边信息构造算法，在前人的基础上提出一 种新的边信息构造算法并叙述了具体算法的实现过程。 第4 章边信息构造算法的实验，边信息构造算法的实验结果比较与分析。 3 分布式视频编码系统中边信息的构造 第5 章总结，回顾论文的全部工作并展望下一步的研究工作。 最后是参考文献，附录和致谢。 4 第2 章分布式视频编码系统 2 1 分布式视频编码的原理 分布式信源编码可以简单的分成两类【8 】：( 1 ) 编码端联合编码，解码端联合 解码，如图2 1 所示；( 2 ) 编码端独立编码，解码端联合解码，如图2 2 所示。 分布式信源编码原理是分布式视频编码的理论基础，具体来讲主要有两大理论： s l e p i a n - w b l f 无损分布式编码理论和w y n e r - z i v 有损分布式编码理论。 图2 1 x 和y 联合编码，联合解码 图2 - 2 x 和y 独立编码，联合解码 2 1 1s 1 e p i a n _ w 0 1 f 无损分布式编码 分布式信源编码是指对相关的两个或者多个信源进行编码，每一个信源使用 一个单独的编码器。如图2 一l ，图2 2 所示，每一个编码器发送一个单独的比特流 到同一个解码器，该解码器对所有输入的比特流进行联合操作，从而利用信号间 的统计相关特性进行解码【7 1 。 假设有两个统计相关的独立同分布随机过程x 和y ，如果使用传统的熵编解 码器分别对它们进行独立编解码，均有略h ( x ) ，墨日) 【刀。其中，以墨 分别是x 和y 输出的码率，h ( x ) ，h ( y ) 分别是x 和y 的信息熵。如果有一 s 隹 器一 码 合一一联一 净 一x 一 一y 一 一器一一器一一码7，、业码一 一编一 一编一 一荭 分布式视频编码系统中边信息的构造 个能够恢复x 和y 的残差概率函数，数值很小但通常不为o ，利用它在编码端对长 序列进行独立编码，在解码端进行联合解码，根据s 1 e p i a n w o l f 【2 1 】理论，可以 建立如下速率区域( 如图2 3 所示) ： 麓奢。二0 主z2 叩 倍1 ) r x 日( xi 】，) ，r y h ( ylx ) 从图2 3 可以看到，s l e p i a n w o l f 编码速率可达区域分成两部分【7 】：第一部 分是无错区域：如 日x 并且墨 以，在这一区域，信源x ，y 可以进行独立编 解码的无损编码。其余区域没有满足无错区域的限定，信源x 和y 需要联合解码。 这种情况下，如果满足式( 2 一1 ) ，也可以在解码端无失真地恢复x 和y ，实现 无错编解码。 r 此特 hn h 、x 一 _ 错误可消除的区域 、闩支+ r 一一( x ，y ) h ( xiy ) 一( x ) 月爻【比特1 图2 3 s l e p i a n w o l f 理论伫1 1 从s 1 e p i a n w 0 1 f 理论可以看到，虽然x 和y 是独立编码，但是与联合编解 码的情况相同的吲，如，墨的和达到联合信息熵h ( x ，y ) 。如图2 4 示，信源 产生一个与边信息y 统计相关的随机序列x 。只有解码端能获取边信息y 而编码 端无法获取边信息：对y 进行传统编码可以有墨= 日( y ) ，编码端无边信息的压 缩与图2 3 中的无错区域与错误可消除区域一致。因此，在编码端无边信息y 的 情况下，总有磁日( xiy ) 。 6 中山大学硕士学位论文 图2 _ 4 随机序列x 的压缩，解码端使用边信息y 【刀 2 1 2w y n e r - z i v 有损分布式编码 在s l e p i a n 和w b l f 发表了有关无损分布式编码理论不久之后，w y n e r 和z i v 扩展该理论建立了在解码端获取边信息的有损压缩编码的信息论边界【2 2 1 。如图 2 5 所示，x 和y 代表两个独立等同分布随机序列，两个有无限符号集的z 和y ， 分别模拟信源数据和边信息。在编码端没有获得边信息y 的情况下对x 进行编 码。解码器在获取边信息y 的情况下，利用符号集允对信源进行重建得到雪。 解码失真度表示为d = 研d ( x ，土) 】1 7 l 。假定赡( d ) 为边信息y 只能在解码端获取 时的率失真函数，略旷 ) 为边信息y 在编码端和解码端可以同时获取时的率失 真函数。尺舄y ( d ) 表明了在失真度d 约束下分布式编码的码率下限吲。在文献【2 2 】 中，w y n e r 和z i v 证明了在编码端无边信息y 的情况下，磷( d ) 一磁旷 ) 2 0 总是 可以达到的，然而在高斯无记忆信源及均方误差失真等特定情况下， 磷( d ) = 忍旷也是可以实现的。因此，在有损分布式编码中，即使编码端没有获 取边信息也可以达到率失真的极限阴。 ) 】 图2 - 5 利用边信息y 对信源x 的有损压缩仍 基于这个理论，w y n e r z i v 视频编码系统只在解码端利用视频帧的统计特性， 7 分布式视频编码系统中边信息的构造 实现帧内编码和帧间解码。总体来说，w y n e r z i v 视频编码器可以由量化器及 s l e p i a n w 0 1 f 编码器组成【7 1 。如图2 6 所示，量化器将信号空间划分成不同的单 元。每个单元可能包含不连续的子单元。这些子单元被映射成相同的量化系数， 送到s l e p i a n w o l f 编解码器中进行编解码，最后进行重构。 w y n e r - z i v 编码器 ：w ”e r z i v 解码器 图2 6 w y n e r - z i v 编码系统忉 2 2 分布式视频编码系统框架 传统的视频编码结构，如图2 7 所示，采用基于块的预测编码。每一帧在编 码端解码后，被储存到帧缓存中去，用作下一帧的参考帧。由于要在编码端执行 运动估值和运动补偿，需要耗费很大计算量。这种不对称的结构适用于如广播或 流媒体视频流等，一次编码多次解码。然而，像无线视频监控摄像机，移动视频 电话等应用，则需要一种低复杂度编码器的结构。 编码器 图2 7 传统的视频压缩编码框架l 与传统的视频编码框架相反，分布式视频编码系统对多个具有相关性的信源 8 中山大学硕士学位论文 进行独立编码与联合解码，由于只在解码端利用信源的统计相关性，大大降低编 码端的复杂度。目前关于分布式视频编码的研究刚刚开始起步，在该研究领域取 得较为突出成就的有：b e r n dg i r o d 等提出基于像素域和变换域的实际的 w y n e r z iv 视频编码1 7 9 ，1 0 】；r a m c h a n d r a n 等提出的p r i s m 视频编码【1 1 ，1 2 】；国内如 清华大学，微软亚洲研究院等机构也深入开展对分布式视频编码的研究。 2 2 1 基于像素域变换域的分布式视频编码系统 最简单的系统是基于像素域的分布式视频编码系统【7 ，9 1 。如图2 8 所示，关 键帧采用传统的帧内编解码器进行编解码。w z 帧的每一个像素都经过2 m 阶量化 器量化，之后传送到基于t u r b o 码的s l e p i a n w 0 1 f 编码器进行编码。在解码端， 解码器通过对已解码的关键帧进行运动估值得出运动矢量，利用时域插值产生边 信息雪。t u r b o 解码器利用边信息j 联合解码出口。j 和g 利用最大后验估计联 合重构出w z 帧s 。，重构公式【7 l 如下： r q 。( x ，) ，) q ( s ( x ，y ) ) q ( g ( x ，y ) ) 其中，q o ) 表示垆级量化。重构误差通过量化器的精度被限制在一个最大 值范围内，因此可以减少图像的模糊或方块效应【7 1 。 相比起运动补偿预测混合编码，像素域w y n e r z iv 编码器既不需要运动估值 和运动补偿，也不需要d c t 和i d c t ，结构更为简单。图2 一1 0 是像素域w y n e r z i v 编码器对于序列s a l e s m a n 的率失真表现。由图可以看出，w y n e r z i v 编码器比 起传统帧内编码，在p s n r 上有2 5 d b 的提耐7 1 。 2 0 0 4 年，b e r n dg r i o d 等以像素域w y n e r z i v 编码器为基础，提出了变换域 w y n e r z i v 编码系纠1 0 1 。变换域w y n e r z i v 编码系统与像素域w y n e r _ z i v 编码系 统的不同之处在于对w z 帧的处理不同。如图2 9 所示，对w z 帧先进行d c t 变换， 然后对d c t 系数进行2 肘级量化，再进行基于t u r b o 码的s 1 e p i a n w o l f 编码。由 于以提高编码复杂度为代价，变换域w y n e r z i v 编码器压缩了视频信号空间冗余 信息，因此压缩效率比像素域w y n e r z i v 编码器有所提高，如图2 1 0 所示。 9 分布式视频编码系统中边信息的构造 帧内编码器帧问解码器 图2 8 基于像素域的w y n e r - z i v 编码系统阴 - s 叫【 图2 9 基于变换域的w y n e r - z i v 编码系统嗍 1 0 中山大学硕士学位论文 s a i e s m a ns e q u e n c e 图2 1 0 该图出自文献忉 2 2 2p r i s m 视频编码系统 r o h i tp u r i 和k a n n 锄r 锄c h a n d r 柚在2 0 0 3 年提出p r l s m 视频编码框架，其 理论基础也是分布式信源编码。它的主要目标是具有低复杂度和较强抗误码性能 的m o t i o n j p e g 帧内编码器以及高压缩效率的帧间解码器【1 。它的主体思想【1 1 ，1 2 】 是：通过选定信道编码匹配w z 帧与边信息的相关噪声，降低编码码率，使在编 码端不做运动估值与运动补偿也能达到传统帧间编码的编码效率。p r i s m 系统有 三个主要特点【1 1 ，1 2 】： ( 1 ) 低复杂度的编码端，其复杂程度基本上与帧内编码器相当。 ( 2 ) 较强的抗误码性能。该系统是一个联合的信源一信道编解码结构，相比起 传统的预测编码结构更能抵抗传输误差。 ( 3 ) 灵活的码流结构。 令x 为当前要进行编码的数据，y 为x 的最佳预测，则y = x + n ，其中n 为高 斯随机噪声。先对x 进行帧内编码，找到一种信道编码使x 与噪声n 匹配，并用 该信道编码来对x 的信号空间进行分割。通过这个方法可以达到传统压缩编码的 压缩效率，而编码端的复杂度只相当于帧内编码。 p r i s m 系统编码部分主要由分类器、基本量化器、综合编码器和精量化器组 成。编码主要过程【1 2 】如图2 一1 1 所示： ( 1 ) 先对输入视频帧进行无重叠的分割，可以分成1 6 x 1 6 或8 x 8 大小的块。对 当前块的噪声结构进行分类，从而确定与之匹配的信道编码。 分布式视频编码系统中边信息的构造 ( 2 ) 进行1 6 x 1 6 或8 x 8 d c t 变换。 ( 3 ) 将d c t 系数进行标量量化。 ( 4 ) 进行综合编码。通过相关噪声n 的统计特性，量化信号的空间已产生。 使用适当的信道编码将量化信号空间分割成很多不同的陪集以供解码端 用以恢复原始信息。 ( 5 ) 精量化。重构质量与量化步长相关。当量化系数进行综合编码后，基量化 的已被相关噪声n 所限制。码流进行精量化，可以获得目标量化步长从而 进一步减少解码错误的可能性。 在解码端，首先通过运动估值得到边信息，联合反精量化码流进行综合解码。 然后进行反量化，i d c t ，最终实现对当前帧的估计和重构。 编码端解码靖 信道 信息 图2 1 1 p 砒s m 视频编码系统1 2 1 文献【1 1 】的实验结果表明，p r i s m 的编码效率在h 2 6 3 + 帧内编码与帧间编码之 间，然而其编码端的复杂度却比后两者大大减小。总的来说，p r i s m 视频编码方 案是非常有效的。 2 3 分布式视频编码系统的实际运用 分布式视频编码开始受到人们的关注，并将其运用到视频上行链路传输模 型，在该模型中信号多次编码一次解码。在实际应用中，如图2 1 2 所示，复杂 的解码器被固定在网络节点中进行w y n e r z i v 解码。虽然把运动估值与运动补偿 从编码端移到解码端，这样的系统结构仍与s l e p i a n w o l f 和w y n e r z i v 理论相 符。即使接收端也是复杂度受限制的设备，如移动视频手机，在转码节点中应用 1 2 中山大学硕士学位论文 w y n e r z i v 编码系统也是不无裨益的。移动视频手机利用w y n e r z i v 编码对视频 流进行压缩，并将压缩视频流传送到网络固定节点进行解码并重新利用传统视频 编码器，如h 2 6 4 ，进行压缩。然后在接收终端进行传统的视频解码。这样无线 视频终端既可以有较为简单的视频编码，又可以有低复杂度的视频解码，同时把 复杂的计算量从终端转移到网络的固定节点中1 7 1 。 2 4 边信息的构造 图2 1 2 无线视频的转码结构 一般来说，分布式视频编码中边信息定义为解码器提供的与解码帧具有较强 相关性的一些信息。这些信息可以是传统视频编码标准中所提及的运动矢量、编 码模式【1 】- 【6 】，也可以是像素值、d c t 系数、熵编码结果等等同。 2 4 1 边信息的重要性 如何准确地构造边信息是分布式视频编码的一个突出难点。考虑到编码复杂 度和压缩效率，编码端不能提供太多的比特负载，这就需要在解码端做运动估值， 构造边信息。同时在解码重建函数中，需要考虑在边信息估计错误或当前帧传输 出错等情况下，如何实现解码的最佳重建【8 j 。边信息是分布式信源编码的关键。 边信息的准确性直接关系到译码的准确性，可靠的边信息同时也能使在失真不变 的情况下提高编码的压缩效率【_ 丌。要获得优异的率失真效率和压缩效率，最有效 的方法就是让边信息与当前解码帧尽量一致。 1 3 分布式视频编码系统中边信息的构造 2 4 2 边信息构造算法的研究现状 边信息构造最简单的方法就是直接调用前一解码关键帧，或者用前后两个关 键帧的平均值来构造边信息【9 1 。当视频序列运动趋势剧烈时，直接法或平均法构 造的边信息很不可靠。分布式视频编码系统在解码端无法获得当前要解码帧的信 息，只能通过对已解码的w z 帧进行外推或对已解码关键帧插值技术来获得边信 息【1 0 】。然而重建w z 帧的错误会降低运动补偿的可靠性，因此从己解码w z 帧 外推得出的重构帧质量很差。现有的边信息构造算法大部分是基于运动补偿和帧 插值方法。这些算法假设视频序列中的运动是平滑以及线性的，通过对相邻的两 关键帧进行运动补偿插值获得边信息，这与m p e g 和h 2 6 x 系列视频标准中的 b 帧相似。下面介绍几种基于运动补偿的帧插值方法可以构造出更加准确的边信 息。 1 传统的运动补偿插值技术( m c i ) 运动补偿插值m c i 在帧速率上采样( f r a m er a t eu p c o n v e r s i o n ) 中得到广泛 的应用。对于m c i ，运动矢量必须代表视频序列中物体的真实运动轨迹，这是 因为所有的插值过程均由运动矢量去控制【1 8 】。假设在t 时刻，厂帧坐标为多的像 素点的值为五 ) 。d 1 ： ) 代表前一帧厶在卢处的像素点移动到当前帧z ：的运 动矢量。前向时域插值比率和后向时域插值比率分别定义为= ， ；等妾，其中 乞。在m c i 技术中，在两个连续帧中引入了分割模版。这 个分割模版将一视频帧分割成为静止背景，运动物体，被覆盖区域以及未被覆盖 的区域四个部分【1 8 1 ，如图2 1 3 所示。 在分割的基础上进行插值1 1 8 】： ( 1 ) 对于运动物体区域，进行双向运动补偿插值，其中像素值的重构方程 为： ) = 矗 一d l ，2 ( 多) ) + 正： 一睨。d 1 ，2 ) ) ( 2 - 3 ) ( 2 ) 对于被覆盖的背景区域，进行前向预测，像素值的重构方程为： 1 4 中山大学硕士学位论文 六；( 矽) = ( 多) ( 2 4 ) ( 3 ) 对于未被覆盖的背景区域，进行后向预测，像素值的重构方程为： z ，( 卢) = z ，( 卢) ( 2 5 ) ( 4 ) 对于静止的背景，其中的像素点进行线性插值，其重构方程可以写成： ( p ) = 。 ( 卢) + 。五：( 多) ( 2 - 6 ) 前一帖 插信帧当前帧 静止背景 运动物体 被覆盖 背最 图2 1 3 m c i 中的分割模版0 1 羽 然而，由m c i 方法插值出来的视频帧往往存在像素重叠或像素空洞现象。 这是由于假设物体运动的轨迹是线性的，但是实际中并非如此，因此得到的运动 矢量往往不能代表物体的真实运动轨迹。 2 基于双向运动估值的边信息构造方法 b y u n g t a ec h o i ，s u n g h e el e e 等人在2 0 0 0 年提出一种基于双向运动估值 的边信息构造方法【1 8 】。这种方法不同于传统的运动补偿插值的方法，不会引入空 洞或像素重叠的现象，而且利用重叠块运动补偿技术来减少方块效应。该算法由 三个模块【1 8 】组成，如图2 1 4 所示：首先进行双向运动估值构造运动矢量场；然 后在空间域与时间域上对运动矢量场进行平滑；最后就是重叠块运动补偿插值。 图2 1 5 为双向运动估值模块示意图。将输入的视频序列进行二次抽样以降 低运动估值的运算复杂度，并且可以平滑运动矢量场【1 8 l 。对二次抽样后的视频帧 进行前向运动估值，初步得到运动矢量场。对于初步得到的运动矢量，进行二次 双向运动估值，并对运动矢量进行平滑。最后再利用平滑的运动矢量进行重叠块 运动补偿以减少方块效应。 1 5 分布式视频编码系统中边信息的构造 前一帧 当前帧 图2 1 4 基于双向运动估值的边信息构造方法嘲 卜插值帧 双向 运动矢量场 图2 一1 5 双向运动估值模块n 羽 实验结果表明，比起传统的运动补偿插值，该算法能克服重叠以及空洞现象， 同时能减少方块效应【1 8 】。但是由于在进行运动估值之前进行了视频帧的二次采 样，这样做虽然可以降低运算复杂度，但是以降低运动估值精度为代价。重构出 来的图像存在模糊现象。 3 运动补偿时域内插m c ，i i 运动补偿时域插值m c t i 最早由c h i w a ht a n g 等人提出的应用于v l b r ( v e f v 1 0 w - b i t r a t e ) 的一种技术【1 9 l 。不同于混合编码中的运动补偿技术，这里是 在没有任何有关当前解码帧的信息的情况下来估计当前帧。在m c t i 算法中，利 用基于块的运动估值来建立两帧之间的联系。块匹配准则是均方绝对误差【1 9 】 ( m e 孤a b s 0 1 u t ed i 骶r e n c e ，m a d ) ，如式( 2 7 ) 所示： 峨沏，功2 击善荟l + f ，y + j ) 一六4 + 朋+ y + ，z + - j ) l ( 2 - 7 ) 其中，( x ，y ) 为块的左上角的像素点的坐标，( 棚，1 ) 为运动矢量。 现假设要估计第n 帧，参考帧为第n 1 帧和第n + 1 帧，运动估值的方法有两种： 前向和后向。前向运动估值的方法是：对于n 1 帧中的每个块，在第n + 1 帧定义一 个( 2 w + 1 ) 丰( 2 w + 1 ) 大的搜索范围，在此搜索范围中找到一个块，两者之间 的m a d 值最小，则该块被定义为与当前块最匹配的块，计算两个块之间的运动 1 6 一 一 一 运 一 一 一 一| 匕 一 鬲芏 中山大学硕士学位论文 矢量；然后把n 1 帧中的每个块像素值按1 2 的运动矢量复制到欲解码的n 帧中即 可。后向运动估值的方法是：对于n + 1 帧中的每个块，在第n 1 帧定义一个( 2 w + 1 ) 掌( 2 w + 1 ) 大的搜索范围，在此搜索范围中找到一个块，两者之间的m a d 值最 小，则该块被定义为与当前块最匹配的块，计算两个块之间的运动矢量；然后把 n + 1 帧中的每个块像素值按1 2 的运动矢量复制到欲解码的n 帧中即可。这一技术 基于视频中物体运动轨迹为线性的前提【1 9 】。而实际中往往并非如此，只有当参考 帧是相邻帧时，即时间很短才可以应用此技术来进行视频序列的时域内插，而且 我们现在的块匹配技术并不是理想的，所以利用运动估值得出的运动矢量不能代 表物体真实的运动轨迹，此种方法重构出来的视频帧往往存在较为严重的方块效 应。因此在视频帧重构的过程中，由前向运动估值与后向运动估值的块像素的平 均值来填充，使得方块现象得以减轻【1 9 】。m c t i 技术应用在分布式编码中的一个 优点就是其不需要已解码的w z 帧来估计运动矢量，这样重建w z 帧的错误也就不 会扩散开来。m c t i 技术的缺点就是运算量非常大，这是由于要进行前向运动估 值和后向运动估值，在运动估值的过程中又需要进行全搜索，因此运算量十分大。 4 运动矢量场插值的边信息构造方法 m o h 锄m e de m u a l l a 提出一种基于运动矢量场插值( m f i ) 的边信息构 造方法【2 0 1 。该方法在帧速率上采样中得到广泛应用。一般的帧速率上采样方法都 会使用运动补偿插值这种方案。而运动补偿有基于块和基于像素两种。基于块的 运动补偿方法实现简单，运算复杂度较低，然而方块效应较为严重。基于像素的 运动补偿方法可以减少方块效应改善图像质量，但却会大大增加运算复杂度。 m o h a m m e de 舢m u a l l a 在文酬驯中提出一种低复杂度的方法，将基于块的运动 矢量场转化为基于像素的运动矢量场。这种方法先进行基于块的运动估值，如图 2 1 6 所示。经过运动估值后，得出初步的基于块的运动矢量场。运动矢量的信息 只需要在运动矢量场内一些控制点处获得即可【2 0 1 。四个块的中心点 ( 而，y ，) ，阮，m ) ，“，y 。) 和( ，乩) 组成一个运动矢量场，四个中心点分别为控制点， 在运动矢量场内的任意运动矢量均可以由其周围的控制点的运动矢量插值得出， 插值公式【2 0 】如式( 2 - 8 ) 和( 2 9 ) 所示。 v o ，y ) ；( 1 一) ( 1 一y 。) 吃+ 毛( 1 一y 。) + ( 1 一) y 。屹+ 毛儿 ( 2 - 8 ) 1 7 ( 2 9 ) 矿嚣以5 嚣 其中，虼，圪，和为基于块的矢量。 图2 1 6 运动估值掣 图2 1 7 运动场插值洲 所有基于像素的运动矢量获得以后，可以根据以下方秽进彳亍季莆值 1 8 ) 哆 1 工 于 川 忏 2 琶 协 积 及 以 应效 块 ， 方等盯 一 剖 p 减 翌r 玩 一 妻 ” 瞧 矢 以 鳓 运貅 0 ， 滑 旷 平 奠矿 泄 - p 构 何 是 一 点 p 尤 溉 优 = 芸 卜 怯 栉 鼎讯姗 息柑捌酽 信种琊肆 雌埘鳓傩造出擗拍 构提拱靴性年婊鹚一一一瓣 黼荤；瓤问在吁龇 一一蜊一 和 蕃| q 。 ：i i l 闻扩灯瑟器 椭袱州撇蜥 澎豇 构时 中山大学硕士学位论文 x 乏 图2 1 8 利用空域时域相关性算法框图伫4 l p ( x 。y 1 ) p t x 1 y )p ( x + 1 y ) p t x y ) p t x 。y + 1 ) 厂 a 集 i j 厂 b 集 1 一 图2 1 9