（信号与信息处理专业论文）视频通信中的差错掩盖关技术研究.pdf

南京邮电大学博士研究生学位论文 摘要 摘要 随着网络技术和通信技术的飞速发展，视频通信在人们信息交流中的作用越来越重 要。视频信息虽然直观，但是所携带的信息量非常大，在传输之前必须对视频信号进行压 缩编码用以降低码率。由于在目前的视频压缩编码标准所规范的技术当中采用了预测编 码、变换编码和熵编码等，压缩后的码流对传输中的差错十分敏感，使得在无线、i n t e r n e t 等网络中对视频进行传输面临着巨大的挑战。为了保证压缩后的视频信息在网络中传输的 质量，必须采取有效的差错控制方法消除、抑制传输过程中差错的影响。在众多差错控制 技术当中，基于解码端的差错掩盖技术是在视频接收端降低信道误码的一种有效方法。由 于差错掩盖技术不需要对编码器作任何要求、也不会增加编码冗余，因此得到了非常广泛 的研究和应用。 本文在考虑视频通信实时性的前提下，对基于解码端的差错掩盖技术进行了深入研 ：i 。，毫+ 究。主要工作包括以下几个方面： ( 1 ) 在对基于空域插值的帧内掩盖技术进行深入探讨的基础上，提出了一种基于多 方向插值的内容白适应掩盖算法。首先针对非纹理块的情况，采用基于边缘判决的多方向一。 插值方法进行恢复，该方法研究了边缘检测区域设置以及相关边缘判决过程对丢失块内边 缘分布估计的影响，通过精确计算用于方向插值的外围边界像素值，实现了更准确的多方 向插值。然后根据丢失块内边缘分布估计的方向熵来判断丢失块是否为纹理块，针对纹理 块采用上述多方向插值算法和双线性插值算法分别进行掩盖，将两种算法掩盖结果的加权 平均作为纹理块恢复的最终结果。实验结果表明，基于多方向插值的自适应掩盖算法不仅 可以保持多方向插值算法对平滑块和边缘块恢复的良好性能，而且对于纹理块的恢复也能 取得较好的效果。 ( 2 ) 从候选运动矢量集中选择丢失块的最佳运动矢量估计时，存在两种并不一致的 典型评价准则用于判断候选运动矢量所对应运动补偿块与丢失块外围区域相匹配的程度。 为了综合考虑两种评价准则的影响，提出了一种基于模糊推理的帧间差错掩盖算法。该算 法采用模糊推理机制对两种基本准则进行融合，从而形成了一种新的评价准则。针对“模 糊技术不依赖于训练样本 的不足，通过对提取训练样本集进行聚类分析，自适应地定义 模糊推理的隶属度函数。实验结果表明，采用基于模糊推理的新评价方法能够获得比两种 基本准则更好的掩盖效果。 ( 3 ) 通过分析运动矢量之间的相关性，指出局部区域内运动矢量在二维特征空间中 南京邮电大学博士研究生学位论文摘要 具有聚类特性，并由此提出了一种基于均值漂移的h 2 6 4 帧间掩盖算法。该算法采用均值 漂移过程对h 2 6 4 中的丢失运动矢量恢复问题进行建模，通过估计计算窗口内运动矢量的 标准偏差来解决均值漂移算法中所涉及的最优带宽估计、以及加权系数设定这两个关键问 题。实验结果表明，该方法计算复杂度低、比其他h 2 6 4 运动矢量恢复方法具有更好的性 能。 ( 4 ) 在研究均值漂移中所涉及的核概率密度估计问题的基础上，提出了一种基于非 参数核回归的运动矢量恢复算法。该方法考虑将丢失运动矢量的恢复看成是局部区域内的 数据拟合问题，通过对基于参数多项式模型的运动矢量恢复方法进行分析，采用非参数核 回归的方法对参数多项式模型进行改进，使得对丢失运动矢量的恢复仅考虑小部分相邻运 动矢量的影响。实验结果表明，与基本的参数多项式回归相比，该方法可以实现对局部区 域内运动矢量更精确的逼近，从而获得更好的帧间掩盖效果。 关键词：视频通信，差错控制，差错掩盖，方向插值，模糊推理，均值漂移，核回归 i i a b s tr a c t w i t ht h er a p i dd e v e l o p m e n to f n e t w o r ka n dc o m m u n i c a t i o nt e c h n o l o g y , v i d e oc o m m u n i c a t i o n h a sb e e nm o r ea n dm o r ei m p o r t a n ti np e o p l e sd a i l yl i f e a l t h o u g ht h er e p r e s e n t a t i o no f v i d e oi s s t r a i g h t f o r w a r d ，t h ei n f o r m a t i o nw h i c hv i d e oc a r r i e si sv e r yh u g e i ti si n e v i t a b l et oc o m p r e s st h e v i d e os e q u e n c eb e f o r et r a n s m i s s i o n f o rt h ep r e v a l e n tv i d e oc o m p r e s s i o ns t a n d a r d s ，t e c h n i q u e s o fp r e d i c t i o n , t r a n s f o r ma n de n t r o p ye n c o d i n ga r ew i d e l yu s e d ，w h i c hm a k e st h ec o m p r e s s e d b i t s t r e a mb es e n s i t i v et oc h a n n e li m p a i r m e n t s oi ti sag r e a tc h a l l e n g ef o rt h ee n c o d e dv i d e ot o t m n s m i ti nw i r e l e s sn e t w o r ko ri n t e m e t t og u a r a n t e et h eq u a l i t yo fv i d e ot r a n s m i s s i o n , i ti s n e c e s s a r yt oc o n s i d e rs o m ee r r o rc o n t r 0 1m e c h a n i s m sw h i c ha r eu s e dt or e m o v eo rr e s t r a i nt h e i n f l u e n c ei n d u c e db yt r a n s m i s s i o ne r r o r a m o n gs om a n yk i n d so fe r r o rc o n t r o ls c h e m e s ，e r r o r c o n c e a l m e n t ( e c ) w h i c hi sp e r f o r m e di nt h ed e c o d e rs i d e ，i so n eo ft h e e f f e c 嚏v ew a y s m e a n w h i l e ，e cm e t h o di si r r e l e v a n tt oe n e o d e ra n dd on o ta d dr e d u n d a n c yi ne n c o d i n g ，w h i c h m a k et h er e l a t e dr e s e a r c hv e r yp o p u l a r t h i sp a p e rf o c u s e so nt h ee ct e c h n i q u e si nt h ed e c o d e r i nc o n s i d e r i n gt h et r a n s m i s s i o no f r e a l - t i m ev i d e o ，t h r e et y p e so fe cm e t h o da r es t u d i e da sf o l l o w s ： ( 1 ) b yi n v e s t i g a t i n gt y p i c a ls p a t i a le ct e c h n i q u e s ，o n ec o n t e n t - a d a p t i v es p a t i a le cm e t h o d b a s e do nm u l t i d i r e c t i o ni n t e r p o l a t i o ni sp r o p o s e d f o rt h en o n - t e x t u r em a e r o b l o c k ，t h e r e c o v e r y i sd o n eb ya l la l g o r i t h mo fm u l t i d i r e c t i o ni n t e r p o l a t i o nb a s e do ne d g ej u d g e m e n t t h i sm e t h o d s t u d i e st h ei m p a c to nt h ee s t i m a t i o no fe d g ed i s t r i b u t i o ni nt h el o s tb l o c kb yc o n s i d e r i n ge d g e d e t e c t i o nr e g i o na n dr e l e v a n te d g ej u d g e m e n t b yc a l c u l a t i n gb o u n d a r yp i x e l sm o r ea c c u r a t e l y ， t h ei m p l e m e n t a t i o no fd i r e c t i o ni n t e r p o l a t i o ni s i m p r o v e d a c c o r d i n gt od i r e c t i o n a le n t r o p yo f e d g ed i s t r i b u t i o ni nt h el o s tm a e r o b l o c k ，w h e t h e ri ti st e x t u r eb l o c ko rn o tc a nb ed e t e m i n e d f o r t h et e x t u r eb l o c k ，b i l i n e a ri n t e p o l a t o ni sc o m p u t e da d d i t i o n a l l ya n dt h ea v e r a g er e s u l t so ft w o m e t h o d sa r ec o m b i n e dt oa c h i e v ef m a lr e c o v e r y t h ee ce x p r i m e n t a lr e s u l t sf o rv i d e os e q u e n c e s v e r i f yt h eb e t t e rp e r f o r m a n c e ( 2 ) a b o u tc h o o s i n gt h eb e s tm o t i o nv e c t o r ) f r o mc a n d i d a t em vs e t ，t h e r ee x i s t st w o b a s i cc r i t e r i o n sw h i c hm e a s u r et h em a t c h i n gd e g r e eb e t w e e nc o r r e s p o n d i n gm o t i o n - c o m p e n s a t e d b l o c ko fc a n d i d a t em va n dt h es u r r o u n d i n ga r e ao ft h el o s tm a c r o b l o c k b ym e a n so ft h es c h e m e o ff u z z yr e a s o n i n g ，t w ob a s i cc r i t e r i o n sa r ec o m b i n e dt o g e t h e ra n dan o v e lt e m p o r a le cm e t h o d 1 南京邮电大学博士研究生学位论文a b s t r a c t b a s e do nf u z z yr e a s o n i n gi sp r o p o s e d i no r d e rt oo v e r c o m et h ed i s v a n t a g et h a tf u z z yt e c h n i q u e i si n d e p e n d e n to ft r a i n i n gs a m p l e s ，ap r o c e s so fa d a p t i v e l yd e f i n i n gf u z z ym e m b e r s h i pf u n c t i o n s i sa p p l i e db ya n a l y z i n gt h ee x t r a c t e ds a m p l es e t s s i m u l a t i o nr e s u l t ss h o wt h eb e t t e rp e r f o r m a n c e o v e rt e m p o r a le c a p p r o a c h e su s i n gt w ot y p i c a lm e a s u r e s ( 3 ) b ya n a l y z i n gt h ec h a r a c t e r i s t i co f d v si nal o c a lr e g i o n , w ep o i n to u tt h ep r o p e r t yo f c l u s t e r i n ga m o n gt h e s el o c a lm v s t h u s ，at e m p o r a le cm e t h o df o rh 2 6 4b a s e do nm e a ns h i f ti s p r s e n t e d b a s e do nt h ea s s u m p t i o n ，m e a ns h i f tp r o c e d u r ei se x c u t e dt or e c o v e rt h el o s tm v so f s u b - b l o c k si nh 2 6 4 t h ei n v o l v e dp r o b l e m so fb a n d w i d t he s t i m a t i o na n dw e i g h t e dc o e f f i c i e n t s e t t i n gi nm e a ns h i f ta r ea l s oi n v e s t i g a t e db ye s t i m a t i n gt h es t a n d a r dd e v i a t i o no fc o m p u t a t i o n w i n d o w e x p e r i m e n t a lr e s u l t sa l s os h o wt h eb e t t e rr e c o v e r yf o rt h ec o r r u p t e db l o c k sa n dl o w c o m p u t a t i o nc o s t ( 4 ) o n t h eb a s i so fs t u d y i n ga s s o c i a t e dk e r n e ld e n s i t ) re s t i m a t i o ni nm e a ns h i f t ，m vr e c o v e r y m e t h o db a s e do nk e r n e lr e g r e s s i o nf o rh 2 6 4i sp r o p o s e d t a k i n gt h em v r e c o v e r ya sd a t af i t t i n g i nal o c a lr e g i o n , p a r a m e t r i cr e g r e s s i o ni ss u b s t i t u t e db yn o n p a r a m e t r i cm e t h o d a si m p r o v e m e n t ， a p p r o a c ho fn o n p a r a m e t e r i ck e r n e lr e g r e s s i o no n l yc o n s i d e r st h ei n f l u e n c eo fl o c a ld a t at h r o u g h k e r n e lf u n c t i o nf o rm v r e c o v e r y ，w h i c hc a na c h i e v em o r ea c c u r a t ea p p r o x i m a t i o n s i m u l a t i o n r e s u l t ss h o wt h eb e t t e rp e r f o r m a n c ea sc o m p a r e d 埘t l lt h e b a s i cp a r a m e t r i cr e g r e s s i o nm e t h o d k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，e r r o rc o n t r o l ，e r r o rc o n c e a l m e n td i r e c t i o ni n t e r p o l a t i o n , f u z z yr e a s o n i n g ，m e a ns h i f t ，k e r n e lr e g r e s s i o n i v 学科： 工堂 专 业_ 值曼生信，皇处理一 研究方向： 图堡处理皇垒攫佳通信 作者：2 0 0 6 级博士研究生詹学峰指导老师：朱秀昌教授 题目：视频通信中的差错掩盖关键技术研究 t i t l e ：r e s e a r c ho nk e yt e c h n i q u e sf o re r r o rc o n c e a l m e n ti nv i d e oc o m m u n i c a t i o n 关键词：视频通信，差错控制，差错掩盖，方向插值，模糊推理，均值漂移，核回归 k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，e r r o rc o n t r o l ，e r r o rc o n c e a l m e n t ，d i r e c t i o ni n t e r p o l a t i o n , f u z z yr e a s o n i n g ，m e a ns h i f t ，k e r n e lr e g r e s s i o n 本论文得到以下基金项目资助 国家自然科学基金项目“基于f u z z ys e t s 的视频差错掩盖技术研究”，编号：6 0 6 7 2 1 3 4 南京邮电大学博士研究生学位论文 第一章绪论 第一章绪论 随着压缩编码技术、网络技术、移动通信技术的迅猛发展，视频通信已发展成为人们 信息交流的重要组成部分。与语音信息相比，视频信息更加直观具体、所携带的信息量更 大，这就决定了视频通信技术必将成为未来最重要的通信手段之一。然而，目前的压缩编 码标准对信息的处理主要采用预测编码和变长编码技术，使得压缩后的码流对传输错误十 分敏感。在无线、i n t e m e t 等网络中对压缩视频进行传输面l 临着巨大的挑战，差错控制技术 成为多媒体通信领域的研究热点之一。本章简单总结了视频传输中的差错控制技术，随后 给出了本论文主要研究内容、章节安排以及研究创新点。 1 1 视频压缩和差错控制 由于在视频图像数据中存在着大量的冗余信息，视频压缩编码技术研究如何利用视频 图像数据中的冗余来减少图像数据量，因此压缩编码是视频通信中最为关键的技术。多年 以来，i s o i e c 、i t u t 等标准化组织陆续颁布的一系列视频编码压缩标准( m p e g 1 2 、 m p e g 4 【2 1 、h 2 6 x 3 5 】) ，极大地推动了视频通信技术的发展。采用压缩编码技术降低原始 视频信号的码率只是视频通信中的必要步骤之一，另一个非常重要的问题在于如何消除或 抑制视频传输过程中的差错。虽然压缩编码技术可以极大地消除视频数据中的冗余，但是 同时也降低了码流的抗干扰能力。 不同的通信业务对传输网络的要求差异也不一样，普通数据文件、静止图像等非实时 信息的传输对时延无严格要求，但对误码率要求很高。包含音频和视频的多媒体业务则要 求实时传输，对时延十分敏感，但可以容忍一定的误码率网。目前传输视频的网络主要是 基于分组交换的i n t e m e t 和无线网络，与传统的n t e r n e t 应用相比，视频通信对实时性的要 求更严、对带宽的需求也更大 r l 。由于i n t e r n e t 最初的设计只是为了传送普通数据，网络i p 层只提供“尽最大努力交付 的服务，并不能保证对数据的准确传输；如果视频等实时数 据在网络传输中出现了差错或者丢失，采用t c p 协议对丢失或者出错的分组进行重传又会 极大地增加时延。又因为视频播放存在着时限问题，分组到达的时间如果超过了播放时限 对视频播放毫无意义，所以时延对于视频通信来说和丢包产生的影响几乎一样。因此，当 压缩后的视频数据在无线、i n t e r n e t 等网络中进行传输时，时延或者丢包都会造成解码器无 法正常解码，从而严重影响解码端的视频重建质量。为了增强视频通信的鲁棒性，有必要 根据视频业务的特点以及不同的网络环境对视频的传输进行差错控制( e r r o rc o n t r 0 1 ) 。差 南京邮电大学博士研究生学位论文 第一章绪论 错控制技术又可以称为差错恢复技术( e r r o rr e s i l i e n tt e c h n i q u e ) ，主要是为了最大程度地 降低传输过程中差错的影响，尽量减少差错发生的可能、或者对已经出现的差错进行恢复， 对差错控制技术的研究具有重大的理论和实用价值。 1 2 视频通信中的差错控制 典型的视频通信系统通常包含5 个部分，如图1 1 所示【8 】。在发送端，视频信号首先 通过编码器进行压缩来降低码率，压缩后的比特流随后被分割成固定长度或者可变长度的 分组，并与音频信号复用，这些分组数据通常经过信道编码过程用以防止传输中可能出现 的误码。在接收端，将收到的分组进行信道解码和解包，得到的比特流随后输入到解码器 中进行解码并重建视频信号。在实际使用时，许多应用系统将包封装和信道编码作为网络 的一个适配层。 图1 - 1 典型的视频通信系统 目前的视频编码标准普遍采用了基于块的混合编码框架，在编码过程中采用预测编码 和d c t 变换去除时间上和空间上的相关性，在传输过程中采用可变长编码技术。可变长 编码技术的采用使得编码后的码流对传输错误十分敏感，一旦在传输中出现错误，就会造 成解码器无法正常解码。由于对视频帧进行编码以块为单位，传输中的差错在解码端通常 表现为块的丢失。帧间编码过程采用运动估计进行帧间预测编码，还可能造成差错在时间 或者空间域上的传播和累积，导致解码后视频质量的严重下降。为了保证解码端视频重建 的质量，必须采用有效的差错控制技术用以保证传输质量。 为了对传输中差错的控制，通常可以采用两种方式进行实现：1 ) 增强码流本身对传 输过程的抗干扰能力；2 ) 根据时间或者空间相关性对已经出错的图像进行修复。第一种 方式是为了增强码流的鲁棒性，一般需要在编码过程中引入冗余信息、或者采用一些特殊 措施对编码方案进行更改。第二种方式不会添加新的冗余信息，因此不需要更改编码器的 码流结构，仅仅在解码端对已受损区域进行修复。 文献 8 】中将针对视频传输的差错控制机制分成四类：1 ) 传输级差错控制( t r a n s p o r t l e v e l ) ，包括信道编码以及传输协议；2 ) 差错恢复编码( e r r o rr e s i l i e n te n c o d i n g ) ，通过 对已有编码方式进行扩展，增强潜在的差错恢复能力；3 ) 差错掩盖( e r r o rc o n c e a l m e n t ) ， 在解码端对差错进行掩盖；4 ) 编码端和解码端之间的交互，编码器和解码器通过反馈信 道交互作用，使得编码端能够对解码端检测到的误码情况进行相应处理。从实现方式来看， 南京邮电大学博士研究生学位论文 第一章绪论 前两类差错控制机制对应第一种实现方式，第三类对应了第二种实现方式。由于编码端和 解码端之间的交互需要建立反馈信道，考虑到视频通信的实时性，以下只介绍前三类差错 控制机制。 1 2 1 传输级差错控制 1 前向纠错 前向纠错( f o r w a r de r r o rc o r r e c t i o n , f e c ) 在数据通信中用来对差错进行检测和纠正。 f e c 是一种常用的差错控制机制，通过增加冗余来提高码流抗干扰的能力，通常由信道编 码器完成。由于f e c 会增加视频传输的额外开销，而且可能会带来传输时延方面的问题， 主要用于带宽要求不高的视频业务。当信道状况不稳定时，采用f e c 恢复误码需要使用更 多的比特对码流进行保护。然而，在信道状况良好时，过多的信道保护又会造成网络资源 的浪费。因此，在一些时变网络中传输视频流时，可以采用信道自适应的f e c 保护机制在 魄 传输可靠性和传输效率之间做一个权衡。 2 自动请求重传 自动请求重传( a u t o m a t i cr e t r a n s m i s s i o nq u e s t ，a r q ) 是在接收端对出错的信息通过 反馈信道向发送端请求重传。由于会引入时延，a r q 一般用于非实时数据的传输。应用于 实时应用系统时必须对重传加以限制，使得因重传引入的延迟在可以接受的范围之内。 3 不等差错保护 在经过压缩编码所产生的码流当中，并非所有的比特都同等重要。在基于块的混合编 码器中，视频帧各个层的头信息通常比负载数据信息更加重要。一旦码流中的重要信息出 现了差错，可能会导致整个负载信息无法正常解码。因此，这些重要的比特信息需要得到 重点保护，这种抗误码机制称为“不等差错保护 ( u n e q u a le r r o rp r o t e c t i o n , u e p ) 。例如， 可分级编码通常可以采用u e p 来保护一些重要信息的传输质量【9 】，h 2 6 4 中支持的片数据 分割( d a mp a r t i t i o n , d p ) 将重要性不同的码字分割开，也可以采用u e p 机制保护最重要 的分割1 0 1 。 1 2 2 差错恢复编码 1 反向变长编码 通常情况下，如果在传输中出现了差错，解码器会丢弃所有的比特，直到获得新的重 3 堕室塑皇奎堂堡主堑究生学位论文 第一章绪论 同步码字。采用反向变长编码( r e v e r s i b l ev a r i a b l el e n g t hc o d i n g ，r v l c ) ，解码器在检测 差错时，可以在下一个重同步前反向解码，如图1 - 2 所示。采用r v l c 时可以防止部分正 确接收的比特被丢弃，使得差错影响的区域变小。通过前向和后向解码器之间的交叉检验， r v l c 可以提供关于错误位置的更多信息，减少了不必要丢失信息的数量。 2 差错恢复预测 图1 - 2 反向变长编码示意图 由于在传输中采用了可变长编码技术，压缩视频对传输错误十分敏感的原因在于使用 了帧内预测或者帧间预测过程。如果发生误码，会造成差错的传播和累积，影响后续帧的 解码。差错恢复预测技术( e r r o rr e s i l i e n tp r e d i c t i o n ) 是一类防止差错扩散的方法。为了防 止差错扩散问题，很多编码标准都支持将视频帧中的宏块组成若干个独立的编码单元进行 编码用以限制预测区域，或者在编码过程中周期性地插入i n t r a 帧。 3 可分级编码 可分级编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 提供了对原始视频信号编码后的多个版本， 将输入视频信号编码成一个基本层和多个增强层。其中，基本层仅提供最低质量的视频版 本，随着接收到的增强层越来越多，解码端视频重建的质量也逐步提高。因此，s v c 是在 不同网络传输环境中对同一视频信号提供不同的质量等级，视频的可分级性是指能够获得 多种视频质量的能力。将s v c 用于差错恢复时，通常与不对等差错保护机制相结合，使得 对基本层的传输最为重要。h 2 6 3 、m p e g 一4 以及h 2 6 4 中均提供了三种分级方式：1 ) 空 间分级，空间分级提供了视频图像的多个分辨率表示，基本层具有最低的分辨率表示，增 强层的分辨率逐步提高；2 ) 时间分级，时间分级提供了视频序列的多个输出帧率，基本 层具有最低的输出帧率，增强层的输出帧率随之提高；3 ) 质量分级，质量分级又也可以 称信噪比分级( s n r 分级) ，提供了视频输入在不同量化参数下的输出码流，基本层的视 频质量最低，通常具有采用了较大的量化参数，增强层采用了较小的量化参数。 4 多描述编码 多描述编码( m m t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 将一个视频信号源编码成多个子码流， 4 ； 南京邮电大学博士研究生学位论文第一章绪论 且每个码流可以单独解码，将这些子码流称为描述( d e s c r i p t i o n ) 。多个描述之间是相关的， 分别在独立的信道上进行传输，并且具有同等的重要性。在解码端可以根据接收到子码流 的具体情况，选择合适的解码方案。解码端接收到任一种单独的描述，都可以重建出具有 基本质量的视频信号；如果解码器接收到多个描述，由于多个描述之间存在相关性，视频 重建的质量也将得到增强。因此，当多个描述相结合时，视频流可以提供最高的解码视频 质量，即使是对单个描述分别解码，也能获得可接受的视频重建质量。 1 2 3 差错掩盖技术 在易错信道环境对视频进行传输时，接收端往往会接收到一定量的误码。由于视频业 务可以允许一定程度的误码，为了确保视频传输的实时性，可以利用视频信息在时间和空 间上的相关性，根据已经正确接收的信息对受损区域进行估计和复原，从而为观察者提供 一定主观质量的视频图像。基于解码端的差错掩盖技术是在接收端降低信道干扰的一种十 分有效的方法，解码器试图用主观可以接受的、近似原始质量的视频数据来掩盖受损的数 据，而不需要从编码端再获得额外信息。差错掩盖不会像f e c 那样消耗额外的带宽，也不 像a g q 那样带来时延，因此不会增加通信的传输负担。 为了在解码端进行差错掩盖，解码器首先需要根据接收到的码流进行差错检测、重同 步和差错定位等过程来确定丢失块的位置。在一般情况下，对差错掩盖算法的研究都假设 这些步骤已经完成。 在解码端对差错进行掩盖可以看作是在视频通信系统中实施差错控制的“最后一道防 线。因此，差错掩盖技术不仅仅可以用于一般的视频编解码框架，还可以与可分级编码、 多描述编码等机制相结合 1 1 - 1 2 】，提高差错恢复编码的抗误码性能。此外，还有许多学者通 过数据隐藏( d a t ah i d i n g ) 的方式【1 3 - 1 4 】在编码过程中将待编码宏块的一些重要信息( 例如 宏块的边缘特征、运动矢量信息等) 隐藏到相邻位置宏块的码流当中，在解码端恢复的时 候就可以根据这些真实信息更好地实现差错掩盖，由于该方式改变了原始码流，无差错传 输时的解码会在一定程度上降低视频的重建质量。对差错掩盖算法的研究十分广泛，在文 献 1 5 1 7 对差错掩盖的一些典型算法进行了综述，差错掩盖算法通常可以在空域i 时域以 及变换域实现，或者混合其中的几个域进行实现。 从本质上来说，差错掩盖技术是一种解码视频后处理方法。该方法不对编码器作任何 要求、也不会增加编码冗余度，原则上对任何图像编解码格式和标准都适用，因此其应用 范围很广，也越来越受到人们的重视。 5 南京邮电大学博士研究生学位论文 第一章绪论 1 3 论文主要研究内容及研究创新 本文主要研究了基于解码端的差错掩盖算法，仅考虑在解码端对视频在传输中的差错 进行掩盖，而不对编码器做任何更改。在视频通信中，经过压缩编码后的视频序列主要为 i 帧和p 帧。根据视频通信中对差错进行掩盖的作用不同，本文将基于解码端的差错掩盖 算法分为两大类：一、针对视频序列i 帧( 或者静态图像) 的“帧内差错掩盖 ；二、针对 视频序列p 帧的“帧间差错掩盖 。 1 3 1 主要研究内容及章节安排 本文主要研究基于解码端的差错掩盖的若干关键技术，提出了几种针对视频通信的差 错掩盖算法。为了对i 帧中的差错进行恢复，本文提出了一种基于边缘判决的多方向插值 算法；为了更好地实现对纹理区域的恢复，在此基础上建立了基于块内容的自适应掩盖机 制。为了实现p 帧中差错的帧间掩盖，本文采用模糊推理机制对两种基本匹配准则进行综 合，提出了一种基于模糊推理的帧间掩盖算法。基于评价准则的帧间掩盖算法适用于所有 视频编码标准，同时也具有一定的计算复杂度。由于h 2 6 4 的应用越来越广泛，采用运动 矢量恢复的方法实现h 2 6 4 环境中的帧间差错掩盖通常具有较低的计算复杂度，因此本文 在最后提出了两种基于非参数估计的运动矢量恢复算法。h 2 6 4 的j m 8 6 软件【l8 】针对帧内 和帧间掩盖各采用了一种典型算法，为了验证本文提出算法的性能，本文以j m 软件为平 台采用c 语言对所有算法进行了实现。 本论文的章节安排如下： 第一章为绪论部分。该部分首先对视频通信中的差错控制技术进行了介绍，然后给出 了论文的主要研究内容以及研究创新点。 第二章介绍了当前基于解码端的差错掩盖算法的研究现状。首先按照掩盖的对象不同 将差错掩盖算法分为帧内掩盖和帧间掩盖两大类，然后根据差错掩盖的不同实现方式对差 错掩盖的常用模型及其典型算法进行了归纳和分析。 第三章对基于空域插值的帧内差错掩盖算法进行了研究，通过分析图像中宏块的纹理 特性，将宏块内容分为平滑块、边缘块以及纹理块。首先针对平滑块和边缘块的恢复，通 过边缘判决过程以及精确方向插值实现了种高效的多方向插值帧内掩盖，然后通过丢失 块内边缘分布的方向熵对边缘块和纹理块进一步区分，并在此基础上提出了基于多方向插 值的内容自适应帧内掩盖算法。 第四章主要研究了基于评价准则的帧间差错掩盖算法。首先分析了用于选择最佳候选 6 南京邮电大学博士研究生学位论文第一零绪论 运动矢量的两种典型评价准则，然后将两种评价准则看成反映运动矢量选择问题的不同属 性，采用模糊推理机制综合考虑两种评价准则的影响来实现帧间掩盖。针对模糊技术不依 赖于训练样本的不足，通过提取合适的样本集，对模糊推理过程中自适应地定义隶属度函 数设置进行了研究。 第五章研究了基于运动矢量恢复的掩盖方法，用于实现h 2 6 4 环境中的帧间差错掩盖。 在分析基本运动矢量恢复的常用模型的基础上，对基于非参数方法的运动矢量恢复模型进 行了探讨。通过分析局部区域内的运动矢量在二维特征空间中的聚类特性，提出了一种基 于均值漂移的运动矢量恢复算法，同时对均值漂移所涉及的带宽估计与加权系数设定进行 了深入研究：将运动矢量恢复问题视为局部区域内运动矢量的拟合过程，提出了一种基于 非参数核回归的运动矢量恢复算法。 第六章通过差错掩盖的综合实验，对本文提出的几种帧内和帧间算法联合使用的性能 进行了测试和分析。实验结果表明，本文提出的算法可以在满足实时性的要求下较好地实 现视频通信中的差错掩盖。 锄 文章最后对本文所有工作进行了总结，并给出了进一步的研究方向。 1 3 2 研究创新点 ， 本论文的主要创新点可归纳如下： ( 1 ) 提出了一种基于多方向插值的自适应帧内差错掩盖算法。针对非纹理块的恢复， 采用基于边缘判决的多方向插值方法。该方法在进行边缘检测时只考虑处于边缘上的像 素，同时通过边缘判决过程消除无关边缘的影响，使得丢失块内边缘分布的估计更准确； 研究了边缘检测区域的影响，指出限定边缘检测区域不仅可以提高边缘分布的精度，而且 可以极大地降低边缘分布估计的计算复杂度；通过对沿插值方向的外围边界像素进行精确 计算，提高了插值方向选择以及方向插值的精度。针对上述多方向插值算法对纹理块恢复 的不佳，根据边缘分布估计的方向熵判断丢失块是否为纹理块，分别采用上述多方向插值 和双线性插值算法对纹理块进行掩盖，将两种算法掩盖结果的平均值作为纹理块的最终恢 复结果。 ( 2 ) 根据评价准则从候选运动矢量集中选择丢失块的最佳运动矢量估计时，将两种 典型的评价准则均看成是反映候选运动矢量所对应的运动补偿块与丢失块外围区域相匹 配程度的不同属性。采用模糊推理机制将两种基本准则融合为新的评价规则，用于对两种 准则各自反映的特征进行权衡。为了解决“模糊技术不依赖于训练样本”所带来的问题， 在恢复不同位置的丢失块时提取相应的训练样本集，并通过k 均值聚类的方法自适应地设 7 南京邮电大学博士研究生学位论文第一章绪论 置模糊推理过程中的隶属度函数。 ，( 3 ) 针对h 。2 6 4 环境中的帧间差错掩盖，提出了一种基于均值漂移的运动矢量恢复算 法。首先通过分析相邻运动矢量之间的相关性，指出局部区域内的运动矢量在二维特征空 间中通常满足聚类特性。将丢失运动矢量的恢复建模为均值漂移过程，使得丢失运动矢量 在特征空间中尽可能地漂移到相邻运动矢量聚集的地方。在计算均值漂移时，采用特殊的 权值函数描述不同位置相邻运动矢量对丢失运动矢量的影响。通过分析子区域内运动矢量 的标准偏差的统计特性，可以估计出计算窗口中运动矢量的标准偏差，并由此设置均值漂 移过程中的带宽、以及均值漂移所采用权值函数的具体形状。 ( 4 ) 将运动矢量的恢复看成是局部区域内的数据拟合问题，通过分析基于参数多项 式模型的运动矢量恢复方法的不足，考虑采用基于非参数模型实现局部区域内的运动矢量 拟合。在研究均值漂移中所涉及的核概率密度估计问题的基础上，提出采用非参数核回归 的方法来对局部区域内的运动矢量进行逼近，从而实现h 2 6 4 中的帧间差错掩盖。 8 南京邮电大学博士研究生学位论文第二章基于解码端的差错掩盖技术 第二章基于解码端的差错掩盖技术 当前的视频压缩编码标准主要采用预测编码和变长编码技术，压缩后产生的码流对传 输错误十分敏感，在易错信道中进行可靠的视频传输面临着巨大的挑战。一旦压缩后的码 流在传输中出现差错，将会造成解码器无法正确解码、或者错误的累积与传播，严重影响 视频在解码端的重建质量。为了获得更好的视频重建效果，必须采用有效的差错控制技术 用以保证传输质量。在常用的差错控制技术中，基于解码端的差错掩盖技术试图用主观可 以接受的、近似原始质量的视频数据来掩盖受损的数据，且不需要从编码端再获得额外信 息，绝大部分算法可以做到与编码标准无关，因而得到了广泛的研究。 目前已有文献中提出的差错掩盖算法种类繁多，本文将差错掩盖分成“帧内掩盖 和 “帧间掩盖 两大类，在此基础之上对基于解码端差错掩盖技术的常用模型和典型算法进 行了分析。 2 1 引言 当前的压缩编码标准( 例如j p e g 、m p e g - x 以及h 2 6 x ) 普遍采用了基于块的混合编 码方式，压缩后的码流在传输过程中出现的差错在解码端表现为宏块内容的丢失或者损坏 ( 如图2 1 所示) 。对受损的宏块进行恢复可以从两方面考虑：1 ) 纹理信息；2 ) 运动矢量 信息。基于纹理信息的恢复主要针对静态图像以及视频序列的i 帧中的差错块( 在某些特 殊情况下也可以针对p 帧中差错块的初始掩盖结果) ，对差错块进行掩盖所能够利用的信 息仅限于当前帧内已经正确接收的部分。基于运动矢量信息的恢复主要针对视频序列的p 帧或者b 帧中的差错块，其掩盖方式主要是根据视频序列在时间上的相关性来估计差错块 的运动矢量，然后将该运动矢量在参考帧中对应的运动补偿块填充到差错块。因此，按照 差错掩盖对象的不同，对图像或者视频序列在传输中出现的差错进行掩盖可以分为“帧内 差错掩盖”和“帧间差错掩盖”两种类型。 如果从差错掩盖的具体实现方式来考虑，对差错块的掩盖可以分别在空间域、时间域 或者变换域( 通常是指d c t 变换) 实现，也可以在其中的两个域混合进行。当在空间域 进行差错掩盖时，一般假设局部区域内像素灰度的平滑性、或者处于边缘之上的像素灰度 的连续性；在时间域进行时，通常假设局部区域内各个目标的运动具有连续性、或者相邻 帧之间的相关性；在变换域进行时，常常假设相邻块的d c 系数之间的相关性、或者图像 块经过d c t 变换之后的变换系数具有稀疏性。在已有的文献中，多数差错掩盖算法可以 9 南京邮电大学博士研究生学位论文 第二章基于解码端的差错掩盖技术 在空间域或者时间域单独进行，而基于变换域的差错掩盖算