（信号与信息处理专业论文）h264视频解码器的差错隐藏技术研究.pdf

i 迮s e a r c h e so ne r r o r c o n c e a l m e n t h 2 6 4d e c o d ad i s s e r t a t i o ns u b m i t t e dt o s o u t h e a s tu n i v e r s i 妙 f o rt h ea c a d e m i cd e g r e eo fm a s t e ro fe n g i n e e r i n g b y w a n gr u o y i n g - 一 ，一 s u p e r v i s e db y p r o w ul e n a n a n d p o s t d o c t o r a t ew e ig e n g s c h o o lo fi n f o 咖a t i o ns c i e n c ea n de n g i n e e r i n g s o u t h e a s tu n i v e r s i t y a p r i l 2 0 1 0 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 燃。 ，缔i、 摘要 摘要 在视频通信系统中，接收图像特别是经过高效压缩编码( 如h 2 6 4 ) 后的 视频数据，其重建质量对传输信道差错的影响十分敏感，所以必须在通信或传 输过程中采用强有力的差错控制措施，方能获得满意的视频质量。因此差错控 制往往是视频通信系统中不可缺少的一环。与其它主要的差错控制方式相比， 解码端的差错隐藏有着不占用额外带宽以及不增加信息冗余等显著特点，是一 种有效提高视频质量的差错控制方法，在视频通信系统特别是带宽资源紧张的 传输网络中有着广泛的应用。 首先，本文按照编解码器所扮演的角色，归纳了常用的几类差错控制技术， 分别介绍了各类目前应用广泛的差错控制与隐藏技术，分析了它们的特性和应 用场合。并对h 2 6 4 编解码特性，标准中建议的差错控制工具以及论文中涉及 的仿真平台进行了介绍。 其次，一方面针对i 帧宏块丢失情况设计了相应的差错隐藏方案，并对多 纹理预测法进行了分析比较；另一方面针对帧间编码宏块丢失介绍了自适应宏 块划分差错隐藏算法流程。 然后，论文着重分析了基于整帧丢失的2 种主要差错隐藏算法：光流估计 法和运动矢量外推法，分别对其优缺点和使用场合进行分析总结，并对现有的 宏块级运动矢量外推法和像素级运动矢量外推法提出了各自的改进算法，在 h 2 6 4 的官方编解码平台j m 上完成了仿真并进行了测试，实验表明，两种改进 后的算法在原有算法的基础上没有明显增加处理时延，却能显著改善视频的主 观感受和客观质量。 最后，考虑到像素级运动矢量外推法对丢失帧细节的恢复有较好的效果， 而宏块级运动矢量外推法有更低的运算复杂度，本文将像素级运动矢量外推法 引入到改进后的宏块级运动矢量外推法中，不仅较好地恢复了丢失帧的细节信 息，更保留了宏块级运动矢量外推法的低复杂度优势；实验结果表明：组合算 法的隐藏效果较前两种改进算法都有不同程度的提高。 关键词：h 2 6 4 ；解码端差错控制；差错隐藏；整帧丢失；运动矢量外推 a b s t r a c t a b s t r a c t i nv i d e oc o m m 吼i c a t i o ns y s t e m s ，e s p e c i a l l ya r e rh i 曲c o m p r e s s i o nr a t i o e n c o d i n g ( e g v i ah 2 6 4 a 、厂c ) ，t h eq u a l i 够o f r e c o n s t r u c t e dv i d e o 疔锄e si sl l i g m y l n e r a b l et 0 仃a n s m i s s i o ne r r o r s h e n c et 0o b t a i nt h es a t i s f a c t o 巧v i d e oq u a l i 织a n e 丘b c t i v ea i l dp o w e r 如le 聃rc o m r o lm o d u l e b e c o m e si n d i s p e n s a b l ef o rv i d e o c o m m u l l i c a t i o ns y s t e m c o m p a r i n gw i mo t h e re n d rc o n 臼o lm e t h o d s ，t h ee r r o r c o n c e a l m e n tt e c h l l i q u ea td e c o d e rd o e sn o td e m a l l de x 舰b a n d w i d t hn o rb r i n g r e d u n d a n ti n f o m a t i o n t h i si st m l l yv a j u a b l ei i lv i d e oc o m m u i l i c a t i o ns y s t e m s ， e s p e c i a l l yi nt h o s es y s t e m sw h o s eb a n d w i d t hh a v ea l r e a d yb e e ns t r a i n e dt oa c e r t a i n l i m i t w eb e g i n s l ef i r s tp a r to ft 1 1 i st h e s i sw i t hab r i e fs u n r e yo ft h ec o m m o ne r r o r c o n t r o la n de n o rc o n c e a l m e n tt e c l l i l i q u e sw i d e l yu s e di nv i d e os t r e 锄m i n gs y s t e m t h e nw ec l a s s i 母t l l e mi n t os e v e r a lc a t e g o r i e sa c c o r d i n gt ot h ed i f i b r e n tr o l e sp l a y e d b ye n c o d e r d e c o d e ri i l t h e m f o re a c hc a t e g o p r o p e r i e sa 1 1 da p p l i c a t i o n sa r e d i s c u s s e d a r e rt h a t ，s e v e r a ji m p o n a n tm a t t e r s ，i n c l u d i n gp r o p e n i e so fe n c o d e ra i l d d e c o d e ri i lh 2 6 4 a v cs t a l l d a r d ，m ee n d rc o n t r o lm e t h o d ss u g g e s t e db yt h j s 鲍m d a r d ，a n ds i m u l a t i o np l a t f o mu s e di nt h i st h e s i s ，a r ei n t r o d u c e d 1 1 1 es e c o n dp a na d d r e s s e st h eb l o c ki i l i s s i n gp r o b l e m o no n eh a n d ，w ed e s i 印 a i le n o rc o n c e a l m e n ts c h e m ew o r k su 1 1 d e r b l o c km i s s i n gs c e n 撕o ，a 1 1 da n a l y z ee r r o r c o n c e a l m e n ta p p r o a c h e sb a l s e do np r e d i c t i o no fi - f a m et e x t u r ed i r e c t i o n o nt l l e o t h e rh a n d ，w ei 1 1 t r o d u c ea d a p t i v eb l o c kd i v i s i o nb a s e do ni n t e rc o d i n g6 砌e i nm el a s tp a r t ，、v ef o c u so nt 、v os t r a t e g i e sm a i n l yu s e di nw h 0 1 ef h m el o s s e r r o rc o n c e a l m e n t ：o p t i c a ln o wa n dm o t i o nv e c t o re x t r a p o l a t i o n w ed i s c u s st l l e i r p r o sa 1 1 dc o i l s ，a l o n gw i t ht h e i r 印p l i c a t i o l l s ，a 1 1 dp r e s e n ti m p r o v e ds c h e m e sb a s e do n t w os 仃a t e g i e s r e s p e c t i v e l y t b d e m o n s 仃 l t et l l e p r o p o s e dm e t h o d s ， r e l e v a n t s i m u l a t i o i l sa r ec a r r i e do u to nh 2 6 4 a v cj mr e f e r e n c es o f h v a r e a st h e e x p e r i m e n t ss h o w ，t h ep r o p o s e ds c h e m e sc a ni m p r o v eb o t l lo b j e c t i v ea n ds u b j e c t i v e v i d e oq u a l i t ) ，r e m a r k a b l yw i t h o u ta d d i n gm u c hp r o c e s s i n gd e l a y a t l a s t ，i ti sw o n h t on o t i c et h a tp i x e l - b a s e de x 缸a p o l a t i o ni sg o o da tr e c o v e r i n gt h ed e t a i l so fm i s s i n g 疔锄ew i l i l et 1 1 eb l o c k - b a s e da p p r o a c he n t a i l sm u c hl e s sc o m p u t a t i o n a lc o m p l e x i 够 b a s e do nt h i so b s e r v a t i o i l ，w eb r i n gt h e s et 、v oa p p r o a c h e st o g e t h e ra i l dg i v ea c o m b i n e da l g o r i t w i t ht h ee x p e r i m e n t a lc o n f i r m a t i o n ，w ec a na s s e r tt h a tt h e c o m b i n e da l g o r i t h mr e c o v e r sf i n ed e t 2 l i l so fm i s s i n gf r a n l en i c e l yw i t hr e l a t i v e l yl o w a b s t r a c t c o m p u t a t i o n a lc o s ta n dh a ss u p e r i o r i t yi ne r r o rc o n c e a l m e n tr e s u l t so v e rt h e s e 似o f o m l e rm e t h o d s k e y w o r d s ：h 2 6 4 ；e 1 1 r o rc o n t r o l ；e n o rc o n c e a l m e n t ；w h o l ef r 锄el o s s ；m o t i o n v e c t o re x t r a p o l a t i o n 目录 摘要。 目录 a b s t r a c t 目录 第一章绪论。 i v 1 1 研究背景和意义l 1 2 视频图像的差错控制技术l j 2 ，前句差错控制技术2 ，2 2 后句差错控制技术4 ，2 3 交互差错控制技术6 1 3 论文的主要工作和内容安排7 第二章i i 2 “及其实验平台。9 2 1h 2 6 4 的特点9 2 j jh 2 鲥编码基葫巍9 2 1 2s p 7 s l 帧技术12 2 3 环盖吝廖 i 波辱景j 2 2 2h 2 “抗误码工具简介1 3 2 2 j 考j 自 集，3 2 2 2 数据分割，3 2 2 3 灵活宏块排，囊j 彳 2 2 彳冗余片，6 2 3 实验平台介绍1 6 2 3 ，。刀m 秀尊型茬亨介j 7 2 3 2 朋差错臆藏簟法魇流程，8 2 4 本蕈小结加 第三章宏块丢失的差错隐藏方案设计2 l 3 1l 帧差错隐藏方案设计2 l 3 j ，设计思想2 ， 3 j 2 算珐窃濯囝刀 3 j ，3 纹理删2 3 3 ，4 实验l z 果分 呢2 5 3 2 帧问编码差错隐藏算法研究2 7 3 2 j 时域差错隐藏算法概述2 7 3 2 2 自运应宏块划分差错艨藏刀 3 2 3 子块差枣式臆j 藏2 8 3 2 彳宏块_ 整体臆藏2 9 3 3 本章小结3 0 v 目录 第四章整帧丢失的差错隐藏算法研究。3 l 4 1 整帧丢失差错隐藏算法综述31 4 2 光流估计法简介31 4 3 宏块级运动矢量外推法3 5 4 3 ， ，1 7 ：e 善黠j ；宏程3 5 z 3 2 别矗c 准则粥 z 3 3 改壶堂 船善i f 杰妄4 d t 3 4 单帧丢失差错艨藏实验结果彳， z 3 5 多兢丢失差错臆藏实曩岔结果筘 4 4 像素级运动矢量外推法4 7 t zj 算_ 法流程钙 z z 2 湿合运动矢量外推5 d z 3 章帧丢失差错隐藏实验结果船 t 4 彳多萌丢失差错腺藏实验结果 4 5 改进的运动矢量外推法5 6 z i j 运动矢量估计改进5 7 z i 2 卓帧丢失差错臆i 藏实验结果船 t 5 3 多萌丢失差错臆腐实爱参结果6 ， 4 6 本章小结6 2 第五章总结与展望 5 1 论文工作总结6 3 展望6 3 6 5 6 7 7 1 第一章绪论 1 1 研究背景和意义 第一章绪论 h 2 6 4 是国际电信联盟标准化局( i t u t ) 及国际标准化组织( i s o ) 联合制定的高性能视 频编解码技术。与之前的m p e g 一2 和m p e g 4 相比，在同等画质下的高压缩比，较强的网 络适应性及容错能力使得其在网络视频传输上得到广泛应用1 1 】。 在视频通信系统中，接收图像的重建质量对传输信道的差错十分敏感，特别是经过高 效压缩编码后的视频数据，对于信道差错的损害非常脆弱，必须在通信或传输过程中采用 强有力的差错控制措施，方能获得满意的视频质量。因此差错控制往往是视频通信系统中 不可缺少的一环【引。现有的主要差错控制方式包括：前向差错控制编码( f o n v a r de 盯o r c o 盯e c t i o n ，f e c ) ，基于发送接收双方交互的差错控制方式( a u t o m a t i cr e t r a n s m i s s i o n r e q u e s t ，a r q ) 及基于接收解码端的差错隐藏( e r i o rc o n c e a l m e n t ，e c ) 。由于前两种方法会 额外占用带宽，故对于带宽资源紧张的传输网络，需要对其冗余度或额外占用带宽大小和 差错控制性能进行权衡。而解码端的差错隐藏既不会占用额外带宽也不会增加信息冗余， 是一种有效提高视频重建质量的差错控制方法。 差错隐藏算法主要可以分为：基于运动补偿的时域预测，最大平滑恢复，凸集投影法， 空频域插值，编码模型和运动信息的恢复等f 3 l 。尽管这些算法增加了解码时间，却较好地 阻止了因误码、丢包造成的图像质量严重下降，在一定程度上维持了视频图像的视觉效果。 值得注意的是，以上方法是以丢失块的邻域宏块( 至少一个) 被正确接收为前提的。当 一帧图像编码数据被置于不同网络传输单元或结合h 2 6 4 特有的灵活宏块排序( f m o ) ，这 一点很容易满足。但当低分辨率视频通过h 2 6 4 编码在信道中进行低码率传输时，一帧图 像的编码数据大小和一个网络传输单元的尺寸相当，丢包便意味着丢失整帧数据【4 】。在未 收到邻域宏块时如何恢复整帧数据，成为近年来研究的难点。 1 2 视频图像的差错控制技术 近年来，提出了许多用于视频通信系统中的比较成熟的差错控制与差错隐藏技术，按 照其中编解码器所扮演的角色，可分为三大类。一类是前向差错控制技术，需要依靠在编 码端加入冗余信息来增强码流的抗差错能力；另一类是后向错误隐藏技术，这是一种根据 图像和视频信号的特性来恢复损坏图像区域的方法，主要手段是空间和时间平滑技术：第 三类是交互错误隐藏技术，需要编码器和解码器协调工作，尽可能使传输错误的影响更小。 然而，前向差错控制技术并不适用于突发错误信道。这是因为，当信道无差错时，由 东南大学硕上学位论文 差错复原编码带来的冗余是一种带宽浪费，而当突发错误发生时，冗余也无法完全复原连 续大量的错误。对于这种情况，隶属于交互错误隐藏技术的重传模式更为合适；但在实时 传输系统中，重传会带来较大延时和额外的重传信道。 尽管恢复效果有限，解码端差错隐藏处理技术却可以适用于任何状况。一般情况下建 议根据具体情况采取相应的差错控制技术，或进行联合使用。本章将按照前向差错控制技 术、后向差错隐藏技术和交互式差错隐藏技术的分类，对目前在视频通信中运用广泛的差 错控制与隐藏技术分别进行介绍。 1 2 1 前向差错控制技术 前向差错控制技术主要在编码端实现，具有编码方式灵活、差错控制效果较好等优点， 代价是在码流中加入了冗余，从而造成有效传输码率下降或传输带宽增加。 1 、分层编码 分层编码( l a y e r e d c o d i n g ，l c ) 是指首先将原视频流编码得到基本层码流，发送端再根 据不同带宽状况和编码性能对原编码流的其余信息进一步编码得到一个或多个增强层。基 本层码流的视频质量较差但包含视频的大部分信息，视觉上可接受，而其余增强层逐步提 高质量。与h 2 6 4 数据分割类似，这种分层编码同样依赖传输系统的不平等保护，也就是 说，基本层码流要得到最可靠的传输，只有基本层被正确解码，增强层才有效。目前，在 视频传输层使用最广泛、有效的错误隐藏技术是将分层编码与不平等保护机制相结合，如 图1 1 所示。 图卜1 分层编码示意图 分层编码的差错控制效果是靠平衡压缩增益和系统复杂度来实现的。分层编码并没有 明显增加额外信息，它以一定的压缩效率和系统复杂度为代价，使得系统面临传输误码时， 图像质量仅有轻度恶化。 分层编码还可以灵活地调整编码速率，用户可以根据信道的容量与需求，接收一个或 多个分层，从而恢复出不同质量与分辨率的视频信号1 5 】。 2 、多描述编码 分层编码的前提是采用不平等保护措施，以保证基本层的无差错传输。然而在很多情 2 第一章绪论 况下，保证基本层所有数据无损传输是不可行或是代价高昂的。其结果是基本层信息损失 导致解码后视频流的视觉质量大幅下降。因此，在噪声较大的信道传输中，使用多描述编 码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 代替分层编码成为必要i 州。 在多描述编码中，同一视频被编码成多个码流( 或称“描述”) 并在不同的信道上传输， 这些信道可能各有不同的传输环境( 不同时间的突发错误或衰落等) 。根据不同的被正确接 收的描述，解码器使用相应的重建方案。传输不同描述的信道可以是信源与信宿间不同的 物理信道。即使当信源和信宿之间只存在一个物理路径时，也可以用时间交织、频分复用 等方式将其划分成若干虚拟信道。因此，两个描述的损失特性将接近于相互独立。 每一个正确接收的描述可重建一个视觉上可接受的视频序列，更多的描述则能提高视 频质量。为了保证从任意描述恢复出的视频流的质量，每个描述必须包含足够的信息，这 也意味着多描述编码方案的编码效率要比单描述编码的效率低得多，但换来的是对恶劣传 输环境下视频流的鲁棒传输。多描述编码相比分层编码的优势在于，它并不要求传输系统 的不平等保护，也不需要确保某个描述的绝对可靠性，故尤其适合能提供多种途径但传输 不可靠的系统。一般的多描述编码器的方框图如图1 2 所示。 繇信号 基本层 编玛器 来自予信遴s l 豹 解码信号 来自于倍邀s l 和 s 2 的解码信号 来自予信遒s 2 的 解码信号 图卜2 多描述编码器示意图 3 、前向纠错编码 前向纠错编码是一种重要的纠错编码方式，常用的有b c h 码和r s 码。它属于信道编 码的范畴，目前有许多用于f e c 的编码技术，主要包括分组码、卷积码和级联码等。前向 纠错编码的缺点是降低了编码效率，其适用范围也限于平均分布的随机性差错，对于较高 误码率的传输环境或者突发错其误差错控制效果较差1 7 】。为适应在无线传输系统中经常出 现的突发错误，实用中前向纠错编码、数据随机化和数据交织常相互结合，共同作用。 在h 2 6 4 中，可用数据分割( d a t ap a j t i t i o n ，d p ) 将片的编码信息分为运动矢量和离散 余弦变换( d i s c r e t ec o s i n et r a n s f o 册，d c t ) 系数部分，这样就可以优先对运动矢量进行f e c ， 充分发挥f e c 的纠错能力，提高编码效率。此外，f e c 还可以和a r q 或分层编码模式相 结合，大幅提高纠错能力。 3 一。一。 厘怔 甜一 一敛 东南大学硕士学位论文 1 2 2 后向差错控制技术 后向差错控制技术主要是基于解码器的差错隐藏，即解码器从已正确接收的信息中提 取有用信息来近似恢复丢失或出错数据。隐藏的依据是视频图像的低频特性，即视频图像 在空间和时间上的高度相关性和平滑性，因此可分别从空域、时域或频域三个方面进行差 错隐藏。 l 、空域差错隐藏技术 空域内插是对受损宏块进行差错隐藏的一个比较有效的办法。它通过相邻正确宏块的 像素进行空域内插得到，而不考虑宏块的运动信息。插值算法有很多，主要有加权插值、 方向插值等。 a ) 加权插值 加权插值是空域内插中最简单、复杂度最低的一种插值算法，原理如图1 3 所示，图 中灰色区域是受损宏块，四周白色区域是与之相邻的正确宏块的边界像素。对于受损宏块 中每一个像素x ，要用到与其同一水平位置和同一垂直位置的4 个边界像素z ，e ，e ， e ，如图1 3 中对黑色块进行的加权插值，如式( 1 1 ) 所示。每个边界像素的加权系数与其 到受损像素的距离4 ，以，吃，以成反比。该方法适用于图像中光滑的同质区。 iilll iiil il i lli l llill l 爱援铛缓 黼 气 、 ， 辩 iili-llii - l l ilil ii lil 聊，= 蹄搿筹謦紫 m t ， 图1 - 3 加权插值法示意图 该算法的优点是非常简单而易于实现，对于变化平滑的视频图像有很好的插值效果。 但它将受损宏块始终作为平滑图像来对待，如果受损宏块包含丰富的高频信息，或者有图 像边界穿越宏块时，该插值算法将导致图像的纹理丢失，画面模糊，视觉质量显著降低。 b ) 方向插值 鉴于人类视觉对图像边缘失真的敏感，方向插值差错掩盖算法主要解决图像中边缘的 完整性问题。该算法首先检测丢失宏块邻域，对上下左右邻域宏块都完整的情况，分析丢 4 第一章绪论 失宏块边界上的梯度，得出边缘方向。最后沿边缘方向对丢失宏块进行插值以恢复出该边 缘。如图l - 4 所示，用边缘方向直线上的相邻宏块边界像素对丢失宏块中的像素进行加权 线性插值，而不像加权插值算法那样简单地使用水平和垂直方向的边界像素进行插值。 ， k l 。 l 基 c 三：墨! 鱼竺! 生 1 d l + 、 d l f 图1 - 4 方向插值法示意图 ( 1 - 2 ) 方向插值掩盖算法虽能有效恢复出图像中的物体边缘，但对任何图像区域总是沿特定 方向进行插值，因此也容易插值出虚假边缘，造成图像失真。更为合理的解决办法是根据 甜 图像区域的不同纹理信息，对丢失宏块采取恰当的掩盖策略。 除以上两种算法，z a l k a c h o u h 等提出了一种基于d c t 的内插方法【8 】，利用8 个边界 像素来计算丢失的像素；h s u n 等提出了凸集映射法( p m i e c t i o n so n t 0c o n v e xs e t s ，p o c s ) ， 用多个参考帧和块的重叠信息来产生损坏块像素间的关系，可有效防止错误传播【9 l o 空域插值算法要保证插值的效果，不要破坏边沿的平滑性，也不要导致图像的模糊。 另外也要兼顾运算量，有的算法采用了比较复杂的内插算法，虽然效果较好，但运算量巨 0 大，不适合实时应用。 2 、时域差错隐藏技术 空域差错隐藏一般用来处理帧内编码丢失宏块，而时域差错隐藏则主要用来隐藏帧间 编码丢失宏块，它一种是基于时域冗余信息的差错处理方法。一般来说，帧间编码宏块的 差错有3 种：是运动矢量正确传输，其它数据损坏。这时，直接使用运动补偿块的其它 数据代替受损块；二是运动矢量丢失，而其它数据正确。这时，需要使用运动矢量恢复技 术首先将运动矢量估计出来，估计的准确性必将影响错误隐藏的效果；三是运动矢量和其 它数据都被破坏。这时可以采取与第二种情况相同的措施估计出运动矢量，然后进一步利 用估计出的运动矢量采取第一种情况的处理方法。具体采用哪种措施由差错内容和程度决 定。由于第一种差错对于视频质量影响很小，暂比考虑。本文主要讨论运动矢量丢失时的 差错隐藏。 运动矢量的恢复方法主要有以下几种： a )零运动矢量，即直接将参考帧相应位置的块内容填入丢失位置，这种方法对于相 对静止的图像序列有很好的恢复效果，但当运动较大时失真严重。 5 东南大学硕士学位论文 b )使用前一帧对应块的运动矢量。 c )使用丢失块周围可用运动矢量的均值。 d )使用丢失块周围可用运动矢量的中值。 在以上4 种方法中，第四种方法被认为要优于前三种，但计算量相对较大。这4 种方 法虽然都有效，但主要分别对应某一运动类型的图像序列，普适性较差。l a m 对上述方法 做了进一步改进，提出了基于边界匹配的运动矢量恢复算法( b o u n d a 搿m a t c h i n g a l g o r i t h m ， b m a ) 0 1 。他以上述4 种运算得出的矢量为候选集，利用图像序列的时域空域平滑性，从 中选出最佳者作为恢复的运动矢量。选择准则是能使丢失块与其周围一个像素宽度边界的 误差绝对和( 或者平方和) 最小。然而对于一些运动剧烈的图像，这个候选集就会显得偏小， 因此也有学者将候选集限定在某个矩形范围之内。b o 等提出了一种方法能自适应选择 候选集的大小【i 。c h e n 将交迭运动补偿与b 相结合，减弱了块间的马赛克效应。 上述错误隐藏方法有一个共同特性，就是整个块只有一个运动矢量，一旦恢复后，就 可以在参考帧中找到相应的内容。这对帧间只存在一个方向的运动比较适合，若景物出现 变形则存在一定不足。有些学者使用了像素级运动矢量场插值的方法来进行差错隐藏，其 与上述方法最大的区别在于：在恢复运动矢量时，丢失块的每一个像素都具有一个运动矢 量。这种方法对于物体变形时的恢复效果较好。但由于每个像素都使用一个运动矢量，因 此运算量较大。总的说来，时间域错误隐藏在图像序列没有明显运动或者运动较平稳时( 比 如摄像机水平慢慢扫动) 效果较好，但当运动比较剧烈、丢失块为前一帧的被遮挡物或场景 切换时，时域隐藏难以给出较满意的效果。 3 、频域差错隐藏技术 除了可以利用空域冗余和时域冗余信息对受损块进行差错隐藏，还可以利用周围图像 块在频谱上的相关性，即基于频域的差错隐藏方法。频域掩盖策略就是在d c t 域计算出估 计值，比在亮度域做估计运算量更少，因为在亮度域必须逐像素插值，而在d c t 域则是根 据前面正确解码宏块的直流( d i r e c tc 咐e n t ，d c ) 系数，利用邻块d c t 系数插值加边界平滑 约束的d c t 系数恢复计算，来预测当前宏块的d c 系数，然后用像素值为d c 系数的常数 来替代受损宏块。显然这种方法损失了大量的交流( a l t e m a t ec u r r e n t ，a c ) 系数即高频分量， 图像将非常模糊，甚至出现块效应。此外，还可以采用部分重建a c 系数，尤其是低频a c 系数，以牺牲算法的复杂度和消耗的运算时间来获得更好的质量。 1 2 3 交互差错控制技术 前述各类差错控制与错误隐藏技术，或基于编码器，或基于解码器。我们设想有一条 从解码器到编码器的后向信道，将接收及解码情况及时反馈给编码端以改变其编码及发送 状态，从而得到更好的差错隐藏效果。这种差错隐藏技术称为编解码端交互差错隐藏技术。 其回传机制可在传输层或应用层上实现。传输层实现方式包括如自动请求重传( a r q ) ；应 6 第一章绪论 用层实现方式包括基于信道条件的编码参数适应、基于反馈信息的参考帧选择。编解码交 互是3 种差错控制技术中效果最好的，尤其是在突发错误持续时间长的恶劣传输环境下。 然而，该技术对反馈信道带宽的要求限制了其在带宽资源紧张的传输系统中的应用。 l 、基于信道状况的编码参数的自适应调整 在一个带宽和传输错误特征变化的信道中，重要的是使编码码率与可用信道带宽相匹 配，以及在编码比特流中嵌入合适的冗余度来实现差错复原。于是在实际的编码系统中， 往往会根据信道状况自适应地调整编码参数( 如在基于块的混合编码器中的帧内编码块比 率、同步标记的频率、预测范围等) ，调整输出比特率的大小。当信道噪声较大时，往往会 用较少的比特进行信源编码，留下更多的比特用于以f e c 或差错复原形式进行差错保护。 2 、基于反馈信息的差错重传 交互式差错隐藏中一个最有效的方法就是差错重传。解码端利用反馈信道将差错信息 传送到编码端，并且停止解码。编码端在收到差错信息后将出错的图像帧以最高的优先级 发送出去，解码端等到重传数据到来后再继续解码。另外，为了防止错误扩散，编码端在 编码下一帧时可避开出错的图像帧，以其它无错的帧为参考。在h 2 6 4 a v c 标准中，类似 的想法发展为多参考帧预测，以减少由于某帧错误引起的错误扩散。相比较将下一帧直接 编码为i 帧，选择参考帧可以提高编码效率。编码器可以跟踪第n 帧被破坏的区域是怎样 对第( n + 1 ) 帧到( n + d ) 帧产生影响的，然后执行下面的操作之一： a ) 编码( n + d ) 帧时如果要用到第( n + d 1 ) 帧相应被破坏的像素作预测，那么该块要采用 帧内编码。 b ) 编码( n + d ) 帧时避免使用( n + d 1 ) 帧中被破坏的区域作预测。 c ) 对帧( n + 1 ) 到( n + d 1 ) 帧执行相同的错误掩盖方法，这样编码器的参考帧就能与解码 器相匹配。 一般情况下，为了利用重传数据，解码器必须等到所要求的重传数据到达后，才能对 先前己正确接收的数据进行处理，这将增加额外的延时。为了保证比特流稳定，实际视频 系统都有一定的输出缓冲区，也都存在缓冲区延迟，所以，可以利用这段时间实现丢失数 据的重传而不引入额外的延迟【12 1 。当然，基于反馈信息的差错重传也并非适用于任何系统， 而是针对那些对延迟不是特别敏感的应用系统。 1 3 论文的主要工作和内容安排 本文的主要目的是分析总结现有的差错控制技术和差错隐藏算法，重点对整帧丢失差 错隐藏算法进行改进，以期得到一种对实时性有一定要求并适用于低码率视频传输系统的 差错隐藏算法。本文主要工作分为以下三部分： 1 、总结了视频通信系统中常用的差错控制技术，简要介绍了h 2 6 4 的编解码特性及其 差错控制工具，并对本文的仿真平台删的差错隐藏算法流程进行了分析。 7 东南大学硕士学位论文 2 、在总结常用解码端差错隐藏算法的基础上，一方面针对i 帧宏块丢失情况设计了相 应的差错隐藏方案，并对多纹理预测法进行分析比较；另一方面针对p 帧宏块丢失情况介 绍了自适应宏块划分差错隐藏算法流程。 3 、重点分析了针对低码率视频通信系统中整帧丢失情况的差错隐藏算法：光流估计法 和运动矢量外推法，并对两种不同的运动矢量外推法：宏块级运动矢量外推法和像素级运 动矢量外推法进行改进，并在j m 上完成了算法仿真及测试。 论文共分为5 章： 第一章为绪论，主要介绍本文的研究背景和意义，总结当前主要的差错控制技术； 第二章介绍h 2 6 4 的编解码特性及差错控制工具，并分析j m 平台的差错隐藏流程； 第三章针对宏块丢失情况给出相应的差错隐藏方案，并对i 帧的多纹理预测法进行分 析比较； 第四章着重分析现有的整帧丢失差错隐藏算法，并对其中运动矢量外推法给出3 种改 进算法，在j m 上完成现有算法和改进算法的仿真和测试，并对实验结果进行分析比较； 第五章给出全文总结和工作展望。 8 第二章h 2 6 4 综述和实验平台简介 第二章h 2 6 4 及其实验平台 h 2 6 4 是由m p e g ( m o v i n gp i c t i 鹏e x p e r tg r o u p ) 和v c e g ( v i d e 0c o d i n ge x p e r t sg r o u p ) 联合开发的一个较之前开发的m p e g 和h 2 6 3 性能更为优异的视频压缩编码标准，也称为 i t u - th 2 6 4 建议或m p e g 4 的第1 0 部分，一般简称为h 2 6 4 几w c 或h 2 6 4 。这个国际标 准已于2 0 0 3 年正式被i t u t 通过并在国际上正式推出【1 3 】。 j m 是h 2 6 4 的官方测试源码，由德国h h i 研究所开发，实现了h 2 6 4 标准中的所有 特性，编码性能较好，但实时性不佳，一般用作算法验证平台。本文的实验平台即为j m l o 1 。 2 1h 2 6 4 的特点 h 2 6 4 较之前的视频压缩编码标准如m p e g 2 及m p e g 4 ，有出色的压缩性能。实验 表明，利用m p e g - 2 压缩一路高清电视需要2 0 m b s 的带宽，而在同等条件下，利用h 2 6 4 压缩只需要5 m b s ，这意味着利用h 2 6 4 只需要原来1 4 的传输费用。 h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性。h 2 6 4 包含v c l ( 视频 编码层) 和n a l ( 网络提取层) 。v c l 的设计目标是尽可能地独立于网络进行高效的编解码； 而n a l 则负责将v c l 产生的位串适配到各种各样的网络和多元环境中，它覆盖了所有片 级以上的语法级别，同时支持以下功能：支持独立片解码；起始码唯一保证；支持s e i ； 支持流格式编码数据传送【13 1 。 h 2 6 4 亦建议了一套较完备的差错控制技术，如f m o ( 灵活宏块排序) ，i d r ( 即时解码 刷新) ，数据分割，使得h 2 6 4 具备很好的抗误码性能，在网络传输环境下仍能保证较好的 视频质量。 和m p e g - 4 的主要特点灵活性不同，h 2 6 4 着重在压缩的高效率和传输特别是网络传 输的高可靠性，其应用面十分广泛。具体说来，h 2 6 4 支持3 个不同档次【1 3 j ： 基本档次：主要用于视频会话，如会议电视，可视电话，远程医疗、远程教学等； 扩展档次：主要用于网络的视频流，如视频点播： 主要档次：主要用于消费电子应用，如数字电视广播，数字视频存储等。 2 1 1h 2 6 4 编码基础 为了提高编码性能，h 2 6 4 在以往编码标准的基础上做了诸多改进： l 、参考图像 为了提高预测精度，h 2 6 4 编码器可从一组前面或后面已编码图像中选出一、两幅与 当前最匹配的图像作为帧间编码的参考图像。标准规定最多可从1 6 幅参考图像中选择最 9 东南大学硕士学位论文 佳的匹配图像。 2 、 片和片组 h 2 6 4 引入了片和片组的概念，淡化了之前编码标准里明确的i p 帧概念。将一帧分为 几个片组，一个片组又分为几片，每片包含整数个宏块。一幅图像中每片的宏块数不一定 固定。 引入片概念的主要目的是限制误码的扩散和传输，建立编码片相互独立性。编码片共 有5 种不同类型，除i 片、p 片、b 片外，还有s p 片和s i 片。s p 片及s i 片的相关概念在 2 1 2 节中详细讨论。 片的句法结构见图2 一l ，其中片头规定了片的