（通信与信息系统专业论文）基于h264的错误隐藏算法的研究.pdf

武汉理- j ：大学硕十学位论文 摘要 视频作为多媒体的一个方面已经得到了越来越广泛的应用，并成为了人们 舌中必不可少的一部分。视频的信息量大，占用的带宽也就更高，因此要求 顷压缩编码标准在保证视频解码质量的基础上能够有更高的压缩比率。h 2 6 4 顷压缩编码标准满足了上述的要求，并具有低码流、高质量、抗误码性能强 网络适应性好的特点。因此，本文将采用h 2 6 4 标准作为具体的研究对象。 视频在经过编码后通过网络进行传输，而网络信道会因不稳定而造成错误 延时。预测编码和可变长编码的使用会使错误更快地扩散，从而导致视频质 刮烈下滑，直接地影响人们的视觉感受。如何在恶劣的信道环境中确保视频 息有效传输就成为了一个重要的课题。本文就将结合h 2 6 4 标准对解码端的错 憩藏算法进行探讨与研究。 本文的核心工作是h 2 6 4 的错误隐藏算法的研究。首先，简要介绍了视频通 中抗误码技术的研究状况、h 2 6 4 视频压缩编码标准，分析了经典的错误隐藏 去。然后，对h 2 6 4 官方测试平台j m 中所采用的算法进行了详细地研究，重 分析了其中的帧间错误隐藏算法，针对其不足，本文提出了一种改进的帧间 昃隐藏算法。改进算法的创新点主要体现在以下三个方面： ( 1 ) 提出了交错的二次隐藏方案，目的是为了在大量丢包的情况下改善受 宏块周围的邻块状况；并针对两次隐藏的特点对边界匹配算法进行了不同的 陂处理，使匹配能够更加的精确。 ( 2 ) 有选择性地引入了运动估计过程。这样，在预测块的边界匹配误差足 ，j 、的时候可以终止运动估计过程，此预测块即为最佳的匹配块。 ( 3 ) 设定阈值，当得到的预测块的边界匹配误差过大时，将宏块分割为4 8 x 8 的子块，然后再对每个子块利用相关性匹配模型进行运动矢量的恢复。 关性匹配模型的使用是为了减少4 个8 8 子块之间的块效应。 实验结果表明，对于不同运动特点的序列，在具有不同丢包率的信道中， 用本文的改进算法，p s n r 值能够平均提高l d b 左右，解码的视频质量得到 显的改善。 踺词：h 2 6 4 标准，错误隐藏，帧间，帧内 武汉理工大学硕士学位论文 a b s t r a c t a sa l la s p e c to fm u l t i m e d i a , v i d e oh a sb e e nm o r ea n dm o r ew i d e l yu s e da n di t h a sb e c o m ea ni n d i s p e n s a b l ep a r to fp e o p l e sl i v e s t h ei n f o r m a t i v ev i d e on e e d sa h i g h e rb a n d w i d t h ，t h u sr e q u i r i n gv i d e oc o d i n gs t a n d a r dt oh a v eah i g h e rc o m p r e s s i o n r a t i ow h i c hb a s e do ne n s u r i n gt h eq u a l i t yo fd e c o d i n gv i d e o h 2 6 4v i d e oc o d i n g s t a n d a r dm e e tt h ea b o v er e q u i r e m e n t s ，a n dh a sm a n yc h a r a c t e r i s t i c so fal o w e rs f f e a m ， h i g h e rq u a l i t y , s t r o n g e re r r o rr e s i l i e n tp e r f o r m a n c e ，a n db e t t e rn e t w o r ka d a p t a b i l i t y t h i sp a p e rw i l la d o p tt h eh 2 6 4s t a n d a r da sas p e c i f i co b j e c t v i d e ot r a n s m i t t e dt h r o u g ht h en e t w o r ka f t e re n c o d e d ，b u tt h en e t w o r kc h a n n e l c a nc a u s ee r r o r sa n dl a t e n c yb e c a u s eo fi n s t a b i l i t y b e c a u s eo ft h eu s eo f p r e d i c t i v e c o d i n ga n dv i a b l el e n g t hc o d i n g ，t h ee r r o rw i l lb em u c hm o r el i k e l yt os p r e a d ，l e a d i n g t oas h a r pd e c l i n ei nv i d e oq u a l i t y , w h i c hd i r e c t l ya f f e c tp e o p l e sv i s u a lf e e l i n g s i n n o i s yc h a n n e le n v i r o n m e n t ，h o wt oe f f e c t i v e l ye n s u r et h ev i d e ot r a n s m i s s i o nh a s b e c o m ea ni m p o r t a n ti s s u e t h i sp a p e rw i l lh a v ear e s e a r c ho ne r r o rc o n c e a l m e n t a l g o r i t h m ，c o m b i n e dw i t ht h eh 2 6 4s t a n d a r d t h ec o r ew o r ko ft h i sp a p e ri st h er e s e a r c ho fe r r o rc o n c e a l m e n ta l g o r i t h mw h i c h b a s e do nh 2 6 4 f i r s to fa l l ，i ts i m p l yi n t r o d u c e dr e s e a r c hs t a t eo ft h ee r r o rr e s i l i e n t t e c h n o l o g yo nv i d e ot r a n s m i s s i o n ，h 2 6 4v i d e oc o m p r e s s i o nc o d i n gs t a n d a r da n d a n a l y z e dc l a s s i c a le r r o rc o n c e a l m e n ta l g o r i t h m t h e n ，i ta n a l y z e dt h ea l g o r i t h m w h i c hu s e di nt h eh 2 6 4o f f i c i a lt e s tp l a t f o r mj m ，e s p e c i a l l yt h ei n t e r - f r a m ee r r o r c o n c e a l m e n ta l g o r i t h m a i m i n ga tt h ed e f e c to fe x i s t i n gm e t h o d s ，t h ep a p e rp r o p o s e d a ni m p r o v e di n t e r - f r a m ee lr o rc o n c e a l m e n ta l g o r i t h m t h em a i ni n n o v a t i o no ft h e i m p r o v e da l g o r i t h mi sr e f l e c t e di nt h ef o l l o w i n gt h r e ea s p e c t s ： ( 1 ) t h ep a p e rp r o p o s e dai n t e r l a c e dd o u b l ee r r o rc o n c e a l m e n ts c h e m e ，w h i c h c a l li m p r o v et h ec o n d i t i o no fn e i g h b o r h o o db l o c kw h e nl o s i n gal o to fp a c k e t a n d a i m i n ga tt h ec h a r a c t e r i s t i c so ft h ed o u b l ee r r o rc o n c e a l m e n t ，i ta d o p t e dad i f f e r e n t w e i g h t e db o u n d a r ym a t c h i n ga l g o r i t h mw h i c h c a l le n s u r em o r ep r e c i s em a t c h ( 2 ) t h ep a p e ri n d u c t e dt h em o t i o nv e c t o re s t i m a t i o ns e l e c t i v e l y i nt h i sw a y , i t c a ns t o pt h ep r o c e s so fm o t i o ne s t i m a t i o nw h e nt h eb o u n d a r ym a t c h i n ge r r o ri ss m a l l 武汉理_ i ：大学硕士学位论文 e n o u g h ，t h e nt h ep r e d i c t i v eb l o c ki st h eb e s tm a t c hb l o c k ( 3 ) t h em a c r o b l o c kw i l lb ed i v i d e di f i t of o u r8x8s u b b l o c k s ，w h e nt h eb o u n d a r y m a t c h i n ge li o r i sh i g h e rt h a nag i v e nt h r e s h o l d t h e nt h em o t i o nv e c t o ro fe a c h s u b b l o c kc a nb er e c o v e r e du s i n gc o r r e l a t i v em a t c h i n gm o d e l ，w h i c hc a nr e d u c et h e b l o c ke f f e c t e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ei m p r o v e da l g o r i t h mc o u l da v e r a g e l yr a i s et h e p s n ra b o u tld ba n dc o r r e s p o n d i n g l yi m p r o v et h ed e c o d i n gv i d e oq u a l i t ye f f e c t i v e l y o nt h ec h a n n e lh a v i n gd i f f e r e n tp a c k e tl o s sr a t e ，f o rt h ed i f f e r e n ts e q u e n c eh a v i n g d if f e r e n tm o v e m e n tc h a r a c t e r i s t i c s k e y w o r d s ：h 2 6 4s t a n d a r d ，e r r o rc o n c e a l m e n t ，i n t e r - f r a m e ，i n t r a f r a m e i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：堑鳖日期：巡：! 兰：! 墨 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：物峰导师( 签名) ：毵日期哆，妒 武汉理：【人学硕十学位论文 1 1 研究背景和目的 第1 章绪论 视频作为多媒体的一个方面已经得到了越来越广泛的应用，其典型的应用包 括：可视电话、电视会议、远程教育、视频点播业务、视频监控、移动视频业 务、视频电子邮件、数字网络图书馆等。可见，视频信息因其直观、确切、高 效的优点而得到了人们的广泛应用。 一般来说，视频业务【l 】可以分为两大类：一类是检索型业务：一类是会话和 会议型业务。前者属于准实时业务，指的是人与计算机之间的交互通信，通常 采用流媒体技术来实现；后者对实时性要求高，主要指的是人与人之间的交互 通信。国际电信联盟( i t u t ) 所制定的h 2 6 x 系列的编码标准和国际标准化组 织( i s o ) 所制定的m p e g 系列运动图像编码标准就是由于以上两类业务对实时 性要求的差异而产生的。m p e g 系列标准比较适合检索型业务，而h 2 6 x 系列 标准则更适合会话和会议型业务。随着视频压缩编码技术的不断发展，h 2 6 4 标 准的制定既适合检索型业务也适合会话和会议型业务，是两个组织合作的产物， 是一种高性能的视频编解码技术。 具有很高的数据压缩比率是h 2 6 4 的最大优势。但与此同时，运动估计、补 偿和变长编码等技术的应用去掉了视频序列中大量的时空相关性，这样就使得 编码后视频数据的抗误码能力十分脆弱。因为在传输过程中，更高的压缩率导 致了错误更加快地扩散，严重地影响了解码端的视频质量。因此，如何有效地 提高视频在网络传输中的抗误码能力十分重要，是具有理论意义和实际的应用价值 的。 武汉理工人学硕士学位论文 1 2 国内外研究现状 本节将从以往视频压缩编码标准中采用的抗误码方案、h 2 6 4 标准中采用的 抗误码方案以及抗误码的设计机制三个方面来详细地论述目前抗误码技术的国 内外研究现状。 ( 1 ) 以往视频压缩编码标准中的抗误码方案 在以往的视频压缩编码标准中，已经使用过的抗误码技术包括：帧内排列、 图像分割、参考图像选择、数据分割等。 帧内排列 帧内排列主要用于克服漂移效应。h 2 6 4 中的帧内排列主要有两个特点： 个是h 2 6 4 中的帧内预测编码宏块的参考宏块可以是帧间预测编码宏块，这个特 性可以进一步提高编码效率；另一个是h 2 6 4 中只包含帧内宏块的片只有帧内片 和立即刷新片。 图像分割 h 2 6 4 支持一幅图像划分成片，片中宏块的数目是任意的，最少为一个宏块， 最多为一帧图像中的所有宏块。在非灵活宏块排序模式下，片中的宏块次序是 采用光栅扫描的方式进行分配的。图像分割是为了调节图像片的大小用以匹配 最大传输单元的大小。 参考图像选择 参考图像的选择，不论是基于宏块、基于片，还是基于帧，都是抗误码的 有效工具。对于有反馈的系统，编码器获得传输中丢失图像区域的信息后，参 考图像可以选择已经正确接收图像的对应区域作参考。而对于无反馈系统，则 采用冗余视频编码的方法来增加抗误码的性能。 数据分割 通常情况下，一个宏块的数据是存放在一起而组成片的，而数据分割使得 一个片中的宏块数据重新组合，把宏块语义相关的数据组成一个划分，由划分 来组装片。在h 2 6 4 中主要有头信息( a 分割) 、帧内信息( b 分割) 、帧间信 息( c 分割) 三种不同的数据分割方式。 解码端如果获得所有的数据分割，就可以完整重构片。如果解码端发现b 分割或c 分割丢失，可用的a 分割仍然具有良好的抗误码性能；但如果a 分割 丢失或错误，其他分割的内容就无法使用。 2 武汉理工入学硕七学位论文 ( 2 ) h 2 6 4 中的抗误码方案 h 2 6 4 标准在以往视频编码标准的基础上提出了三种新的抗误码技术，包 括：设置参数集，灵活的宏块排序( f l e x i b l em a c r o b l o c ko r d e r i n g ，f m o ) 和冗 余片( r e d u n d a n ts l i c e ，r s ) 。 设置参数集 在h 2 6 4 标准中主要使用了两种类型的参数集，分别是：序列的参数集，包 括了一个图像序列的所有信息；图像的参数集，包括了一个图像所有片的信息。 对序列的参数集和图像的参数集进行重点保护才能提高抗误码性能。参数 集的使用关键在于如何在误码信道中确保参数集能够可靠和实时地到达解码 端，一般采用的方式有三种：重复发送、单独使用可靠的传输机制在带外发送 以及在编解码器的硬件中固化参数集设置。 灵活的宏块排序 灵活的宏块排序【2 0 】是h 2 6 4 的一大特色。通过设置宏块次序映射表来任意 地指配宏块到不同的片组，刚o 模式打乱了原宏块的顺序，虽然降低了编码效 率，增加了时延，但提高了抗误码性能。f m o 的模式有7 种，分别为交错模式、 棋盘模式、前景和背景模式、b o x o u t 模式、光栅扫描模式、手绢模式以及显示 模式，其中显示模式为用户自定义模式。f m o 模式在出现大量的误码现象时， 能够使视频图像在解码端进行错误隐藏后仍然获得良好的视频质量。 冗余片 当使用无反馈的系统时，就不能使用参考图像选择的方法，而需要在编码 时增加冗余片来提高抗误码性能。冗余片技术允许编码器对同一个宏块采用不 同的编码参数进行多次编码，从而生成一个主片和多个冗余片。主片使用较小 的量化参数( q u a n t i z a t i o np a r a m e t e r ，q p ) 进行编码，因此主片能够较好地重构 图像，冗余片使用较大的q p 来编码，码率低，重构图像质量相对较差。当主片 在传输过程中丢失或错误时，可以采用冗余片来进行图像的重构。冗余片技术 不仅可以增强抗误码性能，而且能够将码率控制在一定的范围之内。 ( 3 ) 抗误码的设计机制 总体而言，目前抗误码的设计机制一般分为三类【4 】：编码器和解码器之间的 交互控制；在源端编码和信道编码中引入冗余数据：解码端错误隐藏。 编码器和解码器之间的交互控制 编码器和解码器之间的交互控制主要分为两类：基于反馈信息的错误跟踪 武汉理工大学硕十学位论文 方法和基于反馈信息的参考帧选择方法。 基于反馈信息的错误跟踪方法的主要思路是将出错帧中出现错误的块的具 体位置反馈到编码端，在编码端通过一系列的措施来有效地限制错误的散播。 基于反馈信息的参考帧选择方法的主要思路是当某帧出现错误时，其后的 帧将选取一些靠前的无错误的帧来进行参考，而不会选择当前的错误帧进行参 考，相对于采取帧内编码的方式来编码当前帧的简单处理方法，会具有更高的 码率。 在源端编码和信道编码中引入冗余数据 在源端编码和信道编码中引入冗余数据的方法主要可以分为以下几类：使用 前向纠错码( f o r w a r de r r o rc o r r e c t i o n ，f e c ) 、采用分级编码结构、使用数据交 织、尽量减小失步序列长度、限制预测误差的传播等。 使用f e c 要求更宽的带宽，通常应用在对数据错误敏感但对带宽要求不高 的情况中。使用f e c 越多抗误码能力会越强，但同时也会消耗更多的比特数， 在传输信道状况处于良好的情况下会消耗更多的带宽资源。所以，不对等错误 保护方案( u n e q u a le r r o rp r o t e c t i o n ，u e p ) 【5 】，运动矢量以及帧率的自适应f e c 方法【6 】，通过定义重要性不同的数据类型进行u e p 的方法【7 】被提出，主要目的是 为了在信道状况良好时节约带宽资源。 采用分级编码结构的主要思路是将一个视频序列划分为两个或两个以上的 流，一个为基本层，用来提供较低的但可以接受的解码图像，其他的则为增强 层，主要是用来在基本层的基础上提高解码图像的质量。基本层是视频的基本 信息的传递，是必不可少的，因此需要采取更高的优先级或采取更高形式的抗 误码措施来确保基本层的无误传输。 数据交织的使用能够很好地将随机性位错误进行平均分布，将突发性错误 转换为随机性错误，有利于采用错误隐藏技术对受损图像进行恢复。 变长编码的使用以及为了提高熵编码效率而采用的较小码字间距，容易使 出现错误解码的情况一直持续到下一个同步头。那么，这个码字后的比特一直 到下个同步头为止将被丢弃。尽量减小失步序列长度是为了尽量地减少被丢弃 的比特数，一般可以采用添加重同步头、使用可逆变长编码、抗误码熵编码瞵l 的方法进行解决。 限制预测误差的传播所采用的方法一般有：改变i 帧、p 帧、b 帧中条大小的 方、法【9 1 ，帧内编码刷新方澍1 0 1 4 】以及分区独立预测的方法【1 5 】。 4 武汉理1 = 大学硕十学位论文 解码端错误隐藏 解码端的错误隐藏由于不需要增加额外的比特率，不需要对编码器端进行 任何修改，同时也不改变视频码流结构，从而具有零冗余，适应性好的优点。 一般来说，在基于块的混合编码中，受损的宏块有三类信息需要估计：纹理信 息，运动矢量，宏块的编码模式。 对于纹理信息的恢复，可以采用空间内插【l6 1 ，运动补偿时间预测，基于重 构图像最平滑的空间和时间内插【l7 】的方法进行恢复。 运动矢量的恢复方法主要有：零运动矢量替换法，使用前一帧对应块的运 动矢量，使用丢失块周围的有效运动矢量的平均值、中值以及重新估计运动矢 量。 宏块的编码模式则是通过收集相邻的宏块的编码模式的统计信息，从而选 择一个最有可能的模式【硌】。 1 3 研究思路与论文结构 为了满足视频在网络传输中的应用需求，必须要解决四个q o s 问题，包括： 吞吐量、传输时延、时延抖动、误码率。有此可见，提高视频在网络传输过程 中的抗干扰能力和错误恢复能力是十分重要的。本论文的研究思路是以h 2 6 4 为研究对象，选择抗误码技术中的解码端错误隐藏部分进行深入研究，并结合 现有的错误隐藏方法，针对其不足，提出改进算法。最后，改进的算法在h 2 6 4 的官方测试平台中进行了仿真验证。 本论文接下来的内容安排为： 第2 章，首先对h 2 6 4 标准进行了简要的介绍；然后对经典的错误隐藏算法 进行了分析。重点对h 2 6 4 官方测试平台j m 中的错误隐藏算法进行了描述与详 细的研究，包括：j m 帧间错误隐藏算法与j m 帧内错误隐藏算法。最后，对j m 诺误隐藏算法进行了性能测试与详细的分析。 第3 章，是本文的重点。针对现有算法的不足，提出自己的改进算法，改 进角度为：改进边界匹配算法，有选择性地引入运动估计，在块匹配失效时采 用8 x8 子块相关性隐藏模式。在j m 平台中进行了仿真验证，并对仿真结果进 ，厅了分析。 第4 章，总结与展望。总结了本文所做的工作，展望了下一步的研究方向。 武汉理1 ：大学硕七学位论文 第2 章h 2 6 4 错误隐藏算法的研究与分析 2 1 h 2 6 4 标准的简介 从应用领域的角度来说，h 2 6 4 标准可以应用于以下领域： 建立在有线、卫星上的广播。 应用于数字视频的储存。 通过以太网、局域网、无线移动网以及综合业务数字网等进行会话服务、 图像传输或多媒体流服务、多媒体消息服务。 具体的典型应用为卫星图像直接广播、远程图像监视、实时通信服务、有 线电视、交互存储媒介、数字地面广播电视等。 压缩的高效率和传输的高可靠性是h 2 6 4 标准着重于去解决的。h 2 6 4 标准 支持四个档次的应用，包括：基本档次、扩展档次、主要档次以及高档次。 基本档次，主要应用于“视频会话”，目的是最小化编码复杂度，能够针 对大多数的网络环境提供高度的鲁棒性和灵活性。例如：可视电话、远程教育、 会议电视等。 扩展档次，主要应用于流媒体，将高编码效率与基本档次和网络传输的 鲁棒性进行结合，有效地支持了网络流媒体之类的应用。例如：视频点播( v i d e o o nd e m a n d ，v o d ) 。 主要档次，主要应用于消费电子应用，强调压缩编码效率。例如：数字 视频存储、数字电视广播等。 高档次，主要是增加了对于高清视频应用的支持。 本论文主要研究的是h 2 6 4 的基本档次。 h 2 6 4 中采用了多种以前的视频编码标准中不曾出现过的新技术【l9 1 ，包括帧 内预测编码、帧间预测编码、整数变换与量化、熵编码以及去块效应滤波器。 武汉理j j ：人学硕士学位论文 ( 1 ) 帧内预测编码 在以往的视频压缩编码标准中，采用帧内编码的图像是直接将像素块的数 值进行变换的。这种方式进行编码得到的图像称为i 图像。i 图像里包含大量的 信息，压缩效率低。而h 2 6 4 中的帧内编码则充分利用了相邻宏块的空间相关性， 在对当前的宏块进行编码时，根据周围宏块进行预测，然后只对预测值与实际 值的差值进行编码，这样，就大大地减小了码率。在h 2 6 4 标准中，亮度块可以 有4 种1 6 x 1 6 块和9 种4 x 4 块的帧内预测模式，而色度块的4 种8 x 8 块的预测 模式与亮度块的4 种1 6 x 1 6 块的预测模式是相同的。 ( 2 ) 帧间预测编码 帧间预测编码中的运动估计与补偿是依据帧间的时间相关性来进行的。 h 2 6 4 标准与以往的视频压缩编码标准在帧间预测编码部分的不同之处在于采 用了不同大小和形状的宏块分割，使用了高精度的亚像素运动估计以及多参考 帧预测。 不同大小和形状的宏块分割 采用了树状结构的运动补偿。具体来说，每个宏块可以有4 种分割方式：1 个1 6 x 1 6 亮度块，2 个1 6 x 8 亮度块，2 个8 x 1 6 亮度块以及4 个8 x 8 亮度块。而 每个8 x 8 的子宏块又可以分割为4 种方式：1 个8 x 8 亮度块，2 个8 x 4 亮度块， 2 个4 x 8 亮度块以及4 个4 x 4 亮度块。色度块与亮度块采用相同的分割模式，只 是尺寸在水平和垂直方向都减半。相对于大的尺寸的分割，m v 的选择和分割类 型需要的比特量较少，运动补偿残差在多细节区域将有较高的能量，而对于小 尺寸的分割而言，情况正好相反。总体来说，平坦区域适合采用大尺寸的分割， 而细节区域适合采用小尺寸的分割。 高精度的亚像素运动估计 如何在参考帧中找到更加精确的匹配块是更有效地进行运动补偿的关键问 题。减小搜索步长，能够获得更精确的运动估计。在以往的视频编码标准中， 运动估计过程的最高精度一般为1 2 像素。而在h 2 6 4 视频编码标准中，采用的 是亮度1 4 像素精度，色度1 8 像素精度。与整数精度的空间预测相比，使用1 4 像素精度的运动估计，同等条件下其峰值信噪比( p e a ks i g n a lt on o i s er a t i o ， p s n r ) 能够提高1 3 d b 以上。亚像素位置的像素实际上并不存在于参考帧中， 而是通过相邻的已编码的像素点进行内插得到的。具体的1 4 像素精度的运动估 计搜索步骤如下： 7 武汉理t 大学硕十学位论文 第一步，在搜索窗内进行整像素的运动估计，得到整像素精度的最优运动 左且 大里。 第二步，在整像素的最优运动矢量周围的1 像素半径的范围内进行1 2 像素 精度的插值，并对得到的8 个1 2 像素进行绝对差值和( s u mo fa b s o l u t e d i f f e r e n c e ，s a d ) 计算，将其与整像素点的s a d 值进行比较，得到当前最优匹 配点。 第三步，对当前的1 2 像素继续进行插值，得到1 4 像素精度的采样点，并 计算所有1 4 像素点的s a d 值，取其中s a d 值最小的为1 4 像素最优匹配点， 得出的就是1 4 像素精度的最优运动矢量。 多参考帧预测 h 2 6 4 标准在帧间预测编码过程中，最多可以选择5 个不同的参考帧进行帧 间预测，在所有可能的参考帧中搜索出率失真代价最小的宏块和运动矢量。多 参考帧运动估计首先是从概率最高的参考帧开始，一直搜索到距离当前帧最远 的参考帧。这样不仅提高了视频的质量，而且也增强了视频在信道传输过程中 的纠错能力，多参考帧运动估计比单一参考帧时可以获得更小的码率。尤其是 在平移运动、周期性运动与场景切换的情况中，多参考帧预测编码能取得更好 的效果。 ( 3 ) 整数变换与量化 h 2 6 4 标准使用了以整数为基础的空间变换方式，类似于4 x 4 的离散余弦变 换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) ，这种变换方式解决了反变换过程中由于 取舍而存在误差的失配问题。同时在运算过程中只存在加法与移位运算，这样 就大大地提高了运算速度，也更利于向定点d s p 进行移植。 整数变换方案【2 0 1 是一个分层式的变换算法，具体来说包括如下3 个部分： 对亮度分量和色度分量的a c 系数使用4 x 4 的整数变换。 对亮度分量的d c 系数进行4 x 4 的整数变换。 对色度分量的d c 系数进行2 x 2 的整数变换。 尽管相对于浮点运算，整数d c t 变换后的量化过程中会存在量化误差，但 其影响不大。h 2 6 4 中可以选择5 2 种不同的量化步长，量化参数q p 每增加一 个，量化步长增加1 2 5 。相对于以往视频编码标准每次递增一个常量，这种精 细的量化步长选择方式在保证了重建图像质量的基础上，使得基于量化步长调 整的码流控制机制更加的灵活。同时，h 2 6 4 还支持自适应地块变换，它能够依 武汉理r t = 大学硕士学位论文 据分块的具体尺寸来自适应地调整变换和量化的参数。 ( 4 ) 熵编码 在h 2 6 4 中采用了两种不同的熵编码方法：基于上下文的自适应变长编码 ( c o n t e x t b a s e da d a p t i v ev i a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下文的自适应 二进制算术熵编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。 c a v l c 主要用于对残差数据进行编码。残差经过变换和量化后的数据会有 如下三种特性：高频系数大多数为零，非零系数基本集中于低频区域；高频区 域的非零系数的值基本为+ 1 和一1 ，d c 系数附近的非零系数的值偏大；邻近的4 x 4 块的非零系数的个数是具有相关性的。鉴于以上的特性，c a v l c 进一步地减少 了数据中的冗余信息。 c a b a c 的主要思想不是为输入流中的每个字符去指定码字，而是为整个输 入流分配一个码字。具体来说，就是将每一个字符输入流都用o 到1 的区间上 的一个数来表示的。c a b a c 的优点在于：不需要为每个信源序列提前指定码书， 信源统计特性的自适应性是可以简单地通过更新符号概率表去实现的。 ( 5 ) 去块效应滤波器 块效应的产生主要来自于残差的变换和量化所带来的误差和运动补偿的匹 配误差。h 2 6 4 中采用了自适应的去块滤波器来缓解块效应对视频解码质量的影 响。h 2 6 4 中的去方块效应是基于4 x 4 块边界的，也就是需要对一个宏块亮度 分量的4 条水平边界和4 条垂直边界进行去块滤波，色度分量的2 条水平边界 和2 条垂直边界进行去块滤波。另外，通过对图像中的边界是否为真实边界的 判断，对不真实的边界( 也就是方块效应) 进行去方块滤波，具体做法是根据 相邻图像块的性质与编码方式的不同而自适应地采用片级、图像块边界级以及 图像样点级的滤波方式。 h 2 6 4 采用了分层设计，分为视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网 络提取层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 。v c l 负责高效的视频内容的表 示，包括核心的压缩引擎和块、宏块及片的语法级别的定义；n a l 则负责以网 络所要求的恰当方式对数据进行打包和传送，这样可以令码流结构对网络适应 性更强，并且增强了纠错能力，具体来说是将v c l 产生的比特字符串适配到各 种各样的网络环境中，支持起始码惟一保证、独立片解码、s e i 以及流格式的编 码数据的传送等功能，并且覆盖了所有片级别以上的语法级别。另外，在v c l 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令是由n a l 完 9 武汉理丁大学硕士学位论文 成的，即n a l 采用分段格式来封装数据，其中包括定时信息的利用或序列结束 信号以及组帧、逻辑信道的信令等。h 2 6 4 的传输结构如图2 1 所示。 i l h - 3 2 0 i i 无 v c l i i n a l 线 网 络 编码器编码器m p e g 一2 | 八 系统 i v c l - n l 接口 h 3 2 4 mr l i i i 全 有 i r t p i p 卜线 v c l l i 网 n a l 解码器解码器 络 l t c p ，i p - 图2 1h 2 6 4 的传输结构 引入n a l 有两个目的：v c l 的设计可以在任何处理器与操作系统中完成； 不需要因为不同的网络环境再对v c l 比特流进行再编码或重组，具有更好的网 络亲和力。 2 2 经典错误隐藏算法的分析 2 2 1 经典帧间错误隐藏算法的分析 帧间错误隐藏【2 1 之6 】的关键问题是运动矢量的恢复。运动矢量的直接替换和 运动矢量的重新估计都是运动矢量恢复的经典方法。本节将对这两种经典的算 法进行详细地分析。 ( 1 ) 直接替换法 一般来说，直接替换算法是用零运动矢量、运动矢量的平均值或中值以及 参考帧中相同位置的运动矢量来替换受损宏块原有的运动矢量。本小节将分别 l o 武汉理一l ：人学硕十学位论文 对这几种运动矢量进行分析。 零运动矢量 零运动矢量的思路是使用其参考帧中与受损宏块相同位置的块去替换当前 帧中的受损宏块。这种方法的优点是简单，计算量小，实时性好。但基于零运 动矢量的恢复原理，这种方法比较适用于静止的图像序列，例如视频会议的场 面，新闻的背景画面等，而对于运动剧烈的图像，则效果不佳。 运动矢量的平均值与中值 运动矢量的平均值与中值都是利用运动的空间相关性来重构运动矢量的。 因为在图像序列中，当作为组成一个物体的宏块或整个画面做全局运动的时候， 这些宏块的运动是应该一致的。但由于有多个邻块，所以利用邻块运动矢量的 平均值和中值来恢复运动矢量。 如图2 2 所示，b i j 为受损宏块，其他的块是b i i 的相邻宏块，假设相邻块的 运动矢量都能够正确地接收，m v i i 对应地为b i j 的运动矢量。 b i 峥1b i 1 jb i i j + l b i j ib i jb i j + l b i + t j 1 b i + l db i + l 驴l 图2 - 2 相邻宏块示意图 运动矢量集s = m v i 1 j i ，m v i 1 j ，m v i 1 j + i ，m v i , j 1 ，m v i , j + i ，m v i + l j 1 ，m v i + l d ， m v i + i , j + i 。 所以，平均值法的公式为： m v m ，厅 m v 叫= 牛 ( 2 - 1 ) 由式( 2 - 1 ) 可知，平均值法是对于邻块的运动矢量进行简单的平均，这样 得到的结果反应的是当前受损宏块的平均运动趋势。 武汉理丁大学硕士学何论文 中值法的公式为： d 啪=她y 础一m v m ，。l l ( 2 - 2 ) m v _ ， 、m v 口。6 e s 如式( 2 。2 ) 所示，如果将邻块的运动矢量作为二维平面的一个点集，那么 中值法就是找到其中距离质心最近的点，这样就去除了其中的一些不规则运动 的点。如果邻块的运动矢量反应的是相似的运动趋势，那么平均值法与中值法 的结果是相同的。 参考帧中相同位置的运动矢量 参考帧中相同位置的运动矢量是利用运动的时间相关性来恢复运动矢量 的。因为当图像序列中的物体是作匀速运动时，例如摄像机进行匀速拍摄，那 么序列中物体的运动是可以预知的。如图2 3 所示，运动具有时间连续性，所以 第n 1 帧的b 2 由第n 2 帧的b 3 运动而来，那么第n 帧的受损宏块b o 就应该是由 第n l 帧中b l 运动而来。也就是说，b o 的运动矢量与b 2 的运动矢量是等同的， 如式( 2 3 ) 。 m v 吼- - m v 如 ( 2 3 ) 对应位置 b 3 旷 望 柏b ：彪b 0 r - ：! _ _ 一一 受损宏块 夕1 8 1 图2 3 运动矢量恢复示意图 这种方法的优点是简单，而且效果好于零运动矢量。但如果物体运动方向 不一致或者运动速度有变化时，效果不佳。 ( 2 ) 运动矢量的重新估计 当受损宏块的运动矢量与邻块的运动矢量相关性不强时，采用运动矢量的 直接替换法，效果不理想。重新估计运动矢量是可以在参考帧中的一定范围内 重新进行搜索，从而找到最佳运动矢量。其中最经典的算法是l a m 27 l 提出的边 1 2 武汉理一1 ：人学硕十学位论文 界匹配算法( b o u n d a r ym a t c h i n ga l g o r i t h m ，b m a ) ，b m a 算法不仅利用了运动 的相关性，也利用了像素域的相关性，是一种联合重构法，所以b m a 算法的效 果是优于运动矢量直接替换法的。h 2 6 4 官方测试模型j m 平台中采用了b m a 算法，其思路将在2 4 3 节进行详细地分析与研究。 2 2 2 经典帧内错误隐藏算法的分析 常用的帧内错误隐藏算法【2 8 啦! 有线性内插法、方向性内插法和凸集上的投 影法。凸集上的投影法是通过一个迭代的过程进行的，因此对于实时应用来讲 这种方法并不适用。所以本节将重点分析线性内插法和方向性内插法。 ( 1 ) 线性内插法 线性内插法是帧内错误隐藏中的经典方法，具有简单，运算量小的优点。 一般来说有两种方法，即可以使用边缘上与要恢复像素最近的2 个或4 个像素 进行。 第一种方法，如图2 4 所示，受损宏块被分割为4 个部分，假设第f 部分的 受损像素用b f ( m ，z ) 表示，每一部分的受损像素分别使用与其最近的2 个像素 来进行插值。 b d ib d 2 图2 4 子块分区内插示意图 武汉理l ：大学硕士学位论文 具体的插值方法如下： 6 l 川) - 型等尝堕 姒m 川= 竖等鲁血 姒m 川= 塑学 q 削 b 4 ( 肌，z ) = 生鼍粤尝迹亟 口+ d 。 这种方法由于只使用了最近的两个像素对受损的像素进行恢复，所以容易 在宏块内部形成块效应。 第二种方法，受损宏块使用与其最近的4 个像素进行双线性内插。这种方 法在内容平滑，没有明显边缘的地方效果很好，但对于纹理复杂的地方效果很 差，恢复的图像将会很模糊。h 2 6 , 1 官方测试模型j m 平台中就采用这种内插法， 具体的算法思想及工作流程将在2 5 2 节进行详细地介绍。 ( 2 ) 方向性内插法 双线性内插法的低通特性使其在边缘区域的隐藏效果不佳。s u h 3 3 1 提出了方 向性内插法，如图2 5 所示。 毛， 、 、n 、 、 图2 - 5 方向性内插 1 4 武汉理丁大学硕十学位论文 假设图中存在一条沿x “，到x f ，如的边缘，那么位于这条边缘上的点为： x n = m x i i ，j l + 【i m ) 。x i 2 ，_ 2 ( 2 5 ) 其中，m 为n 点至端点x 厶厶的归一化距离。 方向性内插法的关键是确定受损宏块中可能存在的边缘方向。文献 3 4 是将 受损宏块及其周围的8 个邻块合并成一个大块，使用s o b e l 算子求出块中每个像 素的梯度，梯度相位的方向就是可能的边缘方向，但此方法只能找到受损宏块 中的主方向，而且估计的方向是不够精确的。文献 3 5 贝i j 是在受损区域的边界找 突变点，即如果两个点满足判决条件( 梯度值，相位，亮度值) ，则其问连线就 可能是边缘，但这种方法容易受到噪声干扰，同时也不适用于图像纹理复杂的 区域，因为无法鉴别出真正的边缘。方向性内插法的效果要远好于双线性内插 法，但由于要确定边缘方向，从而增加了计算复杂度。