（信号与信息处理专业论文）h264帧内误码掩盖技术的研究和实现.pdf

南京邮电大学硕上研究生学位论文 摘要 摘要 随着信息化社会的发展，多媒体在各个方面都得到越来越多的应用。由于视觉在人类 感官中的重要作用，视频在多媒体应用中尤其受到人们的青睐，但其巨大的信息量也限制 了它的灵活应用。视频压缩编码技术的应运而生在一定程度上解决了这个问题。为满足 i p t v 、无线视频等新兴业务的需要，i t u t 和i s o 联合制定了比以前标准具有更高的数据 压缩性能和网络适应性能的h 2 6 4 标准。 由于该标准的高压缩率，与以前的标准相比，h 2 6 4 码流对传输中不可避免的误码更 加敏感。若出现误码，解码图像的质量将会下降，并且变长编码和预测机制的使用会使误 码蔓延而产生更严重的后果。因此作为主要的抗误码技术之一的误码掩盖技术得到越来越 多的关注和应用。由于剧烈运动和场景切换等情况的出现，帧间误码掩盖技术的应用受到 了一些限制，所以本文主要研究了应用于这些情况下的帧内误码掩盖算法。 本文主要的工作如下：首先，简要介绍了h 2 6 4 的抗误码技术和j m 8 6 的误码掩盖算 法；其次，深入研究基本的方向插值算法以及m r f ( m a r k o vr a n d o mf i e l d ) 算法，分析了这 些算法的优缺点，并分别提出了对方向插值算法和m r f 算法的改进；再次，针对各种算 法的特点提出了基于内容自适应的误码掩盖算法，并给出了新的内容划分的方法；最后， 在计算机上构筑了误码掩盖的实验平台，借助j m 8 6 参考软件实现了基于内容的误码掩盖 算法，并利用不同特性和误码率的序列进行了测试。实验表明，本文算法比传统的权重平 均算法有更好的掩盖效果，p s n r 平均提高1 1 d b 。 关键词：h 2 6 4 视频后处理误码掩盖内容自适应 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t w j t i lt h ed e v e l o p m e n to ft h ei n f o r m a t i o na g e ，m u l t i m e d i at e c h n o l o g yh a sb e e na p p l i e di n m o r ea n dm o r ed o m a i n s a sh u m a ns e n s eo fs i g h tp l a y sa ni m p o r t a n tr o l e ，t h ev i d e og e tm o r e f a v o ro fp e o p l ei nt h ea p p l i c a t i o no fm u l t i m e d i a h o w e v e r , h u g ei n f o r m a t i o nl i m i t si t s a p p l i c a t i o n t h ea p p e a r a n c eo fv i d e oc o m p r e s st e c h n o l o g yp a r t l yr e s o l v e st h i sp r o b l e m t om e e t t h en e e d so fs o m en e wa p p l i c a t i o n ，s u c ha si p t va n dw i r e l e s sv i d e o ，i t u ta n di s oi s s u e dt h e h 2 6 4s t a n d a r dw h i c hh a sb e t t e rd a t ac o m p r e s sp e r f o r m a n c ea n dn e t w o r ka d a p t a t i o nt h a n p r e v i o u ss t a n d a r d s h o w e v e r ，d u et oi t so u t s t a n d i n gc o m p r e s sp e r f o r m a n c e ，h 2 6 4s t r e a m sa r em o r ev u l n e r a b l e t oi n e v i t a b l et r a n s m i s s i o ne r r o r , i nc o n t r a s tw i t hp r e v i o u sv i d e oc o m p r e s ss t a n d a r d s t h eq u a l i t y o fr e c o n s t r u c t e di m a g ew i l ld e c l i n eo n c et r a n s m i s s i o ne r r o ro c c u r s ，t h eu s eo fv a r i a b l el e n g t h c o d i n ga n dp r e d i c t i o nm a k e si t w o r s e a sam a j o ra n t i e r r o rt e c h n o l o g y , e r r o rc o n c e a l m e n t t e c h n o l o g yh a sr e c e i v e dm o r ea n dm o r ea t t e n t i o n i ns o m ec a s e s ，f o re x a m p l e ，f a s tm o t i o na n d s c e n ec h a n g e ，t h ea p p l i c a t i o no fi n t e r - f r a m ee r r o rc o n c e a l m e n th a ss o m er e s t r i c t i o n s w ea t t e m p t t op r o p o s ea ni n t r a - f r a m ee r r o rc o n c e a l m e n ta l g o r i t h m t h i sp a p e ri so r g a n i z e da sf o l l o w s f i r s t ，t h ea l g o r i t h mo fe r r o rc o n c e a l m e n ti nh 2 6 4 r e f e r e n c es o f t w a r ei si n t r o d u c e db r i e f l y s e c o n d ，t h i sp a p e rm a k e sad e e p l yr e s e a r c ho nb a s i c d i r e c t i o n a li n t e r p o l a t i o nm e t h o d sa n dm r f ( m a r k o vr a n d o mf i e l d ) a l g o r i t h m s ，a n a l y z e st h e m ， a n dp r o p o s e ss o m ei m p r o v e m e n ts e p a r a t e l y t h e nac o n t e n t a d a p t i v ee r r o rc o n c e a l m e n t a l g o r i t h ma n d ac o n t e n td i v i s i o nm e t h o da r ep r o p o s e d a tl a s t ，t h ec o n t e n t - b a s e de r r o r c o n c e a l m e n ta l g o r i t h mi sr e a l i z e db yu s eo fh 2 6 4r e f e r e n c es o f t w a r ej m 8 6w i t ht h e e x p e r i m e n t a lp l a t f o r mw h i c hi sc o n s t r u c t e do np c ，a n dt e s t e db yv i d e os e q u e n c e sw i t hd i f f e r e n t c h a r a c t e r i s t i c sa n dm bl o s tr a t e e x p e r i m e n t ss h o wt h a to u ra l g o r i t h mh a sb e t t e rr e s u l t st h a n t r a d i t i o n a lw e i g h t e da v e r a g i n gm e t h o d s ，i t sa v e r a g ep s n rh a si m p r o v e m e n to fa b o u t1 1d b k e yw o r d s ：h 2 6 4 v i d e op o s t p r o c e s s i n g e r r o rc o n c e a l m e n tc o n t e n ta d a p t i v e 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：差盟墨 日期：丑翌笸：屋 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：吴叼曼 导师签名：笙墨望日期：纽垒：丝 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 抗误码研究的必要性 第一章绪论 自上个世纪8 0 年代以来，i t u t 和i s o i e c 分别制定了h 2 6 x 和m p e g x 两大系列视 频编码国际标准，开创了视频通信的新纪元。当前因特网和无线网络上多媒体业务正在蓬 勃发展，各种新兴多媒体业务的出现，如高清数字电视、视频通信、视频点播、远程医疗 以及视频监控等，对视频压缩编码技术提出了更高的要求，之前提出的各种标准已经不能 完全适应这种要求，因此i e o i e c 和i t u t 两大国际标准化组织联手制定了新的视频编解 码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 的第1 0 部分。 h 2 6 4 的基本结构与之前的标准相同，也采用基于块的变换和预测的混合编码模式， 但它采用了如统一的v l c 符号编码，高精度、多模式的运动估计，基于4 x 4 块的整数变 换、分层的编码语法等之类的措施，使得h 2 6 4 算法具有更高的编码效率，在相同的重建 图像质量下，能够比h 2 6 3 节约5 0 左右的码率。 视频图像能够压缩是因为视频序列存在大量的时空相关性，这些视频编码标准通过运 动补偿、预测和变长编码等技术减小这种相关性达到压缩码流的目的。这种压缩效率的提 高与数据传输的鲁棒性是存在矛盾的，压缩率提高的同时导致了视频数据的抗差错能力较 为脆弱。 视频的传输错误大概可分为两类：随机比特错误和突发错误。比特错误通常是由传输 物理信道的不理想引起，包括比特翻转、插入和删除。比特错误的影响取决于编码方法和 受影响的位置。当采用定长编码时，比特错误只影响一个码字，引起的损害一般是可以接 受的，但现在的编码标准为提高压缩率通常使用的都是变长编码，在这种情况下，比特错 误可能使编码信息失去同步，导致在下一个同步码字出现之前的信息不能解码。而突发错 误可能由网络传输中的包丢失、存储媒体的物理缺陷导致。由于突发错误导致连续的比特 错误，它通常比比特错误具有更大的危害。 因此，为了减小传输错误的影响，抗误码技术成为视频压缩标准中的重要组成部分， h 2 6 4 同样如此。在提高编码效率的同时，h 2 6 4 还引入了一些新工具和方法用于提高网络 环境下的错误恢复能力，如图像和序列参数集，n a l u ( n e t w o r ka b s t r a c t i o nl a y e ru n i t ) ，灵 活的宏块排序f m o ，数据分割以及帧内编码等，它们都极大的提高了码流在复杂网络环境 南京邮电大学硕士研究生学位论文 第一章绪论 下的抗误码能力。h 2 6 4 附加一些传输层地低开销机制来用于n a l u 分组的高效拆分和聚 合。通过这些措施，h 2 6 4 获得了较好的网络亲和力，能更好的适应各种传输网络。 1 2 抗误码技术的分类 抗误码技术可分为无损恢复和近似重构两个方向。无损恢复的目的是为了无失真的恢 复数据。主要采取的技术有：前向纠错( f e c ) 、自动重传请求( a r q ) 。而近似重构的目的是 得到一个与原始信号近似的结果。也可以将抗误码方法分为：预处理抗误码技术、交互式 抗误码技术和后处理误码掩盖技术。 预处理抗误码技术在编码输出码流中加入一些额外的冗余信息，实现方式包括分级编 码、多重描述编码( m d c ) 、可靠性熵编码、信源信道联合编码等。编码端常用的主要有分 级编码和数据分割技术。但若使用纠错能力强的预处理抗误码技术，就意味着冗余开销的 增大和信道资源的浪费。 交互式抗误码技术需要编码器和解码器相互协商、交流、协同工作，一般要求编码端 和解码端之间存在可靠的反向信道，编码端根据解码端反馈回来的信息自适应地调整编码 参数和编码模式。交互式抗误码技术的实现途径包括重传机制、基于交互参数的自适应编 码等技术。但面向交互的方式会带来一定的延迟，因此在实时应用中受到一定的限制。 后处理误码掩盖技术位于解码端，对于发生的错误，利用已正确接收的信息来估计和 恢复错误信息，不需要从编码器得到额外的信息。 预处理抗误码技术和交互式抗误码技术通常需要在码流中加入冗余信息，因而降低了 编码效率并增加了网络负担，而后处理误码掩盖技术只需要在解码端进行处理，不破坏码 流结构，且不影响标准的兼容性。因此是目前研究的热点之一。目前，h 2 6 4 的后处理误 码掩盖技术还不太完善，因此本文的研究目的在于通过研究和实验，找出一种行之有效的 误码掩盖方法。 1 3 误码掩盖的介绍 误码掩盖是利用视频信号的时域或空域相关性，对其中损坏或者丢失的部分进行恢复 的一种技术。人们根据图像的空间、时间等相关特性提出各种误码掩盖方法，通常可分为 时域、空域和频域等方法。时域方法是利用参考帧中合适的块代替当前帧中的丢失块。对 于运动不太复杂的情况，时域方法能得到最好的恢复效果，但在剧烈运动、场景切换、背 景暴露等情况发生时，则很难从前一帧中寻找到合适块。频域方法一般只能恢复丢失区域 2 南京邮电大学硕士研究生学位论文第一章绪论 的低频信息而造成恢复图像的模糊。相较于前两种方法，空域方法只利用当前帧内的空域 信息，通过空间插值等算法来估计出当前丢失的宏块，且能较好的复原丢失区域中的边缘 等高频信息。 为了获得高质量的解码恢复图像，误码掩盖技术要满足一定的约束条件： ( 1 ) 一致性：恢复过程中不能改变已正确接收值，受损块信息的恢复值必须在能接收的 范围之内，例女n ( o - 2 5 5 ) 。 ( 2 ) 平滑性：平滑性是一个基本的约束条件，在大多数误码掩盖技术中被使用，并得到 多种方式的诠释。最简单的应用就是丢失区域和正确接收区域的相邻像素值的变化要小。 在时域中也有类似应用，例如当前帧与前一帧同一位置的像素值大小相近。 ( 3 ) 连续性：在同一边缘上的像素值是相近的。丢失块的m v 和空域、时域相邻块的 m v 是相似或相同的。 ( 4 ) 统计相关性：视频图像中的像素之间的关系满足某种统计模型，最常用的有m r f 模型。根据先验模型，再通过最大后验概率( m a p ) 的方法利用接收到的像素来估计丢失的 像素。 在进行误码掩盖之前首先要进行误码检测和定位。在确定误码发生的位置后，才能采 取有效的误码掩盖技术。误码检测技术分别在编码器和解码器中进行。 在编码器中提供两种方法进行误码检测，方法一是增加头信息，例如在基于分组的视 频传输网络中，编码器输出适合传输的分组，每个分组包含头信息和载荷，头信息中包含 子序列确保传输分组的连续性，在解码端用序列检测丢失分组；方法二是在传输层利用 f e c ，这种方法主要采用错误校验编码进行误码检测。 通过编码端增加头信息或采用f e c 来进行误码检测较可靠，但因在码流中加入了冗余 的非编码数据而牺牲了网络资源。实际中往往采用视频解码器端的误码检测技术，这种技 术目前已发展得比较完善，不需要在传输中增加额外的码字，主要包括基于语法的检测方 案和基于视频信号自然特征的检测方案。基于语法的错误检测方案的基本思想是，由于视 频编码标准对码流结构做了详细的规定，因此可以通过在解码端检查码流中的相应语法元 素是否符合句法结构来判断在传输过程中是否有错误发生。基于视频信号的自然特征的检 测方案主要利用视频信号的平滑性来判断传输过程中是否有错误发生。 1 4 本文工作 由于网络传输的特性，视频码流可能会发生传输错误。误码的出现将导致解码图像质 3 南京邮电大学硕士研究生学位论文 第一章绪论 量的下降，解码器可以使用时域或空域的误码掩盖技术来改善这种情况。但在发生场景切 换或运动剧烈等情况时，无法使用时域的方法来恢复丢失部分，只能应用空域信息。本文 的主要工作是： 1 研究h 2 6 4 的参考程序j m 8 6 解码端的误码掩盖流程； 2 研究和实现多个典型的帧内误码掩盖算法； 3 提出新的基于h 2 6 4 解码器的帧内误码掩盖算法； 4 编写一个简易的h 2 6 4 解码显示程序，并使用本文提出的误码掩盖算法。 本文的结构如下：第一章主要介绍本文的研究背景。第二章介绍了h 2 6 4 标准使用的 一些抗误码技术和j m 8 6 中的误码掩盖流程。第三章分析了基本的方向插值算法和m r f 算法，并分别提出了改进。第四章根据不同算法的特点，提出了一种内容自适应的帧内误 码掩盖算法。第五章使用不同特性和误码率的序列进行实验，并进行了分析。最后在第六 章对全文做出总结，并提出了下一步工作的方向。 4 南京邮电大学硕士研究生学位论文第二章h 2 6 4 的误码掩盖算法 第二章h 2 6 4 的误码掩盖算法 2 1h 2 6 4 的抗误码技术 由于现在的i p 传输网络通常只提供尽力而为的服务，传输错误的出现不可避免，因此 h 2 6 4 标准在继承和改进之前标准中抗误码技术的基础上，又提出了一些新的方法和技术 来提高码流的抗误码能力和传输鲁棒性。其中关键的技术主要有：帧内编码、参数集、数 据分割、冗余片和灵活宏块排序。 2 1 1 帧内编码 帧间编码由于采用了预测方法而具有很高的编码效率，但同时也对差错也很敏感。与 之相比，帧内编码帧不以任何重建帧为参考，可以有效防止错误扩散问题。因此，h 2 6 4 也采用帧内编码宏块作为一种抗误码的手段，并在以前标准的基础上做了改进。在h 2 6 4 中只包含帧内宏块的片有两种：帧内片和立即刷新片( i d r ，i n s t a n t a n e o u sd e c o d i n gr e f r e s h ) 。 在以往的h 2 6 3 、m p e g 4 等视频压缩编码标准中帧内编码是在变换域，而在h 2 6 4 标准中，帧内片的宏块编码时参考预测块左方或者上方的已编码块的邻近像素点，是在空 间域中，并且可以参考采用帧间编码模式的宏块，但参考预测块如果是帧间编码宏块，该 预测会因为参考块的运动补偿引起误码扩散，所以参考块通常选取帧内编码的邻近块。而 采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但减少了帧内编码的重同步 性能，可以通过设置帧内预测标记来恢复这一性能。 i d r 片只存在于i d r 图像中，其中的宏块在编码时只能采用帧内宏块作为参考。i d r 图像在编解码视频序列中的作用是：解码完一幅i d r 图像后，立即将所有的参考图像标识 为“尚未用作参考 ，并且在该i d r 图像之后解码的图像在进行帧间预测时不参考该i d r 图像之前的图像。一般说来，每个视频序列的第一幅图像一定是i d r 图像。 如果在视频序列的编码过程中，在一定时间间隔内插入i d r 图像，不仅能提高解码端 的视频重建质量，也会有效地抑制误码扩散。但是帧内方式编码压缩效率比帧间方式编码 大大降低，所以通过引入帧内编码宏块的方法使压缩码流获得的错误自恢复能力是以牺牲 编码效率为代价的。 南京邮电大学硕r 上研究生学位论文第二章h 2 6 4 的误码掩盖算法 2 1 2 参数集 视频编码标准的码流通常采用分层结构，每一层都有头部，然后在每层的数据部分包 含该层的数据。这种结构导致每一层的头部和它的数据部分有很强的依赖关系，头部的句 法元素是该层的核心，一旦丢失，数据部分的信息几乎不可能再被正确解码出来。尤其在 序列层和图像层，由于网络传输中最大传输单元( m t u ) 的限制，一个整层的数据有时无法 置入一个分组中，只要头部分组丢失，即便后续分组正确接收也无法解码，造成资源的浪 费。 在h 2 6 4 中取消了序列层和图像层，将大部分原属于这两层的句法元素分别分离出来 形成序列参数集( s p s ：s e q u e n c ep a r a m e t e rs e t s ) 和图像参数集( p p s ：p a r a m e t e rs e ts t r u c t u r e ) 。 参数集是一个独立的数据单位，不依赖于参数集外的其它句法元素，同时参数集只在下层 句法元素需要时被引用，而且同一参数集可以被多个序列或图像引用。只在需要更新参数 集的内容时才会发送新的参数集。由于参数集的重要性和独立性，它可以多次重发或者采 用诸如特殊信道、高可靠性通信协议等机制加以保护。 序列参数集包括一个图像序列的所有公用信息，作用于两个i d r 间的所有图像信息， 包括图像类型、序列号等。而图像参数集包括一个图像中所有片的公用信息，作用于视频 序列中的一个或多个独立的图像。并且图像参数集本身也要使用和参考序列参数集中的参 数。在采用了参数集的设置后，片成为一个相对独立的数据单元，必须携带关于自己所属 的图像的一些信息。 从表面上看参数集的设置增加了编码后数据的冗余度，降低了编码效率，但它使得传 输的鲁棒性大大增强，当数据传输中出现丢包时能够将错误限制在最小的范围内，一个片 的丢失将不会影响其它片的解码，还可以通过该片前后的正确接收的片来恢复该片的数 据，因此可以防止错误的扩散，并对错误的恢复也能起到很好的作用。 2 1 3 数据分割 由于h 2 6 4 中的某些句法元素比其它元素更加重要，例如关于图像大小和量化系数的 头信息控制整个片，一幅图像甚至是整个序列，而变换系数只影响该块，即便产生误码扩 散也只影响到该片剩余部分。因此h 2 6 4 使用了数据分割技术向这些句法元素提供不等重 的错误保护机制。 6 南京邮电大学硕士研究生学位论文第二章h 2 6 4 的误码掩盖算法 在h 2 6 4 标准中有a 、b 、c 三类的数据分割。分割a 包含片头和片中每个宏块的头 数据，如宏块类型、量化参数和运动矢量。如果丢失了分割a ，即使其它分割完整接收也 不能正确解码。分割b 则包含帧内编码块模式和i 宏块的变换系数。由于i 帧和i 宏块被 用作参考，该分割的丢失会因为误码扩散而严重的影响后续帧。分割c 包含帧间编码块模 式和p 宏块的变换系数。相比于分割a 和分割b ，分割c 中的数据是最不重要的，但由于 大多数帧编码成p 帧，它通常是一个片中最大的数据。 分割b 和分割c 都依赖于分割a ，但分割b 和分割c 互相是独立的。因此可以说分 割a 是最重要的，在实际中，由于它的数据量小，可以通过重传等方式提供更好的保护。 如果三个分割都正确接收，解码端就可以重构完整的片。如果分割b 或c 丢失，可用的头 信息仍然可以用来提高误码掩盖的效率，而仅仅是丢失了部分细节信息。 2 1 4 冗余片 h 2 6 4 中的参考图像的选择与h 2 6 3 中相似。在基于反馈的系统中，解码器接收到丢 失或被破坏的图像信息时，选择参考图像序列中正确的参考宏块来进行错误恢复；而对于 无反馈的系统，h 2 6 4 提出了冗余分片编码。该技术可以根据需要在码流中添加同一个宏 块的一个或多个冗余表示，这些冗余片的编码参数与非冗余片的编码参数不同，例如主片 可用较小的量化参数值来编码获得较高的质量，而冗余片则使用较大的量化参数值来编 码，虽然质量降低但码率较低。解码器在重构时首先使用主片，如果可用就抛弃冗余片， 若主片丢失，冗余片也可用于重构。 冗余片技术不同于重传和分层编码。重传时，传送的包与之前的包是相同的；在分层 编码中，基本层包含了解码图像所需要的最基本信息，而增强层是在基本层的基础上对图 像细节信息的补充。在解码端如果只接收到增强层信息而没有基本层信息，则不能对码流 进行解码。而冗余片技术是对同一个宏块的不同表示，都可以独立解码。 这种对冗余片采用不同参数进行解码的方式使得冗余片技术以尽量少的比特开销最 大限度地保证了接收端的顺利解码。尤其在高误码的移动信道环境中，采用冗余片技术可 以显著增强压缩码流抗误码性能。 7 南京邮电大学硕研究生学位论文 第二章h2 6 4 的误玛掩盖算法 21 5 灵活宏块排序 h2 6 4 标准把一副图像分成若干片( s l i c e ) ，每片包含一系列的宏块( m b ) 。m b 的排列可 按光栅扫描顺序也可不按扫描顺序。每个片独立解码，每个片的宏块只能用于自身片中作 为预测参考。因此片的设置可以减少误码扩散的影响。 灵活宏块排序( f m o ：f l e x i b l em a c r o b l o c ko r d e f i n 曲是h2 6 4 中一个重要的抗误码技术， 它适用于h2 6 4 的基本档次和扩展档次。f m o 通过宏块分配映射技术把每个宏块分配到不 按扫描顺序排列的片中。图像内部预测机制例如帧内预钡4 或运动矢量预测，仅允许用同一 片组里的空间相邻的宏块。f m o 共有7 种图像划分模式，如棋盘格模式、交织模式、矩形 模式等。使用f m o 的代价是降低了编码效率，而且会造成一定的延迟，但官能显著提高 误码掩盖的技术。图2 i 所示为其中的棋盘格模式和交织模式。 c _ i l二345 躲茹 2 2 尉”2 4 露7 卜2 6r 2 7 蚓” 灞 ” 3 3 3 。 兰邈i 兰逮拦l 兰 2 2j m 8 6 的误码恢复流程 221 误码检测与定位 圈2 - 1f m o 的两种模式 交织模式 在进行误码掩盖之前首先需要进行错误检测，确定是否有传输错误发生，并正确定位 发生错误的位置，这样才能采取有效的误码掩盖技术。码流的错误会引起句法错误，h2 6 4 定义了完整的句法元素，可以根据语法进行错误检测和定位。 h 2 6 4 的视频序列( s e q u e n c e ) f 1 若干图像( p i c t u r e ) 组成( 包括至少一个l 帧，若干p 帧及 b 帧) 。每帧图像又由片( s l i c e ) 组成。片是最小的同步单位，由宏块( m b ) 构成。一个宏块由 南京邮电大学硕士研究生学位论文第二章h 2 6 4 的误码掩盖算法 若干个块( b l o c k ) 组成，块是最小的d c t 变换、编码单位。结构如图2 2 所示。 序列层 图像层 片组层 宏块层 块层 图2 - 2 码流层次结构 ( 1 ) 序列层：每隔一段时间发送一次。 ( 2 ) 图像层的检验对不同数据采用不同的方法。 ( 3 ) 片层：s l i c e 是检测和控制中的重要部分。可以检查f r a m en u m 的差值来确定是 否有丢失。每个s l i c e 中应该包含预期的宏块数。 ( 4 ) 宏块层：主要检测两个参数，s l i c e n r 和m b _ t y p e 。s l i c e n r 参数不能大于f m o 规定的最大s l i c e 数目。m b _ t y p e 可以利用其它层的相关参数进行检测，如帧内 编码的帧中不应有采用帧间预测编码方式的块。 ( 5 ) 块内数据：主要检测以下几个方面：( a ) 非法v l c 表入口：( b ) 运动矢量越界； ( c ) d c t 系数越界；( d ) d c t 系数的个数超过1 6 。如果检测到某个块的某个数据 出错则将整个块标记为出错。 h 2 6 4 中采用变长编码，当视频码流中有一个b i t 发生了错误，会导致随后的码流发生 错误，直到下一个同步点，所以在h 2 6 4 中数据的丢失仍是以s l i c e 为单位对齐。在h 2 6 4 标准草案测试模型j m 8 6 中，所有出错或不完整的s l i c e 在解码前被丢弃，不被解码，因此 不执行完整性检测和比特错误检测。j m 8 6 首先对所有正确接收的s l i c e 进行解码，然后应 用误码掩盖技术对丢失片进行掩盖。在解码端首先设置一个宏块状态图，初始状态设置为 错误，利用宏块结构中的e i _ f l a g 标记和e r c s t a r t s e g m e n t 和e r c s t o p s e g m e n t 函数来标识宏块 正确接收与否，若解码端收到一个s l i c e ，则将其中接收到的宏块标记为正确，没有接收到 的宏块仍然标记为错误状态。在掩盖过程中，宏块有四种状态：e r cb l o c ko k ，表示 正确接收的宏块；e r cb l o c kc o n c e a l e d 表示错误接收但已被掩盖过的宏块； e r cb l o c kc o r r u p t e d 和e r cb l o c ke m p t y 表示错误接收或已经丢失的宏块。 0 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 的误码掩盖算法 在对其中丢失宏块或者错误接收宏块进行误码掩盖时，首先使用正确接收宏块，如果正确 接收宏块的数目小于一个阈值( j m 8 6 将阈值取为2 ) ，则使用已经掩盖过的宏块，然后根 据s l i c e t y p e 确定使用帧内误码掩盖方法或帧间误码掩盖方法。 2 2 2 帧内误码掩盖 首先需要对当前帧内的宏块状态进行扫描，为了使用尽可能多的正确接收宏块，j m 8 6 使用的不是光栅扫描顺序，而首先从左到右扫描列，当某一列中存在丢失或错误宏块时， 确定该列中错误区域起始行和结束行。可能出现三种情况： ( 1 ) 错误起始行是当前帧的第一行：由下往上逐行恢复，如图2 3a 所示； ( 2 ) 错误结束行是当前帧的最后一行：由上往下逐行恢复，如图2 3b 所示； ( 3 ) 其它情况：双向恢复，如图2 3c 所示。 图中灰色区域表示是错误部分，数字显示了恢复次序。 ? ” 7 ，2 ， y ，l 0 一兹。锻 a ， r ；0 一l ，2 渤，* h ：搿 bc 图2 - 3 帧内误码恢复次序 根据次序确定当前需要掩盖的宏块，然后判断该宏块周围宏块的状态，并依照情况决 定是否使用左上、左下、右上、右下四角的宏块。首先计算丢失宏块周围正确接收的宏块 数目，如果正确接收宏块的个数小于给定的阈值，则再使用已经掩盖过的宏块。将这些宏 块作为可用宏块，记录每个可用宏块左上角起始点的坐标用于掩盖。 在确定可用宏块之后，即进行逐像素的恢复。在j m 8 6 中使用的是权重平均内插。首 先根据可用宏块的起始坐标获取可用宏块与丢失宏块相邻的边界像素值。对丢失宏块内的 每一像素点，用与它最邻近的上下左右四个可用边界像素点进行权重平均。每个像素点的 权重与它到当前丢失像素点的距离成反相关。公式如下： 1 0 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 的误码掩盖算法 删，= 虻笺鹭嵩铲， 其中p t = p ( i ，n + 1 ) ，p b = p ( i ，0 ) ，p l = p ( 0 , j ) ，p r = p ( n + 1 j ) ，d t ，d a ，d l ，d r 分别是四个可 用边界像素点与待恢复像素点之间的距离。如图2 4 所示。 p 2 2 3 帧间误码掩盖 p t 翰 a ， 缀dl - 蕤_ dr ，豳 i y 、 p ( i j ) 占。l ，r 溺 p a 图2 4 权重平均插值 p r 在进行帧间误码掩盖之前，首先也需要判断丢失宏块的位置。进行的过程大致类似于 帧内误码掩盖时的过程，是以列为单位进行第一轮搜索。如图2 5 所示流程。不过在这里 搜索列的过程不是帧内掩盖时的从左到右，而是从图像的左右两侧同时双向进行，逐步向 内部逼近。 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 的误码掩盖算法 图2 5 在列中的掩盖顺序 帧内和帧间误码掩盖过程中搜索列的区别如图2 6 所示，数字表示进行的顺序： i)尘； 1， i r 帧内方式帧间方式 图2 - 6 帧内和帧间误码掩盖中的列搜索方向 1 2 南京邮 u 入学硕士研多生学位论文 第二章h 2 6 4 的误码掩盖算法 在测试模型j m 8 6 中，对p 帧进行误码掩盖的方法主要分为两种方式：( 1 ) 直接拷贝方 法：拷贝参考图像中与丢失m b 相同位置的块来代替需要掩盖的丢失m b ；( 2 ) m y 拷贝方 法：用丢失m b 周围块的m v 作为丢失m b 的候选m v ，根据空域平滑特性确定最佳的候选 m v ，并在前一参考帧中进行运动补偿预测，用运动补偿预测块代替需要掩盖的丢失m b 。 算法步骤描述如下： 首先检测当前图像中正确接收s l i c e 的运动性能，根据正确接收s l i c e 的平均运动矢量 值和预先定义的阈值比较的结果来确定采用何种误码掩盖方法： ( 1 ) 若正确接收s l i c e 的平均运动矢量值小于预先定义的阂值，说明该图像显示的场景 处于慢速运动状态，则所有丢失的宏块用参考帧中对应位置的宏块代替。 ( 2 ) 若正确接收s l i c e s 的平均运动矢量值大于等于预先定义的阈值，表示该图像显示的 场景处于大运动状态，则用丢失宏块相邻宏块的m v 作为丢失宏块的候选运动矢量，当只 有一个正确接收相邻块时，相邻掩盖过的宏块的m v 也作为候选运动矢量，利用空域平滑 特性确定丢失块的最佳候选m v 。平滑性由边界匹配失真决定，边界匹配失真定义为当前 丢失宏块的邻域块和预测补偿块的边界像素的绝对差值之和。公式如下： 嘶m 加i n a r g ，仁= 睁p 唧z d i r , i n 掣7 f ， 其中：n 为需计算的像素总数， 坪咿为丢失块周围相邻块边界的像素值，矿f m v d 。r 1 删 为由m v 在参考帧内获得的预测宏块相应边界的像素值。计算边界匹配失真度时，如果待 掩盖宏块周围相邻宏块中有正确接收宏块，则只考虑正确接收宏块：否则考虑己掩盖宏块。 如图2 - 7 所示： 图2 7 预测运动矢量的选择 堕皇些皇盔堂堡主婴窒竺堂垡堡奎笙三翌旦：! 丝塑堡丝堑重簦鎏 产生最小边界匹配失真的m v 选取为正确m v ，根据该运动矢量在前一参考帧中进行运 动补偿预测，用得到的预测块代替丢失宏块。因h 2 6 4 采用1 4 像素精度的运动矢量，因 此在进行运动补偿预测时，需要进行l 4 像素精度插值。 2 3 本章小结 本章首先介绍了h 2 6 4 标准中使用的一些抗误码技术，如帧内编码，参数集，数据分 割和灵活宏块排序( f m o ) 等。这些技术有些在以前的标准中已经使用过，有些是在h 2 6 4 中首先使用。这些技术显著提高了h 2 6 4 码流的抗误码特性，增强了在各种网络中传输的 生存能力。其次，本章介绍了参考软件j m 8 6 中的误码检测和误码掩盖的流程，以及它的 时域和空域误码掩盖算法。h 2 6 4 以宏块为单位进行误码掩盖，并结合以行为单位和以列 为单位的掩盖顺序对错误宏块进行掩盖，以确保使用尽可能多的己正确接收信息进行错误 的恢复。j m 8 6 的帧内掩盖方法使用了权重平均算法，帧间掩盖方法则根据运动矢量的大 小选择使用m v 拷贝方法或直接拷贝方法。 1 4 南京邮电人学硕士研究生学位论文 第三章用于h 2 6 4 的方向插值和m r f 算法 第三章用于h 2 6 4 的方向插值和m r f 算法 对于基于块的混合编码视频标准，误码掩盖方法主要通过估计三种信息来恢复丢失区 域：纹理信息( 包括原始图像块或残差块的像素值或d c t 系数值) ，p 或b 预测编码时的运 动信息，宏块的编码模式信息。本文主要研究的是帧内误码掩盖技术，即用来掩盖损坏或 丢失区域的数据来自同一帧，且主要恢复的是图像的纹理信息。帧内误码掩盖技术包括变 换域方法、空间域方法及其它方法。 变换域的方法利用图像平滑性准则，利用正确接收图像块的部分变换系数，恢复丢失 块，并使恢复出的图像内部像素之间以及该块与相邻正确接受块之间的边界像素之间最为 平滑，一般使用每个像素和4 个相邻像素差的绝对值之和最小作为最小平滑条件。凸集投 影法( p o c s ：p r o j e c t i o n so n t oc o n v e xs e t s ) 也可以称为一种基于变换域的误码掩盖方法。首 先利用误码块和8 个相邻块形成组合块，对组合块进行边缘检测，将其划分为平滑块或者 边缘块。然后定义两个算子，一个算子将像素值限定在 o ，2 5 5 之间，另一个算子则根据平 滑块或边缘块的划分对d f t 系数使用低通或带通滤波模板。反复应用这两个算子直到恢复 图像收敛。 空间域的方法主要使用了插值方法，如j m 8 6 中使用的权重平均插值方法，具有简单 实用的特点，但只适用于平滑区域，对有边缘的区域恢复的图像会产生模糊。因此通常使 用的是方向插值算法，这种方法可以恢复出图像的边缘信息。对于比较规则或者对称的图 像，还可以利用图像的远端相关性。它类似于帧间的误码掩盖方法，利用包含误码块的本 地窗口寻找与它匹配的远端窗口，利用该窗口中和误码块对应的块代替。 图像也可以看成一个马尔可夫随机场( m r f ：m a r k o vr a n d o mf i e l d ) ，因此可以应用 m r f 特性，使用最大后验概率方法恢复损坏图像区域。这种方法不但能很好的恢复低频系 数，而且能较好的恢复高频系数。 本章主要研究了方向插值算法和m r f 算法，并分别对它们提出了改进算法。 南京邮电大学硕士研究生学位论文 第三章用于h 2 6 4 的方向插值和m r f 算法 3 1 方向插值算法的改进 3 1 1 基本的方向插值算法 边缘意味着像素值的剧烈变化或不连续，它在人眼的感觉中扮演着重要的作用。由于 j m 8 6 中的帧内误码掩盖方法只使用丢失区域像素水平和垂直方向最邻近的4 个像素点进 行线性插值，因此该方法只对平滑区域或者只有水平和垂直边缘的区域有较好的误码掩盖 效果。为了对存在其它方向边缘的区域获得较好的掩盖效果，人们又提出了各种基于边缘 检测的方向插值算法。文献 1 3 】提出的方法首先将得到的边缘方向归类到四个给定主方向 之一，然后沿该主方向进行内插。它的缺点是对整个丢失块只提供一个主方向，但一个宏 块中可能存在多个边缘的交汇，所以该方法的应用受到限制。文献 1 4 考虑了多边缘情况， 它试图对进入和穿出丢失区域的边缘进行匹配，相应的将图像进行切分，然后恢复各边缘。 它的问题是易受到噪声的影响，而且由于边缘不定穿过丢失块，很难保证边缘匹配的准 确。文献 1 5 首先求得多个主方向( 每个主方向圆整到图3 - 1 所示的八个方向上，即以2 2 5 度间隔均匀分布在1 8 0 度的空间上) ，沿每一个主方向各自得到一个掩盖恢复块，最后将 得到的所有恢复块融合得到最终的恢复块。这种方法在边缘没有穿过丢失块时，也可能会 造成边缘的错误延伸。 1 5 7 1 1 2 5 - 9 0 - 6 7 5 i 一 4 5 。 侈： 图3 1 归并后主方向 文献 1 6 的方法首先如图3 - 2 所示将1 6 1 6 大小的丢失宏块分为八个小块，利用正确接 收子块和s o b e l 模板分别计算每个子块对应的主方向。图3 - 2 中灰色部分表示的是丢失块， 周围白色小块为8 x 8 的正确接收子块。利用每一子块的主方向恢复最邻近该子块的三角 形小块。它的缺陷是可能产生边缘的不连续和人为分割造成的虚假边缘。 1 6 南京邮电大学硕士研究生学位论文第三章用于h 2 6 4 的方向插值和m r f 算法 k ：譬铲髯 l l 蹩jj i 巍纛。蜘锄、 ；渤赢：裂 图3 - 2 文献 1 6 q a 丢失宏块的划分 文献 1 7 】只使用丢失宏块周边两圈的像素点，找到其中的4 个像素值最大点和4 个像 素值最小点，取平均值作为阈值将这两圈像素二值化。之所以选取4 个最大和4 个最小点， 是因为观察发现如果有边缘通过一个块，通常最少有4 个像素点在这两圈相邻像素层上， 它们的值比平均值要高或低。为了降低噪声影响，先使用长度为3 的中值滤波器平滑。当 二值化后像素层存在转折时，将其中白色的点作为转折点。内圈的转折点说明存在边缘， 而外层的转折点确定边缘的方向。对给定的内层转折点，与它最接近的外层转折点定义为 相关转折点