（计算机应用技术专业论文）移动流媒体中错误隐藏算法的研究.pdf

摘要 网络视频应用中的流媒体数据对网络扰动有着较高的敏感性，尽管随着技术 的发展，网络的性能正在逐渐提高，但是丢包等错误仍然不可避免。因此需要对 错误发生后得到的受损视频流进行处理，从而得到较好的恢复效果 错误隐藏是一种主要的错误处理方法。与其他技术相比，错误隐藏有着较好 的重建效果，同时不占用网络带宽，适应性也较强，因此更加适合移动流媒体应 用，有着较高的研究价值 本文根据移动流媒体应用的需要，设计了一种基于模式选择的错误隐藏算 法。这种算法从受损区域相邻块的编码模式、运动模式、内容纹理出发，将受损 块的预测为i n t r a 型与i n t e r 型，静止型与运动型、光滑型与边缘型，并根据各种 类型数据的特点，使用的不同的方法进行重建，并对移动流媒体应用中可能出现 的整帧严重受损情况进行了特殊错误隐藏从而使算法更有针对性，有着较好的 错误隐藏效果，并降低了算法的整体复杂度 本文设计的算法在基于h 2 6 4 标准的实验平台上，获得了较好的主观质量效 果。在丢包率为5 的情况下，其p s n r 值较受损视频流平均提高6 9 d b 。同 时，该算法有着低计算复杂度和空间消耗的特点，能够适用于手机等资源缺乏的 移动流媒体应用环境。 【关键词】移动流媒体，错误隐藏，h 2 6 4 ，模式选择 h 2 6 4e r r o rc o n c e a l m e n tf o rw i r e l e s sv i d e o s t r e a m i n ga p p n c a t i o n s j i a ok e ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) u e n e r a l l y , c o m p r e s s e db i t s t r e a m si n t h em u l t i m e d i aa p p l i c a t i o n sa r ev e r y s e n s i t i v et oc h a n n e le r r o r s a i t h o u g ht h ep e r f o r m a n c eo fn e t w o r kh a sb e e n r a p i d l yi m p r o v e di nr e c e n ty e a r s ，t h em i s s i n go fp a c k e ti ss t i l lu n a v o i d a b l e i n o r d e rt or e m o v et h eo b j e c t i o n a b l ev i s u a ld i s t o r t i o na tt h ed e c o d er ，s o m e e f f e c t i v ea p p r o a c h e sh a v eb e e ne m p l o y e d e r r o rc o n c e a l m e n t ( e c ) i sa ni m p o r t a n ta p p r o a c ha r e m p f i n gt oe s t i m a t e a n dr e c o n s t r u c td a m a g e dp o r t i o n s c o m p a r ew i t ho t h e rt e c h n o l o g i e s ，e r r o r c o n c e a l m e n tc o u l dr e c e i v ea g o o dv i s u a lr e s u l tw i t h o u ta n yr e d u n d a n c y , w h i c h m a k e si tm o r ea d a p t a dt ow i r e l e s sv i d e oa p p l i c a t i o n s i nt h i sp a p e ew er e v i e ws o m es t a t e - o f - t h e - a r te ct e c h n o l o g i e sa n d p r o p o s ean e wc o n c e a l m e n ta l g o r i t h mb a s e do nm o d es e l e c t i o ns c h e m e b y t h es t u d yo fc o d i n gm o d e s ，m o v i n gv e c t o r sa n dt e x t u r e so ft h eb l o c k sa r o u n d l o s ta r e a ，t h em i s s i n gb l o c k sa r ec l a s s i f i e da n dr e c o n s t r u c t e db ya p p r o p r i a t e a l g o r i t h m w eh a v ea l s oc o n s i d e r e dt h es i t u a t i o nw h e naw h o l e f r a m e w a sl o s t d u r i n gas e n o u sn e t w o r ke r r o ra n dp r o p o s e das p e c i a la p p r o a c ht or e c o n s t r u c t t h ed a m a g e df r a m e t h ep r o p o s e da l g o r i t h mp r o v i d e ss a t i s f a c t o r yr e s u l t sb o t hi np s n ra n d v i s u a lq u a l i t yt h r o u g ht h eh 2 6 4d e c o d i n ge x p e r i m e n t si nt h em o b i l ep r o j e c t w 胁al o wc o m p u t i n gc o m p l e x i t ya n dm e m o r yc o s t t h ea l g o r i t h mc a nb e i m p l e m e n t e di nt h er e s o u r c er e s t r i c t e de n v i r o n m e n ts u c ha sm o b i l e a p p l i c a t i o n s 。 【k e y w o r d s 】e r r o rc o n c e a l m e n t ，w i r e l e s sm u l t i m e d i as t r e a m ，h 2 6 4 m o d e s e l e c t i o n 独创性声明 本人声明我所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同 工作的同志对本文所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 作者签名：1 毫可日期：。多f 工7 作者签名：照，吲 日期：o 多f 工7 关于论文使用授权的说明 中国科学院计算技术研究所有权保留送交论文的复印件，允许论 文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名：j 皇一可导师签名：李铂缛 日期：柳亨置) ， 第一章绪论 1 1 视频编码技术的发展与广泛应用 随着视频编码技术的发展和数字视频市场的需求驱动，视频编码标准也在不 断的更新，如图1 1 所荆”l 。h 2 6 4 标准是i t u - t 的v c e g 和i s o i e c 的m p e g 组成的联合视频组j 、厂r 共同制定的最新数字视频编码标准，该标准的设计目标 为：在尽可能低的码率下获得尽可能好的图像质量，同时随着市场对图像传输需 求的增加，如何适应不同信道传输特性。这样的设计目标，使得h 2 6 4 在网络 流媒体应用中有着得天独厚的优势 同时，由我国专家组自行制订的、拥有自主知识产权的先进音视频编码标准 ( a 、，s 标准) 也正在紧张的设计中，其中也包含了针对移动流媒体应用的a v s _ w 部分，其性能指标已经达到或接近国际先进水平【3 ”目前，由计算所数字化室 开发的基于该标准的首款解码芯片风芯一号也已经成功流片。这些标准与技 术水平的提高，也将大力推动国内数字视频产业的发展。 陟“编每6 哥p 。j 氨一； 1 4i t s u b - t 州j m 峭p j e g i ， 1 9 8 41 9 8 6t 9 8 8 1 9 9 0 1 9 9 21 9 9 41 9 9 61 9 9 82 0 0 0 2 0 0 22 0 0 4 图1 1 视频编码技术的发展1 1 q 为了实现更高的编码效率，h 2 6 4 支持1 4 或1 ，8 像素精度的运动矢量，使 用了7 种模式的块形状，并允许编码器使用多于一帧的先前帧用于运动估计，使 ：得h 2 6 4 比h 2 6 3 和m p e g 4 标准节约了5 0 的码率h 2 6 4 的p s n r 比 m p e g 4 和h 2 6 3 + + 明显要好，在6 种速率的对比测试中，h 2 6 4 的p s n r 比 m p e g - 4 平均要高2 d b ，比h 2 6 3 平均要高3 d b 。 另一方面，为了对网络传输具有更好的支持功能，h 2 6 4 还引入了面向l p 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 1 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好 视频编码技术的快速发展，为流媒体应用市场的开阔创造了条件目前，视 频编码技术在例如视频电话、视频会议、v o d 系统、实时监控系统等很多领域， 都有着广泛的应用 面向手机的数字视频服务，是当前流媒体编码技术的主要应用方向之一。掘 i n s t a t m d r 公司最新公布的调查报告显示i 竭，在未来几年内，全球手机用户将 以每年1 8 6 亿户的速度递增，到2 0 0 7 年用户总数将达到2 0 亿手机用户的逐 渐增多，使得面向手机的服务类型及其市场份额也在不断发生变化，从图1 2 1 3 2 】 中我们可以看出，手机服务中增长速度最快的将是多媒体娱乐服务艾瑞 ( i r e s e a r c h ) 市场咨询公司根据资料整理显示，移动流媒体作为移动多媒体业务 的一部分正逐步受到重视，市场将不断扩大预计到2 0 0 7 年，日本的移动流媒 体用户数量将达到2 1 4 4 万人，其次是德国和韩国。而预计中国的用户将超过1 9 0 万根据世界著名市场分析机构s t r a t e g y a n a l y t i c s 近期发布的一项研究报告“移 动视频内容的竞争战略”显示，运营商正在通过相对低速的网络向用户提供视频 内容，s t m t e g y a n a l y t i c s 估计到2 0 0 8 年全球将有1 5 亿用户通过无线接入视频 片断，其市场总额将达到4 7 亿美元1 3 2 】。 图1 2 视频编码技术的发展闽 目前，无线视频产品使用的视频编解码技术还主要集中在m e p g - 4 上，基于 h 2 6 4 标准的无线视频技术还有待研究随着h 2 6 4 标准的推广，必将在视频编 码的各个应用领域得到广泛的应用。 ， 1 2 流媒体应用中网络错误造成的问题 尽管随着技术的发展，网络的性能不断提高，但是错误在网络上的发生仍然 不可避免。传输中的错误可以大体分为位错误和分组错误两种，位错误可能由于 物理信道上的不完善引发，分组错误可能由于网络系统的拥塞或突发性错误引 2 发在定长编码中位错误能够有效的抑制在一个码字中，但对于大多数视频标 准所采用的可变长编码。位错误将会引发视频流的同步丢失，因此直至下一个同 步字之前的全部数据都将丢失 当前的视频编码标准在时域上采用运动预测和运动补偿消除，在空间上采用 变换和对色度空间的转换，并在统计上采用运长编码和熵编码，从而得到压缩率 较高的视频流但是，视频压缩技术在减少冗余信息的同时，也降低了视频流抗 损坏性因此，视频流对网络中可能发生的无论是位错误还是分组丢失都十分敏 感，任何损坏都有可能在解码端造成严重的失真如果不加以及时的恢复和控制， 错误就很有可能再扩散到很大范围，从而对视频质量造成较为严重的影响。 不同于固定存储和有线网络，无线网络有着易错、时变和带限的特点。尽管 随着无线网络技术的发展，目前i e e e 8 0 2 1 1 系列标准能够支持1 1 m b s 的无线 传输速率，3 g 网络能够支持2 4 m b s 的无线传输速率，但是较有线网络相比， 其带宽仍然十分有限而且，在网络传输中发生难以避免的网络拥塞时，往往导 致通信性能严重下降，带宽状况在时问上表现为剧烈的波动，如图1 3 ( a ) ”“因 此，需要编码端尽可能的降低码率，以适应低带宽的限制，同时还应该引进分级 机制，根据网络性能来实时的调整编码效掣” l i 柚哪柚删蛳 一t o o 协柚2 棚 -_l 图1 3 ( a ) 网络带宽时变模型( b ) 网络丢包率时变模型”q 另一方面，目前在无线通信过程中，丢包现象是不可避免的，尤其在恶劣的 天气环境下，或在拥塞情况比较严重的时候，丢包率将大幅度的提高，其在时间 上也表现出时变特性，如图1 3 ( b ) ”0 1 此外，由于视频压缩技术在编码过程中， 减少了原视频流中的冗余信息，也降低了视频流抗击错误的能力传统的编码方 式生成的码流对信道的传输错误非常敏感，并且会出现严重的误差累积现象因 此，需要有一套完善的错误处理机制，使编码端的编码结果更加具有抗损坏性， 同时保证解码端在接收到受损的码流后，仍然能够通过错误恢复、错误隐藏等机 制，实现实时解码，这些都是今年来国内外视频解码方面的研究热点 3 “t。k看，k 1 3 本文的研究目标与意义 与其他视频流媒体应用不同。移动流媒体应用对错误隐藏技术有着以下几方 面的特殊要求： 1 ) 解码设备计算与存储能力受到限制：h 2 6 4 标准在压缩率上的优越性能， 是以牺牲计算复杂度作为代价的，其编码复杂度约为h 2 6 3 的3 倍，解码复杂 度约为h 2 6 3 的2 倍。在我们实验采用的主频1 0 4 m h z 的手机上，播放h 2 6 4 码流要占用计算能力的8 0 左右；同时，终端的内存空问通常也十分有限，因 此面向的错误隐藏算法复杂度和空间占用都不能太高； 2 ) 多面向实时服务：目前的移动流媒体应用多为视频点播，对解码的实时 性要求比较高。因此，不能使用例如凸集迭代投影p o c s 等通过迭代过程进行 错误隐藏的算法： 3 ) 错误种类多样：在移动流媒体应用中，由于视频包与单帧数据都较小， 所以既可能出现块错误，也可能出现整帧丢失甚至连续帧丢失的错误。因此，必 须考虑适应多种错误种类； 4 ) 图像分辨率较小：受到网络能力限制及终端设备携带等因素，二通常移动 流媒体解码端的屏幕都比较小，码流通常工作在q c i f 格式下在这种情况下， 单位宏块中像素的平滑度降低，同时视觉系统对微小失真感知能力也会降低，因 此，可以对某些错误隐藏算法进行简化，以期在保证视觉效果的同时，降低算法 的复杂度 本文的研究目标是设计一种适合移动流媒体应用的错误隐藏算法，该算法通 过模式选择，将错误块类型分类，并针对每种类型的特点，使用简单或简化的错 误隐藏算法。从而实现较好的错误隐藏效果，并降低了整体的复杂度 目前，移动流媒体应用正处在上升阶段，国内外很多厂商已经开始为用户提 供面向手机或p d a 的视频服务，但是效果并不让人满意，技术还不成熟，尤其 足国内针对错误隐藏技术的研究还比较少，有很大的研究空间错误隐藏技术作 为错误处理中的重要环节，是流媒体应用中不可或缺的部分，本文对于错误隐藏 的研究，能够为实际的工程应用提供较好的技术支持 1 4 本文的主要工作与结构 本文的主要工作是介绍了错误处理机制中的错误隐藏技术，并根据移动流媒 体应用的需要，设计了一种基于模式选择的错误隐藏算法该算法将块在编码模 式上分为i n t r a 型与i n t e r 型，在运动模式上分为静止型与运动型，在内容纹理上 分为光滑型与边缘型，并通过与受损块的宏块空间相邻的宏块信息，来对受损块 4 的类型进行预测在对受损块分类后，再针对各种类型使用不同的错误隐藏算法， 包括对光滑型i n t r a 块的双线性插值，对边缘型i n t r a 块的块匹配方向性插值，对 静止型i n t e r 块时域替换对运动光滑型i n t e r 块的运动补偿重建，对运动边缘型 i n t e r 块的块匹配重建，并对移动流媒体应用中可能出现的整帧严重受损情况进 行了特殊错误隐藏 本文设计的算法在基于h 2 6 4 标准的实验平台上，获得了较好的主观质量效 果在丢包率为5 的情况下，其p s n r 值平均提高6 9 d b 。同时，该算法有 着低计算复杂度和空间消耗的特点，能够适用于手机等资源缺乏的移动流媒体应 用环境 本文第二章介绍了流媒体错误的处理机制，包括错误的定位与重同步技术、 基于网络状况的速率控制，并重点介绍了错误恢复技术的原理及常用方法；第三 章介绍了错误隐藏技术的思想与常用算法，包括整个h 2 6 4 解码器的体系结构， 以及变字长解码模块的系统结构第四章详细介绍了基于模式选择的错误隐藏算 法，并介绍了在整帧错误下的错误隐藏算法：第五章介绍了该算法在试验中的结 果，并对结果进行了分析；第六章是全文的总结，并对今后的研究工作进行了展 望 5 第二章视频错误处理机制 视频应用中的错误处理是一个多方面的问题，需要有一套完整的视频处理机 制。编码端首先需要结合解码端所采用的错误处理算法，对码流进行抗损坏性编 码 2 4 1 ；发送方应该根据网络状况进行速率控制；在解码端需要首先判断错误的 发生，对错误进行定位并进行码流的重同步；然后需要根据冗余信息对受损视频 流进行错误恢复；对于无法恢复的数据，再使用错误隐藏技术根据视频流时空间 的相关性，对受损数据进行重建1 8 】只有结合了这一系列错误处理的机制，才能 够达到理想的效果。在本章中，将对视频错误处理机制中的各个环节逐一进行说 明 2 1 错误定位与重同步 2 1 1 错误定位 在对错误进行恢复及隐藏之前，首先需要提供一种机制，来检测到错误的发 生，并对错误发生的位置进行确定 错误的定位根据进行检测的位置，可以分为传输过程和解码过程两类。较为 简单的方法可以通过对视频包加入包头信息来实现在基于视频包传输的应用 中，视频流在经过编码之后，都要在包装在视频包中，在包头信息中，通常都会 包含有关于视频的信息，如视频流的序列号等，这些信息可以用于对包丢失的检 测，例如在h 2 2 3 中就采用了这种检测方法。 另外一种传输过程中的错误检测是基于前向纠错( f o r w a r de r r o r c o r r e c t i o n f e c ) f e c 是通过在传输的码流中加入用于纠错的冗余信息当f e c 信息受到 损坏时，可以检测并对错误进行恢复例如在h 2 6 1 中，每4 9 3 比特的视频传 输帧中，就要加入1 8 比特的f e c 信息，用以进行错误检测和恢复 更深入的错误检测技术，需要考虑视频内容自身的一些性质。例如在脉冲编 码调制编码中，可以计算相邻的两条线之间的差值，如果差值大于某一给定阈值， 则标定当前图像帧为受损帧 1 q ，这是利用了图像亮度信息的连续性；对于基于块 的编码标准中，可以通过计算当前宏块与相邻的四个宏块的边缘差值，来判断当 前块是否发生错测1 2 】 视频流中的错误，还可能造成解码中出现不正常的数据，通过对这些参数的 取值范围进行限定，同样可以检测到错误的发生按照错误数据的位置可以分为 以下几个级别：序列级、帧级、s l i c e 级和宏块级序列头中往往包含解码所需 6 的关键信息，如序列起始码、图像分辨率、量化矩阵标志等，与之相对应的语法 元素通常都是定长的，因此，可以根据系统的特定要求，对以上信息进行检测和 恢复与之类似，在帧级和s l i c e 级的头信息中，也包含了码流的相关信息，可 以用同样的方法进行检测与恢复。 宏块级错误占整个码流的绝大部分，包括语法错误与语义错误语法错误需 要检查的数据包括：( 1 ) 非法的v l c 表入口：( 2 ) d c t 系数越界；( 3 ) d c t 系数 个数越界：( 4 ) 宏块模式解码错误等，通常可以由v l c 解码检测到。语义错误主 要包括( 1 ) 运动矢量的越界；( 2 ) 宏块地址增量错误等，此类错误可以在具体解码 过程的相关步骤中进行错误检测 2 1 2 重同步技术 由于视频压缩算法的特性，解码端检测到的比特流的错误位置，与产生错误 的位置并不一致，而有着一段潜在的距离同时由于码字的可变长特性，解码端 一旦检测到错误，将失去与编码端的同步，在下一个同步点到来之前，对比特流 中错误点之后的内容都无法理解这时最简单的办法就是采用重同步 ( r e s y n c h r o n i z a t i o n ) 技术重新进行同步，这要求编码端在比特流中大约相等 的问隔插入唯一的重同步字码。检测到错误后解码端往后寻找，找到重同步码字， 一旦找到，解码端就转入与编码端的重同步，如图2 1 所示 图2 1 视频流重同步 因为v l c 的广泛应用，即使能够检测到错误，并分离出两个重同步点之间 的错误，但对于错误的精确位置却不能确定，这样两个重同步点之间所有相应数 据都将被丢弃。这就导致一部分有效数据的浪费，重建的图像会引起让人不舒服 的感觉此时，可以通过错误恢复技术和错误隐藏技术来对丢弃部分的数据进行 进一步的处理 二 当网络条件允许，或者允许端到端的网络延迟的情况下，也可以采用重传 ( r e t r a n s m i s s i o n ) 进行错误恢复一种广泛使用的重传策略是分级可靠多点传 输方法( s c a l a b l er e l i a b l em u l t i c a s t s r m ) ，当s r m 的一个成员发现错误，它 将随机等待一段时间，然后广播重传请求，重传计时器的时长设置为使错误发生 处附近的成员最早发出重传请求在其他成员收到了同样的重传请求后，如果它 7 同样接收到错误包，则不再发出己方的请求；而如果它拥有该错误包对应的正确 版本，则发出回复 2 1 3 可逆变长编码与前向纠错 为了尽可能的减少重同步过程所带来的有效数据丢失，可以使用定长编码与 可逆变长编码。 定长编码( f i xl e n g t hc o d e 。f l c ) 是把可变长度的码字影射为固定长度的 块编码与v l c 相比，f l c 的每个码字长度都是已知的，可以将错误限制在码 字内部。因此f l c 有着较好的同步能力f l c 的缺点是编码效率较低，因此未 能广泛使用此外，虽然f l c 可以提供码字同步。但不能保证码字在空间位置 上的同步，因此仍然需要在码流中加入同步字。 可逆变长编码( r e v e r s i b l ev a r i a b l el e n g t hc o d e 。r v l c ) 是基于对v l c 的 改进变长编码通常只能进行后向解码，而可逆变长编码可以双向解码，这一特 性可以应用于发生丢包的情况在v l c 中，当检测到比特流中的错误时，解码 器在下一个同步码字处进行重同步，而丢弃两个同步码字之间的数据。而r v l c 可以从下一个同步码字处向前解码，直到已被确定的错误处，这样就可以恢复部 分数据，而不是全部丢弃。虽然使用r v l c 与v l c 相比会造成编码效率的降低， 但是由于降低的幅度不大，因此更适合于错误处理。 2 2 速率控制技术 网络状况是一个时变函数，因此网络传输中错误的发生，反应了当前网络的 状况，通常可能是因为网络所能提供的有效带宽变化造成的网络拥塞，或者由于 传输延迟过大而被接收端丢弃，从而造成传输错误。因此，一个良好的视频传输 架构必须能够自适应地动态调整传输速率，以与网络有效带宽相匹配，尽量减少 数据包丢失 2 2 1 网络状况估计 对于网络状况的估计，可以在接收方设置q o s 监测器，数据包到达接收端后， q o s 监测器首先通过对数据包中的时序信息进行分析，估算出包丢失率、传输时 问、传输超时等反映当前网络状况的参数，然后通过反馈机制将这些信息反馈给 编码端。 8 p 在g i l b e r t 模型中，网络上的传输过程可以由一个具有两个状态的马尔可夫链 来描述，如图2 2 所示图中r 、l 分别代表传输成功或失败两种状态，p 、q 分别 对应于两种状态间的转换概率，可以通过对数据包中时序信息分析获得可以得 到包丢失率为 p “2 南 ( 2 1 ) 因此，可以通过如下公式来估计网络的有效带宽为 肚司荪孟丽 仁2 ， 尺丁叫孚们m x 儿等c h ，印2 ， 2 。2 式中r t t 为传输时间，1 o 为传输超时，s 为包的大小 2 2 2 编码过程控制 由于无线网络的性能与距离、速度，干扰等环境因素关系密切，因此在传输 过程中，带宽总是不断变化的采用固定的编码参数，生成的视频流不能实时的 适应网络的变化，容易在传输过程中发生拥塞为了使生成的视频流能够根据当 前的网络性能进行调整，当前普遍采用的方法是以速率失真( r a t e - d i s t o r t i o n ) 原理为基础，通过及时调整压缩比、帧率等编码参数i 适当降低视频流的质量， 从而达到视频输出速率与网络有效带宽相匹配i z 叼 另外，在网络性能不稳定，容易产生丢包错误时，也可以通过调整编码策略 来提高码流的鲁棒性，或者增加冗余信息，供解码端进行错误恢复与错误隐藏。 一种简单的方法是采用帧内编码，由于i 帧没有采用任何时域预测，因此可以避 免了错误蔓延。在网络情况较差时可以通过在码流中多加入i 帧，来将错误限制 在一个较小的范围但是，帧内编码相对于帧间编码的效率要低很多，因此，在 带宽有限的移动流媒体应用中实现比较困难 视频传输的过程中，在编码或解码端都会保存有最近的已经编码或解码的几 帧，因此当参考帧受到损坏或丢失时，可以采用参考帧选择( r e f e r e n c ep i c t u r e s e l e c t i o n ，r p s ) 技术。由解码端告知编码端正确或错误解码的帧编号，再由编 9 码端调整编码策略，决定以哪一帧作为预测所用的参考帧。r p s 有着两种工作模 式，一种是a c k 模式，在该种模式中，所有正确接受的帧都要被确认，而编码方 只能利用已经被确认的帧来进行参考。当环路周期大于编码周期时，就必须用延 迟了的帧作参考，这样就会造成无错误发生时的编码性能下降，如图2 3 所示： 另一种是n a c k 模式，在该种模式下，解码方对所有错误接受的帧进行反馈，在 未收到反馈时，编码方工作方式不变但当错误发生时，解码端反馈的n a c k 信 息可能要经过较长的延迟才能被编码端捕获，因此会造成一段时间内的视频质量 下降，如图2 3 所示。因此，在丢包率较低的网络中，n a c k 模式有着更好的编 码效率，而在丢包率较高的网络中，a c k 模式更为适合。 传输错误 n a c k ( 4 ) 图2 3 参考帧选择 由于此类控制要介入编码过程，因此可以适用于视频会议等在线编码框架下 的视频应用，但对于v o d 等离线编码框架下的视频应用，由于其编码过程已经 完成，因此无法使用上述方法 2 2 3 自适应速率调整 对于离线编码框架下的视频应用，可以使用包丢弃策略来对速率进行调整。 视频流主要包含了控制信息、形状信息、运动信息、纹理信息，这些信息对于在 接收端重建视频具有不同的重要性 根据内容重要性的不同，可以将数据包划分为以下几种优先级： 1 0 优先级包内容 0 控制信息，i 帧中的形状信息、纹理信息 1 p 帧中的形状信息，运动信息 2 p 帧中的纹理信息 3 b 帧中的形状信息、运动信息、纹理信息 表2 1 致据包优先级 标定视频包序列s 中各包的优先级c o = o , 1 a3 ) t 设优先级为的包原始传 输速率为o = o , i a3 ) ，则对于估计得到目标传输速率矗，需找到参数七满足 行。r 盯，： o k 七的数据包丢失，即可得到符合目标传输速率的视频流 2 3 错误恢复技术 错误恢复是指当错误发生后，解码端通过编码过程中加入的冗余信息，来对 视频流中的受损部分进行恢复，以重建原视频图像。错误恢复有着较好的恢复效 果，而且因为有编码方参与，能够根据网络状况进行增减冗余信息的大小，从而 改变视频流的鲁棒性但错误恢复中所使用的冗余信息，会增加码流的实际大小， 加重网络负担；同时错误恢复技术要求编码端的参与，因此在离线编码框架下， 解码端是否可以使用错误恢复技术，也有赖于具体的码流。 2 3 1 前向纠错 前向纠错( f o r w a r de r r o rc o r r e c t i o n 。f e c ) ，f e c 是通过在传输的码流中 加入用于纠错的冗余信息，在遇到包丢失的情况时，利用冗余信息恢复丢失的信 息。f e c 的冗余信息分为内容无关和内容相关两种，通常内容相关的冗余信息 对于错误数据的恢复有着更好的作用i z 7 】。图2 4 ( a ) ( b ) 为f e c 算法的原理示意图。 另一种方法为交叉( i n t e r l e a v i n g ) 纠错，适用于数据单元小于包大小的情况， 如图2 4 ( c ) 所示1 1 8 l ，在这种情况下交叉纠错可以起到较好的纠错效果 1 1 髓黝 原始视频瀛 交错码漉 包罢失 重建码流 原始铙频渣 交错码流 包丢失 重建码流 ( c ) 图2 4 ( a ) 奇偶纠错( b ) 特定介质纠错( c ) 交叉纠错【圳 前向纠错的优点是不需要反馈信道，译码实时性较好，控制电路比较简单。 缺点是解码设备比较复杂，所选用的纠错码必须与信道的干扰情况相匹配，对信 道的适应性差，同时f e c 还增加了编码时延和传输带宽 2 。3 2 数据分割 在错误恢复的过程中，靠近同步标记的数据往往更加安全，基于这样的原理， 数据分割( d a t ap a r t i t i o n i n g ) 技术将重要的数据放置在紧靠同步标记之后的位 置，接着再放置其他不太重要的数据运动矢量、形状信息、d c t 的直流系数等 重要的信息在受到损坏后，对视频流质量影响较大，而纹理等信息相对来说进行 错误隐藏比较容易，重建的效果也比较好因此，参考2 2 3 中的优先级策略， 在数据分割过程中，通常将运动矢量，形状信息、d c t 的直流系数等优先级较高 的信息放在紧靠同步标记之后的位置，而将纹理等优先级低的信息放在相对靠后 的位置 在m p e g 1 2 和h 2 6 1 3 标准中，比特流中的数据位置是按照一个宏块接一个 宏块的方式持续下去的，并没有考虑到不同类型的数据它们的重要性不相同这一 特点在h 2 6 4 a v c 的比特流中，宏块的传输顺序由宏块分配映射( m a c r o b l o c k a l l o c a t i o nm a p ) 确定，而不一定按光栅扫描的顺序进行。h 2 6 4 a v c 支持弹性 宏块排序方式( f l e x i b l em a c r o b l o c ko r d e r i n g f m o ) ，宏块可以组成一个或几 1 2 个s l i c e 组，每一个s l i c e 组单独传输当一个s l i c e 组发生丢失时，可以利用相邻 临近的另一s n c e 组中的宏块进行有效的错误恢复 2 3 3 可伸缩分层编码 可伸缩分层编码( s c a l a b l e l a y e r e dc o d e 。s l c ) 技术是将视频信号编码成 一个基本层和一个或多个增强层，其可伸缩性可以有时间域、空间域、质量级、 基于对象的和基于精细粒度( f i n eg r a i n ) 等多种形式【1o 】 s l c 把视频数据区分成不同的优先级，根据优先级可以对某些数据进行选择 性的丢弃例如，在实际应用中，即使丢失增强型的数据，接收端仍然可以保持 可观看的视频质量由于视频数据的优先级不同，利用这个特点，就可以采用非 均等保护的方式( u n e q u a le r r o rp r o t e c t i o n u e p ) ，或者按优先级进行传递等方 式对视频数据进行可靠传递 图2 5 可伸缩分层编码( s l c ) 示意图【1 q 这种分级思想在视频编码技术中也有着广泛的应用，在2 0 0 2 年的【1o l 一文中， t r i s t ap e i - c h u nc h e n 提出了e c a r s ( e r r o rc o n c e a l m e n ta w a r er a t es h a p i n g ) 的方法，采用了错误隐藏率作为可伸缩性的评判标准，这也是编解码端联合思想 的一种体现。 2 3 4 多描述编码 多描述编码( m u l t i p l ed e s c r i p t i o nc o d e m d c ) 技术是将单个视频信号编 码成两个或两个以上独立的比特流，这些独立的比特流称为描述符多描述编码 有两个主要特点：可以独立地对每个描述符进行解码并重构出可用的原始信号： 同时，多描述符存在互补的信息，如图2 6 所示随着正确地接收到的描述符数 量的增加，解码出的图像质量也逐步提高【1 3 1 。 1 3 码流 c = 墨宙互互奎卫包2 cj z i 】m e 习i i 包3 ： 要三乒习包n r s 喜c 誊c 至c ；喜 图2 6 多描述编码( m d c ) 示意图【1 目 这一方法不同于常规的可伸缩编码，可伸缩编码中基本层是非常重要的，如 果失去基本层，剩下的其他比特流将毫无用处可是，多描述编码技术可以利用 正确接收到的任何一个描述符重构出有用的原始信号，而且随着接收到的描述符 数量的增加，解码出的图像质量也逐步提高 m d c 还可以利用其他描述符中未受损害的帧来修复本描述符中受损的帧 因此，即便两个描述符都遭受了损坏，只要这两个描述符遭受的分组丢失不是同 时发生，它们仍然可以提供可用的视频质量。另外，使用m d c 仍可以获得较高 的压缩效率，同常规的单描述符( s i n g l ed e s c d p t o n 。s d ) 压缩原理相比，它压 缩所得的总比特率只比后者略高；m d c 可以在支持不同比特率的路径上成功运 行。 2 3 5 分层多描述编码技术 可伸缩分层编码与多描述编码各自存在着自己的优缺点，m d c 采用彼此独 立的描述符来解决视频流在不可靠信道上的传输问题，而在解决由带宽及接收端 处理能力不相同等因素引起的网络异构性问题，s l c 的分层流结构则有着特有 的优点在最新的研究中，如在1 14 】一文中，p h i l i p a c h o u 提出了分层多描述编 码技术( l a y e r e dm u l t i p l ed e s c f i p t i o nc o d e s ，l m d c ) ，l m d c 把s l c 和m d c 结合起来，解决视频流在不可靠且网络异构的信道上的传输问题。低带宽低处理 能力的用户接收基本层的描述符，接收端的视频质量同接收到的基本层描述符数 目呈递增关系；高带宽高处理能力的用户则接收基本层和增强层的描述符，随着 接收到的描述符数目的增加，接收端的视频质量则成倍提高。 1 4 2 4 错误隐藏技术 大多数错误恢复技术的实现，有赖于编码过程中加入的冗余信息由于冗余 信息中包含着视频流的特征，这样的恢复的效果相对较好但是另一方面，冗余 信息也给带宽造成了负担另外，如果视频流编码的过程当中没有加入冗余信息， 则错误恢复就无法发挥作用 9 1 因此，对于错误恢复过程中无法复原的错误，可 以使用错误隐藏技术对受损内容进行重建，已达到降低错误的严重性，使视觉系 统不宜察觉的目的。 由于视频流内容在空间与时间上的连续性，因此受损块在时空域上都与邻近 块有着较高的相关性这些相关性包括图像光滑度的连续性，边缘信息的连续性， 对象轮廓的相似性，空间运动方向的一致性，时域运动方向的连贯性等等。错误 隐藏技术正是根据了视频流的以上特性，从正确解码的未受损数据中，进行受损 数据的重建。 与错误恢复技术相比，错误隐藏有着不消耗带宽，对解码端透明，适应各种 错误类型的特点。对于特定的视频应用，也可以联合编码过程来进行错误隐藏。 通过加入少量错误隐藏所需的参数，可以使解码端的错误隐藏起到更好的效果 大量的实验表明，错误隐藏技术大多数视频流错误有着较好的重建效果，错 误隐藏技术是本文讨论的重点，目前对这方面的研究也比较多。在下章中，我们 将对目前错误隐藏的主要思想与算法进行介绍。 1 5 第三章错误隐藏的主要算法 错误隐藏是错误处理机制中的主要环节之一，也是目前视频错误处理领域研 究的热点由于视频流的性质，受损数据在空间上与相邻数据有着较强的相似度， 在时域上又与相邻帧有着较强的相关性因此，错误隐藏的主要作用就是充分利 用时空域的相关性，使受损数据达到较好的重建效果。在本章中，将对目前错误 隐藏的主要思想与算法进行介绍。 3 1 空问域错误隐藏算法 3 1 1 基于插值均方误差最小的错误隐藏 根据正交性原理，对于两个复随机变量，7 。、，7 ：，如果满足条件 e 刁l 叩2 = e ( 叩l ，7 2 = 0 则称随机变量仉与玎：正交。用r 。、玑、i 。的线性组合 乒口i r h + 口2 吁2 + 人+ q ，7 h ( 3 1 ) ( 3 2 ) 来对孝进行估计时，若其误差口= 善一善与矾、i ：、仉正交，可以证明善为善 的最小均方误差估计值因此，如果我们能使误差e 与矾、，7 ：、r 。正交， 就能够保证善为善的最小均方误差估计值 州d 1 p o , 9 iit! il _ h 口l o s t m b s 口c o r r e c t m b s 图3 1 基于插值均方误差最小的错误隐藏 1 6 如图3 1 所示，对错误宏块进行恢复设p ( i ，j ) 为受损宏块中第j 列的像素， p ( o ，d 与p ( n ，_ ，) 分别是该列与受损宏块最近临的正常像素，则p ( f ，d 的最小均 方误差估计为 b ( i ，) ：口( i , j 3 p ( 0 ，) + 6 0 ，- ，) p ( ，_ ，) ( 3 3 ) 设p ( f ，- ，) = p ( i , j ) 一p ( u ) 为估计的误差值，则根据正交性原理可得 j 球( f d p ( o 力 2o( 3 4 ) 【e e ( f ，d p ( 力 = 0 将p ( f d = p ( i ，j ) - b ( i j ) = p ( i , j ) - a ( i , j ) p ( o - ，) 一6 以j ) p ( n ，_ ，) 带入上式可得 j r p ( i , j ) = a f t , j 3 r ，( o ，力+ 6 ( i , j ) r p ( n , j ( 3 5 ) 【r ，( 一f ，力= a ( f , j 3 9 ，( n , d + b ( i , j 3 r ，( o 力 其中，r p ( f d 代表点p ( f 力的相关系数解上述方程可得 砸庐世豢篙揣巡 6 ， 即胪业筹蹀铲 其中最小均方误差为 m m s e = e p ( i ，) 一b ( i ，刊2 j = e d ( d a ( i ，j 3 p ( o ，_ ，) 一b ( i , j 3 p ( n , j 3 k ( i , j ) ) ( 3 7 ) = r ，( 0 , 2 3 一a ( i , j ) r p o ，d b ( i ，。力r ，( 一i , j ) 则可得，对于点p ( i ，力的最小均方误差估计p o ，j ) 为 比胪坐器铲鹏加 8 ， 坐笔r 筹铲舭d 一 ，( ，_ ，) 一r ，( 0 ，) 一 1 7 3 1 2 基于空间块匹配的错误隐藏算法 在空问插值进行错误恢复时，如果仅选用垂直或水平方向的相邻点作为参 考，容易造成受损宏块内纹理方向的丢失因此，可以首先对相邻宏块中的子块 进行块匹配，从而得到纹理的方向信息，再进行均方误差最小的插值处理，可以 得到更好的重建效果 衡量两个大小均为m 的块 z 鼠与m b 2 的匹配程度，可以用两者问的平均 绝对差( m a d ) 作为评价函数，其定义为 m a d = 鬲旧( f ，护m b 2 ( i , j ) l ( 3 9 ) 肘智乞 一 以1 6 x1 6 大小的受损宏块为例，首先选取其上下正确宏块中近邻的两个1 6 x 8 子块，如图3 2 ( a ) 所示，并计算这两个子块的m