（信号与信息处理专业论文）h264数字视频差错控制技术的研究.pdf

摘要 随着人类社会信息化的加剧，多媒体应用已经渗透到人们生活的各个领域。视频作为 一种生动、直观、信息量丰富的多媒体应用备受人们青睐，但是其巨大的信息量也限制了 其灵活的应用。人们通过采用视频压缩技术从一定程度上解决了这个问题，视频会议、影 视光碟等等逐步步入人们的生活。然而随着口t v 、移动视频等新兴视频应用的兴起，从前 的视频压缩技术已经渐渐难以满足这些业务对视频应用的各方面需求。 为此，r r u t 与i s 伽e c 以设计简单有效的新一代编码技术为宗旨，以高效的压缩性 能和优良的网络亲和性为目标，于2 0 0 3 年5 月正式颁布了h 2 6 4 视频压缩标准。该标准作 为视频压缩领域的最新标准为众多新兴的乃至未来的视频应用都带来了曙光。它作为历来 标准之集大成者，在以前标准技术的基础上继承、改进、创新，不但在压缩性能上得到显 著提高，网络亲和性与抗误码能力也更显优势。 但是因为信道传输中固有的噪声，相比以前的视频压缩标准，h 2 6 4 码流受到噪声影 响之后也会造成更加严重的后果。因此本文在对h 2 6 4 标准做了详细介绍之后，重点对视 频压缩码流的差错控制问题进行了深入研究。并在分析现有差错控制技术的基础上，分别 提出了一种错误检测和错误隐藏算法。通过在h 2 6 4 的标准测试平台j m 8 6 上试验证明， 本文所提出的两种方案均有一定的优越性和实用价值。 最后，本文对所研究的成果做了总结，并提出了将来努力的方向。 关键词：h 2 6 4 差错控制错误检测错误隐藏 a b s t r a c t w i t ht h ei n f o r m a t i o na g ed e v e l o p i n gr a p i d l yi nt h ew o r l d ，t h ea p p l i c a t i o no fm u l t i m e d i a h a sp e n e t r a t e de v e r ya r e ai nh n n m a nl i f e t h ev i d e oh a v ew o nt h ef a v o ro fp e o p l ed u et oi t s l i v e l y ，i n t u i t i o n i s t i ca n da b u n d a n tc o n t e n t o nt h eo t h e rh a n d ，i t sh u g ei n f o r m a t i o nl i m i t si t s f l e x i b l ea p p l i c a t i o n h u m a nd e a l sw i t ht h i sp r o b l e mb yv i d e oc o m p r e s st e c h n o l o g yp a r t l y v i d e oc o n f e r e n c e ，v i d e od i s ca n ds oo nc o m ei n t op e o p l e sl i f eg r a d u a l l y b u tw i t ht h en e w a p p l i c a t i o n se m e r g e n c e o fi p t va n dm o b i l ev i d e o t h e s ep r e v i o u sv i d e oc o m p r e s st e c h n o l o g i e s b e c o m em o r ea n dm o r ed i f f i c u l tt os u f f i c es om a n yd e m a n d so fa b o v eb u s i n e s so v e rv i d e o a p p f i c a t i o ng r a d u a l l y t h e r e f o r e ，u ta n di s o i e c ，w i t ht h et e n e tt od e s i g nas i m p l ea n de f f e c t i v en e wc o d e c t e c h n o l o g y w i t l lt h eg o a lt og e to u t s t a n d i n gc o m p r e s sp e r f o r m a n c ea n de x c e l l e n tn e t w o r k a d a p t a t i o n ，i s s u e dt h eh 2 6 4v i d e oc o m p r e s ss t a n d a r di nm a y2 0 0 3 b e i n gt h el a t e s ts t a n d a r di n v i d e oc o m p r e s sf i e l d ，t h i ss t a n d a r dm a k ei tp o s s i b l et oi m p l e m e n tm a n yn e wa n df u t u r ev i d e o a p p l i c a t i o n s t h r o u g hi n h e r i t i n g , a m e f i o r a t i n ga n di n n o v a t i n g ，h 2 6 4s y n t h e s i z e ss om a n y a d v a n t a g e so ft h ep r e v i o u ss t a n d a r d s ，w h i c hn o to n l ye n h a n c e si t sc o m p r e s sp e r f o r m a n c e ，b u t a l s og e t se m i n e n tp r e d o m i n a n c ei nn e t w o r k f r i e n d s h i pa n d e r r o rr e s i l i e n c e h o w e v e r ，d u et ot h ei n h e r e n tn o i s ei nt r a n s m i s s i o no v e rc h a n n e l ，i nc o n t r a s tw i t hp r e v i o u s v i d e oc o m p r e s ss t a n d a r d s ，t h ei n f l u e n c eo fn o i s ew i l lm a k em o r es e r i o u se f f e c to v e rh 2 6 4 b i t s t r e a m t h e r e b ya f t e rd e t a i l e di n t r o d u c t i n gh 2 6 4 ，w em a k ead e e p l yr e s e a r c ho ne l l o r c o n t r o lo fv i d e oc o m p r e s sb i t s t r e a m a n a l y s i n gc u r r e n te r r o rc o n t r o lt e c h n o l o g y ，w ep r e s e n ta n e l r o rd e t e c t i o na n de r l o rc o n c e a l m e n ta l g o r i t h m v e r i f y i n gt h et w os c h e m e so nj m 8 6w h i c hi s t h es t a n d a r dt e s tp l a t f o r mo fh 2 6 4 ，t h er e s u l ts h o wt h ep r e s e n t e ds c h e m e sh a v es o m ea d v a n t a g e a n dp r a c t i c a l i t y f i n a l l y ，t h i sp a p e rs u m m a r i z et h er e s e a r c ha c h i e v e m e n t s ，a n dp r o p o s et h ef u t u r ew o r k s k e y w o r d s ：h 2 6 4 ，e r r o rc o n t r o l ，e r r o rd e t e c t i o n ，e l t o rc o n c e a l m e n t 图3 - 1 图3 2 图3 3 图3 - 4 图3 - 5 图3 - 6 图3 - 7 图3 8 图3 - 9 图3 1 0 图3 1 1 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图4 1 图4 2 图4 - 3 图“ 图牟5 图5 - 1 图5 - 2 图5 3 图5 - 4 图5 5 图5 6 图5 - 7 图5 8 图5 9 图5 1 0 图5 1 l 图5 1 2 图5 1 3 图5 1 4 图5 1 5 图5 1 6 图表 h 2 6 4 编码器1 1 h 2 6 4 解码器1 2 h 2 6 4 的分层结构1 3 c a b a c 模型1 5 帧内4 x 4 亮度块预测模式1 6 帧内1 6 x 1 6 亮度块预测模式1 7 7 种运动补偿块分割尺寸1 8 爿 差帧1 9 四分之一像素运动补偿2 0 多帧参考2 1 环内去块滤波2 1 使用1 分片切换码流2 3 使用s p 分片切换码流。2 3 使用s p 分片实现快进。2 4 f m o 的三种映射模式2 6 错误检测滞后效应3 1 z i g - z a g 扫描顺序3 2 数字水印嵌入图3 2 数宇水印检测编码器实现3 3 两种水印方案加载后的图像对比3 3 分层编码3 7 m d c 编码3 9 信源信道联合编码4 j 0 e r e c 重组过程4 2 r 、，i c 原理4 3 加权插值4 6 奇异值点检测4 7 边界检测及区域划分4 7 区域的三类基本型4 8 第一类基本型插值4 8 第二类基本型插值4 8 第三类基本型插值4 9 环行双向内旋插值4 9 r p 算法测试结果5 1 有连续宏块出错的r p 算法测试结果。5 5 p o c 示意图5 5 v 表3 - 1h 2 6 4 与以前标准包含宏块情况对比1 1 表4 - 1c l a i r e 序列错误检测方案比较3 4 表4 2f o r e m a n 序列错误检测方案比较3 4 表4 - 3m o b i l e 序列错误检测方案比较3 4 表5 1不同分级模式的比较3 8 表5 2p s n r 值及使用时间5 0 v 1 第一章绪论 1 1 引言 第一章绪论帚一早珀下匕 近二十年多来，多媒体通信在世界范围内获得了日益广泛的应尉。特别是二十世纪九 十年代以来，随着i n t e r n e t 和移动通信的迅猛发展，多媒体技术的应用和研究也成为我国 信息化中的一个热点。而这些都主要归功于视频图像的压缩编码以及多种数字处理技术的 不断发展。 众所周知，视频信号具有信息量大、传送带宽要求高的显著特点。因此要使视频通信 得到广泛应用，首先必须解决视频的压缩编码问题。而在该领域，i s o i e c 与i t u - t 分别 在不同时期针对不同的应用需求颁布了不同的压缩标准。i s o i e c 制订的m p e g - x 系列标 准主要应用于视频存储、视频广播与视频流方面，而u t 制订的h 2 6 x 系列标准主要 应用于视频会议等实时视频通信领域。随着处理能力和存储器两者成本的降低，编码视频 数据的网络支持变换多端及视频压缩编码技术的快速发展，制订充分提高编码效率和增强 网络稳定性的视频编码标准的要求日益上升。为此r r u t 视频编码专家组( v c e g ) 和 i s o c 运动图像专家组( m p e g ) 在2 0 0 1 年成立了联合视频小组( j v t ) 着手制订新的 视频压缩标准，并于2 0 0 3 年颁布了该标准的正式版本_ h 2 6 4 。h 2 6 4 标准实际有三个 名称：i s o i e cm p e g 4p a r t1 0 、r r u - th 2 6 4 及其官方名称a v c ( a d v a n c ev i d e oc o d i n g ) 。 但是，经常提到的仍然是它以前的工作项目名称h 2 6 l 及其i t u 文档号h 2 6 4 。本文以下 统称h 2 6 4 。 h 2 6 4 是一系列国际视频压缩标准的最新标准，其无论从压缩性能还是结构设计方面 都优于以前的标准。该标准使用了最新的编码技术，有效地支持交织视频和非交织视频， 即使在高比特率的情况下也能提供比以前的标准更优秀的视频质量。而且，该标准支持韧 性编码和灵活的编码数据组织形式，这为h 2 6 4 压缩码流提供了很强的抗差错性能。在技 术上，h 2 6 4 采用了多项改进技术，从而使其成为了目前最高效的视频压缩标准。但是h 2 6 4 性能的提高是以复杂度为代价的。 除了上述国际标准，我国也在积极制订具有自主知识产权的音视频编码标准a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 。a v s 包括系统、视频、音频、数字版权管理等四个主要 技术标准和一致性测试等支撑标准。其编码效率比m p e g 2 高3 3 倍，与h 2 6 4 相当，而 且技术方案更简洁，芯片实现复杂度也更低。a v s 通过简洁的一站式许可政策，解决了 h 2 6 4 专利许可问题死结，是开放式的国家、国际标准，易于推广。此外，h 2 6 4 仅是一个 视频编码标准，而a v s 是一套包含系统、视频、音频、媒体版权管理在内的完整标准体系， 为数字音视频产业提供更全面的解决方案，目前已经正式被定为国家标准。 但是，任何通信系统的一个固有问题就是信息在传输过程中因为信道噪声的影响会改 成都理工大学硕士学位论文 变或者丢失。而为了获得高压缩比，目前的视频压缩编码技术均采用了运动补偿、预测和 变长编码等技术来去掉视频序列中的大量时空相关性，在减小传送带宽需求的同时也使得 编码后的视频数据的抗差错能力十分脆弱。由于信道传输差错使得编解码失步，不仅出错 位置以后的解码过程受到影响，而且因为预测编码技术的应用，又使出现的差错迅速扩散， 进而导致重建图像质量严重下降，甚至无法重建图像。 因此，根据编码视频和信道的特性，对传输误码进行差错控制是视频通信中一类非常 重要的技术，也是近年来视频通信领域的研究热点之一。 1 2 国内外研究进展 作为视频传输的一个重要方面，差错控制从第一个视频标准h 2 6 1 的颁布开始就成为 了一个不可忽视的研究方向。随着视频压缩技术的发展，国内外学者针对不同的视频压缩 标准，采用多种手段先后提出了一系列差错控制算法。最早期的差错控制手段主要在视频 信号的空域【1 5 - 2 2 1 、时域1 2 3 - 2 9 1 、频域1 7 1 以及变换域川、时空域结合d o - - 3 5 垮方面进行，这些差 错控制技术主要是利用视频信号固有的相关性，其处理方法一般都不太复杂，因此目前在 差错控制领域应用最广泛。但是视频信号固有的相关性为基础的技术存在很大局限性，其 主要原因是根据传输差错发生程度及视频序列内容特性的变化，其处理效果会有很大差 异。因此t s u h a nc h 【3 9 】【柏】等人以模板匹配为基础提出了第二代差错控制技术，而s u n g d a e c h o a 【3 6 - 3 8 1 等从对编码数据进行分级或分类嵌入处理的思想入手，采用添加冗余的手段实现 对重要数据的保护，从而在差错控制中取得了很好的效果。 目前差错控制技术仍然沿着三个方向继续发展：将数据通信中的差错控制技术扩展到 视频通信中，采用冗余信源编码以及对原始信息进行近似。 第二阶段是采用模板匹配、数据嵌入等技术的。 1 3 本文研究思路 因为差错控制与视频传输息息相关，所以只要有视频传输应用的地方就或多或少地要 考虑到差错控制。可见其应用范围非常广泛，而对于无线传输这样的不可靠传输，差错控 制有着更大的应用价值。 从视频传输差错控制技术的发展情况我们也可以看出，视频差错控制的研究始终存在 以下几个矛盾，即视频压缩去相关性与差错处理利用相关性之间的矛盾，差错控制算法复 杂度与有效性之间的矛盾，降低传输冗余与差错控制添加冗余的矛盾以及差错控制算法针 对性与传输差错随机性、视频内容可变性之间的矛盾。因此，如何针对不同的网络环境和 不同的视频应用场合采用有效的差错控制手段，寻求以上矛盾中的平衡点才是视频传输差 错控制研究得以实用化的出发点。 2 第一章绪论 因为本文研究的是视频传输中的差错控制，而视频流之所以容易受到信道噪声的影响 主要是因为视频压缩编码造成的，因此本文首先对视频压缩编码做了简要概述，然后着重 研究了差错控制中的错误检测和错误隐藏技术，并结合最新的视频压缩标准h 2 6 4 进行了 差错控制分析。最后，在研究各种差错控制技术性能特点的基础上，以实用性为出发点分 别提出了一种错误检测和错误隐藏算法，并对所提出算法的性能及效果进行了模拟测试。 1 4 论文结构 本论文接下来部分具体内容安排如下： 第二章，简要介绍了视频压缩技术，并分析了视频传输中差错产生的原因、影响，以 及错误检测和错误隐藏技术； 第三章，介绍了视频编解码标准h 2 6 4 的发展历程及其关键技术； 第四章，介绍了视频传输差错控制中的错误检测技术，并提出了一种改进的错误检测 方案； 第五章，介绍了视频传输差错控制中的错误隐藏技术，并提出了一种低复杂度的后处 理空域错误隐藏方案； 第六章，结论与展望。 3 第二章视频压缩与差错控制 第二章视频压缩与差错控制 2 1 视频压缩编码概述 因为视频图像具有很强的时空相关性，所以视频信号本身就存在着大量的时间和空间 冗余。视频压缩编码的核心思想就是去相关，降低视频内容中的冗余，用最少的比特数来 表示最多的视频内容，从而实现压缩。 2 1 1 视频序列冗余特性 因为视频序列的冗余特性为视频压缩提供了可能性。因此为了实现更有效的压缩，就 必须充分挖掘视频序列的各类冗剁l 。 首先，视频序列在空间上存在一定的冗余，特别是同一个视频对象的相邻像素之间相 关性极强。其次，对于视频序列而言，除非发生场景切换，否则时间上后续的帧往往包含 与前面紧邻帧相同的背景和对象，这就是视频序列的时间冗余。对于编码符号，其平均码 长高于所表示信息的信息熵，这个差值就形成了编码冗余。 此外，视频序列中还有视觉冗余和结构冗余。视觉冗余是由于人眼的视觉非均匀性使 得人眼视觉对某些空间频率感觉迟钝而造成的。因此视频中的不同频率成分的内容对人眼 系统而言其重要性也不同。例如，人眼视觉系统对亮度信号变化的敏感性高于色度信号变 化，因此可以对色度分量进行下采样而能保持主观视觉质量不变。另一方面还可以对信号 频域的各个分量采取不同的量化步长，将人眼视觉不敏感的分量去除。所谓结构冗余则是 指图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布特性和模式。 2 1 2 视频编码机制 视频编码机制【4 】主要有以下几种： 基于像块的编码机制是目前应用最广泛的视频编码机制。首先，一个视频帧被划分为 多个1 6 x 1 6 大小的像素块，称为宏块。然后利用像素间的空间相关性和帧间宏块的时间相 关性，采用预测编码和变换编码技术实现压缩编码的目标。 基于对象编码即指依赖于对视频场景中任意形状对象的检测的编码机制。该编码机制 充分利用了人类的视觉系统( v h s ) 而产生很高的压缩效率。首先，视频帧被分成对应于 不同物体的区域，然后对每一个区域的形状、运动和纹理进行编码。m p e g 4 就采用了这 样的编码机制。 基于模型的编码通常利用预定的模型来适配场景中检测的目标，为匹配所检测目标的 轮廓而将模型变形，并且只对模型变形进行编码来表示目标的边界。这种编码机制要求编 成都理工大学硕士学位论文 解码器在对视频序列编码之前必须有相同的预定模型。 基于码本矢量的编码通过码本中的元素来表示视频矢量。码本是基于最小距离、最小 比特率或者最小均方误差等标定的，编解码器拥有相同的码本。编码器在确定最佳码本之 后，只需要将其相应的索引进行编码并传送。解码器则通过码本索引从本地码本中恢复视 频矢量。 2 1 3 视频编码技术 信源编码的方法按照压缩数据能否被准确恢复可以分为两大类：无损编码和有损编 码。虽然无损编码可以无失真地恢复原始数据，但其压缩效率十分有限。因此，在对视频 序列进行实际压缩时一般是将无损编码和有损编码结合使用。主要技术包括预测编码、变 换编码和熵编副5 l 。 2 1 3 1 预测编码 预测编码有线性预测和非线性预测两种。它既可以在一幅图像内进行( 帧内预测) ， 也可以在多幅图像之间进行( 帧间预测) 。预测编码基于图像数据的空间和时间冗余特性， 用相邻的已知像素来预测当前的像素的取值，然后再对预测误差进行量化和编码。这些相 邻像素可以是同行扫描的，也可以是前几行或者前几帧的。帧内预测主要利用图像数据的 空间相关性。其优点是算法简单、易于硬件实现，缺点是对信道噪声及误码很敏感，会产 生误码扩散，使图像质量大大下降。而且帧内预测的编码压缩比很低。帧间预测主要利用 视频序列相邻帧间的相关性。帧间预测主要采用的技术有多帧参考、帧内插、运动补偿、 自适应帧场编码等。帧间预测优点是压缩比高，缺点是对于不同图像序列，预测性能不一 样，而且在进行预测前的图像分块过程中会造成块效应。 2 1 3 2 变换编码 与预测编码技术相比，变换编码主要目的是在图像数据的变换域最大限度地去除相关 性，主要有正交变换编码、子带编码和小波编码等。正交变换编码将空间域相关的像素点 通过正交变换映射到另一个变换域上，使得变换后的系数之间的相关性降低。经过变换编 码之后，图像数据具有如下特征：所有的系数相互独立；能量集中于少数几个系数上；这 些系数集中于一个小的区域内。这样再采用适当的量化和熵编码就可以有效地压缩图像的 数据量。而子带编码则是将图像分裂成几个不同频段的子带，然后对不同的子带设计不同 的编码参数，从而提高图像质量。小波变换编码充分利用了小波分析在时域和频域同时具 有的怠好局部化特性，与人眼视觉特性相符的多分辨率能力，分解系数分布平稳，自然分 级的金字塔式数据结构等优点，在视频压缩领域引起广泛的关注。d c t 变换是预测编码普 遍采用的变换技术。+ 6 第二章视频压缩与差错控制 2 1 3 3 熵编码 利用信源的统计特性进行码率压缩的编码方式称为熵编码，也叫统计编码。该编码方 法主要有基于概率分布特性的霍夫曼编码、算术编码和基于相关性的游程变长编码( r l c ， r u nl e n g t hc o d i n g ) 三类。霍夫曼编码是一种变长编码( v l c ，v a r i a b l el e n g t hc o d i n g ) 。 它将信源符号按概率大小重新排序，通过二叉树算法，依次将两个概率最小的节点合并， 直至根节点。然后对出现概率大的信源符号分配短字长的二进制码，出现概率小的信源符 号分配长字长的二进制码，从而得到符号平均码长最短的码。但是霍夫曼编码严重依赖信 源的统计特性，编码前必须有信源概率分布的先验知识。对于复杂的视频来说，只能用对 大量数据统计后获得的近似分布来代替，因此实际应用时无法达到最佳性能。另外v i _ x 2 提高了编码效率但不利于硬件实现。游程变长编码是将符号值相同的连续符号串用一个游 程长度( 符号数) 和一个代表值( 值) 描述。这样可以用更紧密的序列代替原有的相同值 符号串。在视频压缩中，量化后的数据常常出现大量的连零系数，利用r l c 可以有效地降 低表示零码的比特数。算术编码是二十世纪八十年代发展起来的。理论上，算术编码与霍 夫曼编码都是最佳的编码方式。但在信源概率分布未知的情况下，算术编码优于霍夫曼编 码。 2 2 差错控制概述 2 2 1 误码产生原因及其影晌 视频传输中的误码主要由两种情况造成 6 1 ：一类是随机比特错误，如比特跳转、比特 插入及比特删除等，这主要是由于信道的物理缺陷而随机产生的。另一类是突发错误，集 中或连续地突发产生错误，例如分组交换网络中的数据包丢失、存储媒体的物理损伤等。 有时候，随机比特错误也会导致突发错误。由于突发错误会造成连续的数据包丢失，它可 能带来比随机比特错误更加严重的影响。 根据编码方法或者信息内容的不同，传输误码对视频重建质量的影响也不同。如果发 生误码的码流语法元素重要性很低，并没有参与其他码流语法元素的构成。那么这时产生 的误码就只影响本语法元素，而该语法元素以后的码流解码都能正确进行。但不幸的是， 目前几乎所有的视频编码标准都采用了运动估计和变长编码技术。因此，误码不仅影响出 错数据的解码，同时还会影响到其他与之相关的数据解码。而因为运动估计建立了帧间的 依赖性，所以一个帧的错误将会扩散到后续帧。这样势必使解码视频的画面质量急剧下降， 但此时视频解码器仍然能继续解码。如果传输误码造成同步丢失，那么情况就是最糟糕的。 这时解码器不再能判断接收到的信息属于视频图像的哪个部分，则后续的解码过程将不能 继续进行。 成都理工大学硕士学位论文 2 2 2 错误检测技术 错误检测是视频差错控制的前提，只有对视频信号在传输过程中发生的错误正确检测 才能进行有效的处理。目前的错误检测主要在两个层面进行，即视频传输层和视频解码层 川。视频传输层检测就是指在信道解码环节进行错误检测，例如在编码数据包中加入头信 息和f e c 等；视频解码层检测是指在视频解码环节进行错误检测，例如基于语法的错误检 测方案、基于视频信号的自然特征的错误检测方案和频域错误检测方案等。其中，基于语 法的错误检测方案因为不会增加额外的传输开销以及其实现简单而得到非常广泛的应用， 但也正是因为其基于码流语法结构的前提，所以存在一些缺点影响了其检测性能。 本论文第四章将对以上的错误检测技术进行详细讨论。 2 2 3 错误隐藏技术 错误隐藏的基本思想是利用视频序列的空间及时间相关性，对受损或丢失的数据进行 最大程度的恢复，从而使视频画面在解码端得到更好的再现。 错误隐藏技术主要有两个研究方向【6 】：无损恢复和近似重构。无损恢复的目的主要是 无失真恢复数据，主要采取的技术有：前向纠错( f e c ，f o r w a r de r r o rc o r r e c t i o n ) 、错误 控制编码( e c c ，e r r o rc o n t r o lc o d i n g ) 和自动重传请求( a r q ，a u t o m a t i cr e t r a n s m i s s i o n r e q u e s t ) ：而近似重构则致力于得到一个与原始信号最近似的结果，也就是让解码得到的输 出信号有最小的失真。近似重构的思想是视频传输差错控制研究领域中的重点。几乎所有 的错误隐藏算法都是侧重于该分支。 目前的错误隐藏技术主要可分为三类【6 】；预处理错误隐藏技术、后处理错误隐藏技术 和交互式错误隐藏技术。预处理错误隐藏技术主要在编码端实现，但一般需要解码端的配 合，其错误隐藏的效果较好；后处理错误隐藏技术只在解码端实现，所以不需要编码端任 何额外支持，也不会增加信道开销，通用性强，具有广泛的网络适应性和平台移植性，但 效果一般；交互式错误隐藏技术虽然需要额外的信道支持，对软硬件都有较高的要求，但 其错误隐藏效果最好，适合于对实时性要求不高的应用中。当然很多时候各种方法的交叉 使用也能取得较好的错误隐藏效果。 本论文第五章将对错误隐藏技术分类进行详细讨论。 2 3 本章小结 本章简要回顾了视频压缩编码的原理和主要技术，建立了一些视频压缩方面的基本概 念，为后面的论述工作做了铺垫。然后针对本文的研究方向，对传输差错的产生原因及其 影响做了分析，并总体介绍了差错控制所包括的两个方面，即错误检测技术和错误隐藏技 术。 第三章h 2 6 4 视频编解码标准 第三章h 2 6 4 视频编解码标准 3 1h 2 6 4 的发展历程 删一t 的视频专家组( v c e g ) 的工作目标是维护i t u t 已制订的视频编码标准，同 时建立能被应用于广泛的会话或非会话业务的新标准。早在1 9 9 5 年，完成h 2 6 3 标准的最 初版本之后，v c e g 就将未来的工作划分为长期和短期两个目标。其短期目标是对h 2 6 3 的功能及应用范围进行扩充，因此最终制订了h 2 6 3 + 标准：其长期目标是针对低比特率的 视频通信制订出新一代的标准。 1 9 9 8 年1 月，v c e g 向全世界征集视频编解码方案。 1 9 9 8 年1 1 月，v c e g 形成了第一份正式的评价文献。 1 9 9 9 年8 月，v c e g 完成了h 2 6 4 的第一个草案_ h 2 6 l ，及其测试模型t m l - 1 。 该草案较之u t 以前的标准取得了显著的视频压缩效果，从而展现了其广阔的发展前景。 2 0 0 1 年7 月，运动图像专家组( m p e g ) 认为新的编码方式较之m p e g 4 现有标准有 很大的优势，有必要吸收最新成果完善m p e g 4 。为此，m p e g 与v c e g 组成联合视频小 组( j v t ) 共同进行h 2 6 4 标准的制订，其主要任务就是将h 2 6 l 所形成的视频压缩模型 发展成为国际标准。 2 0 0 2 年5 月，j v t 形成委员会草案c d ( c o m m i t t e ed r a f t ) 。 i 2 0 0 2 年7 月，j v t 形成了最终委员会草案f c d ( f i n a lc o m m i t t e ed r a f t ) 。 2 0 0 2 年1 2 月，j v t 形成了最终国际标准草案f d i s ( f i n a ld r a f ti n t e r n a t i o n a ls t a n d r a d ) 。 2 0 0 3 年3 月，h 2 6 4 标准正式颁布。 3 2h 2 6 4 的主要目标 h 2 6 4 的提出是为了满足各种应用中对运动图像日益增长的压缩需求。h 2 6 4 能使编码 的视频显示以灵活的方式应用与多样化的网络环境并极大地降低发送视频所需要的带宽。 其主要目标是：提高压缩编码效率和增强网络适应能力。 在压缩效率方面，相同的视频质量情况下，h 2 6 4 比h 2 6 3 节省5 0 左右的比特率， 即仅用一半的编码量就能得到同样清晰的画面。同时它采用“回归基本”的简洁设计，不采 用众多的选项就能获得比h 2 6 3 + + 好得多的压缩性能。在解码器端可采用复杂度分级设计， 在图像质量和解码处理之间可分级，以适应多种复杂性应用。 在网络适应能力方面，h 2 6 4 标准引入了网络适配层( n a l ，n e t w o r d a d a p t l a y e r ) ， 使得h 2 6 4 编码视频流能在不同的网络上传输。其码流结构网络适应性强，增加了差错恢 复能力，加强了对误码和丢包的处理，提高了抗误码的能力，能够很好地适应口和无线网 络的应用，因而具有良好的网络亲和性。 成都理工大学硕士学位论文 3 3h 2 6 4 的基本框架 3 3 1 档次和等级 目前，h 2 6 4 标准【8 】共定义了四个档次( p r o f i l e ) 和1 6 个等级( 1 e v e l ) 。基本档次( b a s e l i n e p r o f i l e ) 的目标是使编码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁棒性 和灵活性，主要应用于可视电话、视频会议和无线通信等；主档次( m a i np r o f i l e ) 更多强 调的是压缩编码效率，主要应用于广播电视和视频存储；扩展档次( e x t e n d e dp r o f i l e ) 则 将基本档次的鲁棒性与高编码效率、网络传输的鲁棒性等结合起来，为网络流媒体之类的 应用提供了有效的支持。基本档次是该档次的一个子集；高档次【8 j 【9 j ( 1 l i g h p r o f i l e ) 增加了 对高保真视频应用的支持，因此可应用于数字视频广播。主档次是该档次的一个子集。 而等级则定义了编码器的性能。每个等级都限制了一些参数的取值范围，这些参数包 括采样率、图像尺寸、编码比特率以及内存要求等等。 尽管各个档次有所差别，但将档次与等级相结合，h 2 6 4 的应用就非常灵活和广泛了。 h 2 6 4 可以支持包括图像尺寸从1 7 6 x 1 4 4 到4 0 9 6 x 2 3 0 4 ，采样比例从4 ：2 ：0 到4 ：4 ：4 ， 采样样值位深从8 b i t s 样值位深到1 2 b i t s 羊值位深的所有应用。 3 3 2 码流结构 h 2 6 4 标准采用了与以前标准类似的编码层次结构。具体结构为： 视频序列 图像 ( 片 组) 片 宏块( 子宏块) 块 像素) ) 。与以前标准不同的是，在h 2 6 4 中序列参数集 ( s p s ，s e q u e n c ep a r a m e t e rs e t ) 和图像参数集( p p s ，p i c t u r ep a r a m e t e rs e t ) 可以异步传 。输，每个片可以独立解码。而由于h 2 6 4 采用了树状运动补偿，因此，宏块可以继续划分 为子宏块。 视频序列层以s p s 语法开始，序列由多个图像数据组成。s p s 包含了视频序列的参数 集标识、档次、等级、参考图像数量、图像尺寸等信息。每个序列中的图像都使用同一个 s p s 的参数。根据情况，编码器也可以在一个序列范围内启用新的s p s 。 图像层以p p s 语法开始，图像数据由多个片数据组成。p p s 包括了s p s 标识、p p s 标 识、熵编码模式、图像初始量化参数等信息。每幅图像的编码过程都使用同一个p p s 的参 数。根据情况，编码器也可以在一个图像范围内启用新的p p s 。 片层是以片头语法开始，片数据由多个宏块数据组成。片头包括片的起始宏块号、片 类型、p p s 标识、图像号等信息。根据传输的需要，片有时候被组织成片组来提高码流的 抗差错能力。 宏块层根据不同的采样比例由不同个数的色度块( 8 x 8 ) 和亮度块( 1 6 x 1 6 ) 组成。包 括宏块类型、编码模式、预测模式、运动矢量、残差数据等信息。其中残差数据是宏块数 据中数据量最大的。 1 0 第三章h 2 6 4 视频编解码标准 因为h 2 6 4 是以片为最大的语法单元，所以在h 2 6 4 标准中没有i 图像、p 图像和b 图像的概念，而代之以i 片、p 片和b 片，另外h 2 6 4 还引入了两个片：s p ( s w i t c hp ) 和 s i ( s w i t c hi ) 。h 2 6 4 与以前标准包含宏块情况如表3 - 1 所示。 表3 - 1h 2 6 4 与以前标准包含宏块情况对比 以前标准h 2 6 4 宏块类型 i 图像p 图像 b 图像 i 片 p 片 b 片s i 片s p 片 i 宏块 p 宏块 b 宏块xx s i 宏块 3 3 3 编解码结构 与早期的视频压缩标准相同，h 2 6 4 标准并没有明确定义一对完整的编解码器，而是 定义了编码码流的语法以及对码流解码的方法i 加】【1 1 1 。实际上，只要遵从h 2 6 4 标准的编解 码器都必然包含图3 - 1 及3 2 中各个最基本的功能模块。同时，这些功能模块对于一个遵 从h 2 6 4 标准的编解码器来说也是必需的。这样，任何一个h 2 6 4 编解码器的实现都能以 此为基础具有一定的变化余地，而仍然保证了它们之间的通用性。 图3 - 1h 2 6 4 编码器 h 2 6 4 编码器主要包含两个数据流路径：前向路径和重构路径。在前向路径中，待编 码的输入帧以宏块为单位进行帧内或者帧间模式编码。每个被编码的当前宏块与当前宏块 的预测宏块p 相减得到当前宏块的残差d n 。d n 再通过变换和量化形成量化变换系数x 。 x 与解码该宏块所需要的其他信息( 例如宏块的预测模式、量化步长、运动矢量信息等) 成都理工大学硕士学位论文 一起形成压缩比特流进行存储或者通过网络抽象层( n a l ) 进行传送。 而当前宏块的预测宏块p 是基于重构帧得到的。在帧内模式时，p 由当前帧中已经编 码宏块n 的重构宏块u f 1 1 得到( 此时由未经过滤波的采样值形成p ) ；在帧问模式时，p 由一个或者多个参考图像通过运动补偿预测得到。而参考图像为已经编码重构的视频帧。 图3 - 2h 2 6 4 解码器 在重构路径中，量化变换系数x 经过与前向路径的反过程重构成d n 的一个失真版本 d n ( 这主要是因为量化过程引入了失真) 。然后预测宏块p 加上d n 产生当前编码宏块的 重构宏块u f n 。最后一帧图像的所有重构宏块经过去块效应滤波后组成当前帧的参考图 像。 而h 2 6 4 解码器完全按照编码器重构路径对从n a l 接收到的视频数据进行解码。这 样就保证了编码端和解码端数据的一致性。 3 4h 2 6 4 的关键技术 h 2 6 4 标准在以前标准的基础上做了很多改进，这些细节部分改进的综合效果带来了 编解码性能的重大提升。该标准主要包含以下关键技术： 3 4 1 分层结构 视频的各种应用必须通过各种网络承载，而这些应用往往使用不同的协议和压缩视频 分布方案，这要求一个好的视频方案能处理各种应用和网络接口。h 2 6 4 为了最大限度地 灵活适应特定的应用、网络环境和传输机制，在功能上分为两层( 如图3 3 所示) ：视频编 码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 。 视频编码层主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健壮 性好、可分级等特性的视频编码码流。因此该层包含了代表视频图像内容的核心压缩编码 部分的表述，包括基于块的运动补偿混合编码和一些新的特性。它通过时域、空域预测和 变换编码来完成对视频信息的压缩。 网络抽象层主要负责，将视频编码层提供的数据，包括头信息、段结构信息和实际载 第三章