（信号与信息处理专业论文）基于h264的差错控制和错误隐藏技术研究.pdf

基于h 2 6 4 的差错控制与错误隐藏技术研究 摘要 随着椤1 l 通信的广泛应用，无论是在坤网络还是在无线移动网 络信道中，误码的产生、数据的丢失总是难以避免的。而高压缩率的 h 2 6 4 视频数据对误码更加敏感，少量的误码可能会导致大量误码蔓 延扩散，甚至无法估计的后果。因此，视频通信系统的差错控制和错 误隐藏技术必不可少。 本文研究并测试了h 2 6 4 标准中差错控制和错误隐藏关键技术 的抗误码性能，同时实现了一种优化的差错控制方案，得到了较好的 抗误码能力。具体而言，本论文主要完成了以下工作： ( 1 ) 研究并测试了h 2 6 4 标准中的差错控制关键技术灵活的 宏块重排( f m o ) 的差错控制性能。 ( 2 ) 利用i t u - t 提供的无线仿真环境( e r r o rp a t t e r n s ) 研究并测 试了h 2 6 4 标准中的各种错误隐藏技术的抗误码性能。 ( 3 ) 设计并实现了一种新的基于自适应图像分割的f m o 优化方 案。本文作者创新地引入了自适应的图像分割算法，对视频 图像的前后景分别使用不同的宏块重排方法。从而保证了前 景图像的强抗误码能力，也消除了背景图像中可能出现的块 效应。 ( 4 ) 针对不同类型视频序列，分别测试了该优化方案的差错控制 性能，得到一系列编码总比特率、解码信噪比和主观图像数 据，验证了该优化方案的强抗误码性能和较好的主观图像质 量。且该优化方案在远程教育，视频会议，新闻视频等中显 示较强的差错控制能力，且为今后的差错控制和错误隐藏技 术的进一步优化研究奠定了基础。 关键字：差错控制错误隐藏f m oh 2 6 4 ar e a s e a r c h0 fe r r o rc o n t r o l a n de r r o rc o n c e a i ，m e n t t e c h n o l o g i e su s e di nh 2 6 4 w i t ht h ew i d ea p p l i c a t i o no fv i d e oc o m m u n i c a t i o n e r r o r sa n dl o s s e s o fv i d e od a t aa r ei n e v i t a b l ew h e t h e ri ni pn e t w o r ko rw i r e l e s sn e t w o r k t h eh i g l l l yc o m p r e s s e dh 2 6 4v i d e od a t aa r em o r es e n s i t i v ef o re r r o r s ， a n dab i te h o 璐c a l lu l t i m a t e l yl e a dt ou n c o u n t a b l ee o r s s oi ti s n e c e s s a r yt oa d de f f e c t i v ee r r o rc o n t r o lt e c h n o l o g i e si n t ot h ee n c o d e ra n d a d de r r o rc o n c e a l m e n tt e c h n o l o g i e si n t ot h ed e c o d e ro fav i d e o c o m m u n i c a t i o n s y s t e m t h e p r e s e n tt h e s i si n t r o d u c e dt h e e r r o fc o n t r o la n d 也ee r r o r c o n c e a l m e n tt e c h n o l o g i e sw h i c ha r ep r o p o s e di nh 2 6 4a n dt e s t e dt h e i r p e r f o r m a n c e s a n dt h et h e s i sp r o p o s e da n dr e a l i z e dan e wa n di m p r o v e d e n o rc o n t r o ls c h e m et ob e a e re n o rr e s i l i e n c ea b i l i t y i nd e t a i l s t h et h e s i s h a dd o n em a n y j o b sa sf o l l o w e d ： ( 1 ) r e s e a r c h e da n dt e s t e dt h ep e r f o r m a n c e so ff l e x i b l em a e r o b l o c k o r d e r i n gf f i o ) t e c h n o l o g y r e s e a r c h e da n dt e s t e dt h ep e r f o r m a n c e so fe r r o rc o n c e a l m e r i t t e c h n o l o g i e su s i n ga ne r r o rp a u e m sw h i c h i sp r o v i d e db yr r u - t a n du s e dt os i m u l a t eaw i r e l e s sc h a n n e l ( 3 ) d e s i g n e da n dr e a l i z e dan e wa n di m p r o v e df m 0 s c h e m ew h i c h w a sb a s e do nas e l f - a d a p t i v ep i c t u r ep a r t i t i o nm o d e l 功ea u t h o r o ft h i st h e s i si n n o v a t i v e l yb r o u g h ti nas e l f - a d a p t i v ep i c t u r e p a r t i t i o na l g o r i t h mt om a k et h ef o r e g r o u n d sa n db a c k g r o u n d s e n c o d e db yd i f f e r e n t w a y s o fm a e r o b l o c k o r d e r i n g 1 1 l e i m p r o v e ds c h e m ec a np r o m i s et h es t r o n ge r r o rr e s i l i e n c ea b i l i t y o ft h ef o r e g r o u n d ，a n de l i m i n a t et h eb l o c ke f f e c ti nt h ed e c o d e d i m a g e ( 4 ) t e s t e dt h ep e r f o r m a n c e so ft h ei m p r o v e df m os c h e m ef o r d i f f e r e n tv i d e os t r e a m s ，a n dg o tal o to fd a t aa b o u te n c o d i n gb i t r a t e 。d e c o d i n gs n ra n di m a g eq u a l i t y t h o s ed a t ai m p r o v e d s t r o n g e r r o rr e s i l i e n c e a b i l i t y a n dab e t t e r i m a g eq u a l i t y f u r t h e r m o r e ，t h ei m p r o v e ds c h e m ed i db e t t e re s p e c i a l l yf o r r e m o t ee d u c a t i o n ，v i d e or e f e r e n c ea n dn e w sv i d e oa n ds oo n i t w o u l dl e a dt of u r t h e rr e s e a r c h e si ne r r o rc o n t r o la n de r r o r c o n c e a l m e n ta r e a k e yw o r d s ：e r r o rc o n t r o l e r r o rc o n c e a l m e n tr oh 2 6 4 独创性( 或创新性) 声明 本人声明所里交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名丕堡叠日期：里! z ：兰：z 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即t 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：么2 曼! 丝 日期： 坦z ：三：z 导师签名： 蕉盗靖日期：! 丝z ：；q 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 1 1h 2 6 4 视频编解码标准 1 1 1h 2 6 4 的产生 第一章绪论 在多媒体、数字化、计算机、网络技术日新月异的今天，各生产厂商需要一个通 用的压缩标准使产品更加市场化。r r u t 和i s o m c 组织一直致力于对数据压缩技术 标准化工作的研究，并取得很大成绩。随着各标准的不断推出，数据压缩和传输技术 更加规范化。但音频、视频等压缩编码工作还远未结束，人们在不断寻求一种比目前 方案压缩性能更好、适用性更强的编码方案，h 2 6 4 协议也就在这个背景下出现了。 在m p e g - 4 和h 2 6 3 之后，运动图像专家组( m p e g ) 和视频编码专家组( v c e g ) 希望制定一个能够比m p e g - 4 和h 2 6 3 表现更出色的新标准，提供更好的压缩图像质 量，并且具备一系列可以支持高质量、低码率压缩的特性。由此在多年以前就产生了 a d v a n c e dv i d e oc o d i n g ( a v c ) 这一组织的雏形。 1 9 9 5 年，在完善了h 2 6 3 标准后，r r u - t 的视频编码专家组开始在h 2 6 3 协议上 做一些进一步的工作，希望可以改善其性能，同时也开始了低码率视频通信的新标准 的制定工作，这一标准被称为h 2 6 l 。2 0 0 1 年，m p e g 专家组认可了h 2 6 l 的发展 潜力，并与v c e g 合作组成了联合视频组。j v t 的目标是将h 2 6 l 模型发展成 为一个国际性的标准，事实上，这一标准分为两个部分：i s o 的m p e g - 4p a r t1 0 和 n u t 的h 2 6 4 。 h 2 6 4 是2 0 0 3 年3 月发布的一种高性能的视频编解码技术，它是由r r u - t 和i s o 两个国际组织联合视频组共同制定的新数字视频编码标准。盯u - t ( 国际电联) 制定 的标准有h 2 6 1 、h 2 6 3 、h 2 6 3 + 等，i s o ( 国际标准化组织) 制定的标准有m p e g 1 、 m p e g 2 和m p e g - 4 等，h 2 6 4 被i s o 称为m p e g - 4 a v c 或m p e g - 4p a r t1 0 。 北京邮电大学硕士论文 基于h 2 6 4 的差错控制与错误隐藏技术研究 1 1 2h 2 6 4 的技术亮点 h 2 6 4 使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量 的图像传输，这正好适应了目前国内运营商接入网带宽还非常有限的状况。目前，全 球很多彤业务运营商都将h 2 6 4 作为编解码格式的标准，编码器厂家、解码芯片 厂家和机顶盒厂家多数也接受了h 2 6 4 。还有一些可视电话也应用h 2 6 4 技术。 h 2 6 4 最大的优势是具有高压缩率，在同等图像质量的条件下，其压缩率是 m p e g 2 的2 倍以上，是m p e g - 4 的1 5 2 倍。举个例子，如果原始文件的大小为 8 8 g b ，采用m p e g 2 压缩标准压缩后变成3 5 g b ，压缩率为2 5 ：1 ；而采用h 2 6 4 压缩标准压缩后变为8 7 9 m b ，压缩率达到1 0 2 ：1 。其次，h 2 6 4 对网络传输提高了 更好的支持，它采用内容自适应可变长码( c a v l c ) 和内容自适应二进制算法 ( c a b v c ) 编码作为纠错编码，具有较强的抗误码特性，可适应丢包率高、干扰严 重的无线信道中的视频传输。h 2 6 4 引入了面向口包的编码机制，有利于网络的分组 传输，支持网络中的视频流媒体传输；支持不同网络资源下的分级编码传输，大大节 省用户的下载时间和数据流量收费，尤其是在具有高压缩比的同时还拥有高质量流畅 的图像。 h 2 6 4 和以前的标准一样，也是d p c m 厂r 的混合编码模式。但它采用“回归基本” 的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强了对各种信 道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用 目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求；它 的基本系统是开放的，使用无需版权。 h 2 6 4 标准中定义了三种不同的框架( p r o f i l e ) ：基本框架( b a s e l i n ep r o f i l e ) ，主 要框架( m a i np r o f i l e ) 和扩展框架( e x t e n d e dp r o f i l e ) 。基本框架包括了h 2 6 4 的技 术特征，但没有b 帧、算术编码、帧场切换的编码以及增强帧编码等；主要框架包 括了上面所说的这些内容，可用于s d l 、h d t v 等；而扩展级可用于各种网络的视 频流传输。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精度、 多模式的位移估计，基于4 x 4 块的整数变换、分层的编码语法等。这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右 的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应口 和无线网络的应用。下面一一介绍这些技术亮点。 1 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 2 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网 络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定义了一个基于 分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网络 友好性的任务分别由v c l 和n a l 来完成。 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准 一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标准的灵活 性。 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、 定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输 格式，支持视频在i l l t c m e t 上利用r t p u d p f l p 传输的格式。n a l 包括自己的头部信 息、段结构信息和实际载荷信息，即上层的v c l 数据。( 如果采用数据分割技术，数 据可能由几个部分组成。) 2 高精度、多模式运动估计 h 2 6 4 支持1 4 或1 8 像素精度的运动矢量。在1 4 像素精度时可使用6 抽头滤波 器来减少高频噪声，对于l ，8 像素精度的运动矢量，可使用更为复杂的8 抽头的滤波 器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预测的效果。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，形成7 种不 同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动物体的形 状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包含有1 、 2 、4 、8 或1 6 个运动矢量。 在h 2 6 4 中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的多 帧参考技术。例如2 帧或3 帧刚刚编码好的参考帧，编码器将选择对每个目标宏块能 给出更好的预测帧，并为每一宏块指示是哪一帧被用于预测。 3 4 x 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操作而 不是实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器中和解码 器中允许精度相同的变换和反变换，便于使用简单的定点运算方式。也就是说，这里 没有“反变换误差”。变换的单位是4 x 4 块，而不是以往常用的8 x 8 块。由于用于 变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在 运动物体边缘处的衔接误差也大为减小。为了使小尺寸块的变换方式对图像中较大面 积的平滑区域不产生块之间的灰度差异，可对帧内宏块亮度数据的1 6 个4 x 4 块的 d c 系数( 每个小块一个，共1 6 个) 进行第二次4 x 4 块的变换，对色度数据的4 个 4 4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。 3 北京邮电大学硕士论文 基于h 2 6 4 的差错控制与错误隐藏技术研究 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右，而 不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算 的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 4 统一的v l c h 2 6 4 中熵编码有两种方法，一种是对所有的待编码的符号采用统一的v l c ( u v l c ：u n i v e r s a l v l c ) ，另一种是采用内容自适应的二进制算术编码( g 蛾c ： c o n t e x t a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 。c a b a c 是可选项，其编码性能比u v l c 稍好，但计算复杂度也高。u v i 上使用一个长度无限的码字集，设计结构非常有规则， 用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器 也很容易地识别码字的前缀，u v l c 在发生比特错误时能快速获得重同步。 5 帧内预测 在先前的h 2 6 x 系列和m p e g x 系列标准中，都是采用的帧间预测的方式。在 h 2 6 4 中，当编码i n t r a 图像时可用帧内预测。对于每个4 x 4 块( 除了边缘块特别处 置以外) ，每个像素都可用1 7 个最接近的先前已编码的像素的不同加权和( 有的权值 可为0 ) 来预测，即此像素所在块的左上角的1 7 个像素。显然，这种帧内预测不是 在时间上，而是在空间域上进行的预测编码算法，可以除去相邻块之间的空间冗余度， 取得更为有效的压缩。 6 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发环境 中传输，如移动信道或m 信道中传输的健壮性。 为了抵御传输差错，h 2 6 4 视频流中的时间同步可以通过采用帧内图像刷新来完 成，空间同步由条结构编码( s l i c es t r u c t u r e d c o d i n g ) 来支持。同时为了便于误码以后 的再同步，在一幅图像的视频数据中还提供了一定的重同步点。另外，帧内宏块刷新 和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率，还可以考虑 传输信道的特性。 除了利用量化步长的改变来适应信道码率外，在h 2 6 4 中，还常利用数据分割的 方法来应对信道码率的变化。从总体上说，数据分割的概念就是在编码器中生成具有 不同优先级的视频数据以支持网络中的服务质量q o s 。例如采用基于语法的数据分割 ( s y n t a x b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数据的按其重要性分为几部分，这样允 许在缓冲区溢出时丢弃不太重要的信息。还可以采用类似的时间数据分割( t e m p o r a l d a t ap a r t i t i o n i n g ) 方法，通过在p 帧和b 帧中使用多个参考帧来完成。 在无线通信的应用中，可以通过改变每一帧的量化精度或空间时间分辨率来支 持无线信道的大比特率变化。可是，在多播的情况下，要求编码器对变化的各种比特 4 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 率进行响应是不可能的。因此，不同于m p e g - 4 中采用的精细分级编码f g s ( f i n e g r a n u l a rs c a l a b i l i t y ) 的方法( 效率比较低) ，h 2 6 4 采用流切换的s p 帧来代替分级编 码【1 1 口 1 1 3h 2 6 4 的编解码流程 h 2 6 4 的编码流程主要包括5 个部分l ：帧间和帧内预测、简化d c t 变换算法、 量化和反量化、环路滤波、熵编码，工作原理如图1 - 1 所示。 其解码流程如图1 - 2 所示。 图1 - 1t l 2 6 4 编码器框图 图1 - 2i - l 2 6 4 解码器框图 1 编码器流程( 正向路径) 编码器入口进入的是输入帧f n ，将该帧以宏块级别( 1 6 x 1 6 象素) 处理。每个 宏块采用帧内( i n t r a ) 或帧间( i n t e r ) 模式编码。同时，用重建帧形成预测宏块p 。 在帧内编码模式中，当前帧n 经过编码、解码和重建的采样构成p ( 图中的u f n ； 5 北京邮电大学硕士论文 基于h 2 6 4 的差错控制与错误隐藏技术研究 注意，未经过滤波的u f n 才可以构成p ) 。在帧间编码模式中，p 由一个或多个参考 帧的运动补偿预测构成。图1 - 1 中，参考帧是图中的已被编码的帧f n 1 ；但是，由 一个或两个过去或未来的帧( 按时间顺序) 来预测每个宏块。 当前宏块减去预测宏块p 得到残留宏块信号d n 。经过变换和量化之后成为x ， 也就是一系列量化系数。然后对这些量化系数进行重排序和熵编码。这些系数与其他 用于解码该宏块的信息( 例如宏块预测模式、量化步长、运动矢量信息等) 一起进行 熵编码，成为压缩码流。然后，将码流打包到网络提取层( n a l ) ，以便于传输或存 储。 2 编码器流程( 重建路径) 量化后的宏块系数x 通过解码来重建帧图像，为了对宏块进行进一步编码。系 数x 经过反量化( q 1 ) 和反变换f r - 1 ) 后生成参考宏块d n 。这与原始宏块d n 不同；预 测宏块p 加上d n 来构造重建宏块u f n ( 原始宏块的失真版本) 。用滤波器去除其块 失真效应，一系列重建宏块u f n 构成重建参考帧f n 。 3 解码器 解码器接收n a l 中压缩后的码流。数据元素经过熵解码和重排序来得到一系列 量化系数x 。经过重调节和反变换得到d n ( 这与编码器中的d n 相同) 。用码流中 解码出来的头信息，解码器产生预测宏块p ，与编码器中的原始预测宏块p 相同。p 加上d n 生成u f n ，经过滤波器后得到解码宏块f n 。 要说明的是，解码器中的重建路径的目的是为了保证编码器和解码器使用同样的 参考帧来生成预测宏块p 。如果不这样的话，编码器和解码器中的预测宏块p 将不相 同，会导致误差在编码器和解码器之间蔓延或漂移。 h 2 6 4 具有广阔的应用前景，例如实时视频通信、因特网视频传输、视频流媒体 服务、异构网上的多点通信、压缩视频存储、视频数据库等。 1 2 视频通信抗误码技术 在视频码流在信道传输过程中，由于不可靠信道以及端到端的时延限制等因素的 影响，传输差错不可避免。高效压缩后的视频码流对传输中产生的误码非常敏感。一 旦传输中出现了误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的 恢复。由于误码的发生是不可避免的，因此，当视频编码流在传输过程中丢失或受到 破坏时，必然会影响传输图像的质量。一个数字图像通信系统应使解码图像中的误差 的发生最小化，特别要使在解码帧中连续几帧的误差最小化或完全消失。抗误码技术 的实质在于无论何时何处检测到误码，都使因此而丢弃的数据量为最小，或者说误码 6 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 造成的伤害影响最小。 为了减小传输差错对解码器端重建视频质量的影响，一方面需要在传输中采用各 种差错控制技术减少传输差错，另一方面还需要在编解码器层采用适当的容错机制和 差错隐藏策略【4 i 。 图1 - 3 描述了抗误码技术的差错控制与差错隐藏技术所处的位置。 1 2 1 差错控制技术 图1 - 3 本文所研究的差错控制与错误隐藏框图 随着第三代移动通信系统和m 网络的迅速发展，实时视频通信正逐步成为通信 的主要业务之一。但移动信道具有易错、时变和带限的特点，以及因多径反射和衰落 引入大量的随机误码和突发误码，使得移动信道的误码率比有线信道大。同时由于带 宽的限制，视频信息在传输前必须进行高效的压缩编码，目前大多数的视频编码标准 所采用的时间和空间预测，使得编码的视频流对信道差错更加脆弱。为了减轻信道差 错对解码质量的影响，必须结合实际应用信道的传输特性，采用有效的差错处理机制， 因此差错控制技术便成为视频通信的关键技术。 在多媒体通信业务急速发展的同时，对其进行可靠传输的需求也逐渐增加对于 在网络上传输的编码视频信息来说，由于其在网络传输过程中会不可避免地产生误 码，包括信号衰落、区间误码、丢包等等，因此需要使用某种误码控制方法来保证解 码器输出视频信息的视觉质量。 误码控制方法大致可分为信道误码控制、信源误码控制、信源信道联合编码控 制和误码防扩散四类技术。 1 2 1 1 传输层信道误码控制技术 在视频通信中，引起解码器端重构视频图像失真的主要原因有量化噪声和传输误 码引入的失真。为了降低这两种影响，都需要增加比特开销，以提高量化级数和增加 前向纠错能力。在给定信道带宽和信道误码特性的条件下，为准确检测出编码视频信 息中出现的误码并对其进行有效重构，从而使得由于误码和量化所引起的视频图像总 失真达到最小，通常需要结合信源的特点，在编码视频信息传输过程添加误码控制码， 7 北京邮电大学硕士论文 基于h 2 6 4 的差错控制与错误隐藏技术研究 其中最常用的方法有前向纠错( f e c ) 和自动重传( a r q ) 。 1 前向纠错( f e c ) 前向纠错( f o r w a r de r r o rc o r r e c t i o n ) 是比较经典的信道编码误码控制方法。它的 原理是：在编码视频信息流中添加冗余的保护信息，使解码器能够对一定数量丢失或 受误码影响的视频信息进行重构。与传统的t c p 重传方法相比，前向纠错具有较小 的传输延迟，并且可保持恒定的吞吐量以及有限的时延，比较适合在实时通信等对所 传输视频信息的时延有非常严格限制的应用系统中。 前向纠错方法可以分为与数据有关和无关两种模式： ( 1 ) 与数据有关的前向纠错方法： 此方法在编码视频信息中直接添加保护信息，例如在第n 个g o b 编码信息中添 加第n 1 个g o b 的保护信息( 一个粗糙量化的版本) 。这种算法的优点是时延更小，但 是仍无法适应动态变化的网络丢包率。 ( 2 ) 与数据无关的前向纠错方法： 此方法并不关心编码视频信息的句法，而将编码视频信息分成固定大小的数据 块，对每一个数据块添加保护信息。此方法实现简单，但是无法根据网络的动态改变 保护级别，因此可能会出现保护不够而无法重构原编码视频信息或保护程度过高而造 成编码效果低下的情况。 f e c 方案的缺点主要有以下几点：首先，加入的额外校验信息会使编码视频信息 数据量相应增加。在无误码无线信道中传输时会引入一些恒定的开销，从而在一定传 输速率下反而会使传输质量下降；其次，由于无线信道传输质量波动很大，在进行传 输系统设计时需要针对某一特定的最坏信道状态进行设计，由此严重降低了对视频信 息的压缩性能。而且当信道状态超出原先设定的最坏状态时，整个系统可能会出现严 重编码错误甚至不能正常工作的情况；第三，信道编码方案对于某些具有区间误码特 征的无线信道来说较难设计。解决方法之一就是使用交叉编码，但由于引入了较大的 时延，因此也不是一个最优解决方案。 2 自动重传( a r q ) 在自动重传方案中，当解码器发现有受误码影响的编码视频信息时，向视频信息 发送端发送重传请求，请求将受影响信息再重新传送一次。 a r q 在处理数据包丢失以及发生较大区间误码的情况时是非常有效的，但由于 需要等待接收重传的数据，这样就可能会在接收端出现较为明显的时延，因此在一些 实时通信应用( 如视频会议) 中是不可行的。a r o 也不适合处理具有随机误码以及 短区间误码的情况。 虽然已证明a r q 方法比f e c 方法更有效，但是由于对受误码影响的信息进行重 8 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 传而引入了额外的时延，这样就限制了a r q 技术在无线视频传输中的应用。优化的 方案之一就是使用混合a r q 方案。在编码视频信息传输时间明显小于解码器端重构 视频的播放时延要求时，该方案采用有时延限制的重传机制重新发送丢失的编码视频 信息，通过限制重传数据包的数目来实现对时延和传输速率的有效控制。有时延限制 的重传策略可以分为接受方控制的重传、发送方控制的重传和混合重传三种。但由于 最大重传数目以及视频信息传输的优先级是事先设定好的，这样就不能准确反映传输 时延的时变特性，因此也具有一定的局限性。 1 2 1 2信源误码控制技术 信源误码控制方法通常采用容错( e r r o rr e s i l i e n c e ) 技术，它的作用在于防止误 码的传播，减小误码的影响范围。容错技术的主要原理是在对视频信息进行传输前先 做相应的技术处理，这样即使编码视频信息在信道传输时受到一定程度的影响，在解 码端仍然能够得到可被用户接受的视频图像质量。换句话说，视频信息具有抵抗在网 络传输信道中出现的传输误码的能力，因此容错技术在多媒体信息传输特别是无线视 频传输中占用很重要的地位。 在面向低带宽传输环境下的视频标准如h 2 6 3 + 和m p e g - 4 中，定义了一系列的 容错工具，例如重同步标志( r e s y n c h r o n i z a t i o nm a r k i n g ) 、分层编码( l a y e rc o d i n g ) 、 可逆变长编码( r e v e r s i b l ev a r i a b l el e n g t hc o d e s ：r v l c ) 等。以上这些容错工具主要 是针对随机误码，适用于无线信道。而在基于i n t e r n e t 的视频传输中，由于数据包的 频繁丢失会造成大量编码视频信息的丢失，因此以上这些工具并不是很有效，因此通 常使用的容错工具是最优模式选择( o p t i m a tc o d es e l e c t i o n ) 和多值描述编码( m u l t i p l e d e s c r i p t i o nc o d i n g ) 等。 1 重同步标志 在变长编码和解码过程中，码字同步丢失问题是大多数编码系统中所遇到的最常 见的问题之一。在许多编码系统中通过使用同步码字来对视频信息进行周期性的重同 步。重同步标志是在码流中插入一些特殊的二进制字符串，使得解码器可以定期校准 解码的帧和宏块序号，从而将误码限制在一定范围内。当出现误码时，解码器可以寻 找下一个同步码字来继续对后来的视频信息进行解码。 同步码字越复杂其长度就越长，如果过于频繁使用就会在解码器输出的视频信息 中出现明显的时延。 2 分层编码 结合传输优先级的分层编码基本思想是将编码视频信息分成两个或更多的层结 构，将码流中描述不同编码视频信息的部分( 例如运动矢量和d c t 系数) 分开存放， 9 北京邮电大学硕士论文 基于h 2 6 4 的差错控制与错误隐藏技术研究 以便在信道编码时加以不同优先级别的误码保护。这样做有利于对重要编码视频信息 的保护。 视频信息中的不同部分内容对视频信息重构所起的作用是不一样的。一般来说， 在单层结构视频信息传输过程中，i 帧起的作用比p 帧和b 帧更大。而在分层可扩展 视频( s c a l a b l e v i d e o ) 传输过程中，位于高层的信息部分比位于较低层的信息部分对 视频信息重构起的作用更大。在非平衡误码保护( u e p ) 策略中，编码视频信息按照 信息内容被分割成不同的部分，并被置于相应优先级的层结构中，对每一部分信息分 别使用不同的误码控制方法，从而提高解码器输出视频的视觉质量。 基本层( 具有高优先级) 用于对重要信息的编码，而其余层则用于对重要性不高的 信息进行编码。例如h 2 6 3 + 的附录0 中使用时间可分级、信噪比可分级和空间可分 级技术将码流分为基本层和一个或多个增强层： 基本层( b a s i cl a y e r ：b l ) 中包含了视频信息中最重要的内容，如运动矢量信息 等等，因此b l 层应当受到最高优先级的抗误码保护并在可靠信道上传输，从而使得 在解码器重构后可得到视觉质量满足用户要求的视频信息，否则解码器重构后视频的 视觉质量将会受到很大影响。 在增强层( e n h a n c e dl a y e r ：e l ) 中包含的视频信息在较低优先级信道上传输，经 解码器端重构后与基本层中重构的信息合并得到高质量的视频信号。由于增强层中的 信息是在高层信息( 如b l 层) 的基础上进行编码的，如果在高层数据中出现误码， 就会对其后的几帧图像中的增强层信息造成一定程度的影响，导致误码能够在数帧图 像中间进行传播。以上这些层可根据其优先级的不同加以不同程度的误码保护，这就 是非平衡误码保护策略( u e p ) 。 分层编码的缺点是由于在每一层都要引入位置信息而会导致编码器输出编码视 频流的比特率增加，同时也会增加信道负担，但具有较好的抗误码性能。该方法的另 一个缺点是基本层忽略了高频信息而使得其仅能获得一个次最优结果。 以上分层结构也可根据编码方法和应用场合的不同而有所不同： ( 1 ) 时间域扩展 将视频信息分割成不同层结构的最简单方法可通过采用时间域扩展实现。在该分 层结构系统中，基本层中包含有在较低帧率上编码得到的编码视频信息，而精细层则 包含有较高速率的视频信息( 通常采用双向运动估计预测编码) 。假如属于精细层的 信息丢失，则视频图像的质量就会受到很大影响。采用这种分层方法的系统所具有的 优点是编码效率相对较高，并且不会受到精细层中时间域误差传播的影响。但是对各 层编码速率的控制相对较为困难，另外这回总方法在低速率实时应用中会引入较大的 时延。 1 0 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 ( 2 ) 数据分区 在基于数据分区的分层编码中，最简单的方法是采用基于数据块的分层编码方 案。在该方案中将每个数据块分割成低频和高频信息两部分。运动矢量和低频信息放 置在高优先级层中，高频信息则放到低优先级层中。该系统允许对于数据分区的位置 有较高的自由度和适应性。 ( 3 ) 双重编码u a lc o d i n g ) 该方法是在高优先级层中使用粗量化对全部视频或图像信息进行编码，而在增强 层中将残差通过精细量化器重新进行编码。这种方法的优点是在基本层中包含有更好 的频率分布特性。 3 可逆变长编码 可逆变长编码是h u f f m a n 编码的一种扩展，其中每一个码字都可以从前后两个方 向进行解码，从而提高了码流的鲁棒性。可逆变长编码能够同时从前向和反向对比特 流进行解码，如果前向解码比特流发现错误时，可以从反向解码比特流。这样做的好 处在于可以减小信道编码的误码控制和检测的负担，从而提高信道的利用效率。 4 最优模式选择方法 最优模式选择方法的基本思想是当网络丢包率增加时，编码器采用帧内编码方式 而不采用帧间预测编码方式。由于帧间编码方式下的编码视频信息在解码时需依赖多 个视频帧的信息，而这些信息有可能出现丢失的情况，从而严重影响解码器输出重构 视频图像的视觉质量。目前的研究大多集中于如何在指定的比特率约束下合理选择者 两种编码模式以使解码器端重构视频图像达到整体最佳的播放效果。 5 多值描述编码 在低比特率视频通信中，也可以使用多值描述编码( m d c ) 来增强码流的抗误 码能力。多值描述编码是将一个视频序列编码成若干各不同解析度的视频编码流，接 收方只要接收到一个视频流就可以独立进行解码，同时接收到的视频流越多，解码视 频的播放质量越好。 6 矢量量化技术 矢量量化技术是容错系统中经常使用的一种方法。矢量量化的优点在于通过使用 固定长度的码字来限制误码在单个码字中的传播。这里主要介绍容错熵编码( e r e c ) 和金字塔矢量量化( p v q ) 编码。 e r e c 仅通过对现有编码方案进行略微优化便可提高对随机误码和区间误码的 容错性能，同时又能够保持较高的压缩比。使用e i 也c 量化方案的系统在无噪信道中 可提供较为优良的视频信息编码性能。另外e r e c 量化方案也可应用于变速率传输系 统。 l l 北京邮电大学硕十论文 基于h 2 6 4 的差错控制错误隐藏技术研究 金字塔矢量量化( p v q ) 是一种网格矢量量化技术。该技术适合于针对d c t 编码 或子带编码以及对具有l a p l a c i a n 分布特性的视频信息进行编码。仿真实验表明，使 用金字塔矢量量化技术的系统在较高的信道误码率下仍可以提供良好的容错性能。 7 预测编码 预测编码方法如差分脉冲调带t j ( d p c m ) 方法常常应用于结构简单且复杂度低的编 码器中。但是由于这种方法会造成误码在预测编码回路中的传播，必要时可使用具有 鲁棒性能的预测器，例如有限冲击响应( f i r ) 中值混合预测器以降低这种误码传播 的不利影响。 8 自适应改变调制方式 采用自适应改变调制方式与信道编码相结合的技术也可以提高系统的抗误码性 能。在移动速度较低和对时延要求不严格的情况下，c h e r r i m a 等提出了一种突发自适 应调制方式的方法：当信道质量较好时，采用高阶调制模式，反之则采用较为强健的 低阶调制模式。另外在信道编码中使用了t u r b o 码，它与传统的b c h 码相比，可以 减少编码视频信息的丢包率，提高有效的吞吐量和改善视频质量，但同时引入了较大 的时延。 9 主观质量控制策略 宋彬等提出了一种视频通信的主观质量控制策略：在给定的信道速率和误码率环 境下，按照一定的准则联合信源，信道编码，尽可能地提高重构图像的主观质量。该 控制策略给出了影响重构图像主观质量的两个主要因素：粗量化或误码产生的方块效 应和重构图像的帧频。在高误码率环境下，根据一定的准则以权衡和调整f e c 的纠 错能力和量化因子，从而有效的提高并保证重构视频的质量。 1 2 1 3信源信道联合误码控制技术 信源和信道的低层交互，如量化器、熵编码、f e c 和调制方案等，就称为信源信 道联合编码。将信源信道编码联合在一起抗误码是非常有效的误码控制技术，同时 也是一个重要的研究方向。信源、信道联合编码是根据整体率失真理论动态的为编码 视频信息和信道的f e c 保护信息分配带宽，使得接收端重构视频图像的整体播放效 果达到最佳。 在给定的信道错误特性下，设计量化器和熵编码器使传输错误的影响最小化。当 信道有大量噪声时，p c m 编码时源编码级粗的量化反而胜过细的量化。可以设计优 化量化器，使在给定输入数据概率分布和信道错误特性下。量化和信道错误的组合均 方误差最小。 信源和信道的组合编码可以有三个选择。( 1 ) 对于每个量化变换系数，调制和 北京邮电大学硕士论文基于h 2 6 4 的差错控制与错误隐藏技术研究 f e c 是相同的。( 2 ) 对于相同量化变换系数，调制和f e c 是相同的，对于不同的系 数可以是不同的。( 3 ) 对于同一变换系数的不同比特位，调制和f e c 也可以是不同 的。基本的原则是，对于有更多噪声的信道，应该更少的比特