（检测技术与自动化装置专业论文）h264avc的错误隐藏技术研究.pdf

摘要 摘要 随着通信技术和网络技术的发展，视频流业务在网络通信中占据越来越重要 的地位。h 2 6 4 标准是由运动图像专家组m p e g 和i t u 中视频编码专家组v c e g 联合制定的视频压缩编码标准。与之前的标准相比，h 2 6 4 比h 2 6 3 + 和m p e g 4 表现出更好的亲和性，它采用了更多的先进技术，使得在同样的码率下运用h 2 “ 标准编码可以获得更好的主客观质量。同时h 2 6 4 新标准的高效压缩算法使得视 频流在传输过程中对误码丢包更为敏感，即使单个突发性的随机错误，也可能严 重干扰接收端的正常解码，造成系统不稳定，或者重建视频质量的急剧下降。由 于目前i n t e m e t 和无线网络不能提供可靠的数据传输，因此视频流在这些网络传 输时经常会发生误码和数据丢包等传输错误。所以在复杂网络环境下的传输稳定 性在系统中尤为重要。 本文首先介绍了视频编解码的技术背景，应用领域和研究现状，然后对 h 2 6 4 a v c 的容错技术及错误隐藏技术做了重点研究，比较了传统的容错技术， 并对之进行分类和归纳总结，本文还研究了h 2 6 4 提供的新的差错控制方法：如 数据分割，帧内编码，参数集的使用，灵活的宏块排序( f m 0 ) ，冗余片结构等。 在此基础上，本文提出了一种基于数据嵌入的错误隐藏算法。在编码端提取每个 宏块的编码模式及与其运动矢量最相似的相邻块索引号，并按上述结构进行编码； 根据宏块交错原理在下一个帧中选择相应的嵌入对象块：再用奇偶嵌入法把重要 信息嵌入到下一帧的相应码流中去；当解码端丢失正确宏块时，该算法就可以提 取嵌入到下一帧的最近似的领域运动矢量来替代相应宏块的运动矢量继续进行错 误隐藏。实验结果表明这一方法具有以下优点：( 1 ) 简单易实施，( 2 ) 对宏块连续出 错的视频图像恢复具有明显的有效性，( 3 ) 冗余比特增加少。该算法在没有提升很 大复杂度的情况下，错误隐藏主观和客观效果( p s n r ) 比h 2 6 4 a v c 自带的算法 有明显的提高，可为工程上视频错误处理提供参考。 同时展望以后所要处理的工作。 关键词：视频编码h 2 6 4 ， v c 容错技术错误隐藏数据嵌入 摘要 a b s t r a c t w i t h 山et e c h n o l o 百c a ld e v e l o p m e n to fc o 咖u 1 1 i c a t i o i l sa n dn e t 、v o r k s ，v i d e o s 仃e 锄i n gs e r v i c e sa r ep l a y i n gam o r ea 1 1 dm o r ei m p o r t a n tr o l ei nt h ef l e l do fn e t 、v o r k c o m m u i l i c a t i o n s 1 1 1 em o v i n gp i c t u 陀e x p e r tg r o u p ( m p e g ) a n dv c e g 、r k e d t o g e t h e r 鹤aj o i mv i d e ot e a i n ( 1 ) 1 1 1 e yc r e a t e das i n 出et e c i l i l i c a id e s 砸c a l l e d h 2 6 4 a v cf o ra l li t u - tr e c o i n m e n d a t i o nh 2 6 4 a v ca n df o ran e wp a r to ft l l e m p e g - 4s t a n d a r dc a l l e da v c c o m p a r e d 、v i t l lh 2 6 3 + o rm p e g - 4 ，h 2 “p e 眦池a r e d u c t i o nb i tr a t eb y5 0 f o ras i m i l a fd e g 心eo f e n c o d e r o p t i i 工l i z a t i o na ti n o s tb jcr a t e s h 2 6 4b i ts t r e 锄sc 趾b ee 船i l yt r a l 印o r t e do v e rd i m 肥mn e t 、v o r k s 炳u 曲t l l e n e m o r ka d 印诅t i o nl a y c r ( n a l ) l 2 6 4o 彘r sg o o dv i d c oq u a l 时a 1 1 d1 0 wb “m t e s b e c a u s ei tl l a sm o r ec r e a t i v ea l g o r i t l l m s m e a i l w h i l e ，m o r ee m c i e n ta l g o r i t h f l sl e a dt 0 m o r e c o m p l e x i t y 觚dm o r ec o n e l a 吐o n ，a n d 卸yb “锄r0 rp 扯l 【a g e l o s si 1 1 仃a 嘲i s s i o nc l l a e lm a yb eas i g t l i & a n te r r o ri nd e c o d 盯o ra na c u t c “d e oq u a l 时 l o s s s oe r r o rc o m r o lo v 盯眦e l i a b l en e t 、v o r ki s t l l em o s t 吼p o r t 锄tm i i l gi nar o b u s t s y s t e m f i r s t ，t l l i sp a p e ri l i 廿c l d u c e dt l l eb a c k g r o 咖吐印p l i c a t i o n 锄do v e n r i e wo fv i d e o c o d i n g i te l a b o m t e dm 锄ye f r o rf 鄂i 】j e n c er e l a t e d0 e c l l l l i q u e sg e n e f a l l y 肋dc l a s s i 矗c d t 1 1 e m d e e p c rr e s e a r c h 、v 器t a k e no ne r r o rc o n c e a l m e n tf o rh _ 2 6 4 i i lo r d e r t oi i i l p r o v e t 1 1 ee 玎o rc o n c e a l i n gp e r f o n l l a i l c eo fh 2 6 4 a v c ，an e wa l g o r i t l l mw 如p r e s e m e d a t t i l ee n c o d e r i ep r o p o s e ds c h e m ef i r s te x 仃a c t e dt l l ei m p o n a md a l a 缸 me a c hm a c r o b l o c k ( m b ) ，w l l i c hc 趾b el l s e df o re r r d rc o n c e a l i n e n ta l 吐屺d e c o d e lt h e s ed a t aw e r e e m b e d d e dm t ol l l en e x tf i a i l l el l s i n gt i l eo d d e v e nd a t a 锄b e d d i i l gs c h e m ei r i 锄 m b i n t e r l e a v i n gs l i c e - b a s e dm 锄e la tt l l ed e c o d e r ，w h e nt h ed e c o d e rc o u l dn o t r e c e i v em er i 出m b ，i tw o u l de x t r a c tt 1 1 e 锄b e d d e dd a 土at oc o n c e a lm ec o r n l p t e dm b 1 1 l i st e c h i l i q u eh 勰f 0 1 l o w i l l gm e r i t s ：( 1 ) e a s yt 0i i n p l e m 吼( 2 ) o b v i o l l s l yi l l l p f o v et h e e 岱c j e n c yo fv i d c 0 盯0 r - r e c o v e a 1 1 d ( 3 ) n c e d sl i t er e d 叫d a | 1 c yb i t s e x p e r i m e n t a l r e s u l t ss h o wt h a tt l l ee n d rc o n c 乩l i i l gp e 面衄趾c eh 龉i m p r o v c dg r e a t l yt 1 1 a nm 砒o f t i l ej mi n o d e l ，b o t hs u b j e c t i v e l y 锄do b j e c t i v e i y f i n a l l yt l l i sp a p e rg a v em ec o n c l i l s i o n 姐d 血t 1 1 】r ew o r k k e y w o r d s ：v i d c o d i n g h 2 “，艄e m ri 啦e n e 肿rc o n c 蛆h e 叭 d a t ae m b e d d i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：盔连日期缒：! ：! ! 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 日期兰堕：! ：! 日期z 盟芷12 f ：f 笠 第一章绪论 第一章绪论 1 - 1 引言 信息是对客观世界中最本质的客观规律的描述和分析，是当前信息社会的支 柱。人类通过视觉途径获取的信息【i 】，占信息量的7 0 ，所以视频信息的开发、 利用，对提高人类社会的物质和精神文明具有及其重要的理论意义和应用价值。 同时随着多媒体与网络技术的飞速发展，现在的通信业务己从电话、传真、电报 发展为可视电话、视频会议、视频点播等，即由音频为主的业务发展到具有直观 性、确定性、高效性等优越性能的视频业务，而数字化的视频信息所包含的海量 数据，对信息的存储和传送都造成了极大的困难，阻碍了人类有效地获取和利用 信息资源。为此，必须将视频信号在传送前进行压缩编码。 h 2 6 4 a v c 【2 】与其它的视频编码标准相比，在原有标准基础上，由于采用了多 项改进技术( 将在本论文的第二章中具体介绍) ，在相同视觉感知质量上，h 。2 6 4 的 编码效率比h 2 6 3 和m p e g - 4 提高了近5 0 ，并具有更好的网络友好性。它面向 从高比特率到低比特率，从有线到无线的各种应用，在追求更高的编码效率和简 洁表达形式的同时也提供了非常好的视频质量，是当前最高效的视频压缩编码标 准。 但对于高效视频通信【3 】1 4 】而言，降低原始视频码率只是其中的一个方面，另一 个同等重要的任务是要处理通信网络中的差错和损失。数据通信一般不会受到严 格的延迟约束，因此能够采用基于重传机制的网络协议以确保无错传输。实时视 频则不同，它对延时敏感，因此广泛使用预测编码和变长编码，致使压缩的视频 流更容易受到传输差错的损害，对于压缩视频流，任何一点破坏，都可能在解码 器端产生令人讨厌的视觉失真。 因此，差错控制和错误恢复技术的研究在视频通信系统中变得尤其重要，是 一个非常重要的课题。近年来，许多人在这方面做了很多突出的贡献，研究出许 多非常实用的技术。 1 2 视频通信系统基本结构 一个完整的视频通信系统包括信源压缩编码、与音频等其它数据打包复用， 网络传输，解复用，解包和信源解码重建五部分嘲( 如图1 1 ) 。 2 基于h 2 6 4 倩、，c 的错误隐藏技术研究 图1 1 通信系统结构图 信源压缩编码的目的是去除视频信源自身大量的冗余信息，减少传输信息所 需的比特数，以适应传输网络的带宽约束：网络传输的目的是为了将压缩过的视 频源通过一定的方式准确、完整、有效、及时地传输到目的地；信源解码重建的 目的则是将接收到的压缩数据准确地、真实地还原为其原始面貌，以使接收方获 得发送方的视频信息。 接收方重建的视频与原始视频的差异称为失真。根据率失真理论【6 j ，给定一 个失真的允许范围，将对应一个描述信源的最小比特数。如果以低于这个数的比 特流来表述信源，失真将会超过允许的范围。反之，当以高于这个数的比特流来 表述信源，失真才能在允许的范围之内。一个高效的信源压缩编码器需要在满足 给定失真的条件下，尽可能地去除信源自身的冗余信息( 空间的、时间的) ，减少 表述信源所需的比特数。 如果网络能够保证无比特差错传输，则可直接把复用数据流传送到网络上。 否则，这些数据包一般要经过信道编码，通常使用前向纠错i 7 】( f o n 硼r de n d r c o 玎e c t i o 玑f e c ) 和交织来进行误码保护。f e c 信道编码是通过增加冗余比特的 方式来获得纠错能力，因此其纠错能力与其添加的冗余量有关。当出错比特数超 过其纠错能力时，该数据包将被丢弃。 而且，视频流通常需要与其它业务共享信道，竞争网络带宽资源，因此数据 包可能由于网络拥塞而丢失。物理链路的损坏也会造成数据包的丢失。在无线移 动网络上，信道条件随时问、地点、网络拓扑、干扰、信道衰落等外界因素悼j 而 变化，信道的这种不稳定性更易造成数据包和信息的丢失。 此外，目前各种网络并存，比如h l t 锄e t 、p s t n 、i s d n 、a t m 、8 0 2 1 l 无线 局域网、个人移动通信网等长期并存。这些网络各自所能承载的带宽都有所不同。 当视频流从高带宽网络传向低带宽网络时，就可能造成网络拥塞直至数据包丢失。 另一方面，压缩过的视频流对出错是非常敏感的。这是因为1 2 l ：第一、压缩 过程采用时空预测技术，使后面数据的正确解码需要依赖于前面的数据。假如某 部分数据出错，后续的数据都不能正确解码，直到下一个i 帧出现才能消除。第 二、编码标准采用v l c ( v a r i a b l el e n g t lc o d i n g ) 编码，单个的比特错误将引起 解码器失去同步，造成后面的码字无法正常解码。 因此，在易错( e n d r p r o ) 网络环境内中传输压缩过的视频流是一项艰巨 的任务。必须通过编码器、解码器、网络协议和传输信道等多方合作才能保证视 第一章绪论 ， 频通信达到所需的q o s ( q u a l 崎o f s e i c e ) 要求。 1 3 视频压缩编码的标准化进程 视频压缩编码已经历了五十多年的历史，不仅在理论上取得了重大进步，而 且在实际应用中也获得了巨大成功【9 】。1 9 4 8 年，s h a n n o n 和他的两个学生0 l i v e r 与p i e r c e 联合发表了对电视信号进行脉冲编码调制( p c m ) 的论文，标志着数字 视频压缩编码技术的开端。1 9 6 6 年，n e a l 对比分析了d p c m 和p c m 并提出了用 于电视的实验数据。1 9 6 9 年在美国举行的首届“图像编码会议”表明图像和视频 编码以独立的学科跻身于学术界。半个世纪以来。视频压缩编码技术早已走出实 验室，广泛应用于现代社会的各个领域。视频编码方法种类繁多，从信息保持的 角度可以分为无损压缩和有损压缩两大类。无损压缩利用数据的统计冗余( 数据 之间的相关性、可预测性) 进行压缩，以预测编码和熵编码为基础，可完全恢复 原始数据而不引入任何失真，但其压缩率受到数据统计冗余度的理论限制，一般 为2 ：1 到5 ：1 。此类方法广泛用于文本数据、程序和特殊应用场合的图像数据( 如 指纹图像、医学图像等) 压缩。鉴于压缩比的限制，仅使用无损压缩方法不可能 解决图像和数字视频在存储和传输应用中的问题。因此，视频有损压缩方法也得 到了长足的进步和发展，它除了利用统计冗余进行压缩编码外，还利用了视频数 据的视觉冗余特性，即利用人类视觉系统( h v s ) 对视频信息中某些频率成分不 敏感的特性，允许压缩过程中损失一定的信息，这虽然不能在解码端完全恢复原 始数据，但所损失的部分信息对理解原始图像的影响相对较小( 即视觉无明显失 真) ，同时却换来了相当大的压缩率。有损压缩以变换编码、矢量量化、模型基编 码、分形编码和熵编码为基础。1 9 8 5 年，瑞士学者k u n t 提出了第一代、第二代编 码的概念f l ，他把早期的以去除冗余为基础的编码方法称为第一代编码，如：空 闻域的p c m 、d p c m ，亚抽样编码方法，变换域的d f t 、d c t ，w a l s h h a d a m a 妃 变换编码等方法以及以此为基础的混和编码方法；第二代编码方法通常是指8 0 年 代以后提出的新方法，如金字塔编码】、分形编码i ”j 、矢量量化、基于神经网络 的编码、小波变换和子带编码【j 习和模型基编码【l4 j 等。 视频编码技术真正走向实用化、产业化并得到飞速发展的重要标志之一就是 一系列图像，视频编码国际标准的制订。在国际标准化组织( i s o ) 、国际电工委员 会( 正c ) 和国际电信联盟( i t u - t ) 等组织的协调下，对不同时期图像编码的研 究成果进行了整理和加工，制订了几类通用的压缩编码国际标准( 图1 2 和表1 1 总结了视频编码标准的发展历史及各自的设计目标和应用场合) 。 4 基于h 2 6 4 ，a v c 的错误隐藏技术研究 i t u t s t a n d a r d 3 h 2 6 l l 2 6 j h 2 6 3 十 h2 6 3 + + j o i n t m j 一1 脚e g h 2 6 2 脚e g - 2 h 2 6 4 s b d d a r 蠡 m p e g m p e ( 卜lm p e g _ 4 s t a m i a r d s 1 9 8 4 1 9 嘶1 9 8 81 9 9 01 9 9 21 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 22 0 0 4 图1 2 视频编码国际标准的发展 这些标准代表了不同时期图像编码的发展水平，不仅极大地推动了数据压缩 编码技术的实用化、产业化。同时也在一定意义上刺激了信源理论研究的进一步 拓展。 l 标准标题制定者 h 2 6 l 【1 5 lv i d e o c o d e cf o r a u d i oi t u t v i s u a ls c i c e sa t p 6 4 k b i 龇 h 2 6 3 【1 6 】 v i d e oc o d i n gf o rl o wb i ti t u t h 2 6 3 + 【1 7 】 ra _ t ec o m m 嘶c a t i o n ；h 2 6 3 1 8 】 m p e g ，1 【1 9 】 c o d i n go f m o v i n gp i c t u r e s m p e g 趾da s s o c i a t e da u d i of b r d 画t a is t o r a g e m e d i a u p t o 1 5 m b i t s m p e g 2 刚g e n e r i cc o d i n go f m o v i n gm p e g p i c n l r e sa n da s s o c i a t e d a u d i o | m p e g _ 4 【2 1 】 c 础n g o f a u d i o - v i s u a lm p e g 0 b j e c t s ；h 2 6 4 a v c 【冽 j o i n tv i d e os p e c m c a t i o nt o f ( i t u tr e c h 2 6 4 m p e g l s o 疗e c1 4 4 9 6 - 10a v c la n d n u t 目标应用场合 桌面可视电话、移动视频 通信等 数字电视、d v d 、高清电 视、有线电视及卫星电视、； 视频点播等 i p 网络视频会议、交互式i 视频通信、便携式视频通 信终端、专业视频等 有线电视、无线视频通信、 视频流传输、i p 视频会议 系统、光盘存储、高质量 视频编解码系统、多媒体 邮件等 活动图像专家组( m p e g ) 则负责制订用于数字存储的活动图像及伴音的编码 标准。1 9 9 3 制订了在c d r o m 、硬盘等媒介上存储c i f 格式视频的m p e g 1 标准， 其比特率小于1 5 m b p s 。1 9 9 5 年制订了m p e g 一2 标准，将比特率扩大到l o 2 0 m b p s 第一章绪论 并支持h d t v 格式。近年来又制订了应用范围更加宽广的基于视频对象编码的 m p e g _ 4 标准，以及用于数字图书馆的基于内容检索的m p e g 一7 标准。为了适应 可视电话和会议电视的需要，i t u 。t 的可视电话专家组于1 9 9 3 年制订了面向i s d l n 传输的h 2 6 l 标准( p 6 4 k b p s ) ，在1 9 9 6 年和1 9 9 8 年又分别推出了适合低码率 传输的h 2 6 3 及其改进版本h 2 6 3 + 标准。前进的步伐不会停止，各种新的编码算 法不断推陈出新，图像编码仍在朝着编码效率高、网络适应性好、抗误码能力强 的方向不断发展，标志之一是2 0 0 3 年推出的h 2 6 4 视频编码标准。 视频压缩技术的不断发展，归纳起来具有以下特点：1 ) 支持的算法和工具不 断增加，灵活性和容错能力越来越强；2 ) 编码效率越来越高，图像质量越来越好； 3 ) 算法涉及的计算复杂度越来越高；4 ) 编码标准不断更新。 1 4 1 主要研究工作 1 4 研究工作概要与章节安排 视频压缩编码是多媒体和通信技术发展的必然产物，实际应用过程中又产生 新的要求，从而需要更深入的研究。本文从应用的角度出发，对基于h 2 6 4 a v c 标准抗误码技术进行研究、分析和改进。全部研究工作可以分为如下四个阶段： 1 熟悉视频编码的基本思想和原理，学习数字图像处理和编码理论，奠 定课题开始的初步基础。 2 对现有视频图像编码标准h 2 6 x 系列、m p e g - x 系列等进行深入研究， 对其基本思想、整体框架有了完整认识，熟悉各种标准的理论和应用 范围，分析所采用的关键技术。 3 深入学习h 2 6 4 a v c 标准，针对其验证模型j m ，剖析了 l 2 6 4 a v c 编解码的原理和关键算法，并针对h 2 6 4 ，a v c 部分算法通过软件进行 仿真。 4 对视频编码标准中的容错技术进行研究，总结其技术特点，并对经典 算法进行了仿真和性能比较，在此基础上提出了新算法基于数据 嵌入的错误隐藏技术；使用v c + + 6 0 在j m 上加以验证，并进行了详 细的性能比较。 本文的主要贡献： 1 对经典的视频编码方法进行了系统的研究，对视频编码国际标准的发 展、理论和主要技术进行了研究和分析。 2 介绍了h 2 6 钆w c 视频压缩标准采用的各种先进算法。 3 对视频通信系统中较常用的差错控制技术进行了归纳阐述，对 h 2 6 4 a 、，c 中所采用的典型差错控制技术进行了系统全面的分析，为 研究h 2 6 4 a v c 的差错控制算法提供了宝贵的资料。 4 提出了一种结合数据嵌入的错误隐藏算法。在编码端提取每个宏块的 编码模式及运动矢量最相似的相邻块索引号，并按上述结构进行编码； 根据宏块交错原理在下一个帧中选择相应的嵌入对象块；再用奇偶嵌 6基于h 2 6 4 ，a v c 的错误隐藏技术研究 入法把重要信息嵌入到下一帧的相应码流中去；当解码端丢失正确宏 块时，该算法就可以提取嵌入到下一帧的最近似的领域运动矢量来替 代相应宏块的运动矢量继续进行错误隐藏，实验结果表明该算法在没 有提升很大复杂度的情况下，错误隐藏主观和客观效果( p s n r ) 比 h 2 “a v c 自带的算法有明显的提高，可为工程上视频错误处理提供 参考。 1 4 2 论文章节安排 论文全文一共分为五章： 第一章“绪论”首先详细介绍了视频编码技术的发展历程和研究进展，并介 绍了典型的视频通信系统及存在的主要问题。 第二章“h 2 6 4 视频编码及其关键技术”介绍了新一代视频编码标准h 2 6 4 ， 主要分析了它的各个组成模块算法、编码过程和网络友好性设计。 第三章“错误隐藏技术及 l 2 “的容错工具”研究了视频编码标准中的容错 技术及研究现状，同时详细阐述了h 2 6 4 在抗误码编码方面的新技术、新特点。 第四章“基于数据嵌入的h 2 6 4 的错误隐藏算法”总结了现有的错误隐藏算 法，在分析h 2 6 4 现有的错误隐藏技术基础上，针对h 2 6 4 a v c 的特点，提出了 基于数据嵌入的错误隐藏算法，并分别通过实验与其它算法进行比较，证明了它 的有效性。 第五章“结束语”是对整个论文的总结，在简要回顾论文工作的基础上，对 视频编码容错技术和网络传输的未来发展提出了一些个人看法。 第二章h 2 6 4 ，a v c 的视频编码标准7 第二章h 2 6 4 a v c 视频编码标准 2 1 引言 1 9 9 7 年，i t u tv c e g ( v i d e 0c o d i n ge x p e n sg m u p ) 开始开发一种新的视频 编码标准，并为这项工程命名为h 2 6 l 。2 0 0 1 年，v c e g 决定和i s 伽e cm p e g 组建t ( j o i n tv i d e ot e a r n ) ，将h 2 6 l 发展为一种压缩效率更高、网络接口性能 更友好的视频编码标准。2 0 0 3 年5 月t 完成了h 2 6 4 a v c ( a d v a n c e d d e o c o d i n 曲 编码标准的草案，也即i s 0m p e g - 4p a n1 0 。h 2 6 4 a v c 是在h 2 6 1 、m p e g 2 m 2 6 2 、 h 2 6 3 及其增强版本h 2 6 3 + 小2 6 3 + + 的基础上完成的，其设计目的是解决媒体在甚 低速率网络中的传输问题。与h 2 6 3 和m p e g - 4 标准相比，h 2 “，a v c 能在保持同 样质量的情况下，大幅度降度编码比特率。除了更高的压缩效率，该标准也重点强 调了码流的容错性能以及与不同网络的适配性。 h - 2 “，a v c p 】自2 0 0 3 年3 月正式颁布以来，就成为了视频压缩编码领域发展 中引人关注的焦点，它的优异性能也将在视频监控、网络视频直播、视频会议，电 话、无线移动视频通讯、高清晰度数字电视等各个方面发挥重要的作用。 2 2h 2 6 4 儿w c 的两层编码体系 复杂的信道环境对视频编码器提出了以下要求： ( 1 ) 高效的压缩效率； ( 2 ) 对误码、丢包有较强的鲁棒性； ( 3 ) 支持快速的码率调整； ( 4 ) 能有效地利用特定网络机制，即网络友好性。 为了解决上述问题，h 2 “a v c 采用了分层结构以适应各种网络应用的要求。 在h 2 6 4 采用的全新编码结构中，首次提出了网络抽象层( n e “v o r ka b s 柏c t i o nl a y n a l ) 的概念，其码流结构增强了对网络的适应性；还采用了数据掩盖和错误恢复 等技术使之具备了在高误码率、丢包多发的信道中传输的能力，能够很好的适应m 和无线网络的应用，这些都大大提高了h 2 6 4 a v c 适应复杂信道的能力。 h 2 6 4 w c 从概念上将编码结构分为两层：视频编码层( d e oc o d i n gl a y e r v c l ) 负责解决高效率的视频压缩问题；网络抽象层( n e t w o r ka b s 仃a c t i o nia y e r ， n a l ) 负责解决网络的适配问题，即对不同网络具有不同的适应能力，以恰当的方 式对数据进行打包和传送。它的编码器分层结构如图2 1 所示。n a l 将v c l 从具 体的传输层中抽象出来，定义了一个基于基本的和独立于网络的表示法。在v c l 基于h 2 6 4 ，a 、，c 的错误隐藏技术研究 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令属于n a l 的一部 分。这样的结构使两层更专注于本身功能的实现，优化了整个编码系统。 h 2 6 4 ，a v c 概念层 视频压缩编码层视频压缩解码层 视频压缩网络存取层接口t v l c n 乩 网络抽象编码层 网络抽象解码层 jl 网络存取层编码接口网络存取层解码接口 传输层 旧对ji 怒忙勰ij 篇9fi 黑罗f n 弧 有线网络 无线网络 图2 1h 2 6 4 ，a 、，c 的分层编码结构 v c l 是h 2 “a v c 的核心编码层。包括基于块的运功补偿混合编码和一些新 的特性。n a l 的主要功能是：对上层，从视频编码层v c l 获得数据，包括头信息、 视频压缩数据信息；对下层，依据具体传输网络的特性对数据进行封装，包括成帧、 发信号给逻辑信道、利用同步信息等，定义适合传输层或存储介质需要的数据格式， 提供头信息，将视频编码数据正确地映射到h 3 2 3 、h 3 2 4 等具体的传输协议上， 从而提供视频编码层与外部世界的接口。它是以n a l u ( n a lu n i t ) 为单元来支持编 码数据在大多数基于包交换技术网络中的传输的。 2 3h 2 6 4 ，a v c 的类( p m f i l e ) 和级( l e v e l ) 类是h 2 6 4 ，a v c 定义的语法、语义及算法的子集；级是在某一类下对语法元素 和语法元素参数值的限定集合。 在2 0 0 3 版的h 2 6 4 标准草案中【2 4 1 定义了三个类( p r o 翻e s ) ，每个类支持特定的 编码工具，实现髯白的功能，支持相应的应用领域。各类主耍含有的特点如下： 基本类( b a l i n ep r o f i l e ) ：利用i 片和p 片支持帧内和帧间编码，支持利用基于 第二章h 2 6 4 ，a v c 的视频编码标准 9 上下文的自适应变长编码进行熵编码( c a v l c ) 。 主要类( m a i np m f n e ) ：支持隔行视频，采用b 片的帧问编码和采用加权预测的 帧内编码；熵编码采用基于上下文的自适应算术编码( c a b a c ) 。 扩展类( e x t 朗d c dp r o f i l e ) ：支持码流之间有效切换( s p 和s i 片) 、改进抗误码 性能( 数据分割) 。不支持隔行视频和c a b a c 。 图2 2h 2 6 4 ，a v c 所支持的三个类 图2 2 显示了三个类之间的基本关系。显而易见，基本类是扩展类的子集，但 不是主要类的子集。每一类附加有级的属性，以限定该编码器支持的图像尺寸，采 样率，编码码率和内存需求。 h 2 6 4 a v c 支持4 ：2 ：o 的连续或隔行视频的编码和解码，其它的采样格式如 4 ：2 ：2 和4 ：4 ：4 可作为它的可用信息参数。 2 4h 2 6 乱w c 的编解码器 h 2 6 4 心，c 和以前的标准一样，也是预测编码与变换编码的混合编码模式，具 备良好的兼容性和可移植性。但它采用“回归基本”的简洁设计，不用众多的选项， 获得比以前编码标准更好的压缩性能；加强了对各种信道的适应能力，采用“网络 友好”的结构和语法，有利于对误码和丢包的处理：应用目标范围较宽，以满足不 同速率、不同解析度以及不同传输( 存储) 场合的需求。 2 4 1h 2 6 4 编码器 编码器包括两个数据流通道：前向通道和重建通道。输入的帧或者场只以宏块 为单元进行处理，每个宏块又采用帧内或者帧间预测模式。在帧内模式中，。预测值 是从已被编码、解码和重建( 如图2 _ 3 中的“c ) 的当前片组里的样本得到的。 0 基于h 2 “，a v c 的错误隐藏技术研究 图2 3h 2 6 w c 编码器 在帧间模式中，预测值从l i s t o 和或l i s t l 中的1 个或者2 个参考图像中进行运 动补偿后得到的。在图中，参考帧为，帧间预测时可以选用当前帧前面或者后 面( 在显示顺序) 的图像作为参考图像。预测值与当前块相减得到一个残差块见， n 经过块变换、量化、扫描和熵编码后，得到一个含有熵编码系数和对宏块进行 解码需要的边缘信息( 如预测模式、量化参数、运动矢量等等) ，产生了压缩的比 特流，将其传输到网络抽象层( n a l ) 中进行传输或者存储。 重建通道是为下一步预测提供一个参考帧。系数x 经过反量化和反变化得到残 差块e ，再与预测值相加得到重构帧，得出的结果经过块滤波器平滑后送入帧存 储器。 2 4 2h 2 6 4 解码器 图2 4 解码器框图 当编码后的码流送入解码器时，首先根据语法元素进行判断。如为帧内编码， 则直接进行反量化、反变换加以重构；如果是帧间编码，所得到的为重构的残差图 像，此时需要根据帧存储器中的参考图像进行运动补偿后与残差图像进行叠加，得 出最终的当前帧。 第二章h 2 6 4 a 、，c 的视频编码标准 2 5 1 帧内预测 2 5h 2 6 4 ，a v c 的视频压缩编码技术 帧内预测编码指使用已编码的块为当前块形成一个空间域预测块p ，然后对残 差块进行编码【2 5 1 。对于亮度分量，需要为每一个4 4 或1 6 1 6 块形成p 块。h 2 6 4 定义了9 种4 4 亮度块预测模式，4 种1 6 1 6 亮度块预测模式，以及4 种色度块 预测模式。h 2 “仍采用率失真优化模式判决方法选择最佳的帧内预测模式。4 4 和1 6 1 6 预测模式分别适合用于图像的细节区域和平坦区域。每个4 4 块的帧内 预测模式都需要编码，这需要耗用大量的比特。实际上，相邻4 4 块的帧内预测 模式是相关的，利用这种相关性可以减少编码比特开销。1 6 1 6 帧内预测模式则是 在宏块编码的头信息中加以说明。 2 5 2 帧间预测 h 2 6 4 a 、，c 的帧间预测主要是利用连续图像序列帧与帧之间的相关性闭，通过 运动补偿的预测编码方法来消除视频图像的时间冗余。它除了具有原来标准如 l 2 6 3 、m p e g - 4 中的p 帧、b 帧预测方法外，还增加了许多新的特点：可变块运 动估计、1 4 像素精度( 亮度分量) 的运动估计、多参考帧运用、b 片预测及加权 预测等等。 1 可变块运动估计 在h 2 6 4 ，醵，c 中，每个宏块的亮度分量( 1 6 1 6 ) 采用4 种分割模式：1 6 1 6 ， 1 6 8 ，8 1 6 ，8 x 8 ，进行运动补偿，当采用8 8 分割模式时，还可以进一步分成更 小的8 4 ，4 8 ，4 4 子块进行运动补偿。这些宏块和亚宏块大大提高了各宏块间的 关联性。这种分割的运动补偿也可以称为树结构运动补偿，如图2 5 所示。 m a c r o b l o c k s u b a c r o b l o c k 口目皿田 8 8 8 4 4 84 4 口目田田 图2 5 宏块及亚宏块分割 每个宏块或者亚宏块都需要运动估计，并返回一个独立的运动矢量( m o t i o n 、j c t o r ) 。宏块的分割模式和全部运动矢量都需要编码。选择大尺寸分割块的优点是 基于h 2 6 4 ，a v c 的错误隐藏技术研究 仅需要少量的比特即可表示宏块的分割模式和运动矢量信息，缺点是对应于图像帧 的细节区域的运动补偿残差图像的能量可能很大，从而影响压缩效率。选择小尺寸 分割块的优点是运动补偿残差图像的能量可能很小，有利于提高压缩性能，缺点是 需要大量的比特表示宏块的分割模式和运动矢量信息。所以，宏块分割尺寸的选择 对压缩性能具有重要的影响。通过如下的率失真优化准则i 0 ( r a t ed i 咖m o n o p t i i r l i z e d ) ( 2 1 ) 可以确定最优的匹配模式，是的宏块的编码需要的信息比特最少。 ，( 所，五胁椭) = 删d ( j ，c ( 所) ) + 五胁黼r ( m p )( 2 一1 ) 其中所= ( ，所，) 7 代表运动矢量，p = ( 见，p ，) 7 表示运动矢量的预测值，五。 拉格朗日乘法器，r ( m _ p ) 代表用来对运动信息进行编码的比特率，在查找表中得 到。s a d ( 绝对误差和) 值通过( 2 2 ) 式得到： 业。 翩d ( 5 ，c ( m ) ) = h x ，y 卜c i z 一，j ，一4 ( 2 - 2 ) p 1 ，y = i 当b = 1 6 ，8 或者4 时，s 是原始的视频信号，c 是已编码的视频信号。 2 1 4 像素( 亮度分量) 精度运动估计 h 2 6 3 中允许使用半像素精度的运动估计。h 2 6 4 a v c 进一步提高了运动估计 精度，能够实现l “像素精度的运动估计。与整数精度的空间预测相比，使用高精 度的运动估计更为精确，p s n r 增益能够提高1 3 d b 以上【2 7 】【2 8 】。 高精度运动估计首先进行整像素级别的运动估计，当搜索到整数级别的最佳匹 配块时，在该点士l 像素范围内处进行插值，得到l “像素精度的采样点。最后在这 些亚像素采样点中进行搜索，得出的就是1 4 像素精度的最优运动矢量。 h 2 6 4 舱v c 的插值计算分为两步：首先对整数位置的像素点在水平和垂直方向 上分别使用式( 2 3 ) 所示的6 插头f 瓜滤波器做插值运算，以得到l 陀像素位置的 采样点。 f = 【l ，5 ，2 0 ，2 0 ，一5 ，1 】( 2 3 ) 如果水平方向的像素点分别为a ，b ，c ，d ，e ，f ，此时点c 和点d 之间1 2 像素位置的插值点为a = ( a 5 b + 2 0 c + 2 0 d 5 e + f ) ，再对a 取整之后即可。 随后对整数位置和l 2 像素位置的采样点进行普通的均值滤波，即得到l 4 像 素位置的采样点。 当对色度分量的进行插值运算时，采用双线性插值获取非整像素采样点的色度 值，由于色度分量采样率只有亮度分量的l 陀，因而色度分量的运动估计最高可达 l 8 像素精度。 第二章h 2 6 4 ，a v c 的视频编码标准 圈圈困囤圉 1f 园圃 园圜 团 圈 圈 团 圆 圈 曰圈困园固口围 i厂f匡i 闻同| - ；啊 图2 61 4 像素精度运动估计 与m p e g 一鲫心( a d v a i l c e d p r o f i l e ) 相比，h 2 “a v c 中使用的插值算法运算 量更小。在运动估计中可以产生低通滤波或高通滤波的效果，易于在图像的低频信 息和高频信息中进行取舍，插值的结果在统计特性上与原数据的相似度差别不大。 3 多参考帧预测模式 在h 2 6 4 ，a 、，c 中，对p 帧或者b 帧编码时最多可采用1 5 个参考帧迸行帧间预 测，以此进一步提高运动估计的精度。这样比单独参考帧方法可以节省5 l o 的传 输码率，并且有利于码流的错误恢复。图像编码顺序不是基于时间的图像显示顺序， 面是基于图像之间的依赖关系的。图2 7 表示了p 帧编码多参考帧运动估计的示意 图，这里使用过去的3 帧对当前帧进行预测。 多参考帧模式同样适用于b 帧。p 帧和b 帧图像的参考图像存储在两个参考帧 存储器( 1 i s t0 、l i s t1 ) 中，分别存储前向预测参考帧和后向预测参考帧。由于每个 参考帧存储器中都包含不止一幅图像，因此它包括了原有两个参考帧和多参考帧的 更般的情况，因此可以提高编码效率。但是同时，编码器必须通过参考帧选择过 程选取最多参考帧进行运动补偿和预测过程，为此，还必须为参考帧提供内存空间 和增加索引值，这也增加了系统的处理时间和存储开支。 1 4 基于h 2 6 4 a v c 的错误隐藏技术研究 m mmh l