（微电子学与固体电子学专业论文）基于h264的码率控制与错误隐藏算法研究.pdf

摘要 基于h 2 6 4 的码率控制与错误隐藏算法研究 摘要 随着视频压缩编码技术的发展和一系列国际标准的相继出台，数 字视频在各领域得到广泛应用。特别是h 2 6 4 国际标准的提出，可以 实现数字视频的更高压缩比、更好的图像质量和良好的网络适应性， 使得数字视频从影像存储、数字电视等扩展到网络、无线视频应用。 网络视频应用对视频传输、码率控制、差错控制与错误隐藏等技术提 出了更高的要求。h 2 6 4 的许多新特点，如多宏块多参考帧运动估计、 r d o 优化等，为码率控制和错误隐藏带来新的挑战，同时高度的计算 复杂性，使之难以实现实时应用要求。本论文基于h 2 6 4 标准，对其 中的几个关键技术进行了深入研究，主要包括h 2 6 4 快速预测算法、 码率控制、错误隐藏和算法优化以及d s p 实现。 一、研究了h 2 6 4 的快速预测算法。针对h 2 6 4 的帧内预测特点， 提出了一种基于纹理方向估计的快速帧内模式选择算法。针对h 2 6 4 的多模式帧间预测特点，提出了一种快速帧间模式选择算法。并进行 了大量实验研究，能实现快速的帧内与帧间预测编码，为h 2 6 4 的实 时应用提供了有力保证。 二、研究了h 2 6 4 码率控制算法。针对t - g o l 2 码率控制算法的 不足，提出一种基于图像直方图的改进算法。详细分析了影响码率的 主要因素和h 2 6 4 的特点，提出了一种新的率失真模型，并基于此模 型研究了一种更为精确、简单的码率控制算法，有效地提高了h 2 6 4 码率控制的性能。 北京邮电大学博士学位论文 三、研究了h 2 6 4 的错误隐藏算法。结合h 2 6 4 帧内编码特点， 提出了一种用于帧内预测解码的基于边缘分析的错误隐藏算法。从像 素域恢复预测残差的角度出发，研究了一种用于帧间预测解码的基于 残差恢复的错误隐藏算法，实现更为准确的错误隐藏，有效地提高了 图像的主客观质量。 四、研究了基于p c 的算法优化技术和基于d s p 平台的嵌入式 h 2 6 4 编码器实现。基于p c 桌面系统，研究了基于i n t e ls s e 技术的 h 2 6 4 算法优化，使编码速度得到有效提高。基于t m s 3 2 0d m 6 4 2 处 理器，通过详细的系统设计和算法优化，成功地实现了嵌入式h _ 2 6 4 视频编码器，以及基于c d m a 的无线网络传输，将有力地推动h 2 6 4 标准的应用与发展。 关键词：视频编码，h 2 6 4 标准，码率控制，错误隐藏，d s p 实现 r e s e a r c ho nr a t ec o n t r o la n de r r o r c o n c e a l m e n ta l g o i u t h m s b a s e do nh 2 6 4 d e oc o d i n g s t a n d a r d a b s t r a c t 、i t hm ed e v e l o p m e mo fv i d e oc o d i n gt e c h n 0 1 0 9 ya n d l er e l e a s eo fa s e r i e so fi n t e m a t i o n a ls t a n d a r d s ，d i g i t a lv i d e oh a sb e e nf o u n daw i d er a n g o fa p p l i c a t i o n si nm a n y 矗e l d s e s p e c i a l l yw i t ht h ei n t e m a t i o n a ls t a n d a r d h 2 6 4 ，t 1 1 eb e t t e rp e r f o r m a n c ei nc o m p r e s s i o ne f ! f l c i e n c y ，i m a g eq u a l i t ya n d n e t w o r ka d 印t a b i l i t yc a j lb er e a l i z e d ，w h i c hm a k e sv i d e oe x t e n dt on e t w o r k a n dw i r e l e s s 协a n s m i s s i o n m o r er e q u i r e m e n t si nc o m p r e s s i o ne m c i e n c y r a t ec o n t r o l ，e rc o n t r o la i l dc o n c e a l m e n ta r ep r o p o s e df o rn e t w o r k a p p l i c a t i o n s m a l l yf e a t u r e si n c l u d e di nh 2 6 4 ，s u c ha sm u l t i m a c r o b l o c k a n dm u l t i r e f b r e n c e - f r a m em o t i o ne s t i m a t i o n ，e m p l o y i n gr a t e d i s t o r t i o n o p t i m u mt e c h n i q u ea n ds oo n ，h a v eb r i n gu pc h a l l e n g e sf o rr a t ec o n t r o l a n de r r o rc o n c e a l m e n t t h ec o m p u t a t i o n a lc o m p l e x i t yo f t h eh 2 6 4 e n c o d e rm a k e si td i 伍c u l tf o rp r a c t i c a l 印p l i c a t i o n ss u c ha sr e a lt i m ev i d e o c o m m u n i c a t i o n b a s e do nh 2 6 4 ， s e v e r a l k e yt e c h n 0 1 0 9 i e s d e c r i b e d h e r e i n a a e r ，a r ea 1 1 a l y z e d f i r s t l y ，f a s tp r e d i c t i o na l g o r i t h m sf o rh 2 6 4 a r ei n v e s t i g a t e d af a s t i n t r am o d ed e c i s i o n a l g o r i t h m b a s e do ne s t i m a t i o n i m a g e t e x t u r ei s p r o p o s e df o ri n t r ap r e d i c t i o n ，w h i l ea f a s ti n t e rm o d ed e c i s i o na l g o r i 她i s d e v e l o p e df o ri n t e rc o d i n g t 1 1 ee x p e r i m e n t a t i o n sh a v es h o w e dt h a tm e p r o p o s e da l g o r i t h m sc a nh n p r o v ei n t r aa n di n t e rp r e d i c t i o nc o d i n gs p e e d c o n s i d e r a b l y ，w h i c he n s u r ei t sp r a c t i c a l r e a l - t i m ei m p l e m e n t a t i o n i 北京邮电大学博士学位论文 s e c o n d l y ， a n i m p r o v e da l g o m 吼f o rj 乙g o l 2 r a t ec o n 们1i s p r o p o s e dw i t hi m a g eh i s t o g r 锄t h ef 犯t o r sm a ta f f e c tb i tr a t ea n dm e c h a r a c t e r i s t i co fh 2 6 4a r ea n a l y z e d 证d e t a i l an e wr a t ed i s t o r t i o nm o d e l i ss t u d i e d b a s e do nt h ea b o v em o d e l ，a na c c u r a t ea n ds i m p l er a t ec o n t r o l “g o r i t h m ，w h i c hc a ni m p r o v eh 1 2 6 4 ra _ t ec o r 虹o l p e r f o n n a n c e ， i s p r e s e n t e d t h i r d l y ，e r r o rc o n c e a l m e n ta 1 9 0 r i t h i n sa r es t u d i e d c o n s i d e r i n gi n 讹 c o d i n gf e a t u r e ，a ni n t r ae r r o rc o n c e a l m e n ta l g o r i t h mi sp r o p o s e d t b o b t a i nb e t t e rp e r f o n n a n c eo fe r r o rc o n c e a l m e n t ，w eh a v ei n v e s t i g a t e da i m e rc o n c e a l m e n tb a s e do nr e s i d u a le s t i m a t i o n 仔o mp i x e l d o m a i n ，廿l u s h 2 6 4e r r o rr e s i l i e n c ya n di m a g eq u a l i 哆a r ei m p r o v e dg r e a t l y f i n a l i y ，t h ep r a c t i c a lr e a l - t i m ei m p l e m e n t a t i o no fh 2 6 4e n c o d e ri s d i s c u s s e d f o rt h ed e s k t o pa p p l i c a t i o nb a s e do np c ，c o d ei so p t i m i z e db y i n t e ls s ei n s t m c t i o n sa n da c c o r d i n g l ym ep e r f o h n a l l c eo fe n c o d e ri s i m p r o v e d c o n s i d e r a b l y f o rt h e e m b e d d e ds y s t e mb a s e do n 锄m s 3 2 0 d m 6 4 2 ，t h es y s t e mo fh 1 2 6 4v i d e oe n c o d e ri sd e s i 鳃e da n dt 1 1 ec o d ei s o p t i m i z e db yd s pi n s t m c t i o n si nd e 诅i 1 i nt h ee n d ，a nh 2 6 4e n c o d e ri s r e a l - t i m e i n l p l e m e n t e d a l l d a p p l i e d i nc d m aw i r e l e s sn e t w o r k s t r a n s m i s s i o ns u c c e s s m l l y ，w h i c hc o n s e q u e n t l yw i l lh a s t e nh 2 6 4s 协n d a r d p o p u l a r i z a t i o n k e yw o r d s ：v i d e o c o d i n g ， h 2 6 4s t a l l d a r d ， r a t e c o n t r o l ， e r r o r c o n c e a l m e n t ，d s pb a s e di m p l e m e n t a t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的浇明并表示了谢意。 申请学位论文与资料若有不实之处 本人签名：垃壶 本人签名：燧应 本人承担一切相关责任。 日期：巡z 生鱼 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 日期：坦至2 垒! 生 日期：趔z 盘塑 第一章绪论 1 1引言 第一章绪论 视觉是人们获取信息的最为重要的途径，据统计，人们通过视觉获取的信息 约占总信息量的7 0 【”。视频图像作为视觉信息的主要载体，与语音和文字信息 相比，具有信息量大、直观生动和确切等特点，因而具有更为广泛的实用性和更 高的使用效率，深刻地影响着人们的生活和工作方式。但是视频图像的数据量可 以用海量来形容，对存储和传输都极为不利，已成为阻碍人们有效获取和使用视 频信息的瓶颈之一。因此，解决数据压缩编码问题成为视频图像应用的关键闭。 经过半个世纪的不懈努力，特别是自八十年代后期以来，视频图像压缩编码技术 取得了令人瞩目的进展，已经逐步从过去学术研究的领域走上了标准化、产业化 的道路，其应用已渗透到通信、多媒体、数字电视、视频监控等各个领域，并在 这些领域中引起巨大的变化。 近年来，随着多媒体、网络技术和微电子技术的飞速发展，视频、图像、计 算机视觉和计算机网络技术日益融合，遍及国民经济和社会生活的各个方面。研 究开发以视频图像为主的业务已成为当前信息领域的前沿领域和热门课题p j 。同 时，视频，图像编码技术在各个领域应用的不断深化，以及互联网与多媒体技术的 不断发展又反过来扩大了人们的应用需求，无线多媒体通信、多媒体电子邮件、 交互式多媒体、远程医疗、电子商务等应用成为了人们关注的下一轮焦点。从技 术角度看，低码率视频压缩是实现这些应用的关键，而这些应用又对视频传输、 差错控制、码率控制、错误隐藏、功耗以及基于内容的互操作性等方面的研究提 出了更高的要求【4 j 。同时，为了解决视频传输时所出现的问题，低码率编码、多描 述编码、容错性编码和可扩展编码等也成为了近来视频编码的研究热点。 本论文基于视频编码国际标准h 2 6 4 ，研究了视频编码中的几个关键问题，主 要包括h 2 6 4 快速算法、码率控制、错误隐藏、算法优化与d s p 实现，从而有力 地促进了h ，2 6 4 的应用与推广。 北京邮电大学博士学位论文 1 2视频编码的研究背景 视频压缩编码是解决视频图像海量数据最为重要的关键技术，经过五十多年 的深入研究与应用，已经形成了一套比较系统、成熟的视频编码技术，并相继推 出了一系列国际标准【5 o 本节简要回顾视频编码技术的发展和研究，详细综述国际 视频编码标准的发展，并简单地介绍h 2 6 4 标准及其特点。 1 2 1视频编码技术的发展 视频图像信息虽然具有巨大的数据量，但这些数据间存在高度的相关性，如 一幅图像内邻近像素之间的相关性( 空间相关性) ，电视图像前后帧之间的相关性 ( 时间相关性) 等。视频压缩编码本质上就是要尽量剔除原始信号中的各种冗余 信息。总结起来，视频信号中存在的冗余包括空间冗余、时间冗余和信息熵冗余。 因为信息熵冗余和空间、时间冗余都取决于视频数据的统计特性，所以都被统称 为统计冗余【”。除此之外，视频图像中还包括如下几种冗余信息：结构冗余和视 觉冗余，它包括人眼特性及纹理结构等性质带来的冗余，人眼能允许一定的失真： 知识冗余，指图像中包含的信息与某些先验的知识有关，比如包含有人脸的视频 图像中，头、眼、鼻和嘴等之间的相互位景信息就是一些常识；视觉冗余：很多 业务中，由于重建视频信号的最终接收者是人眼，充分利用人眼视觉特性，可以 达到提高压缩比的目的，这是因为人类视觉系统( h v s ：h u m a l lv i s u a ls y s t e m ) 并非完美无缺。编码方案可以恰当利用人类视觉系统的一些缺点，得到更高的压 缩比。视频信息中存在的数据冗余正是视频编码的物理基础 “，视频图像压缩编 码就是充分利用本身固有的统计特性和人的视觉系统特性来减少信息的冗余度并 获得满意的主观质量。 自从1 9 4 8 年s h a l l n o n 提出了率失真理论【7 j 和o l i v e r 等提出了波形信号的脉冲 编码调制( p c m ：p u l s ec o d em o d u l a t i o n ) 理谢g j 以来，相继建立了比较成熟的预 测编码 9 】、熵编码【1 0 川和变换编码理论【1 2 邯】，为后来的混合编码框架建立奠定了基 础【l “。这些经典理论对视频编码有着极其重要的指导意义，一方面给出了视频编 码的理论极限，另一方面指明了视频编码实现的技术途径 i 弘1 6 1 。 到2 0 世纪8 0 年代中期，人们提出了集成预测编码、变换编码和熵编码几种 技术于一体的视频图形混合编码系统”j 。文献 1 9 】和文献 2 0 对这一时期的视频 图像编码研究作了较详细的综述，主要总结了变换编码、预测编码、量化器设计 和运动估计等研究的进展。到8 0 年后期，基于经典信息论的视频图像编码理论已 第一章绪论 经基本完善，真正意义上的混合编码系统已初步建立起来。 图1 1 给出了混合编码系统的基本组成。在编码器中，首先用信源模型的参数 描述数字化的视频序列，通过分析过程完成视频信号的预测、变换编码；接着变 换参数被量化成有限的符号集，其中量化参数取决于比特率与失真间所期望的折 中；最后用无损熵编码技术把参数映射成二进制码字，进一步利用量化参数的统 计特性压缩码字。产生的比特流在信道上传输。解码器反向进行编码器的二进制 熵编码和量化过程，重新得到信源模型的量化参数，然后经反变换、预测合成算 法重构解码的视频帧【3 】。 ；i 丢二一磊磊一一三i i 一一j ! 竺一一 图1 1 视频编码系统 以上编码技术都是以s h 锄o n 经典率失真理论为基础，从信号处理理论出发， 利用信号处理和信息论作为工具的编码技术，人们称之为波形编码，也叫第一代 编码技术。 2 0 世纪8 0 年代中后期，人们提出利用知识模型、空间结构模型以及人眼视觉 特性的模型编码思想，也称之为第二代视频图像编码【2 。它不再局限于信息论基 础，而是充分利用人眼的生理和心理特性以及信源的各种性质，获得高压缩比， 主要包括子带编码、模型基编码、小波编码和分形编码 2 2 - 26 1 。此外，人们还提出 基于内容的编码，如文献 27 提出了基于物体的编码方法，文献f 2 8 】通过研究大量 低比特编码技术，发现通过建立物体模型的方法能够更好的适应视频内容。此类 编码还在继续发展中，尚未形成完善的编码体系，离实用化还需要段时间，但 它代表了未来视频压缩编码的发展方向【6 】。 北京邮电大学博士学位论文 1 2 2 视频编码标准的发展 视频，图像编码的方法多种多样，其应用涉及方方面面，为了使不同厂商生产 的终端能互相交换信息，或从一个公共的信号源接收信息，2 0 世纪8 0 年代末期， 一些国际组织开始致力于视频图像编码的标准化工作。同时，各太厂商对此产生 浓厚的兴趣，并直接推动了视频图像编码标准化的研究进程。最终于1 9 8 8 年国际 电话与电报顾问委员会( c c i t t ，i n t e m a t i o n a lt e l e p h o n ea i l dt e l e g r 印hc o n s l l l t a t i v e c o m m i t t e e ，于19 9 2 年更名为i t u t ，i n t c m a t i o n a lt e l e c o m m u i l i c a t i o nu n i o n t c l e c o m m u n i c a t i o ns t a l l d a r d i z a t i o ns e c t o r ) 制定第一个视频编码标准_ h 2 6 1 ，从 而成为视频编码史上的里程碑。随后i s om p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和i t u tv c e g ( d e oc o d i n ge x p e r t sg m u p ) 根据不同应用环境和需求进行整合， 以h 2 6 l 为基础和核心，相继制定了一系列视频编码标准。i t u t 专注于实时视频 通信应用领域，发布了h 2 6 x 系列标准( 如h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 等) ， i s 0m p e g 则主要面向视频存储媒体、电视广播和多媒体通信应用，制定了m p e g x 系列标准( 如m p e g 1 、m p e g 2 和m p e g 4 等) 。图1 2 所示为视频编码标准的 发展历程【2 9 】，下面简要介绍国际视频编码标准的发展过程。 臣竺ll ：i 匕：l 竺型 m p e g 7 im p e g 标准 m p e g 1 i m p e g - 4p a r t 2m p e g 2 i l 州4i y s 5i ，坭i y ，bz u i j t iz 小h 图1 2 国际标准发展历程 1 9 8 5 年c c i t t 组织了第1 5 专家组，进一步研究会议电视的标准化，并于1 9 8 8 年制定了针对6 4 k b i 佻电视电话会议应用的h 2 6 1 标准【3 0 】。在h 2 6 1 标准中定义 了帧内( i 帧，i n 仃a 劬m e ) 编码和帧间( p 帧，p r e d i c t i v e 疔跏e ) 编码，并采用帧 间预测、d c t 变换、h 仰陆a 1 1 编码等技术。为了增强灵活性，h 2 6 1 仅对与兼容性 有关的码流语法、码流复用、解码过程等作了严格的限制性规定，而对诸如量化 级的自适应控制、运动估计、码率控制等对重构图像质量指标有重要影响但不影 响兼容性的部分不作限制性规定，给开发者、厂商和用户提供了很大的活动空间。 h - 2 6 1 标准的成功推出，各大厂商、国际标准组织和科研院所等受到极大鼓舞，掀 起了视频压缩编码的研究和应用高潮。 1 9 9 1 年i s om p e g 开始制定m p e g l 标准p ”，主要目标是要建立一个适用于 第一章绪论 数字存储、媒体存储和检索的活动图像，相关声音及其组合编码的标准，并于1 9 9 3 年1 1 月成为国际标准。m p e o 1 标准以h 2 6 1 为基本框架，引入了双向预测帧( b 帧，b i d i r e c t i o n a l 口r e d i c t i o n 舳m e ) 、半像素精度运动估计，以及图像组( g o p ， g r o u do f p i c t u r e ) 的概念，实行了随机读取、快速进退搜索和反阿重放等功能。 随后i s om p e 0 联合i t u tv c e g 启动了m p e g 2 草案的制定【3 2 ( 在i t u t 标准系列中又称为h 2 6 2 例) ，并于1 9 9 4 年确定成为标准。m p e g 2 以m p e g 1 为 基础，作了重要扩展。针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按 场编码”方法；创立了二元码流结构：节目流( p r o g r a ms t r e 锄) 和传送流( t r a n s p o r t s t r e a m ) ，传送流的运行环境有可能出现严重的差错，而节目流的运行环境则很少 出现差错；按照编码技术的复杂度，首次引入了档次( p r o f i l e ) 和级别( l e v e i ) 的概念， 巧妙地解决了比特流的可交换性和国际性。此外，还增加了可分级性( s c a l a b i l i t y ) 概念，允许从一个编码数据流中得到不同质量等级或不同时空分辨率的视频信号， 可分级性包括空间域、信噪比、时间域等。m p e g 2 是一个非常成功的标准，已经 广泛融入到了人们的生活和工作中。 随着网络技术的发展和普及，网络带宽日益成为阻碍人们应用视频图像的一 个瓶颈。为了缓解这个问题，i t u t v c e g 于1 9 9 5 年提出针对低码率应用的h 2 6 3 编码标准p 。它以 l 2 6 l 为基础，并吸引了m p e g i 2 等建议中有效合理的技术， 同时提供了四种可选的编码算法，即无约束运动矢量算法、基于语法的算法编码、 高级预测法和p b 帧算法，进一步提高编码效率。此外，h 2 6 3 扩展了图像格式， 支持包括q c i f 、s u b q c i f 、c i f 、4 c i f 和1 6 c i f 等多种格式的图像。此外，标准 中没有限定每秒中帧数，因此可以通过减少每秒帧数来限制最大速率。在h 2 6 3 标准的基础上，i t u tv c e g 提出了两个工作计划：一个是所谓短期( s h o nt e m ) 计划，即在h 2 6 3 基础上添加一些新的功能选项，进一步提高压缩效率和扩展一 些功能，同时开始一个所谓的长期( l o n gt e n n ) 计划以发展一个适应于低码率视 频通信的新国际标准。在短期计划中，相继推出h 2 6 3 + 和h 2 6 3 - i 斗【3 6 】新版本。 长期计划预计生成的标准称之为h 2 6 3 l 但在19 9 8 年改名为h f 2 6 l 【3 7 l 。 1 9 9 8 年i s om p e g 又提出了m p e g - 4 标准p “，它综合了数字电视、交互式图 形学和i n t e m e t 等领域的技术和功能，在h 2 6 3 、m p e g 1 和m p e g 2 基础上进一 步进行扩展和补充。m p e g - 4 的编码码率揽括了从低至5 k b i 洮到高于2 m b i 以的一 个很大的范围，提出了与以往图像编码标准完全不同的编码概念，它吸取了基于 对象的编码方法的思想，它的编码方案建立在任意形状的对象模型之上，在对图 像的描述上，比传统编码标准增加了形状信息。m p e g 4 不再是一个标准化的固定 算法，而是建立一个可扩展的编码工具集，由工具集构造各种算法。在不作解码 的情况下，它支持基于内容的处理和码流的编辑，支持人工图像声音与自然图像 北京邮电大学博士学位论文 声音的合成，支持基于内容的随机存取等等，同时在不同应用环境下都具有较好 的鲁棒性，支持基于内容的可分级编码【3 9 】。与此同时，i s om p e g 还制定了 m p e g 7 和m p e g 2 l 【4 1 1 等标准，为各类多媒体信息提供一种标准化的描述，以 及一种高效、透明和可互操作的媒体框架。 为了进一步提高视频编码效率，2 0 0 1 年1 2 月i s o 与i t u t 正式成立联合视 频小组( j o i n tv i d e ot e 蛐，j v t ) ，开始致力于 l 2 6 4 m 口e g 4p a nl o ( a v c ， a d v a i l c e dv i d e oc o d i i l g ) 的标准化( 本论文中统一简称为h 2 6 4 ) ，于2 0 0 3 年5 月 正式确定为国际标准【4 2 。它以h 2 6 l 为基础，扩展了从低码率到高码率的应用。 h 2 6 4 除继承以往标准的优点外，还引入了许多新技术，从而使得在相同解码质量 条件下，编码效率比 l 2 6 3 和m p e g 一4 高近5 0 【4 3 】。在本章的后面及论文第二章 将详细介绍h 2 6 4 标准及其核心技术，同时本论文将基于此标准，对其中的几个 关键技术进行研究。 此外，值得关注的是我国信息产业部于2 0 0 2 年6 月开始制定拥有自主知识产 权的音视频编码标准( 简称a v s ，a u d i o v i d e oc o d i n gs t a l l ( h r d ) i 州。a v s 的目标 是制订数字音视频的编解码、处理和表示等共性技术标准，为数字音视频设备与 系统提供高效经济的编解码技术，主要针对h d t v 、h d d v d 、无线宽带多媒体 通讯、互联网宽带流媒体等重大信息产业应用。 1 2 3h 2 6 4 标准简介 与以往视频编码标准相同，h 2 6 4 系统也采用m c - d c t 结构，即运动补偿加 变换编码的混合( h y b r i d ) 结构，其编码技术框架如图1 - 3 所示。h 2 6 4 编码主要 由帧内预测、帧间预测( 运动估计与补偿) 、整数变换、量化和熵编码等构成【4 3 1 。 图1 3h 2 6 4 编码框架 第一章绪论 h 2 6 4 采用帧内( i n t r a ) 和帧间( i n t e r ) 两种编码模式。支持的视频源格式包 括( y u v ) 4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 ，同时支持逐行扫描和隔行扫描的视频序列，对 于隔行扫描的视频帧，h 2 6 4 支持将奇偶场独立编码，也支持将奇偶场一起编码的 方式。对于i ( 帧内编码帧) 帧图像，采用帧内模式编码；对于p 帧( 前向预测帧) 和b 帧( 双向预测帧) 图像，则采用帧间模式编码，但在宏块层，也可以选择帧 内模式编码。编码以互不重叠的宏块( m b ，m a c r o b 1 0 c k ) 为单位进行，宏块一般 定义为1 6 1 6 个像素块。 对于i 帧图像，首先进行帧内预测，然后对预测残差信号( 原始值与预测值之 差) 进行整数变换和量化，再对量化系数进行变长编码或算术编码，生成压缩码 流，同时经反变换、反量化等过程重构图像。以用作后续帧编码时的参考。对于p 帧图像，首先进行多模式多参考帧的高精度运动估计和帧内预测，并根据率失真 优化( f o ，r a t e d i s t o r t i o no p t i m i z a t i o n ) 选择帧间、帧内编码模式和相应的分块 模式，然后对残差信号进行变换、量化和熵编码，生成压缩码流同时经反变换、 反量化重构图像。对于b 帧图像，与p 帧图像相似，首先采用双向预测技术进行 多模式多参考帧的运动估计和帧内预测 后对残差信号进行变换、量化和熵编码 s i 、s p 帧。 并根据率失优化选择最佳编码模式，然 生成压缩码流。此外，h 2 6 4 还定义了 为了提高编码的网络适应能力，h 2 6 4 采用视频编码层( v c l ，v i d e oc o d i n g l a y e r ) 与网络抽象层( n a l ，n e 柳o r ka b s 锄c t i o nl a y e r ) 相分离的编码结构，如图 1 4 所示，v c l 完成对视频图像的高效压缩，n a l 负责以网络所要求的恰当的方 式对数据进行打包和传送。 j 网络抽象层( n a l ) j l h 3 2 0 l m p 4 f f i m p e g - 2 i h 3 2 3 i p l 其他 l 图1 4h 2 6 4 分层设计 h - 2 6 4 实现了视频的更高压缩比、更好的图像质量和良好的网络适应性，因此， h 2 6 4 的应用场合相当广泛，包括可视电话( 固定或移动) 、实时视频会议系统、 视频监控系统、因特网视频传输以及多媒体信息存储等。为了符合广泛应用的特 点，h 2 6 4 只对比特流、语法元素和解码过程作了规定，没有对编码器做限制，使 北京邮电大学博士学位论文 得h 2 6 4 编码器的实现非常灵活。所以，h 2 6 4 能广泛应用于以下几个方面1 4 2 】： ( 1 ) 娱乐视频业务。主要是通过有线、卫星、d s l 和c a b l em o d e m 等媒介的 数字广播，以及光、磁设备的数字存储节目等，具有高带宽( 1 8 m b 口s ) 和长延时 等特点。 ( 2 ) 对话型业务。通过i s d n 、e t l e m e t 、l a n 、d s l 、无线和移动网络，以 及上述混合网络上传输的对话型业务，如通过h 3 2 0 、h 3 2 3 、3 g p p 等的电路交换 和包交换应用，具有低带宽( 5( 2 2 )