（电路与系统专业论文）h264编码标准的研究及其dsp实现.pdf

h 2 6 4 编码标准的研究及其d s p 实现 摘要 h 2 6 4 标准是最新的视频编码标准，它采用了一系列先进的编码技术， 在编码效率、抗误码能力、网络适应性等方面表现出超越以往各标准的优势， h 2 6 4 的研究和应用将大大推进视频技术的发展。嵌入式领域在近年来得到 了广泛的关注，在工业制造、日常生活乃至军事领域，嵌入式设备以其软硬 件可裁减、体积小、便于升级等优点取代了很多p c 、a s i c 解决方案。a d 公司推出的b 1 a c k f i n 系列d s p 芯片是针对视频技术而开发的专门芯片，因此， 研究h 2 6 4 视频标准并研究其在b l a c k f i nd s p 上的应用对视频技术在嵌入式 领域的应用研究有重大意义。 本文主要工作是学习研究h 2 6 4 中的关键技术及其在嵌入式d s p 上的 应用。学习研究了h 2 6 4 标准中的关键技术，熟悉视频编码的基本思想和原 理，并对其中的关键技术和标准细节进行了分析。以b l a c k f i n 5 3 3 嵌入式系 统为中心，熟悉视频编码的硬件系统和开发工具。学习b l a c k f i n5 3 3 的内核 结构、存储器管理、缓存管理、总线结构和指令集，学习使用v i s u a l d s p + + 3 5 软件开发环境。最后，介绍h 2 6 4 视频编码系统的软硬件实现和部分程序优 化。介绍了h 2 6 4 视频编码的硬件系统和软件流程，详细阐述了视频采集及 预处理模块的实现以及h 2 6 4 编码模块的实现与优化。视频采集及预处理模 块实现图像的采集、图像格式的转换及预存储；h 2 6 4 编码模块的实现与优 化部分介绍h 2 6 4 编码的d s p 实现，并对整数变换的原理进行分析，根据优 化原则并结合b l a c k f i n5 3 3 的特点，实现整数变换程序的优化。 关键词：h 2 6 4 ；视频编码；d s p ；b l a c k f i n i i a b s t r a c t r h e1 a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4i n t r o d u c e sas e r i e so fa d v a n c e d v i d e oc o d i n gt e c h n i q u e s i t p r o v i d e s s i g n i n c a n t l yb e t t e rv i d e oc o m p r e s s i o n e f f j c i e n c yt o g e t h e rw i t ht h ee n h a n c e da b i l i t yo fe r r o rr e s i l i e n c ea n dn e t w o r k a d a p t a t i o n t h er e s e a r c ho nh 2 6 4w i l lg r e a t l yp r o m o t et h ed e v e l o p i n go fv i d e o t e c h n i q u e n o w a d a y se m b e d d e ds y s t e mi sp a i dm o r ea n dm o r ea t t e n t i o nt o s i n c ei ti sn e x i b l ei nh a r d w a r ea n ds o f t w a r e ，e a s i l yt ou p g r a d ea n dp o r t a b l e ，i ti s w i d e l ya p p l i e di nt h ef i e l d so fi n d u s t r y ，d a i l yl i f ea sw e l la sm i l i t a r y ，a n do f i e n t a k ep l a c eo fp ca n da s i c b 1 a c k f i n 5 3 3i st h en e wm u l t i m e d i ac h i po fa d i n c o r p o r a t i o n t h es t u d yo nh 2 6 4s t a n d a r da n di t si m p l e m e n t a t i o n o n b l a c k f i n 5 3 3i si n l p o r t a n tt ot h ea p p l i c a t i o no fv i d e ot e c h n i q u e so ne m b e d d e d s y s t e m 7 r h i s p a p e r i so nt h e s t u d y o fm a i nt e c h n i q u e so fh 2 6 4a n di t s i m p l e m e n t a t i o no nb 1 a c k f i n 5 3 3 f i r s t ，t h ea u t h o ri e a r n st h eb a s i ct h o u g h ta n d t h e o r y ，a n a l y z e st h ed e t a i lo ft h es t a n d a r d t h e n ，t h ea u t h o rg e t st ok n o wo ft h e h a r d w a r ea n ds o f t w a r ep l a t f o r mb a s e do nt h eb l a c k f i n 5 3 3 ，l e a r n st h es t r u c t u r e ， t h eb u s ，t h e m a n a g e m e n t o fm e m o r y ，m a n a g e m e n to ft h e c a c h eo ft h e b l a c k f i n 5 3 3 ， i e a r n sh o wt ou s ed s p + + f i n a l l y ，t h ep a p e ri n t r o d u c e st h e s o f t w a r ea n dh a r d w a r ei m p l e m e n t a t i o no fh 2 6 4c o d i n gs y s t e ma sw e l la st h e o p t i m i z i n go ft r a n s f o r mp a r t v i d e oc 0 1 l e c t i o na n dp r e t r e a t m e n tm o d u l ei n c l u d e s t h ef u n c t i o n so fv i d e of t a m ec o l l e c t i o n f a m ef o r m a tc o n v e r ta n dv i d e od a t a s t o r a g e t h eo p t i m i z i n go ft r a n s f o r mp r o g r a mi s a c c o r d i n gt ot h eo p t i m i z e p r i n c i p l e sa n dt h ec h a r a c t e r i s t i c so fb 1 a c k f i n 5 3 3 k e yw o r d s ：h 2 6 4 ；v i d e oc o d i n g ；d s p ；b l a c k f i n 5 3 3 i i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 俅佳 日期：劢6 年5 月$ 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密囵。 ( 请在以上相应方框内打“”) 作者签名：际佐 导师签名：墨硒易 1 i 7 日期：h 1 年罗月易日 日期：嘶年厂月9 日 第l 章绪论 随着科技的发展，人们的生活越来越便利，家庭中的家务劳动大多都由各 种各样的家用电器代劳，工业生产中，已广泛实现自动化，通信领域也在飞速 发展，由书信、电报到传真、电话、e m a i l 、网络聊天，人与人的沟通任何时 候任何地方都在进行。然而人们的需求是无止境的，在满足日常生活、工作交 流豹情况下，对更高层次的交流有了新的需要，希望能够在任何时候都能实现 面对面的交谈，使交流畅通无阻。人们的需求就是科技发展的推动力，近年来， 视频技术成为关注的焦点，在娱乐、远程医疗、远程监控、视频会议、网络教 学等领域都得到广泛的应用，相信在即将出台的3 g 无线通信中，视频技术也会 有更好的表现。 人们对视频信息的需求是大量的、内容和形式是多样的，因此由视频信息 剧增带来的视频传输和存储问题成为视频技术发展的关键。解决这个问题有两 个途径，一个是增大网络带宽和存储媒介的容量；另一个是提高视频信息的压 缩效率。提高网络带宽需要大量的设备投资，成本太高；提高视频信息的压缩 效率只是需要发展新的视频编码技术，我们只需要更换新的编码端和解码端设 备，现在许多终端设备只需要升级软件就可以支持新的视频编码标准，并且可 以很好的利用现有的网络设备。鉴予以上考虑，提高编码效率是一个很好选择。 国际化标准组织( i s 0 ) ，国际电工委员会( i e c ) 和国际电信联盟( i t u ) 制定了 一系列视频编码标准以获得更好的编码效率。h 2 6 4 是由i s o i e c 和i t u 合作制 定的新一代视频编码标准，2 0 0 3 年3 月正式通过，现在正处于应用开发阶段， 凭借它的优势必将在视频应用领域大有作为。 随着集成电路技术和计算机技术的发展，嵌入式系统的功能越来越强大体 积越来越小，价格越来越低，所以嵌入式系统已经广泛的应用于消费类电子产 品，成为生活和生产中的活跃份子。将h 2 6 4 编解码体系与嵌入式系统结合起 来是发展的必然趋势，因此研究h 2 6 4 标准的关键算法及它的嵌入式应用有重 要意义。 1 1 视频压缩编码技术简介 1 1 1 视频编码原理 视频编码的目的是压缩数据量，根据其数据间的相关性去除冗余信息，使 视频信息能够更加方便的存储与传输，即通过减少视频序列间的相关性，用较 少的比特数来表示视频内容，降低视频内容中的冗余，从而实现对视频的压缩。 视频序列中的冗余主要有以下几个方面： ( 1 ) 空间冗余 空间冗余是指在同一帧画面中，相邻的像素间存在的相关性，特别是当这 些相邻像素位于同一个视频对象中时，相关性极强。例如在图像的背景区域。 空间冗余一般由变换编码消除，通常使用的变换编码有e r h u n e n l o e v e ( k l ) 变换、d c t 交换【、小波变换【2 删。 ( 2 ) 时间冗余 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续 的。在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动 或对象的移动使得空间位置发生变化。运动越缓慢，位置的变换越小。因此视 频序列在时域存在极强的相关性。时间冗余的消除主要依靠运动补偿预测编码 技。 ( 3 ) 编码冗余 对于编码符号，其平均码长高于所表示信息的信息熵，这个偏差就形成了 编码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可 以统称为统计冗余。统计冗余用信息熵编码来消除。信息熵编码的基本方法主 要有变长编码( v l c ) 、游程编码( r u n - l e n g t h ) 和算术编码【”。 ( 4 1 入眼视觉冗余 由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。因此 视频中不同频率成分的内容对于人眼系统而言其重要性是不同的。也就是说存 在频域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。 因此可以对色度分量进行降采样，同时保持主观视觉质量不变。y u v 4 ：2 ：0 色差 格式就是对色度分量在水平和竖直两个方向进行2 ：l 的降采样。另一方面对信 号频域的各个分量可以采取不同的量化步距，将人眼视觉不敏感的分量去处， 而不会引起主观质量的下降。 ( 5 ) 结构冗余和知识冗余 图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布模式， 形成结构冗余。或者图像中包含的信息与某些先验知识有关，例如人的五官位 置对于人脸而言就是一种先验知识，这种冗余构成知识冗余。 信源编码的方法按照压缩数据能否被准确恢复分为两大类；无损编码和有 损编码。虽然无损编码可以无失真的恢复原始数据，但其压缩效率十分有限。 因此在视频压缩中都是将无损编码和有损编码结合使用。 视频编码中主要压缩技术有以下几种： ( 1 ) 预测编码 预测编码不是对一个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻 帧( 帧间预测编码) 中的像素值来进行预测，然后对预测值与实际值的残差进行 量化和编码。 ( 2 ) 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术，用来消除图 像的频域( 变换域) 冗余。变换编码可分为正交变换编码，子带编码和小波编码 【2 】【3 1 。 ( 3 ) 统计编码 根据香农信息论的观点，信源冗余度来自信源本身的相关性和信源内部事 件概率分布的不均匀性。统计编码主要有基于概率分布特性的霍夫曼编码【5 1 和 算术编码，以及基于相关性的游程长度编码三类。 除以上几种编码方法以外，还有基于模型的编码【6 】【7 】、基于对象的编码【8 】、 可分级的编码等方法1 9 】，这里不再一一详述。 1 2 1 视频编码技术的发展 1 9 4 8 年，o l i v e 提出了第一个编码理论一一脉冲编码调制( p u l s ec o d i n g m o d u l a t i o n ，简称p c m ) ；同年，s h 蚰n o n 的经典论文“通信的数学原理”首次提 出并建立了信息率失真函数概念；1 9 5 9 年，s h a n n o n 进一步确立了信息率失真 理论，以上工作奠定了信息编码的理论基础。 “第一代”视频编码技术主要以预测编码、变换编码和统计编码三大经典编 码方法为基础。它们都是非常优秀的纹理编码方案，能够在中等压缩率的情况 下，提供非常好的图像质量，但在非常高的压缩率情况下，无法为一般的序列 提供令人满意的质量。八十年代初期，“第一代”编码技术已经达到了顶峰，这 类技术去除客观和视觉冗余信息的能力已接近极限。究其原因是由于这些技术 都没有利用图像的结构特点，因此它们也就只能以象素或块作为编码的对象， 另外，这些技术在设计编码器时也没有考虑人类视觉系统的特性。 “第二代”视频编码技术是k u n t 等人于1 9 8 5 年提出，主要是为了克服“第一 代”视频压缩编码技术的局限性。他们认为，“第一代”编码技术只是以信息论 和数字信号处理技术为理论基础，旨在去除图像数据中的线性相关性的一类编 码技术。其压缩比不高，大约在1 0 ：1 左右。而“第二代”编码技术不局限于信息 论的框架，要充分利用人的视觉生理、心理和图像信源的各种特征，实现从“波 形”编码到“模型”编码的转交，以便获得更高压缩比。其压缩比多在3 0 ：1 至7 0 ：1 之间，有的甚至高达l o o ：1 。“第二代”编码方法主要有：基于分形的编码、基于 模型的编码、基于区域分割的编码和基于神经网络的编码等。“第二代”编码方 法充分利用了计算机图形学、计算机视觉、人工智能与模式识别等相关学科的 研究成果，为视频图像压缩编码开拓出了广阔的前景。但是由于“第二代”编码 方法增加了分析的难度，所以大大增加了实现的复杂性。所以在视频压缩编码 中的应用研究进展缓慢，目前多与其他方法结合使用。但由于巨大压缩性能的 i 2 6 4 编码标准的研究及其d s p 实现 潜力，人们都在致力于这些新方法的研究之中。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码”方法，如子 带编码、塔形编码和基于小波变换的编码。这类方法使用不同类型的维或二 维线性数字滤波器，对视频图像进行整体的分解，然后根据人类视觉特性对不 同频段的数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法原 理上仍属于线性处理，属于“波形”编码，可归入经典编码方法，但它们又充分 利用了人类视觉系统的特性，因此可以被看作是“第一代”编码技术向“第二代” 编码技术过渡的桥梁。 视频压缩编码标准的制定工作主要是由国际标准化组织( i n t e r n a t i o n a l s t a n d a r d i z a t i o no r g a n i z a t i o n ，l s o ) 和国际电信联盟( i n t e r n a t i o n a l t e l e c o m m u n i c a t i 彻u n i o n ，i t u ) 完成的。由i t u 组织制定的标准主要是针对实时 视频通讯的应用，如视频会议和可视电话等，它们以h 2 6 x 命名：而由i s o 和i e c ( i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共同委员会中的 m p e g 组织( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频数据的存储 ( 如v c d 和d v d ) 、广播电视和视频流的网络传输等应用，它们以m e p g x 命名。 h 。2 6 4 标准为i t u 和i s 0 ，f e c 联合制定的，在i s 0 i e c 中，该标准的正是名称为 m p e g 4a v c ( a d v a n c e dv i d e oc o d i n g ) 标准，作为m p e g 。4 标准的第十部分；在 i t u t 中的正式名称为h 2 6 4 标准，它吸取了各标准的优点，克服了它们的不足 之处，并在低码率传输方面有独到之处，是现在关注的焦点。各种视频压缩编 码标准都是根据人们在不同领域中对声像数据的要求所制定的，并且随着人们 的需求不断地发展。 1 2 嵌入式系统的发展 根据i e e e 的定义，嵌入式系统是“控制、监视或者辅助设备、机器和车间 运行的装置”( 原文为d e v i c e su s e dt oc o n t r o l ，m o n i t o r ，o ra s s i s tt h eo p e r a t i o no f e q u i p m e n t ，m a c h i n e r yo rp l a n t s ) 。不过上述定义并不能充分体现嵌入式系统的 精髓，目前国内普遍认同的一个定义是；嵌入式系统是以应用为中心和以计算 机技术为基础的，并且软硬件是可裁减的，能满足应用系统对功能、可靠性、 成本、体积、功耗等指标的严格要求的专用计算机系统。 嵌入式系统之所以能够得到迅速发展，是因为它具有其它实现方案所没有 的优势。在当今系统开发过程中主要有三种实现方案：直接采用p c 机实现； a s i c 实现方案；嵌入式实现方案。采用p c 机实现最为方便，这种方案以p c 机 或工作站为平台，实现的功能也可以比较复杂，其特点是：面向p c 机多媒体系 统，硬件系统设计简单，软件开发环境好，灵活的程序代码可动态加载以实现 多种应用，易于移植和升级，而且支持的网络协议也独立于硬件，能适用于多 种通信网络，具有很好的网络互联性；但是在很多场合由于数据传输的耗时使 软件控制和运算的实时性不理想，成本是很高，对于简单应用很不划算，而且 体积庞大，不易携带。a s i c 是一种专为某一特定应用制造的芯片。a s j c 可以 将需要许多芯片完成的工作集成到一个单独的、体积更小、速度更快的模块上， 以减少制造和支持费用，同时提高了使用a s i c 设备的速度；但其缺点也很明显： 由于算法全部由硬件实现，不便于产品功能更新和升级，因此成本也不占优势。 而嵌入式方案就能综合两者优点，而弥补它们的不足，由于软件硬件可裁剪， 可以减少不必要的开销，降低成本，体积小便于携带，算法实现采用嵌入式软 件，便于产品更新升级。 嵌入式系统伴随着计算机技术发展了半个多世纪，现在已经发展出应用于 不同领域的门类众多的各种系统。嵌入式系统可以根据处理器的位数、主频和 应用领域等分类。根据应用领域嵌入式系统可分为： 基于单片机( 以m c s 5 1 为代表) 的简单控制系统。该类系统的集成了众多外 围接口可以方便的进行系统设计，适合应用于仪表和控制领域。缺点就是计算 能力不强，不能应用于复杂的信号处理领域。 以d s p 为基础的数字信号处理系统。与单片机相比，d s p 具有更加适合于 数字信号处理的优点：普遍采用改进的哈佛总线结构。内部有硬件乘法器、累 加器，使用多级流水结构，在内部采用并行处理，并有专门设计的适合于数字 信号处理的指令系统，可以进行多片d s p 并衍处理。该类系统主要用于移动基 站、雷达、视频监控、电视会议等数据量大且要求实时处理的领域。该类芯片 的供应商以t i 和a d i 公司为代表。 基于微处理器的嵌入式系统。该类系统微处理器以a r m ，p o w e r p c ，m i p s 和6 8 k 系列为代表。此类嵌入式系统外围接口丰富。并且可运行微型操作系统。 因为可以移植操作系统在该类微处理器上，所以有丰富的软件资源可以利用。 它们特别适合应用于网络通信和人机交互等软件复杂的领域。优点是可以开发 出具有良好的人机界面的复杂系统，同时可以很好的保护利用已有的软件资 源，缺点是信号处理能力不如d s p 。 应用于视频领域的嵌入式系统需要有强大的信号处理能力，并且需要有良 好的交互功能。因此现有的视频系统需要d s p 加微控制器组合使用才能满足要 求。为了满足多媒体应用，a d i 公司推出b l a c k f i n 系列处理器，它采用a d 和 i n t e l 合作开发的m s a ( m i c r os i g n a la r c h i t e c t u r e ) ，该架构融合了d s p 和微控 制器( m c u ) 的特点。它即具有d s p 信号处理能力强的特点，又具有嵌入式微处 理器，可移植操作系统，易于控制交互，使用一块芯片就可以满足要求。因此， 基于b l a c k f l n 的嵌入式系统非常适合视频应用。 l 2 6 4 编码标准的研究及其d s p 实现 1 3 研究背景及本文主要工作 1 3 1 研究背景 近年来，数字电视广播，电视会议、视频点播( v o d ) 、网络视频传输以 及未来3 g 数字通信中的视频应用成为视频的应用的主要方面，h 2 6 4 就是为了 满足这一时代需要而出台的。消费类电子产品和多媒体终端为了适应更多的应 用场合和更方便使用者都向便携式、综合化发展，因此嵌入式系统得到了开发 者的青睐，特别是高速的d s p 处理器。d s p 也在不断改进，不仅在速度方面、 运算能力方面有很大提高，而且对于不同的应用也相应地添加了专门的功能， 如b l a c k f i n 系列d s p ，它功能强大，并且提供便于视频开发的外设和指令集。 新一代视频编码标准h 2 6 4 具有很高的编码效率和良好的网络接口，是未 来多媒体数据压缩编码的应用主流。自从2 0 0 3 年3 月通过最终稿以来，围绕 h 2 6 4 的应用研究正在广泛展开。因此研究h 2 6 4 标准，并结合基于b l a c k f i n 5 3 3 的嵌入式系统进行应用研究，对推h 2 6 4 的应用具有重要意义。 1 3 2 本文主要工作 本文的工作主要分三个部分：h 2 6 4 标准的分析研究、基于b i a c k f i n 5 3 3 的 嵌入式系统的研究以及h 2 6 4 视频编码系统实现的研究。 h 2 6 4 标准的分析研究以h 2 6 4 为中心，了解国际视频编码压缩标准，对照 研究h 2 6 4 标准，熟悉视频编码的基本思想和原理，学习h 2 6 4 的语法，并对其 中的关键技术和标准细节进行了分析。 基于b i a c k f i n 5 3 3 的嵌入式系统研究以b l a c k f i n 5 3 3 嵌入式系统为中心，设计 h 2 6 4 编码的硬件系统，并熟悉使用b i a c k f i n 5 3 3 的嵌入式系统开发工具。这一 部分主要分析b f 5 3 3 的内核结构、存储器管理、缓存管理、总线结构和指令集， 学习使用v i s u a ld s p + + 3 5 软件开发环境。设计实现h 2 6 4 编码的硬件系统。 研究h 2 6 4 视频编码系统实现的工作完成视频采集及预处理模块设计以及 h 2 6 4 编码模块的软件实现与优化。视频采集及预处理模块采集视频图像，并 根据编码图像需要4 ：2 ：0 的c i f 格式，把采集到的图像转化为该格式并存储；对 h 2 6 4 的关键部分整数变换的优化先对其过程进行原理分析，并结合 b 1 a c k f i n5 3 3 的特点，优化整数变换函数。 文章章节安排如下： 第l 章绪论，介绍课题背景以及研究内容； 第2 章h 2 6 4 标准中关键技术研究，在了解了国际各视频编码标准的基础 上，对照研究h 2 6 4 视频编码标准，并对h 2 6 4 中的关键技术做详细的分析； 第3 章h 2 6 4 编码系统的硬件实现； 第4 章嵌入式d s p 开发系统，介绍基于b l a c k f i nd s pb f 5 3 3 的嵌入式开发 硕士学位论文 平台 最后，总结研究工作，并提出对未来研究的展望。 h 2 6 4 编码标准的研究及其d s p 实现 第2 章h 2 6 4 视频编码标准的研究 近年来，图像压缩编码研究成为一个越来越活跃的领域，图像编码技术的 发展和广泛应用也促进了许多有关国际标准的制定。h 2 6 4 是最新编码标准， 在i t u t 称为h 2 6 4 在m p e g 称为m p e g - 4a v c ( p a r t1 0 ) 。与以往的标准相比， h ，2 6 4 具有最高的编码效率，简洁的表现形式和良好的抗性能。 2 1 视频编码的国际标准 目前视频领域中最为重要的编解码标准有国际电信联盟组织( i t u ) 制定 的h 2 6 l ，h 2 6 3 ，h 2 6 4 和国际标准化组织( i s 0 ) 和国际电工委员会( i e c ) 联合组织的运动图像专家组( m p e g ) 的m p e g 系列标准m p e g l 2 4 ，而在网络 的视频流传输中，则活跃着r e a lv i d e o ，w m v ，q u i c k t i m e 等标准，此外还有 0 n 2 的v p 5 ，v p 6 以及我国自主研制的a v s 等标准。h 2 6 x 和m p e g 标准发 展如图2 1 所示l j ： i t u - t 蛐e g i t u t 船e g 8 48 68 89 09 29 49 69 80 0 0 20 4 圈2 1 视频编码国际标准发展图 2 1 1m p e g 标准 m p e g 是i s o 和i e c 所组成的j t c l ( j o i n tt e c h n i c a lc o m m i s s i o n ) 下的子 委员会的一个工作组，该工作组所制定的一系列用于运动图片和声音的压缩、 存储，重放、处理和描述的国际标准在工业界获得巨大成功。其中有用于v c d 存储播放的音视频压缩国际标准m p e g - 1 ；有应用在数字电视和高清晰度电视 广播上的、用于d v d 存储播放的音视频压缩国际标准m p e g - 2 ；有基于音视 频对象编码的m p e g 4 标准；还有分别与多媒体描述和通用的多媒体框架有关 的m p e g 7 和m p e g 一2 l 标准。 2 1 1 1m p e g - 1 m p e g 1 制定于1 9 9 2 年，可适用用不同带宽的设备，也即具有遗传性， 该标准不只限于某个特定的应用。它的目的是把2 2 1 m b i t ，s 的n t s c 图像压缩 到1 2 m b i t s ，压缩率为2 0 0 ：l ，这是图像压缩的工业认可标准。它可针对c i f 标准分辩率( 对于n t s c 制为3 5 2 2 4 0 ；对于p a l 制为3 5 2 2 8 8 ) 的图像进行压 缩，传输速率为1 5 m b i t s ，每秒3 0 帧，具有c d 音质，质量级别基本与v h s ( 广 播级录像带) 相当。 应用m p e g 1 技术最成功的产品非v c d 莫属了，v c d 作为价格低廉的影 像播放设备，得到广泛的应用和普及。m p e g 1 也被用于数字电话网络上的视 频传输，如非对称数字用户线路( a s d l ) 、视频点播( v 0 d ) 、以及教育网络等。 2 1 1 2m p e g - 2 m p e g 一2 制定于1 9 9 4 年，主要是针对数字电视广播( d v b l 、高清晰度电视 ( h d t v ) 和数字视盘( d v d ) 等制定的运动图像及其伴音的编码标准。设计目标是 高级工业标准的图像质量以及更高的传输率。m p e g 2 所能提供的传输率在 3 m b ，s 1 0 m b ，s ( 2 4 8 0 m b i t ，s ) 间，在n t s c 制式下的分辨率可达7 2 0 4 8 6 ， m p e g 2 能够提供广播级的视像和c d 级的音质。m p e g 2 的音频编码可提供 左右中及两个环绕声道，以及一个加重低音声道和多达七个伴音声道。m p e g 2 另一特点是，可提供一个较广范围的可变压缩比，以适应不同的画面质量、存 储容量以及带宽的要求。 m p e g 2 技术除了应用于对数字电视广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 外，还可用于为广播、有线电视网、电缆网络以及卫星直播， 提供广播级的数字电视。 2 1 1 3m p e g 。3 由于m p e g 2 的出色性能表现已能适用于h d t v ( 高清晰度电视) ，使得原 打算为h d t v 设计的m p e g 3 标准还没出世就被抛弃了。 2 1 1 4m p e g 一4 m p e g 4 于1 9 9 8 年1 1 月公布，与m p e g 1 、m p e g 一2 不同，m p e g - 4 并不 仅仅是着眼与定义不同码流下的压缩编码标准，而是更多地强调多媒体通信的 交互性和灵活性，以及与其他领域的融合，这些领域主要有通信业、计算机业、 消费电子业和娱乐影视业。m p e g 一4 是一个支持视听数据包括自然或人工视听 对象的通信、存取和管理，能实现交互性和高压缩比，以及具有很高程度的灵 活性和可延展性的视听标准。它提供一个灵活的框架和一个开放的工具集，以 支持各种各样新颖的功能。基于内容的交互性允许用户修改、增加、删除或重 定位一个视频场景中的对象，甚至可以转换场景中的对象的行为，这是与 m p e g 前两个标准最大的不同。m p e g 4 允许自然视频对象和计算机合成视频 对象的单独编码或混合编码，并允许基于对象的随机访问。m p e g 一4 标准是开 放式的，这使得它在处理不同形式的数据时具有较高的灵活性，并使标准本身 具备了可扩展性。在m p e g 4 制定过程中，为了适应传输的不同码率、不同分 h 2 6 4 编码标准的研究及其d s p 实现 辨率、不同质量视听数据的需要，仅对传输网络的系统结构、比特流结构中从 编码器到解码器的比特流句法、语法及部分参数的取值范围作出了规定。引入 了数据类的概念后，m p e g 4 实现了与以往标准很好的兼容性能，m p e g 1 2 和h 2 6 1 、h 2 6 3 均能作为一个数据类被纳入到m p e g 4 的框架中。 这个标准对传输速率要求较低，在4 8 k b i t s 6 4 k b i t ，s 之间，主要应用于视 像电话、视像电子邮件等。m p e g 一4 利用根窄的带宽，通过帧重建技术、数据 压缩，以求用最少的数据获得最佳的图像质量。最初m p e g 4 的应用是以高压 缩率和高的图像质量来把d v d 里面的m p e g 2 视频文件转换为体积更小的视 频文件。经过这样处理，图像的视频质量下降不大但数据量却可缩小几倍，可 以很方便地用c d r o m 来保存d v d 上面的节目。另外，m p e g 4 在家庭摄影 录像、网络实时影像播放得到了广泛的应用。经过这些年的发展，m p e g - 4 主 要应用在移动通信和公用电话交换网p s t n ( p u b l i cs w i t c h e dt e l e 曲o n e n e t w o r k ) 上，并支持可视电话( v i d e o p h o n e ) 、电视邮件( v i d e o m a i l ) 、电子报纸( e 1 e c t r o n i c n e w s p a p e r ) 和其他低数据传输速率场合下的应用。 2 1 1 5m p e g 一7 准确来说，m p e g 7 并不是一种压缩编码方法，而是一个多媒体内容描述 接口。继m p e 0 4 后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理 和迅速搜索。m p e g 7 就是针对这个矛盾的解决方案。m p e g 7 力求能够快速 且有效地搜索出用户所需的不同类型的多媒体资料。m p e g - 7 将对各种不同类 型的多媒体信息进行标准化的描述，并将该描述与所描述的内容相联系，以实 现快速有效的搜索。该标准不包括对描述特征的自动提取，它也没有规定利用 描述进行搜索的工具或任何程序。其正是的称谓是“多媒体内容描述接口”。 m p e g 7 可独立于其他m p e g 标准使用，但m p e g - 4 中所定义的音、视频对象 的描述适用于m p e g 7 ，这种描述是分类的基础。另外我们可以利用m p e g - 7 的描述来增强其他m p e g 标准的功能。 m p e g 7 应用范围很广泛，既可以应用于存储( 在线或离线) ，也可以用于 流式应用( 如广播、i n t e r n e t 下载等) 。它可以在实时或非实时环境下应用。如： 数字图书馆( 图像目录、音乐字典等) ；多媒体名录服务( 如黄页) ；广播媒体选 择( 无线电信道，t v 信道等) ；多媒体编辑( 个人电予新闻业务，媒体写作) 等。 另外，m p e g 7 在教育、新闻、导游信息、娱乐、研究、业务、地理信息系统、 医学、购物、建筑等各方面均有较大的应用潜力。 2 1 1 6m p b g - 2 1 m p e g 2 1 由m p e g 7 发展丽来，该标准的名称为：多媒体框架( m u l t i m e d i a f r a m e w o r k ) ，其目标是定义一个能够包含各类媒体的框架，使各类媒体能够有 机地结合在一起，够透明地和更强地适用跨越范围广泛的网络和设备的多媒体 资料。m p e g 2 1 主要规定数字节目的网上实时交换协议。 2 1 2h 2 6 x 系列标准 i t u 最初是由c c i r ( 国际无线电咨询委员会) 和c c i t t ( 国际电报电话 咨询委员会) 两个组织合并而成，后来c c i r 重新命名为i t u r ，c c i t t 命名 为i t u - t 。v c e g ( v i d e o c o d i n g e x p e f t s g r o u p ) 是i t u - t 中一个的研究团队， 主要制定在电信网络和计算机网络上的视频、语音压缩编码标准，如h 2 6 l 、 h 2 6 3 、h 2 6 4 等视频压缩编码标准。2 0 0 1 年之后，v c e g 与m p e g 联合成立 视频研究小组( j v t ) 负责制定“a v c ”高级视频编码标准，又称为h 2 6 4 或 m p e g 4p a r t l o 【l2 1 。 2 1 2 1h 2 6 l h 2 6 1 标准于1 9 9 2 年公布，用于h 2 6 1 的的编码算法基本是消除时域冗余 的运动补偿和消除空域冗余的变换编码的混合，h 2 6 l 奠定了混合编码【l2 】框架 饷雏形，其视频压缩算法的核心是运动估值预测和d c t 编码，许多技术( 包括 视频数据格式、运动估算与补偿，d c t 变换、量化和熵编码) 都被后来的 m p e g 1 ，2 所借鉴和采用，这样的框架形成了所有后续开发的视频编码标准的 基础，因此，h 2 6 l 对其他的视频编码标准有着非常重要的影响。 h 2 6 1 是第一个广泛投入应用的数字视频编码标准，它属于恒定码流可变 质量编码而非恒定质量可变码流编码，又称为p 6 4 ，其中p 为6 4 k b s 的取值 范围，是1 3 0 的可变参数，p 取值较小时，只能传清晰度不太高的图像，适 合于面对面的电视电话；p 取值较大时( 如p 6 ) ，则可以传输清晰度较好的会 议电视图像。h 2 6 l 最初是针对在i s d n 上实现电信会议应用特别是面对面的 可视电话和视频会议而设计的，现在h 2 6 1 已经被包含在若干个用于各种网络 环境的i t u th 2 6 x 系列的终端标准中。 2 1 2 2h 2 6 3 1 9 9 6 年i t u t 公布了h 2 6 3 标准。h 2 6 3 是为低码流通信而设计的。但实际 上这个标准可用于很宽的码流范围，而非只用于低码率范围，它在许多应用中 可以被用来取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了些改善，以 提高编码性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像 效果，例如在比特率低于3 0k b ，s 的应用中，同样的视频质量前提下，h 2 6 3 的 输出码率仅为h 2 6 1 的一半甚至更少。 两者的区别包括： f 1 、h 2 6 3 的运动补偿使用半像素精度，而h 2 6 l 则用全像素精度和循环滤 波； ( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以满足 更低的数据率或更好的纠错能力； h 2 6 4 编码标准的研究及其d s p 实现 ( 3 ) h 2 6 3 包含4 个可协商的选项以改善性能； ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； ( 5 ) 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； ( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还 支持s q c i f ，4 c i f 和1 6 c i f 。 h 2 6 3 与h 2 6 1 相比，能够提供更好的图像质量、更低的速率，十分适合于 i p 视频会议、可视电话应用。 2 1 2 3h 2 6 3 + ( h 2 6 3 第二版) 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 的改进版，它在保证原h 2 6 3 标准的核 心句法和语义不变的基础上，增加了若干选项以提高压缩效率或某方面的功 能，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩编码性能。 另一重要的改进是可扩展性，h 2 6 3 + 允许多显示率、多速率及多分辨率，增强 了视频信息在易误码、易丢包的异构网络环境下的传输。新增选项可归纳为新 的图像种类和新的编码模式两类。 2 0 0 0 年i t u - t 又推出了h 2 6 3 + + ，对h 2 6 3 + 又做了一些新的扩展，增加了一 些新的特性从而适应于各种网络环境，并增强差错恢复的能力。h 2 6 3 + + 在 h 2 6 3 + 的基础上又增加了3 个可选模式【l3 】：增强型的参考帧选择：数据分片的 模式；在h2 6 3 + 的码流中增加了补充信息，保证增强型的反向兼容。这些新 的扩展不仅增强了码流在恶劣信道上的抗误码性能，同时也增强了编码效率。 2 1 2 4h 2 6 4 1 9 9 9 年i t u t 以h 2 6 3 为基础，开始研究薪一代的低码率视频压缩标准 h 2 6 l 。为了响应i s 0 i e c m p e g 对先进视频编码技术的需要，i s o i e c 与i t u t 在2 0 0 1 年成立联合视频工作组j v t ( j o i n tv i d e ot e a m ) ，在h 2 6 l 的基础上开发 新的标准，即j v t 标准。在i s o i e c 中，该标准的正是名称为m p e g 4 a v c ( a d v a n c e dv i d e oc o d