（通信与信息系统专业论文）h264帧间预测算法的优化及其在dsp中的实现.pdf

武汉理工大学硕士学位论文 摘要 随着信息技术的发展和网络传输速度的提高，视频会议系统，h d t v 等多媒 体服务逐渐成为人们关注的热点。由其带来的信息爆炸，使信道带宽和信道传 输速率成为多媒体技术发展的瓶颈问题。联合视频工作组j v t ( j o i n tv i d e ot e a m ) 正式推出的新一代视频压缩标准h 2 6 4 a v c 支持从低带宽、高误码率的无线移 动视频通信到高码率、低延迟的视频会议及在线流媒体等多种应用。因此，得 到业界的广泛关注和认同。但是h 2 6 4 a v c 的这些优势是以复杂度的成倍增加 为代价的，这就使得h 2 6 4 在实时的视频编码及传输应用中面临着巨大的挑战。 利用高性能数字信号处理器( d s p ) 来实现h 2 6 4 实时编码器是一种快速有 效的方法，有助于h 2 6 4 视频标准的迅速推广和应用。但同时h 2 6 4 编码器庞 大的代码量及很高的计算复杂度不仅对d s p 平台的性能提出了很高的要求，也大 大增加了实时实现的难度，由于p c 和d s p 构造的不同，如果h 2 6 4 编码没有优 化就直接在d s p 的平台上执行，编码速度会太慢以至于不能满足实时处理的要 求。因此，要在d s p 平台上实时实现h 2 6 4 编码器并保持原有很高的编码效率 和图像质量，有必要根据d m 6 4 2 的结构特性来对编码器的性能进行优化。本文 采用d m 6 4 2 g d k 作为硬件平台，探索了在资源有限的d s p 平台上实现h 2 6 4 编码 器的有效途径。 本文对h 2 6 4 的各个关键技术包括预测编码、变换与量化、熵编码、去块 效应滤波器、多参考帧技术进行了分析，尤其对标准中最为耗时的帧间预测算 法进行了详细的探讨。并通过对帧间预测部分的多参考帧技术进行优化以减少 时间计算复杂度。在充分研究了d s p 的硬件平台的特点以及开发环境c c s 的简 介后，对编码器以及各模块的主流程进行了精简和优化，最后在开发平台上对 h 2 6 4 测试软件j m 8 6 进行了优化，包括代码级的优化和c 算法级的优化，完成 了h 2 6 4 编码的d s p 移植，也为实时编码打下了基础。 关键词：h 2 6 4 a v c ；帧间预测；优化；d s p 硬件平台 武汉理工大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n di m p r o v e m e n to fn e t w o r k s p e e d ，m u l t i m e d i as e r v i c e ss u c ha sv i d e oc o n f e r e n c es y s t e ma n dh d t vg r a d u a l l y b e c o m et h ef o c u so fa t t e n t i o n t h ei n f o r m a t i o ne x p l o s i o nh a sm a d et h et r a n s m i s s i o n r a t ea n dc h a n n e lb a n d w i d t hb e c o m eb o t t l e n e c k si nt h ed e v e l o p m e n to fm u l t i m e d i a t e c h n o l o g y h 2 6 4 a v cv i d e oc o d i n gs t a n d a r di sp r o v i d e df o r m a l l yb yj v t ( j o i n t v i d e ot e a m ，a n dg i v e san e wt e c h n i c i a ls o l u t i o nt oab r o a dr a n g eo fa p p l i c a t i o n s ，s u c h a sl a w - b i t - r a t ec o n v e r s a t i o n a ls e r v i c e sa n de n t e r t a i n m e n tq u a l i t yb r o a d c a s t ，i n t e r a c t i v e v i d e o o n d e m a n ds e r v i c e se t c s ot h i ss t a n d a r do b t a i n sm u c ha t t e n t i o nf r o ma c a d e m i c a n di n d u s t r i a lf i e l d s h o w e v e r ，t h ei m p r o v e m e n t sa r eb a s e do nt h ec o s to fr a p i d i n c r e a s e dc o m p l e x i t y , w h i c hm a k e si td i f f i c u l t yo fr e a l t i m ec o d i n ga n dt r a n s m i s s i o n b a s e do nh i g h - p e r f o r m a n c ed i g i t a ls i g n a lp r o c e s s o rt oi m p l e m e n th 2 6 4v i d e o e n c o d e ri so n eo fm o s te f f i c i e n tm e t h o d s ，w h i c ha l s oh e l p st op r o m o t et h ea p p l i c a t i o n o fh 2 6 4 h o w e v e r , t h eh i g hd e m a n df o rd s pm a k e sr e a l t i m er e a l i z a t i o nw i t l l h a r d w a r ed i f f i c u l t ，a n dt h ed s pi sd i f f e r e n tf r o mp ci nt h es t r u c t u r e s op e r f o r m a n c e o p t i m i z a t i o no ft h ee n c o d e rm u s tb eb a s e do ns t r u c t u a lc h a r a c t e r i s t i c so fh a r d w a r e p l a t f o r m t h i sp a p e rm a k e sd m 6 4 2 g d ka st h eh a r d w a r ep l a t f o r mf o ri m p l e m e n to f t h er e a l t i m eh 2 6 4e n c o d e ra n de x p l o i t e dt h ee f f i c i e n tm e a n so fh 2 6 4e n c o d e r i m p l e m e n t a t i o nb a s e do nd s pp l a t f o r m i nt h i sp a p e r , i ta n a l y z e st h ek e yp a r t so fh 2 6 4s u c ha sp r e d i c t i o na l g o r i t h m ， i n t e g r a lt r a n s f o r m ，q u a n t i z a t i o n ，e n t r o p yc o d i n g ，l o o pf i l t e ra n dm u l t i p l er e f e r e n c e f r a m et e c h n o l o g y , e s p e c i a l l yt oi n t e r - f r a m ep r e d i c t i o nw h i c hc o s tt h em o s tt i m ei n h 2 6 4 i tc a nd e c r e a s et h ee n c o d i n gt i m el a r g e l yb yo p t i m i z i n gm u l t i p l er e f e r e n c e f r a m et e c h n o l o g yi nt h ei n t e r - f r a m ep r e d i c t i o n a f t e rd e t a i l e dr e s e a r c hi n c h a r a c t e r i s t i c so fd s ph a r d w a r e p l a t f o r m a n di n t r o d u c t i o no ft h e d e v e l o p e n v i r o n m e n tc c s ，i ts i m p l i f i e sa n do p t i m i z e sm a i nf l o w so fe n c o d e ra n dm o d u l e s ，a t l a s t ，j m 8 6i so p t i m i z e do nt h eh a r d w a r ep l a t f o r mi n c l u d i n go p t i m i z a t i o no fc o d el e v e l a n dca r i t h m e t i cl e v e l t h ei m p r o v e de n c o d i n ga l g o r i t h m sa r et r a n s p l a n t e dt ot h e d s p c h i p ，w h i c hl a y sag o o dg r o u n di nr e a l t i m ea p p l i c a t i o n k e y w o r d s ：h 2 6 4 a v c ；i n t e r - f r a m ep r e d i c t i o n ；o p t i m i z a t i o n ；d s ph a r d w a r ep l a t f o r m i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：盛 e t 期：笪过：- 立：叁 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：卫溢 导师签名：日期：趔：2 羔：丛 武汉理工大学硕士学位论文 第1 章绪论 1 1 视频压缩的必要性和可行性 随着多媒体技术和视讯技术的飞速发展，人们对多媒体通信业务的需求与 日俱增。尽管人们在努力增加信道带宽和提高信道传输效率，但数字化的信息 带来的“信息爆炸 ，无疑给存储器的存储容量、通信干线的信道传输率以及计 算机的处理速度都增加了太大的负荷，成为多种视频应用技术实现的瓶颈问题。 其解决的方法有以下两种：第一，扩大存储器容量，增加通信干线传输率，提 高计算机的数据处理速度。但是硬件所能达到的性能毕竟有限，单纯依靠这种 方法并不现实。第二，通过数据压缩降低数量，以压缩的形式存储和传输数据， 从根本上缓解庞大数据量带来的各种技术压力，这种解决方法的优势相对明显。 视频图像信源数据具有很强的相关性，将其中的冗余信息去掉，保留相互 独立的信息分量，达到压缩的目的。在多媒体数据中，存在着空间冗余、时间 冗余、结构冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等等， 下一节将详细讲述，这些冗余为数据压缩技术的应用提供了可能的条件。 1 2h 2 6 4 视频编码标准简介 视频编码技术的标准化给不同的厂商和视频提供者奠定了一个共同工作的 基础，也为编码视频的交互和更为广泛的应用创造了必要的条件。开发一种国 际标准需要来自不同国家的许多同行的合作，并需要一个能支持标准化过程和 实施标准的组织。视频编码国际标准的制定主要由i t u t 和i s o i e c 负责，i t u - t 相继发布了h 2 6 x 系列标准，而i s o i e c 则推出了m p e g 系列标准瞳1 。这些标准 都是建立在基于块匹配的混合编码框架下的，并且有非常类似的结构。下面对 基于块匹配混合编码框架的基本结构、必要算法和相关视频编码标准做一个简 要介绍。 h 2 6 4 是在i t u - t 和i s o i e c 等组织先前制定的编码标准的基础上提出的， 武汉理工大学硕士学位论文 从技术上讲它并没有推翻早期标准的总体框架和结构，其整体框架和结构与 h 2 6 3 的编解码是十分相似的。这些相似性使得h 2 6 4 更加容易进行开发和拓展， 且具有很好的兼容性和可移植性。由i s o i e c 命名该标准相比最为主要和关键 的改进表现在其视频编码系统上。这主要表现在以下三方面口1 ： ( 1 ) 以可变块大小增强运动估计和补偿以及增加变换的压缩效果 众所周知，在其它标准中，处理的像素块大小均为8 8 或1 6 1 6 。从图 i - i 可见，h 2 6 4 中对每个1 6 1 6 宏块的运动补偿可根据不同的应用环境和要 求，由不同尺寸的宏块来执行。个别的运动矢量可以用小到4 4 的块传输，这 样某一个宏块可以用1 6 个运动矢量传送。更小的运动补偿块的引入可以提高在 一般和特殊情况下的预测质量，处理好需要更多运动细节的场合，从而提高主 观视觉效果。实验表明，应用7 种不同大小和形状的块可以比单一的利用1 6 1 6 块进行编码提高1 5 以上的压缩率。同时，h 2 6 4 允许由更高的空间精确度来 决定运动矢量，利用i 4 像素空间精度可以比原有的一个像素精度预测提高2 0 的编码效率。同时，h 2 6 4 在帧内、帧间预测的其它方面也有不少的改进。 图i - ih 2 6 4 信源编码与其他标准编码的比较 ( 2 ) 整数变换 为做进一步的压缩处理，从运动估计和补偿出来的结果将被从空间域转化 为频率域。在以前的编码标准中大多采用了8x8 的离散余弦变换，而在h 2 6 4 中则采用了4 x 4 的整数变换。其变换公式为y = h x h 7 ，其中x 为要被变换的4 4 像素块，而 2 武汉理工大学硕士学位论文 h = l1 2l ll l 一2 ll 一12 一l1 2一l 这种整数变换其实是d c t 变换的一种近似，但它将d c t 变换中的浮点运算 改为整数运算，可减少系统的运算量。同时，它用减小量化精度的方法降低数 据量，用对更小的数据块( 4 4 ) 进行处理来减小失真，从而进一步提高了图 像质量和编码效率。 ( 3 ) 增强的熵编码 在h 2 6 4 中，熵编码可以用简单的通用变长编码( u n i v e r s a lv a r i a b l el e n g t h c o d e s ) 或者用基于上下文的自适应二进制算术编码( c o n t e x t b a s e da d a p ti v e b i n a r ya r i t h m e t i cc o d i n g ) 。基于内容的自适应变长编码( c a v l c ) 对剩余的4 4 ( 或2 2 ) 块的“之 字型扫描传输系数进行编码。c a v l c 充分利用了4 4 块量化系数的以下一些特征： 通过预测、转换和量化，系数块通常都是稀疏的( 含大量的0 ) ，c a v l c 利用游程码对长0 串进行压缩； 通过“之 字型扫描的高端的非0 系数通常是一个+ 1 或一1 的序列，c a v l c 将高频系数+ 1 或一l 的数量通过压缩作为信号发出； 相邻块之间的非o 系数的数量是相关联的，系数的数量是通过查找表 进行编码，对查找表的选择依赖于相邻块中非0 系数的数量； 非0 系数个数的数量级在重排序数组的开始( 接近直流系数) 的地方 比较高，在高频部分比较低，c a v l c 充分利用这一点，采用依靠最近编码的数量 级自适应选择量级参数查找表的方法。 通过这种方法与传统的变长编码( v l c ) 的结合，将能更为充分利用信源的 各种相关特性和人的视觉特性更好地压缩数据，降低所需的传码率。 3 视频编码技术的发展 “第一代 视频编码技术主要以预测编码、变换编码和统计编码三大经典编 码方法为基础。它们都是非常优秀的纹理编码方案，能够在中等压缩率的情况 下，提供非常好的图像质量，但在非常高的压缩率情况下，无法为一般的序列 武汉理工大学硕士学位论文 提供令人满意的质量h 1 。八十年代初期，“第一代 编码技术已经达到了顶峰， 这类技术去除客观和视觉冗余信息的能力已接近极限。究其原因是由于这些技 术都没有利用图像的结构特点，因此它们也就只能以像素或块作为编码的对象， 另外，这些技术在设计编码器时也没有考虑人类视觉系统的特性。 “第二代”视频编码技术是k u n t 等人于1 9 8 5 年提出，主要是为了克服“第 一代视频压缩编码技术的局限性。他们认为，“第一代 编码技术只是以信息 论和数字信号处理技术为理论基础，旨在去除图像数据中的线性相关性的一类 编码技术。其压缩比不高，大约在1 0 ：1 左右。而“第二代 编码技术充分利用 人的视觉生理、心理和图像信源的各种特征，实现从“波形，编码到“模型”， 编码的转变，以便获得更高压缩比。其压缩比多在3 0 ：l 至7 0 ：1 之间，有的甚 至高达1 0 0 ：1 。“第二代”编码方法主要有：基于分形的编码、基于模型的编码、 基于区域分割的编码和基于神经网络的编码等。但是由于“第二代”编码方法 增加了分析的难度，所以大大增加了实现的复杂性。所以在视频压缩编码中的 应用研究进展缓慢，目前多与其他方法结合使用。但由于巨大压缩性能的潜力， 人们都在致力于这些新方法的研究之中。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码 方法，如 子带编码、塔形编码和基于小波变换的编码。这类方法使用不同类型的一维或 二维线性数字滤波器，对视频图像进行整体的分解，然后根据人类视觉特性对 不同频段的数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法 原理上仍属于线性处理，属于“波形编码，可归入经典编码方法，但它们又 充分利用了人类视觉系统的特性，因此可以被看作是“第一代 编码技术向“第 二代”编码技术过渡的桥梁。 视频压缩编码标准的制定主要是针对实时视频通讯的应用啼3 ，如视频会议和 可视电话等，它们以h 2 6 x 命名：而由i s o 和i e c 的共同委员会中的m p e g 组织 制定的标准主要针对视频数据的存储( 如v c o 和d v d ) 、广播电视和视频流的网络 传输等应用，它们以m e p g x 命名。h 2 6 4 标准为i t u 和i s o i e c 联合制定的， 在i s o i e c 中，该标准的正是名称为m p e g 一4a v c 标准，作为m p e g - 4 标准的第 十部分；在i t u t 中的正式名称为h 2 6 4 标准，它吸取了其他各标准的优点， 克服了它们的不足之处，并在低码率传输方面有独到之处，是现在主要关注的 焦点。 4 武汉理工大学硕士学位论文 1 4h 2 6 4 的研究背景和应用前景 更高的编码效率必然使h 2 6 4 具有更新更广的应用领域和更大的商机。目 前可在x d s l 上传播1 m b p s 的p a l 质量的视频数据流1 。h 2 6 4 产品在卫星的电 视转播方面将具有很强的竞争力，利用8 p s k ，t u r b o 码与h 2 6 4 结合的卫星转播 系统，每颗人造卫星能转播的电视节目套数将是现有利用m p e g - 2 的d v b - s 系统 的3 倍。看来，仅仅是替换现有机顶盒都将是一个巨大的市场。 同时，h 2 6 4 对于高清晰度电视的传输和存储也有重要价值。现在，人们有 可能将一部8 m b p s 的高清节目方便地存储在一盘d v d 上，这将极大促进和推动 家庭影院市场，人们不必再等待更为昂贵和不可靠的蓝光光盘( 容量为2 7 g b ) 的推出。同时，h 2 6 4 使得在卫星或是有线电缆上，每信道能传送4 路高清节目。 其运行费用比基于m p e g 一2 系统低得多，这对于有线电视投资者无疑具有巨大的 吸引力。 由于h 2 6 4 编码比现有编码算法的压缩比高l 倍，这将使其在移动通信领 域也将占领一席之地并扮演重要角色。由于3 g 系统的频段十分昂贵，降低传输 码率、提高信道利用率将显得尤为重要。 除此之外，因其良好的压缩性能和网络友好性等新特点，h 2 6 4 已成为目前 视频存储和图像通信研究领域的一个热点问题。实现h 2 6 4 实时编码是其中一 个很重要的研究方向，尤其在移动视频、视频会议、电视电话等视频实时应用 场合具有非常重要的研究意义和实用价值。 视频压缩编码的实现主要有三种可能途径盯1 ：基于p c 的纯软件实现、纯硬 件实现、软硬件相结合实现。随着视频压缩标准的不断发展与完善，算法的运 算量和复杂度也就随之而提升，h 2 6 4 视频压缩编码算法也不例外。用基于p c 的纯软件的方法来实现h 2 6 4 实时压缩非常困难，尤其对于高分辨率的图像来 说几乎是不可能的。同时，就纯硬件实现来说，虽然通过设计制作高性能的专 业视频处理芯片的方法来完成视频编解码一度在视频压缩系统中占据了主导地 位，但专用的视频处理芯片固有的灵活性差和高成本缺点却极大地限制了该方 法的普及。而通用的数字信号处理器( d s p ) ，由于其高度可编程性、超强的数 据吞吐能力和运算速度、使产品能够迅速应用新算法、快速地进行产品升级， 这些优点使得以d s p 为核心处理器的软硬件相结合的方法成为了目前国际上和 国内实现h 2 6 4 实时编码的一种可行的、有效地、快速的途径。 武汉理工大学硕士学位论文 1 5 本文的研究内容和论文结构 本论文的研究工作主要包括两个部分： ( 1 ) 研究分析了h 2 6 4 a v c 编码器结构和帧间各关键技术，讨论了帧间预 测中多参考帧技术的优劣，并对其进行优化以减少帧间预测编码的时间复杂度； ( 2 ) 针对d m 6 4 2 g d k 开发板的特点，对编码器以及各模块的主流程进行了 精简和优化，并借助j m 开源代码利用标准c 语言对编码器部分关键算法进行了 不同层次上的优化，成功移植到d s p 平台的同时能提高其实时编码的能力，并 最终借助于所搭建的测试平台对整个编码器性能进行测试并分析结果。 本论文的结构安排如下： 第一章：绪论 本章主要介绍了视频编码的基本原理，h 2 6 4 视频编码标准的简要内容， 视频编码技术的发展以及h 2 6 4 编码标准的研究背景和应用前景。最后介绍了 本文的研究内容和论文的结构安排。 第二章：h 2 6 4 视频编码标准和编码器的研究 本章主要借助对国际视频编码标准系列的逐一介绍，从而分析出h 2 6 4 视 频编码标准的突出优势；并对h 2 6 4 编码器的结构和关键技术进行分析和研究。 第三章：帧间预测算法研究和优化 本章主要对帧间预测主要算法进行分析和研究，重点分析和研究了多参考 帧技术的重要作用和意义，并针对帧问预测算法时间复杂度的减少这一问题， 对多参考帧技术作了进一步的优化，通过对三大开源编码器的评测最终选择借 助j m 开源代码得出优化结果，并对结果进行了分析。 第四章：基于硬件平台的h 2 6 4 视频编码器的优化 本章主要介绍了本论文所采用的硬件平台d m 6 4 2 g d k 开发板以及相关的集成 开发环境c c s ，并结合d s p 移植这个特点，对编码器部分核心算法和编码流程进 行了优化，还对相关的代码结构进行了适当的调整，以使代码的整个软件开发 流程更加精简和清晰，较方便地移植到d s p 硬件平台，也为提高视频编码的实 时编码能力打下良好基础。最后得出优化结果，并进行分析。 第五章：总结和展望 本章总结了论文的全部工作，并对课题进一步的工作进行了分析和规划， 以及视频编码的发展作了简略分析和展望。 6 武汉理工大学硕士学位论文 第2 章h 2 6 4 视频编码标准和编码器的研究 随着人们对视频和音频信息的需求愈来愈强烈，追求远距离视音频同步交 互成为新的时尚。随着计算机技术、通信技术和网络技术的发展，集音频、视 频、图像、文字、数据为一体的多媒体信息，使越来越多的人开始通过互联网 享受到网上生活、远程医疗、远程通讯的乐趣，缩短了时区和地域的距离。在 这之中，数字电视( 包括h d t v ) 、d v d 压缩与存储、视频会议和以多媒体应用为 主要特点的3 g 都是研究热点，也是多媒体技术的一个发展方向和趋势。而这其 中的一个关键技术就是视频压缩技术，促使了许多视频编码标准的产生，这些 标准包括了各种范围的应用，从静止图像、可视电话到高清晰度电视；码率从 几十k b i t s 到几十m b i t s ，覆盖了很大的视频速率范围和应用领域，并能满足 不同应用的要求，如速率、图像质量、复杂度、容错性和实时性等。 2 1 视频编码的国际标准简介 目前视频领域中最为重要的编解码标准有国际电信联盟组织( i t u ) 制定的 h 2 6 1 ，h 2 6 3 ，h 2 6 4 和国际标准化组织( i s o ) 和国际电工委员会( i e c ) 联合组织 的运动图像专家组( m p e g ) 的m p e g 系列标准m p e g l 2 4 ，而在网络的视频流传输 中，则活跃着r e a lv i d e o ，w m v ，q u i c k li m e 等标准，此外还有o n 2 的v p 5 ，v p 6 以及我国自主研制的a v s 等标准1 。h 2 6 x 和m p e g 标准发展如图2 1 所示： 1 9 8 41 9 8 61 9 8 8 1 9 9 0 1 9 9 2 1 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 2 2 0 0 4 图2 1i t u - t 和i s o i e c 视频编码标准的历史 7 武汉理工大学硕士学位论文 2 1 1m p e g 标准 m p e g 是i s o 和i e c 所组成的j t c ( j o i n tt e c h n i c a lc o m m i s s i o n ) 下的子 委员会的一个工作组，该工作组所制定的一系列用于运动图片和声音的压缩、 存储重放、处理和描述的国际标准在工业界获得巨大成功阳1 。其中有用于v c d 存储播放的音视频压缩国际标准m p e g - 1 ；有应用在数字电视和高清晰度电视广 播上的、用于d v d 存储播放的音视频压缩国际标准m p e g 一2 ；有基于音视频对象 编码的m p e g - 4 标准；还有分别与多媒体描述和通用的多媒体框架有关的m p e g - 7 和m p e g - 2 1 标准。 ( 1 ) m p e g - 1 m p e g l 制定于1 9 9 2 年，可适用用不同带宽的设备，也即具有遗传性，该标 准不只限于某个特定的应用。它的目的是把2 2 1 m b i t s 的n t s c 图像压缩到 1 2 m b i t s ，压缩率为2 0 0 ：1 ，这是图像压缩的工业认可标准。它可针对c l f 标 准分辩率( 对于n t s c 制为3 5 2 x 2 4 0 ；对于p a l 制为3 5 2 x 2 8 8 ) 的图像进行压缩， 传输速率为1 5mb i t s ，每秒3 0 帧，具有c d 音质，质量级别基本与v h s ( 广 播级录像带) 相当。 应用m p e g 一1 技术最成功的产品非v c d 莫属了，v c d 作为价格低廉的影像播 放设备，得到广泛的应用和普及。m p e g - 1 也被用于数字电话网络上的视频传输， 如非对称数字用户线路( a s d l ) 、视频点播( v o d ) 、以及教育网络等。 ( 2 ) m p e g - 2 m p e g 一2 制定于1 9 9 4 年，主要是针对数字电视广播( d v b ) 、高清晰度电视( h d t v ) 和数字视频( d v d ) 等制定的运动图像及其伴音的编码标准。设计目标是高级工业 标准的图像质量以及更高的传输率。m p e g - 2 所能提供的传输率在 3 m b s - i o m b s ( 2 4 8 0 m b i t s ) 间，在n t s c 制式下的分辨率可达7 2 0x4 8 6m p e g - 2 能够提供广播级的视像和c d 级的音质。m p e g - 2 的音频编码可提供左右中及两个 环绕声道，以及一个加重低音声道和多达七个伴音声道。m p e g 一2 另一特点是， 可提供一个较广范围的可变压缩比，以适应不同的画面质量、存储容量以及带 宽的要求。 m p e g 一2 技术除了应用于对数字电视广播( d v b ) 、高清晰度电视( h d t v ) 和数字 视频( d v d ) 外，还可用于为广播、有线电视网、电缆网络以及卫星直播，提供广 播级的数字电视。 8 武汉理工大学硕士学位论文 ( 3 ) m p e g 一3 由于m p e g 一2 的出色性能表现已能适用于h d t v ( 高清晰度电视) ，使得原打算 为h d t v 设计的m p e g 一3 标准还没出世就被抛弃了。 ( 4 ) m p e g 一4 m p e g - 4 于1 9 9 8 年1 1 月公布，与m p e g 一1 ，m p e g 一2 不同，m p e g 一4 并不仅仅 是着眼与定义不同码流下的压缩编码标准，而是更多地强调多媒体通信的交互 性和灵活性，以及与其他领域的融合，这些领域主要有通信业、计算机业、消 费电子业和娱乐影视业。m p e g 一4 是一个支持视听数据包括自然或人工视听对象 的通信、存取和管理，能实现交互性和高压缩比，以及具有很高程度的灵活性 和可延展性的视听标准。它提供一个灵活的框架和一个开放的工具集，以支持 各种各样新颖的功能。基于内容的交互性允许用户修改、增加、删除或重定位 一个视频场景中的对象，甚至可以转换场景中的对象的行为，这是与m p e g 前两 个标准最大的不同。m p e g - 4 允许自然视频对象和计算机合成视频对象的单独编 码或混合编码，并允许基于对象的随机访问。m p e g 一4 标准是开放式的，这使得 它在处理不同形式的数据时具有较高的灵活性，并使标准本身具备了可扩展性。 在m p e g 一4 制定过程中，为了适应传输的不同码率、不同分辨率、不同质量视听 数据的需要，仅对传输网络的系统结构、比特流结构中从编码器到解码器的比 特流句法、语法及部分参数的取值范围作出了规定。引入了数据类的概念后， m p e g 一4 实现了与以往标准很好的兼容性能，m p e g - i 2 和h 2 6 1 ，h 2 6 3 均能作 为一个数据类被纳入到m p e g - 4 的框架中。 这个标准对传输速率要求较低，在4 8 k b i t s 一6 4 k b i t s 之间，主要应用于 视像电话、视像电子邮件等。m p e g - 4 利用很窄的带宽，通过帧重建技术、数据 压缩，以求用最少的数据获得最佳的图像质量。最初m p e g - 4 的应用是以高压缩 率和高的图像质量来把d v d 里面的m p e g - 2 视频文件转换为体积更小的视频文 件。经过这样处理，图像的视频质量下降不大但数据量却可缩小几倍，可以很 方便地用c d r o m 来保存d v d 上面的节目。另外，m p e g - 4 在家庭摄影录像、网络 实时影像播放得到了广泛的应用。经过这些年的发展，m p e g - 4 主要应用在移动 通信和公用电话交换网p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 上，并支持 可视电话( v i d e op h o n e ) 、电视邮件( v i d e om a i l ) 、电子报纸( e l e c t r o n i c n e w s p a p e r ) 和其他低数据传输速率场合下的应用。 9 武汉理工大学硕士学位论文 ( 5 ) m p e g 一7 准确来说，m p e g 一7 并不是一种压缩编码方法，而是一个多媒体内容描述接 口。继m p e g - 4 后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅 速搜索。m p e g 一7 就是针对这个矛盾的解决方案。m p e g - 7 力求能够快速且有效地 搜索出用户所需的不同类型的多媒体资料。m p e g - 7 将对各种不同类型的多媒体 信息进行标准化的描述，并将该描述与所描述的内容相联系，以实现快速有效 的搜索。该标准不包括对描述特征的自动提取，它也没有规定利用描述进行搜 索的工具或任何程序。其正式的称谓是“多媒体内容描述接口。m p e g - 7 可独立 于其他m p e g 标准使用，但m p e g 一4 中所定义的音、视频对象的描述适用于m p e g - 7 ， 这种描述是分类的基础。另外我们可以利用m p e g - 7 的描述来增强其他m p e g 标 准的功能。 m p e g 一7 应用范围很广泛，既可以应用于存储( 在线或离线) ，也可以用于流 式应用( 如广播、i n t e r n e t 下载等) 。它可以在实时或非实时环境下应用。如： 数字图书馆( 图像目录、音乐字典等) ：多媒体名录服务；广播媒体选择( 无线电 信道，t v 信道等) ；多媒体编辑( 个人电子新闻业务，媒体写作) 等。另外，m p e g 一7 在教育、新闻、导游信息、娱乐、研究、业务、地理信息系统、医学、购物、 建筑等各方面均有较大的应用潜力。 ( 6 ) m p e g - 2 1 m p e g 一2 l 由m p e g 一7 发展而来，该标准的名称为：多媒体框架( m u l t i m e d i a f r a m e w o r k ) ，其目标是定义一个能够包含各类媒体的框架，使各类媒体能够有 机地结合在一起，够透明地和更强地适用跨越范围广泛的网络和设备的多媒体 资料。m p e g 一2 1 主要规定数字节目的网上实时交换协议。 2 1 2h 2 6 x 系列标准 i t u 最初是由c c i r ( 国际无线电咨询委员会) 和c c i t t ( 国际电报电话咨询委 员会) 两个组织合并而成，后来c c l r 重新命名为i t u - r ，c c i t t 命名为i t u t n 阳。 v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 是i t u t 中一个的研究团队，主要制定 在电信网络和计算机网络上的视频、语音压缩编码标准，如h 2 6 1 ，h 2 6 3 ，h 2 6 4 等视频压缩编码标准。2 0 0 1 年之后，v c e g 与m p e g 联合成立视频研究小组( j v t ) 负责制定“a v c ”高级视频编码标准，又称为h 2 6 4 或m p e g 一4p a r t i 0 。 1 0 武汉理工大学硕士学位论文 ( 1 ) h 2 6 1 h 2 6 1 标准于1 9 9 2 年公布，用于h 2 6 1 的的编码算法基本是消除时域冗余 的运动补偿和消除空域冗余的变换编码的混合，h 2 6 1 奠定了混合编码框架的雏 形，其视频压缩算法的核心是运动估值预测和d c t 编码，许多技术( 包括视频数 据格式、运动估算与补偿，d c t 变换、量化和熵编码) 都被后来的m p e g 一1 2 所借 鉴和采用，这样的框架形成了所有后续开发的视频编码标准的基础，因此，h 2 6 1 对其他的视频编码标准有着非常重要的影响。 h 2 6 1 是第一个广泛投入应用的数字视频编码标准，它属于恒定码流可变质 量编码而非恒定质量可变码流编码，又称为p 6 4 ，( 其中p 为6 4 k b s 的取值范 围，是卜3 0 的可变参数) ，p 取值较小时，只能传清晰度不太高的图像，适合于 面对面的电视电话；p 取值较大时( 如p ) 6 ) ，则可以传输清晰度较好的会议电视 图像。h 2 6 1 最初是针对在i s d n 上实现电信会议应用特别是面对面的可视电话 和视频会议而设计的，现在h 2 6 1 已经被包含在若干个用于各种网络环境的 i t u t 的h 2 6 x 系列的终端标准中。 ( 2 ) h 2 6 3 1 9 9 6 年i t u - t 公布了h 2 6 3 标准，h 2 6 3 是为低码流通信而设计的。但实 际上这个标准可用于很宽的码流范围，而非只用于低码率范围，它在许多应用 中可以被用来取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善， 以提高编码性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图 像效果，例如在比特率低于3 0 k b s 的应用中，同样的视频质量前提下，h 2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。 两者的区别包括： h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 用全像素精度和循环滤波； 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以满足 更低的数据率或更好的纠错能力； h 2 6 3 包含4 个可协商的选项以改善性能； h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外， 还支持s q c i f ，4 c i f 和1 6 c i f 。 武汉理工大学硕士学位论文 h 2 6 3 与h 2 6 1 相比，能够提供更好的图像质量、更低的速率，十分适合于 i p 视频会议、可视电话应用。 ( 3 ) h 2 6 3 + ( h 2 6 3 第二版) 1 9 9 8 年i t u - t 推出的h 2 6 3 + 是h 2 6 3 的改进版，它在保证原h 2 6 3 标准的 核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或某方面的功 能，它提供了1 2 个新的可防商模式和其他特征，进一步提高了压缩编码性能。 另一重要的改进是可扩展性，h 2 6 3 + 允许多显示率、多速率及多分辨率，增强 了视频信息在易误码、易丢包的异构网络环境下的传输。新增选项可归纳为新 的图像种类和新的编码模式两类。 2 0 0 0 年i t u - t 又推出了h 2 6 3 + + ，对h 2 6 3 + 又做了一些新的扩展，增加了 一些新的特性从而适应于各种网络环境，并增强差错恢复的能力。h 2 6 3 + + 在 h 2 6 3 + 的基础上又增加了3 个可选模式：增强型的参考帧选择；数据分片的模 式；在h2 6 3 + 的码流中增加了补充信息，保证增强型的反向兼容。这些新的扩 展不仅增强了码流在恶劣信道上的抗误码性能，同时也增强了编码效率。 ( 4 ) h 2 6 4 1 9 9 9 年i t u - t 以h 2 6 3 为基础，开始研究新一代的低码率视频压缩标准 h 2 6 l 。为了响应i s o i e cm p e g 对先进视频编码技术的需要，i s o i e c 与i t u t 在2 0 0 1 年成立联合视频工作组j v t ( j o i n tv i d e ot e a m ) ，在h 2 6 l 的基础上开 发新的标准，即j v t 标准。在i s o i e c 中，该标准的正是名称为 m p e g - 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 标准，作为m p e g 一4 标准的第十部分；在i t u t 中的正式名称为h 2 6 4 标准。2 0 0 2 年1 2 月，j v t 形成最后的标准草案。并于2 0 0 3 年3 月被正式确定为国际标准i s ( i n t e r n a t i o n a ls t a n d a r d ) 。 h 2 6 4 同样采用d p c m 加变换编码的混合编码模式，但它采用“回归基本” 的简洁设计，不用众多的选项，但获得比h 2 6 3 + + 好得多的压缩性能；应用目标 范围较宽，以满足不同速率、不同分辨率以及不同传输( 存储) 场合的需求。 技术特点包括： 帧间编码，可变块的运动补偿预测技术； 帧内编码，多方向的空间预测技术； 环内滤波器，去除块效应； 4 x 4 的整数正交变换及相应的量化策略； 改进的运动向量预测编码； 1 2 武汉理工大学硕士学位论文 更加高效的熵编码器；