（电路与系统专业论文）mpeg4“方块dct适应形状sadct”变换算法研究及fpga实现.pdf

摘要 在m p e g 组织( 运动图像专家组) 制定的系列视频标准中，m p e g 一4 是新一代 基于内容的多媒体数据压缩编码国际标准，它与传统视频编码标准的最大不同在于 第一次提出了基于对象( o b j e c t b a s e d ) 的视频编码新概念。基于内容的交互性成为 m p e g 4 视频压缩标准的核心思想，引领了视频编码技术和多媒体应用及发展的新 方向，是目前视频压缩领域研究的热点。 本文在概述和总结m p e g 4 编解码关键技术的基础上，重点探讨了m p e g 一4 基于 任意形状v o p 的“形状自适应离散余弦变换”的变换编码算法( s h a p e a d a p t i v ed c t ， 除小波变换外，目前国内外广泛采用“方块d c t + s a d c t ”算法) 及其适合的f p g a 硬件实现。文中首先简要介绍现有图像压缩标准的制定背景、核心思想、基本组成、 涵盖功能、编解码算法体系等，进一步对m p e g 4 的视频对象提取、v o p 视频编码、 可分级扩展编码、运动估计与运动补偿、s p r i t e 视频编码等关键技术进行了详细阐述； 然后针对具有形状自适应能力的“方块d c t + s a d c t ”变换技术及其算法实现 展开深入研究、寻求其适合的硬件实现结构，并以v h d l 为行为描述工具，以x i l i n x 公司的i s e7 1 i 为开发平台，进行了算法模块的设计和功能仿真，得出实验结论并验 证达到预期目标；文章最后阐述了对论文研究的感想及收获，提出今后的研究方向 及重点，这对于深刻理解“m p e g 一4 基于对象的编解码算法与f p g a 结合”内涵和开 展进一步的f p g a 研究工作都具有重要意义。 关键词：m p e g 4视频压缩视频对象平面( v o p )纹理编码 帧内编码帧间编码运动估计 s a d c tf p g a a b s t r a c t m p e g - 4i san e wi s o i e ca u d i o v i s u a lc o d i n gs t a n d a r dd e v e l o p e db ym p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) i ti sd i f f e r e n tf r o mi t se a r l ym p e g 一1 2s t a n d a r d sa n di s c o d e d d e c o d e db a s e do nv i d e oo b j e c t so fa r b i t r a r ys h a p e t h ec o n t e n tb a s e di n t e r a c t i v e c o n c e p tt h e n b e c o m e st h ek e yt e c h n o l o g yo fm p e g 一4 ，w h i c hi sl e a d i n gt oan e w d e v e l o p m e n tf o rv i s u a lc o d i n ga n dm u l t i m e d i aa p p l i c a t i o ni nt h ef u t u r e ，a n do fc o u r s e b e c o m e sa na t t r a c t i n gr e s e a r c ht o p i ca l lo v e rt h ew o r l d a f t e rad e t a i l e dd i s c u s so fm p e g - 4i m a g e & i d e o c o d i n g a n dd e c o d i n gk e y t e c h n o l o g i e s ，t h i sp a p e rm a i n l yr e s e a r c h e di n t os h a p e - a d a p t i v ed c ta l g o r i t h m ( w h i c hi s w i d e l yu s e dn o wi nm p e g - 4m e d i at h a nd w t ) a n di t sp r o p e r l yf p g ai m p l e m e n t i n g f r a m e ，i n c l u d i n gb l o c kd c t a n ds a d c tm o d u l e s f i r s tw ei n t r o d u c e dt h ec u r r e n tv i d e oc o m p r e s s i o ns t a n d a r d sa b o u tt h e i re s t a b l i s h i n g b a c k g r o u n d ，m a i ni d e a ，b a s ec o m p o n e n t s ，i n v o l v ef u n c t i o n sa n dt h e i rc o d e ca l g o r i t h m s e t c a n da l s od i s c u s st h ev i d e oo b j e c t ss e g m e n t a t i o na n df o r m i n g ，v o p ( v i d e oo b j e c t s p l a n e ) c o d i n g ，s c a l a b l ec o d i n g ，m o v i n ge s t i m a t eo rc o m p e n s a t i o n ，s p r i t ec o d i n go f m p e g 一4 t h e nw ea i m e dt ot h e “b l o c kd c t + s a - d c t t r a n s f o r ma l g o r i t h mt os t a r tt h e w o r k ，r e s e a r c h e di t sf p g ah a r d w a r ei m p l e m e n t i n g ，d e s i g n e di t sm o d u l e sw i t hv h d l a n da c c o m p l i s h e ds i m u l a t i o no nx i l i n xi s e7 1 id e v e l o pp l a t f o r m ，a n da c h i e v e dt h e e x p e c t e do b j e c tw i t hac o r r e c tw a v e f o r m f i n a lw ed e s c r i b e dt h e g a i n so ft h i sp a p e ra n d p l a n n e dt h ef u t u r er e s e a r c ha i m s ，w h i c hw i l lh e l p f u lt ou n d e r s t a n dt h es i g n i f i c a t i o no f “c o m b i n i n go b j e c t b a s e dc o d i n go rd e c o d i n ga l g o r i t h m so fm p e g 一4w i t h f p g a t e c h n o l o g y a n db e g i n m o r ef p g a r e s e a r c hw o r k k e y w o r d s ： m p e ”g 一4 v i s u a l 舅o m p r ；s g i j 譬 。t e x t u r e ；c o d i n g i n t r af l a m ec o d i n g m o v i n ge s t i m a t eo rc o m p e n s a t i o n v o p ( v i d e oo b j e c t sp l a n e ) i n t e rf r a m e s a d c t m p e g - 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f p g a 实现 第一章绪论 1 1 论文研究的背景、现状和意义 随着互联网的飞速发展，消费类电子、通信、电视电影与广播、计算机技术 曰益紧密地结合起来，计算机与通信、娱乐业融合的趋势不可逆转，使得基于互 联网的多媒体产业成为本世纪初发展最快、规模最大的产业之一。m p e g 4 压缩编 码标准正是m p e g 组织继m p e g l 2 、h 2 6 x 等标准后顺应多媒体通信发展需求而 制定的以实现低比特率视频传输和高效的数据压缩为目标的第二代国际视频编码 标准，从1 9 9 8 年底公布以来一直是业界研究和关注的热点，已经成为一个可以适 应各种多媒体应用、支持对多媒体内容的交互、提供各种编码比特率的新一代国 际视频编码标准，有着广泛的应用前景。 图像压缩编码技术( 包括静止图像和视频系列图像存储和传输中的压缩编码 技术) 是多媒体通信的关键技术。在这个技术领域，国内外业界一直开展着广泛 深入的研究，不仅有很多成熟的软件算法得到了成功应用，也有很多音视频编解 码专用硬件电路板问世，其应用领域也从家庭娱乐到专业通信设备、从廉价的消 费电子产品到昂贵的专业级专用设备渗透，如v c d 、d v d 、可视电话、视频会议、 i p 上的视频服务、高清晰电视、数码相机、数字图象监控、网络摄像机、电视演 播室设备等，都是图像视频编码技术在现实应用中很好的例子。 m p e g 4 的成功，将为人们开展多媒体视频研究增添一道新的风景线。以清华 大学“2 0 0 5 年中国多媒体f 音乐视频) 手机市场及产业研究报告”的分析为例， “2 0 0 6 年以后，多媒体手机( 除语音通话外，还拥有文字( t e x t ) 、图形( g r a p h i c s ) 、 影像( i m a g e ) 、动画( a n i m a t i o n ) 、音频( a u d i o ) 、视频( v i d e o ) 多种媒体数据的获取与 处理能力的手机) 如d v 手机、相机手机、m p 4 手机、流媒体手机、游戏手机、 电视手机等都将成为市场主流，视频拍摄和视频播放将被提升到一个前所未有的 高度，) 。但是，这些产品大多都是基于软件算法实现的，如果一直延用此种 “嵌入式c p u 或d s p 加软件算法”的方法进行音视频编解码的话，是无法满足视 频发展潮流、获得满意的性能指标的，必须设计专用的硬件电路，才能满足新一 代技术对计算量的巨大需求。因此，新一代视频编解码芯片产品将是基于专用硬 件的a s i c 芯片，或含有专用硬件核的s o c 芯片。 但是，到了今天，虽然采用硬件编解码音视频信息比起软件编解码音视频信 息可以具有更高的处理能力、有利于实现高效实时的多媒体通信已经形成共识， m p e g - 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f p g a 实现 其研究力度和进展情况却不如软件编解码那样乐观，视频压缩算法的f p g a 实现 离可以普遍投入实用和形成产业还有很大的差距，国内就更是处于落后状态。 今天，面对现有带宽条件的限制和约束，面对图像、视频、动画等海量数字 化数据的有效保存和传输，围绕m p e g 4 压缩标准新的功能、内涵与算法体系展开 的研究和应用多还限于“应用c 语言、v b 等高级语言编程，应用m a t l a b 进行 仿真，最后基于d s p 或a r m 等平台移植”的模式。在我们中国，解决问题的方 法基本上都是购买国外厂商的处理器芯片和别人的编解码方案进行算法软代码移 植，或经授权后使用别人的播放软件解码原始图像如r e a l p l a y e r 等。除了一些尖端 的特殊应用场合，真正在m p e g 4 音视频编解码算法的f p g a 硬件实现上有所突破 并具有实用可能例子不多，其研究工作大多也还处于探索性的初级阶段。因此， 要把“m p e g 4 编解码算法f p g a 实现”提到应用的高度，还需要走一段很长的路。 可幸的是，随着e d a 技术的迅猛发展，随着现代微电子技术的成熟与完善、 可编程逻辑密度的不断提高，面对当今社会对多媒体通信迫切需求的现状，研究 和开发更高效的运动图像编解码算法及其f p g a ( f i e l dp r o g r a m m a b l eg a t e a r r a y ， 现场可编程门阵列) 硬件实现甚至是编解码算法片上系统( s o p c ： s y s t e m 0 1 1 a p r o g r a m m a b l e c h i p ) 的实现变得势在必行，并且已经逐渐成为可能， 这无疑增添了人们对多媒体视频产业开展研究的热情和信心，“视频压缩编解码算 法与f p g a 相结合”成为新的研究课题。 ，综上所述的应用前景和研究现状，理解m p e g 4 标准的产业效应，开展视频编 解码核心算法的f p g a 实现，是一次十分有意义的尝试。 1 2 论文研究的目的 作为图像视频压缩中一个比较活跃的关键技术，变换编码技术一直是人们研 究的热点。长期以来，图像压缩编码中的变换编码方法采用的是基于8 8 像素块 的离散余弦变换( d c t ) ，其目的是消除图像数据的空间冗余，已经在各种图像压 4 缱拯准如7 j p e g 、m p e g 1 、m p e g 一2 、h 2 6 3 等中成熟应用。但是在低码率情况百。 d c t 4 变换编码中存在着明显的“方块效应”1 5 1 。虽然可以通过后处理的办法减小 这种效应，但不能从原理上根本去除。因此d c t 变换编码并不适合需要较高压缩 比的场合。 在新代图像压缩标准m p e g 4 中，变换编码技术除了向下兼容第一代图像压 缩标准中基于8 8 像素块的d c t 变换外，还在其校验模型( v m ) 中定义了适应 m p e g - 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f p g a 实现 形状的变换编码技术，即s a d c t ( 形状自适应离散余弦变换) 。s a d c t 在m p e g4 中在处理任意形状v o 对象( v i d e oo b j e c t ) 时，在视频对象的边缘上具有形状自 适应的特性，这为解决低码率情况下的“方块效应”提供了新方法。从1 9 9 6 年被 写入m p e g 一4 校验模型( v m ) 后得到了广泛的应用。另外，m p e g4 还提出了离 散小波变换( d w t ) 的变换编码技术。 本文研究的目的就是为了响应目前音视频编解码硬件实现落后的研究现状， 研究内容主要是针对m p e g _ 4 中s a d c t 变换算法及其f p g a 硬件实现开展，不 仅探讨了方块d c t ( 处理v o p 内部块) 和形状自适应s a d c t ( 处理v o p 边缘 块) 算法适合的硬件结构，( 对于离散小波变换的变换编码技术，由于其硬件实现 相当复杂，且目前没有得到普遍推广和应用，本文没有展开对应的研究。) 还应用 v h d l 语言对该适应形状的s a d c t 算法进行了描述与设计，初步实现了该变换 模块的软i p 功能。这一研究对实现m p e g 4 高效的压缩特性及图像重建质量性能、 对消除“方块效应”问题和解决目前多媒体通信中的“瓶颈问题”具有重大意义， r 也能为今后进一步研究与设计专用m p e g4 视频编解码芯片和从事大规模集成电 路设计打下必要技术基础，因而还具有潜在的研究意义。 1 3 论文研究的主要内容 1 3 1m p e g 4 视频编解码算法体系研究 m p e g 4 是新一代的视频压缩编码国际标准，它与以往的编码标准不同，顺 应了现代图像压缩编码的发展潮流，实现了从基于像素的传统编码向基于对象和 内容的现代编码的转变，具有基于内容的交互性( c o n t e n t b a s e di n t e r a c t i v i t y ) 、高 压缩率( h i g hc o m p r e s s i o n ) 、易错环境中的抗错特性( r o b u s t n e s s ，即鲁棒性) 、 基于内容的可伸缩性( c o n t e n t b a s e ds c a l a b i l i t y ) 等特点，支持多种多媒体应用。 本文研究的思路是m p e g 4 核心关键算法的硬件实现，就应该首先研究和掌 握m p e g 一4 的编解码算法体系及技术原理，尤其需要掌握“基于任意形状视频对 象( v o ) 编码”这一核心思想及其相关技术。通过大量的阅读中英文材料，本文 就m p e g 4 编解码体系及技术原理作了高度的总结和提炼，为接下来的算法研究 作了充分的技术准备。 i 3 2 方块d c t 和s a d c t 算法研究 m p e g 4 视频编码是对图像系列中任意形状v o 对象的形状信息、运动信息和 m p e g 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f p g a 实现 k ， 纹理信息进行编码。目前，对于这三类信息进行编码的算法中，最为关键的是变 换编码算法( 方块d c t 和s a d c t ) 。 。 本文主要对于纹理编码中的方块d c t 和s a - d c t 变换算法进行研究，探讨其 有效的易于硬件实现的算法结构。之所以选择s a d c t 这个研究目标，主要是根 据这样的现状：( 1 ) 为了向下兼容第一代视频编码标准。m p e g 4 目前的编码仍然 基于8 8 像素块进行，暂时一段时间内具有“过渡特性”：( 2 ) 完全消除“马赛 克效应”建议的是采用小波变换编码技术，其硬件实现相当复杂；( 3 ) s a d c t 的 算法目前仍然多基于c 语言等软件方法实现，硬件实现的研究成果还不多。因此， 本文研究s a - d c t 的硬件实现是一个折中、有益的选择。 1 3 3 方块d c t 、s a d c t 硬件设计与实现 m p e g 4 校验模型中提出了“核心关键算法的v h d l 描述、m p e g 一4 与f p g a 相结合的初步尝试”的定义，并将其编入了m p e g 4 标准的第9 部分，这无疑给 人们提出了新的研究课题和挑战。 对于m p e g 4 纹理编码中“方块d c t 和适应形状s a - d c t ”算法的f p g a 实 现，本文采用了乘法累加器( m a c ) 的方法。该方法实现结构简单、硬件利用率高， 非常有利于实现d c t 类算法的硬件结构。此外，本文对迸一步优化所设计的 s a - d c t 硬件结构( 如用分布式算法实现d c t ) 作了探讨与展望。 “ 。，本文算法模块的设计主要应用 v h d l 硬件描述语言完成 对算法进行了t r l 级的描述：实验所采用的平台是x i l i n x 公司的i s e 7 1 i 集成开发环境，在此平台上 进行算法的设计和功能验证。实鹱疆后得到的s a d c t 模块( 软j 诤) 可以单独 、。作为标准d c t 变换模块使用( 幂需要增加额外的硬件开销) 。这体现了当前 下兼容第一代视频编码标准的特性， 篓够吩发意墨懿瓤j 、玉：“ 在m p e g 一2 仍然盛行的今天具有 弘j 璧鹫r ”t 4 - 论文的组织结构写爱排静”1 。“。j i 。，。， + 一。”n r 本论文研究的赛艨震鼍贯髭g 4 视频标准纹理编解码技术中“方块d c t + 适应 形状s a d c t ”变换编码算法及其f p g a 硬件实现，论文共由六个章节组成： 第一章是绪论，简要介绍m p e g 4 视频编解码算法研究的有关背景、现状及 发展趋势，提出论文研究目的、研究内容和研究意义： 第二章是视频编码标准简介，介绍了i s o i e c 发布的m p e g 系列标准和i t u t 4 鬻 * t m p e g - 4 “方块d c t + 适应形状s a - d c t ”变换算法研究及f p g a 实现 发布的h 2 6 x 标准的制定背景、基本组成、体系内容、涵盖功能、技术特点及其 发展应用等知识； 第三章是m p e g 4 视频编解码系统概述，主要介绍基于矩形帧的编码算法体 系，提炼、研究和总结m p e g 4 基于v o p 编码的算法体系，并针对视频对象提取、 v o p 视频编码、可分级扩展编码、运动估计与运动补偿、s p r i t e 视频编码等核心技 术进行详细阐述。 第四章是关于m p e g 4 目前广泛采用的变换编码技术，即方块d c t + 适应形 状d c t ( s a d c t ) 算法的研究，在基于传统像素进行变换编码的基础上重点讨论 了m p e g 4 基于对象编码的技术原理，研究了基于8 8 方块的d c t 算法、基于 任意形状v o p 的s a d c t 算法原理及其适合的硬件结构。 第五章是m p e g 一4 变换编码算法s a d c t 的硬件实现设计，首先简要介绍 f p g a 、v h d l 与i s e 开发平台的特点与应用，然后针对m p e g 4 核心算法d c t 和s a d c t 的f p g a 硬件实现，利用v h d l 硬件描述语言和x i l i n x 公司的i s e 7 1 i 开发平台进行了算法模块的设计与功能仿真，最后得出实验数据和结论，并验证 达到预期目标。 第六章是结束语与展望，总结了自己所做的工作与不足，并提出改进方案， 阐述了论文研究的感想与收获，展望今后的研究方向、即将开展的下一步工作。 最后是致谢和参考文献。 m p e g 一4 “方块d c t + 适应形状s a d c t ”变换算法研究及f t g a 实现 第二章视频编码标准简介 为加深我们对m p e g 一4 编码标准及其算法体系的了解，本章将对i s o i e c 发 布的视频编码标准m p e g 1 、m p e g 2 、m p e g 7 、m p e g 2 1 和r r u t 发布的h 2 6 x 标准做一些简单的介绍。 2 1 引言 统计表明，人类从外界获取的信息约2 3 来源于视觉1 1 1 ，约1 5 来源于听觉， 其余为触觉、味觉、嗅觉等信息，并且大脑对视觉信息记忆的牢固程度和吸收率 明显高于听觉信息。“百闻不如一见”，可见视觉信息在多媒体信息中占有多么重 要的地位。但是，视频信息的数据量非常之大，以一幅中等分辨率的真彩色图像 ( 分辨率为6 4 0 4 8 0 ，2 4 b i t r ) i e x l ) 为例，其比特数为6 4 0 4 8 0 x 2 4 = 7 3 7 m b ， 需占0 9 兆字节( m b ) 的存储空间。一个1 g b 容量的硬盘只能存储这种图像1 0 0 0 多幅，而若以每秒2 5 帧的速度显示的话，要求传输速率达到1 8 4 m b s 。如果要将 此类图像作为多媒体信息由p c 机直接传输，则无论总线传输速率、数据存取、交 堍速率还是网络传输速率，目前都无法实现。可见，只有经过数据压缩，计算机 才有可能具各处理这种信息的能力。另一方面，图像信号中切实存在大量的数据 冗余可供压缩，并且这种冗余度在解码后还可以无失真地恢复。这显然就使得对 数字图像和数字视频实行数据压缩势在必行，且为多媒体通信提供了可能。 随着现代信息社会对通信业务要求的不断增长、多媒体通信与通信网容量的 矛盾的日益突出，数据量之大已经成为传输与存储的“瓶颈”，极大地制约了数字 通信的发展。多媒体技术要获得实用，关键技术之一就是解决视音频数字化后数 据量之大与数字存储媒体和通信网容量之小之间的矛盾。要解决这个“瓶颈”， 其途径就是压缩。 ；为了实现各种网络和多媒体系统的互通互联，建立统一的多媒体压缩编码国 际标准，国际标准化组织i s o 国际电工委员会正c ( i n t e r n a t i o n a lo r g a n i z a i i o n ：f 6 r j ，s t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i t t e e ) 和国际电信联盟i t u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n u n i o n ) 先后制定和出台了一系列关于多媒体数 据压缩编码及通信的国际音视频编码标准：m p e g 1 、m p e g 2 、m p e g 4 、m p e g 一7 i m p e g 2 1 及h 2 6 x 序列标准。 m p e g 一1 、m p e g 2 是i s o i e c 下的m p e g 组织( m o v i n g ) 制定的采用第一 代编码技术实现压缩的图像视频编码标准，它们使得基于c d r o m 的数字视频和 m p e g - 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f p g a 实现 数字电视成为可能。它们的主要目标是提高压缩比，并改善音频、视频质量，采 用的技术主要是基于信息论的波形编码理论。第一代编码标准的制定为v c d o ， d v d 、数字电视及高清晰度数字电视等产业的发展打下了坚实的基础。 m p e g 4 是基于视听多媒体对象编码的第二代视频压缩编码国际标准，它以视 听媒体对象为基本单元，采用基于内容的压缩编码，要求既有高效的压缩编码性 能、又有独立于网络的基于音，视频对象( a v 对象) 的交互性能，以实现数字视音 频、图形合成应用及交互式多媒体的集成，是针对低比特率下的多媒体通信提出 的一个解决方案。其设计之初的目的是为了在电话线上传输视频和音频数据，但 如今发挥的作用已远远超出了最初的设计思想。m p e g 4 不仅仅着眼于定义不同码 流下的压缩性能，而是更多地强调多媒体通信的交互性和灵活性，以及与其他领 域的融合。其目标主要有两方面：一是极低比特率下的多媒体通信；二是多工业 的多媒体通信的融合，包括通信业、计算机业、消费电子业和娱乐影视业。 m p e g 一7 和m p e g 一2 1 不是针对视频压缩的标准。m p e g 7 是多媒体内容描述? 标准，支持对多媒体资源的高效组织、管理、搜索、过滤、检索，旨在解决对多 媒体信息描述的标准问题，并将该描述与所描述的内容相联系，以实现快速有效 的检索。m p e g 2 1 的目标则是定义和建立一个交互式多媒体框架，跨越大范围内 不同的网络和设备，为多媒体内容从发布到消费所涉及的所有标准提供基础体系， 使用户能够透明而广泛地使用各种多媒体资源。 2 2 第一代图像视频编码标准 采用第一代压缩编码技术进行图像视频编码的标准如m p e g 1 2 、h 2 6 1 、 h 2 6 3 等被称作第一代编码标准，它们主要着眼于图像信号的统计特性来设计编码 器，属于波形编码的范畴。具体的编码方案、算法体系和原理在第三章探讨，本 节简要介绍它们的制定背景、基本组成、体系内容、涵盖功能、技术特点及其发 展应用等有关知识。 2 2 1m p e g 1 标准 m p e g 1 ( i s o i e c1 1 1 7 2 ) 矧的名称为c o d i n go fm o v i n gp i c t u r e sa n d a s s o c i a t e d a u d i of o rd i g i t a ls t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s ，制定于1 9 9 3 年，是m p e g 组织第一阶段的成果，是针对1 5 m b p s 码率的数字存储媒体运动图像及其伴音进 行编码的国际标准，它提供了包括基于帧的视频随机访问、通过压缩比特流的快 m p e g 4 “方块d c t + 适应形状s a d c t ”变换算法研究及f i g a 实现 迸快退搜索、视频的倒放以及压缩比特流的可编辑性等重要特性，用于在c d r o m 上存储同步和彩色运动视频信号，取得了一连串的成功，如v c d 和m p 3 的大量 使用，现已经成为常规视频标准的一个子集。作为i s o i e c 的第一个数字多媒 体音视频编码标准，m p e g 1 主要应用是针对当时出现的新型存储媒体介质 c d r o m 而进行设计的，希望能达到以下基本目标： ( 1 ) 编码重建图像质量应高于电视电话的图像质量，达到或接近家用录像机 ( v h s ) 的画面质量； ( 2 ) 压缩数据能够存储在几种通用存储媒体上，包括光盘、数字录音带、硬 盘和可写磁光盘等； ( 3 ) 传输码率应符合当时计算机网络的传输码率，即1m b p s 1 5 m b p s ，其 中1 5 m b p s 是当时c d r o m 播放设备的访问速度； ( 4 ) 能适l 蓝多种网络，如i s d n 、局域网等通信网络； 为) 能满足各种实时和非实时的系统要求； ( 6 ) 能够实现麦持类似录像机的基本交互功能，如快进、快退和随机访问。 ，m p e g - 1 的：内容分五部分，其中系统、图像和声音这三部分于9 3 年通过并成 为标准第4 部分一致性测试9 5 年通过，第5 部分软件仿真为技术报告。 第r 1 部分主要规定了基于m p e g 1 图像和声音流合成为一个数据流的方案， 它包食了多个流的时间信息，以便同步，使之易于存储或传送。 格式。m p e g 1 可以支持 一系列的算法以达到高压 像素。其编码过程为；二首。 t 先是选择冶适的空间分辨率( 即3 5 2 * 2 8 8 ) ，然后采用基于图像方块的运动补偿算- ”：法似消餐集孵黉间冗余度运动补偿基于当前帧与过去帧及未来帧信息进行运算，取 ii 毒螽辱雾誉；| | | 瑟慧磐霪亳变巷d c t ) 毒除空问冗参，之后进行量化，最后将手动矢 量耥c ! c t 黯息结合进行变长编码，即运动补偿( 预测编码和插补编码) 、d c t 变9 7 ：糍甏鬻辫潦声亲蒜茜赢未持漤 孢4 8 k - ! z 的采样频率。它利用了人耳听觉的掩蔽效应( 即强单音对其相近频率的 。掩蘸疆缈单声道和立体声进行编码。其编码过程为，首先将输入信号分为2 4 个 子频带并做亚米采样，同时应用听觉模型( 计算掩蔽模型) 创建一个数据集去迸。 社： 行承带参量量化和编码，最后由量化器和编码器完成。 、 m p e g 4 “方块d c t + 适应形状s a - d c t ”变换算法研究及f p g a 实现 第4 部分主要规定了数据流和解码器与标准1 、2 、3 部分是否符合的测试方 法，可用于制造商、节目商等。如 第5 部分严格说不是标准，而是技术报告，是一个用完整的c 语言实现的编 码和解码器，它给出了1 、2 、3 部分仿真的全部源代码。 m p e g 一1 标准的最大成功在于标准推出后的商业运作和在应用上的超前性。它 引领了v c d 的飞速发展，甚至在我国引领了一个时期的r r 产业发展，给予其后 续多媒体标准的建立很好的启示，促使标准的建立成为一个产业发展的起点。 2 2 2m p e g 2 标准 m p e g 一2 ( i s o i e c1 3 8 1 8 ) 【2 6 j 名为g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n d a s s o c i a t e d a u d i oi n f o r m a t i o n ，是一种高质量的视频压缩标准，是针对标准数字电 视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，制定于1 9 9 4 年， 能提供3 1 0 m b i t s s e c 间的传输率，处理能力可以达到广播级的视像水平( 即7 2 0 、 4 8 0 像素) 和c d 级的音质。m p e g 一2 的设计目标是高级工业标准的图象质量以 及更高的传输率，旨在制定通用的活动图像及其伴音的编码标准，以适应各种应 用领域( 多媒体计算机、多媒体数据库、多媒体通信、常规电视数字化、高清晰 度电视( h d t v ) 及交互式电视( i t v ) 、数字d v d 等) 。 由于m p e g 一2 在h d t v 应用上的出色表现，使得原打算为h d t v 设计的 m p e g 一3 还没出世就被抛弃了( m p e g 3 要求传输速率在2 0 m b i t s s e v 4 0 m b i t s s e c 间，但这将使画面有轻度扭曲j 。此外，除了作为d v d 的指定标准外，m p e g 2 还可用于为广播、有线电视网、电缆网络以及卫星直播( d i r e c tb r o a d c a s ts a t e l l i t e ) 提供广播级的数字视频。m p e g 2 的另一特点是可提供一个较广的范围改变压缩 比，以适应不同画面质量，存储容量，以及带宽的要求。 m p e g 一2 图像压缩的原理主要是利用了图像中存在的两种特性j 即空间相关性 和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果将这些冗余 信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收 机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前 提下恢复原始图像。 m p e g 2 由9 部分组成，其中前5 部分与m p e g 1 名称功能相同，其余几部 分为扩展。 第1 部分“系统”描述了视音频和数据流的复用，并规定了不同用途节目流 m p e g - 4 “方块d c t + 适应形状s a - d c t ”变换算法研究及f p g a 实现 结构和传输流结构。 第2 部分“视频”比m p e g 1 支持更多的图像格式，直至高清和4 ：2 ：2 ；支持 更高韵图像码率。并可用于级联编解码( 演播室使用和交换节目用) 。 第3 部分“音频”在m p e g 一1 基础上支持多声道编码，立体声之外的声道编 码在相当于m p e g 1 的辅助数据段传送，因此向下兼容m p e g 一1 。 第4 、5 部分与m p e g 1 相同。 第6 部分“d s m c c ”( 数字存储媒体命令与控制) ，它规定了一组协议，用于 控制和操作m p e g 1 、2 数据流，它可支持单机和网络环境中的设备，基本方式是 利用客户机n 务器模型。 第7 部分“多路音频”，它不限于向下兼容m p e g 1 音频，已选定为a a c 。 第8 部分本来预备开发1 0 b i t 量化图像编码，因工业界对此无兴趣，已停止。 第9 部分? 传输流实时接口”，主要用于解码器，以适应于所有传送传输流的 网络。 “ ，。，。 f o 从技术发展的角度看，m p e g 一2 标准可以视为m p e g 1 标准的扩展和延续， 在基本编码系统中主要增加了支持隔行视频的各种算法和适应电视广播和视频通 信应甫系统的可分级编码技术，向下完全兼容m p e g z l 。 2 2 3h 、2 6 x 标准 、冀奄j 弱1 的主要应用目标是i s d n 网上的视频会议系统，公布于：1 9 9 0 年，是第 一卜采用现代编码算法的通用视频标准，其后很多标准的形成都受到h 2 6 1 标准 ， 一一 的簇女$ 虢。h 2 6 1 也称为皿6 4 k 视频编码器，是指它的应用主要针对6 4 k 的整数 倍_ 蓄道；f 取值为l 鞠1 ，它的混合视频编码系统框架被认为是第一代视频编码技 术的；筘体现”是数专视i 蜒- n n n n n n 程中的第一个里程碑。与 f i ：d g i j 4 2 6 1 不支持双向运动i 劫o ，每一个帧间编码的帧是以它的前一 ”罩。” 为参考帧蠢，实现方式比m p e g 简单。 i ? 藩瀵黼礴或视频会议、羽视电话等数字图像通信应用而制订的能 簟遭自；雅能嵛嘁南荤视频稼灌：它针对极低码率信道而设计，需要蒋 m p e g 不同 个已编码帧 满足现有信1 到较高的重讶 建图像质量，为保持h 2 6 1 的兼容性，同时还要在部分压缩编码环节上实现技术 突破。从1 9 9 6 年3 月至2 0 0 0 年1 1 月，经历了h 2 6 3 + 、h 1 2 6 3 + + 、h 1 2 6 l 。等版 本。其中h 2 6 l 是一种更为实用有效的图像编码标准，已经被确定为h 2 6 4 和 m p e 睡4 的第1 0 部允，成为新的发展方向。 m p e g 4 “方块d c r + 适应形状s a - d c t ”变换算法研究及f p g a 实现 2 3 第二代视频图像编码标准m p e g 4 2 3 1m p e g 4 概况0 为适应多媒体通信的快速发展，i s o l _ e c 于1 9 9 4 年开始制订新一代视频编码 标准m p e g 4 ( 1 1 4 9 6 ) ，并于1 9 9 8 年1 2 月公布了版本1 ( v 1 o ) ，1 9 9 9 年1 2 月公 布了版本2 ( v2 0 ) ，2 0 0 0 年年初正式成为国际标准。该标准支持多种多媒体应用 ( 主要侧重于对多媒体信息内容的访问) ，可根据应用的不同要求现场配置解码 器，它不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互 性和灵活性，为多媒体数据压缩编码提供了更为广阔的平台，适用于多媒体因特 网、视频会议和视频电话等个人通信、交互式视频游戏和多媒体邮件、电子新闻、 基于网络的数据服务、光盘等交互式存储媒体、远程紧急事件系统、远程视频监 视及无线多媒体通信等。 m p e g 一4 最初是为了满足视频会议等的需要而制订的可以对音频、视频对象进 行高效压缩的算法和工具，仅限于低比特率的应用，后来不断发展成为一个可以 适应各种多媒体应用、提供各种编码比特率的新一代视频编码标准。其目标在于 提供一种通用的编码标准，以适应不同的传输带宽、不同的图像尺寸和分辨率、 不同的图像质量等，进而为用户提供不同的服务，满足不同处理能力的显示终端 和用户个性化的需求。 与基于像素和像素块的第一代编码标准m p e g 1 2 相比，m p e g 4 采用的是基 于内容( c o n t e n t b a s e d ) 的视频编码方法( 包括基于对象( o b j e c t b a s e d ) 和基于语 义( s e m a n t i c s b a s e d ) 两种) ，属于第二代压缩编码技术。一方面，为支持对多媒 体内容的访问和操作，在m p e g 一4 标准中引入了a v o ( a u d i o v i s u a lo b j e c t ) 音， 视频对象的概念( a o 对象是一个个能在视频场景中被任意访问和操作的实体) ， 采用了基于a v o 对象的压缩编码方法，针对不同的对象进行比特流控制，以增 强用户和对象间的可交互性。另一方面，m p e g 一4 充分利用了人眼视觉特性，抓住 了图像信息传输的本质，从轮廓、纹理思路出发，不仅可以实现对视频图像数据 的高效压缩，还可以提供基于内容的交互功能，适应了多媒体信息的应用由播放 型转向基于内容的访问、检索及操作的发展趋势。除此之外，为了使压缩后的码 流具有对于信道传输的鲁棒性，m p e g 4 还提供了用于误码检测和误码恢复的一系 列工具，因而，采用m p e g 4 标准压缩的视频数据可以应用于带宽受限、易发生 误码的网络环境中，如无线网络、i n t e m e t 和p s t n 网等。 m p e g 一4 不只是具体压缩算法，是针对数字电视、交互式绘图应用( 影音合成 m p e g 4 “方块d c t + 适应形状s a - d c t ”变换算法研究及f p g a 实现 内容) 、交互式多媒体( w w w 、资料撷取与分散) 等整合及压缩技术需求而制定 的国际标准。m p e g 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为 多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、 存储、检索等应用领域普遍采用的统一数据格式。 从根源上说，m p e g 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) 并试图达到两个目标：一是低比特率下的多媒体通信；二是多工业的多媒体通信 的综合，包括通信业、计算机业、消费电子业和娱乐影视业。 ： 1 獬善， 2 3 2m p e g 一的特点 m 弛g - 4 系统的一般框架是：对自然或合成的视昕内容的表示；对视听内容数 据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的 配置。与m + p e g 1 、m p e g 一2 相比，m p e g 一4 具有如下特点： ( 1 ) 基于一内容的交互性 m p e g 一4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下载、 、删除嚣矿嗣刈佣这些臻，用户可以方便地从多媒体数据库中有选择地获取自己所 。需鹱巍剩妻泰有关的内容；提供了内容的傈释和位流