（通信与信息系统专业论文）mpeg4系统与流媒体技术.pdf

摘要 由于因特网的飞速发展和巨大成功，人们对多媒体服务的需求持续增长。为了 适应这一需求，m p e g 4 系统引入了媒体对象的概念。媒体对象在编码中的应用提 高了压缩率，同时也使得交互性成为可能。 在本文中，我们描述了m p e g 4 系统的结构，重点放在视频编码上。接下来研 究了通过因特网访问媒体内容的过程。此外文中表述了现代流媒体技术的基本概 念，进而简要介绍了流媒体的主要组成模块。我们详细讨论了一种最有价值的可 分级编码方法微细粒度可分级编码。最后我们提出了一种基于硬件的m p e g 4 视频编码器结构。 本文的主要贡献集中在三个领域。在m p e g 一4 系统领域，提出了一种通过因特 网访问视频内容的方法。其次，在流媒体领域，对f g s 进行了深入的研究，并提 出了有前景的若干方向。最后提出了一种可行的视频编码硬件系统方案。 关键词：m p e g - 4 流媒体f g s f p g a a b s t r a c t d u et o e x p l o s i v eg r o w t ha n dg r e a t s u c c e s so fi n t e r n e t ，t h e r ei sa l l i n c r e a s i n g d e m a n df o rm u l t i m e d i as e r v i c e s t om e e tt h i sd e m a n d ，t h ec o n c e p to fm e d i ao b j e c ti s i n t r o d u c e di n t om p e g - 4s y s t e m t h eu s a g eo fm e d i ao b j e c ti nt h ep r o c e s so f c o d i n g i m p r o v e sc o m p r e s s i o n r a t ea n dm a k e s i n t e r a c t i v i t yp o s s i b l e i nt h i sd i s s e r t a t i o n ，w ed e s c r i b et h es t r u c t u r eo fm p e g 一4s y s t e mw i t ha ne m p h a s i s p u to nv i d e oc o d i n g t h e nt h ep r o c e s so fa c c e s s i n gm e d i a c o n t e n tt h r o u g hi n t e m e ti s s t u d i e d i n a d d i t i o n ，t h eb a s i cc o n c e p to fm o d e ms t r e a m i n gv i d e ot e c h n o l o g y i s p r e s e n t e d f u r t h e r m o r e ，c o m p o n e n t so fs t r e a m i n g v i d e os y s t e ma r ei n t r o d u c e di nb r i e f w ed i s c u s so n eo fm o s tv a l u a b l es c a l a b l ec o d i n gm e t h o d f g si nd e t a i l f i n a l l y , w e p r o p o s eh a r d w a r e - b a s e ds t r u c t u r eo f m p e g - - 4v i d e oe n c o d e r t h em a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o nf o c u so nt h r e ef i e l d s i nt h ef i e l do f m p e g 一4 s y s t e m ，w ep r o p o s e a w a y o f a c c e s s i n gm e d i a c o n t e n to n i n t e m e t s e c o n d l y ，i n t h ef i e l do fs t r e a m i n gv i d e o ，a ni n d e p t hs t u d yi sm a d eo nf g sa n ds o m ep r o m i s i n g d i r e c t i o n so nt h i si s s u ea r ep o i n t e do u t f i n a l l y , af e a s i b l es c h e m eo fm p e g 一4v i d e o c o d i n g i sp r e s e n t e d k e y w o r d ：m p e g - 4 s t r e a m i n g v i d e of g sf p g a 创新性声明 也8 , t 6 0 7 a 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成巢。尽我所知，除了文中特别加畎标注和致谢中所罗列的内容以外，论文中不 包含其能人已经发表域撰写过豹醪究或暴；也不包含为获褥疆安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 率清学位论文与凌料着有不实之楚，本入承整一切裙关责经。 本人签名：日期：趔乙 g 关于论文使用授权的说明 本人完全了解西安电予科技大学有关保留和使用学位论文的规定，即：研究 象在校攻读学位期间论文工作的知谈产权单位聪西安电子科技大学。本入徐证毕 效离校鬟，发表论文竣饺鼹论文王 乍戏暴时署名单位仍然为题安电子科按大学e 学校有权保留邀交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段傈存论文。( 保密的论 文在矮密后遵守筵裁定) 本学位论文属予保密，在旦年解密后适用本授权书。 、 本人签名 导师签名 日期：堡三：l ，! y 酲麓： 三9 ，f 、彤 一。 星! 堂堡笙 ： 第1 辇绪论 1 1 图象数据压缩的现状与未来 在许多工攫应用领域，都会遇到蔼要对圈像数据进行传输姆存储的问题。例| 妞， 在传输方面：数字电褫、遥感照片等；猩存储方面：教育、商业、管理等领域韵 潮文资鞑等。在大们鼹嚣生活中，围榉经磐要黠图象数据进行接竣子存储，翔嬲 稽家庭影碟，网络传输相片簿。 大塞聱知遴原始鬟 象数舔量援冀庞大，鳗嚣鼗镪鬟簧对之送孬垂终。弼时鑫予 图象数据无论在空间上还魁在时间上都具有很大的冗余度，因而提供了压缩的可 毪； 目前在图像压缩方面使用的主鼹技术烂大家熟知的运动估计补偿和d c t 变 换。嚣糟瘸蔽消豫餐象数攒在薅阂域静冗佘，囊者箱戮消豫翻缘鼗据在空润域翁 冗余。这蕊秽技术的结合殴经非常成熟，并且被实践诞i ! j l 是嚣常有效地。已提出 的大部分蠲象觚缩标准如：m - p e g - l ，m p e g - 2 ，h ，2 6 3 瓣都嫠赫于这两种技术的。 人 ! 同醛惑在不僚努力眷技更好的匿缨技术。妇：多分辨搴镶玛技术，分彤绽 码技术，模型编码搜术等。在其中讹较引入注目的一种技术憝基于对象的臌缩方 法。该方法不褥予转统懿基予桉戆绽璐方法之簸在于它壤一梭匿象接蠢容分割为 雾个对象，对各个对象分别独立编码。由于对象内部的强相关性，故该方泌能大 夫提毫鲻象翁鼷缡效攀。在m p e g 4 蠢聚孛采蠲7 该寿法。 图象压缩技术的发展与成熟无论是在工程界还是径人们的日常生活领域都带 繁了翦掰未有翡交张。螽卫麓遥感照片秘传羚，v c d ，d v d 懿普及罄。这篓都强 大地方便了工摆应用，绘人们以前睚未有的视听享受，极大地满足了人们日益增 长的物质文讹愆活需耨。 对鲻象燕缭技术熟磅究入受蘑害，王嚣远来到头。在接下来的墨程中，她嬲熹 要在以下的领域迸行强深入的研究。 1 更好缝实璜瑷鸯熬鼙像壤秘蓬嚣豁准 研制出集成度更黼、性能更好的图像编码专用芯片( a s i c ) ，使编粥系统成本更 舔，霹嚣瞧更离。晁个蓬瑟；标准静攀片蠛鼹冀强；鹱级解褥a s i c 鬟西攫窭，其孛 包括对运算速艘要求很高的m p e g - 2 解码芯片。不久还将推出鞭求更高的h d t v 静革片税频解辫芯片。符合m p e o - 2 耘臻豹莘笄藏多鹭挺菝编鹳a s l c 篷己游窭。 解决好现省的图像编码系统开发中的技术细节问题。例如；提高阻像质量，提 高抗谖硒能力。在甜m 弼等变速信遁上豹蒇甭等。如栗系现在擞产的符台t v l p e g - i m p e g - - 4 系统与流媒体技术 的v c d 图像质量和几年前m p e g - 1 刚制定时的v c d 图像质量相比，就可以看到 虽然川的是同一个国际标准和同样的数码率( 1 5 m b p s ) ，但图像质量大大提高了。 这就是近几年来对m p e g 一1 编码器具体实现算法作深入研究的成果。国际标准的 开放性结构为这种深入的改进提供了前提，它允许人们在不影响兼容性的前提下 发挥自己的创造性，对标准中的开放部分进行改进。这些开放性部分包括运动估 值和运动补偿方法，自适应量化系数和缓存器控制策略等。在国际标准规定的约 束下，对这部分算法作更合理的细化有助于提高编解码器的性能，如：复原图像 质量，提高抗误码能力等。 2 图像编码理论和其他图像编码方法的研究 几前已提出和正在进行研究的图像编码方法有以下几种： 多分辨率编码。最早提出的是金字塔编码，后来是子带编码，最近是用 小波变换进行图像编码。 基于表面描述的编码方法( 三角形逼近法) 。 模型编码。它可分为物体模型未知的物体基编码和物体模型已知的语义 基编码。 利用人工神经网编码。 利用分形几何的图像编码( i s f 编码) 。 利用数学形态学的图像编码等。 这些方法总的来说还不是很成熟，有待于进一步的研究。这些方法或者适 川面较窄，缺乏通用性：或者运算繁琐，无法实时实现。但是它们都存在提高实 川性的潜力，具有进步深入研究的价值。 3 图象压缩编码技术与网络技术和无线传输技术的结合的研究 “前这是个非常热门的方向。它们的结合在未来有着广泛的应用前景。 门前这方面的结合包括：流媒体技术，手机彩屏等。网络传输和无线传输有着各 自不同的特性，研究人员需要研究适合于网络与无线传输特性的图象编码方法。 例如为了满足不同接收端解码器的复杂程度与能力，研究人员提出了可分级编码 方法。这方面无论在理论上还是在实践上都还有大量的研究工作要做，而一旦有 所突破，必定会给人们的日常生活带来新一轮的冲击。 1 2 论文内容及作者所做的工作 该论文首先简要介绍了m p e g 一4 协议的内容，包括综述，视频，系统，传输等。 然后对m p e g 4 在应用方面的某些令人感兴趣的课题进行较为深入的探讨，如流 控，可分级编码等。最后提出了在 l 2 6 3 硬件编码系统的基础上实现m p e g 一4 编 码( s i m p l ep r o f i l e ) 的简要方案。 第1 章绪论 作者在硕士学习期间做了以下工作： 1 对m p e g 一4 协议送行了较为深入的研究，阅读了大量稻关文献与资料，为 后期研究奠定了基础。 2 参与了m p e g - 4 视频编码系统方案的设计与调试，着重负责了前端a d 的 实或以及后端码溅的采集，分誊厅与解码。在工壤的后勰作为受责人受责了 整个系统的实现。 3 。搭建了一个m p e g - 4 戆拨频压缀软终乎鸯，该平台支持c i f 揍式耪q c i f 格式。 论文约安蒜魏下： 第二章对m p e g - 4 系统进行了介绍，在第三章和第四章对m p e g 4 中两个 鬟要的方嚣：税额编鹞和基础流的管理进行了较为深入静探讨。在第五帮中论 述了视频技术与网络技术的结合流媒体技术。最后在第六章，简要介绍了 作者在硕士学习期间参与负责的m p e g 4 的视频编码硬件系统。 m p e g - 4 系统与流媒体技术 第2 章m p e g 一4 综述 m p e g 4 是i s o i e c 与1 9 9 8 年推出的音视频压缩标准，并于1 9 9 9 年正式成为 国际标准。在此之前，由于网络技术和多媒体技术的发展，呼唤一个通用的标准。 该标准能在个统一的椴架内实现众多不同的多媒体应用，适合予网络传输。 m p e g ，4 标准正是为迎合上述需臻而制定的。m p e g 4 标准掇供了一系列技术以满 足馋卷、殿务提供卷襄终溃月户鲍不嗣瓣求，剿翔： 1 对于作者，其作品的内容具有更犬的可重复使用性，并能更好地保护 佟者豹：；= 羹蓼 产权； 2 对于网络服务的提供者，提供了遴明的信息，该信息可以被转换为姆 网络的本遗的信意形式，铡如荛语言转换为本魄靛语富等； 3 。 对于终端用户，在作者的限制范围内有着鼹高程度的交互性。 为了达弼上述讨的，传统酚编码方法是不够的。为此，m p e g - 4 引入了“媒 馋对象”( 以下简称“对象”) 的概念。m p e g 4 中把投听内容分割为很多零元，每 个小单元称之为个”对象”。例如，画面中的人物，地球仪，黑板等都题独立的 对象。正是l 入了慰象，才使缛上述的瓣款褥驭达到，目露也成为m p e g - 4 振恣 最大的特色。 在接下采懿章节中，我缃这撵安耩：首先介绍m p e g - 4 中麓两个重要襁念( 场 景和媒体对象) ；然后扼要描述编码的流程；最后解释m p e g 一4 系统的分屡模型。 2 1 场景与媒体对象 崔描述m p e g 。4 鲍编码流理之兹，罄先要了解m p e g - 4 中鲍两个重要概念： 场景( s c e n e ) 和媒体对象( m e d i ao b j e c t ) 在m p e g 4 ； t 熬连续灞动弱溪瑟及转音懿艇薅稼之为一个场景( s c e n e ) 。 在场景内部按内容及相关性分割为多个媒体对象( m e d i ao b j e c t ) 。以图2 1 为例， 该圈楚著名的a k y i o 序列中静顿。该穿爨及箕律裔鞠棱躐一个场景。蕊瑟q 。酌 男女播音员均可作为对象，画面的背景也可作为一个对象，而播音员的播音也可 伟为个对浆( a u d i oo b j e c t ) 。 场景的羹要特性是它的高度分层性。事实上场景的组织结构是树状的。例如在 图2 1 ，i ，我们可以把整个画面作为场景的一个分支，称这样的分支为混合对象 ( c o m p o u n do b j e c t ) 。在这一分支下，惫含骞雯女搔誊员，鸳景等时予，这些叶子 被称为对象。 第2 嚣m p e g - 4 综述 图2 1 场景与媒体对象的例子 强为嫌髂对蒙蠢鸯势不苞含箕在舞豢中斡辩瘸写察阗穰患，戳觉为了在重建时 能凇确恢复出原始的场景，在传输媒体对象自囊的信息之外，我们还需螫传输对 象在场景中秘爵窝信患及对象鞠互之阏的美系，这蛰被称为场景摘述信惑。 2 2m p e g - 4 的编码流程 在引入对象之后，m p e g 4 的编码流程可以归纳为以下网个步骤 l + 撬瞬蠹容骢分簦，生袋多个对蒙； 2 对各个对缘分别压缩编码： 3 溺疹对象蔽稳关数据； 4 + 复台对象的相关数搌，以便在网络上传输t 2 3m p e g 4 懿分层模型 m p e g - 4 绽菊戆实臻怒遥道将m p e g - 4 系统分屡管理实瑗鳇，强鼹2 2 示： ： ： t r a n s m u x 流 图2 , 2m p e g 4 系统的分麒结构 6m p e g - 4 系统与激媒体技本 虫上划可见，m p e g 4 系统分为三层：压缩鼷，同步爆，馋输层。备层的功 栽摇述如下： l ，疆缒屡，在该艨实现裁听凑容熬势熬与压缭编避，犍鹾缡基的数据数蒸礁 流( e l e m e n t a r ys t r e a m ) 的形式传给下一屡； 2 ，霹步盛，在该爨对鹾缩层襞采懿警懿流避褥舞惫添趣籁爹信惠，生袋瓣步 打包流，传给下一层： 3 ，传簇瑟，在该震慰经瓣多瑟努包瓣褐滚逶褥复含，添热黢套蓑爨瓣蠢幂蔷 息，通过适当的网络协议传输出去。 第3 鬻m p e g - 4 的视频压缩编码 第3 章m p e g 。4 的视频压缩编码 如第二章所述，m p e g - 4 的编码魁通过分层实现的。场景经分割生成对象，然 簧对对象分剃编码，这整工作是在匿缩层完成静。在这一牵中我们讨论匿缩屡的 实现，重点放在视频压缩编码方面。 对象( 主要是视频对象) 的分割在m p e g 一4 拚议中怒不作规定的，这体现了 协议的开放性。m p e g - 4 协议只规定了对象的编码方式及玛流组织。在接下来的章 节中，我们首先讨论m p e g - 4 的视频编码方法，然后讨论视频对象的码流组织， 最艨楚要分绍一下视频镶玛鳇校验摸溅。 3 1m p e g - 4 褫频编码方法 在澍豳象逡行分割之后，釜成了一个或多个对象，这些对象称之为褫频对象 ( v o ，v i d e oo b j e c t ) 。v o 在某时刻的实例称之为视频对象平面( v o p ，v i d e oo b j e c t p l a n e ) 。v o p 是m p e g - 4 视频压缩中最重要的概念，事实上一个v o p 就是某帧 嘲某一视频对象。假如我们把整个一帧作为一个慰象，则m p e g - 4 毒煲频编码器 就阐归为h 2 6 3 ，m p e g 2 等传统的视频编码器( 这是允诈的) 。 m p e g - 4 援频缤羁嚣静竣入裁是一令接一个豹v o p ，经匿续嚣按照缎定静格 式输出码流。m p e g 4 的视频编码器的实现可以用下面的樵图3 1 表示： 囊 、 m p e g - 4 幕统与流擦体技拳 圈3 1m p e g - 4 视频编码器框翻 鼠上嘲可戳糟弼，穗传统的运动侮计与d c t 燮换之外。m p e g 4 横频编码器 增加了静额的模块：形状编妈模块。由予在现实中实现任意形状的视频对象的 分割是缀赡的，瓣丽事实上在缀多情况下m p e g - 4 的视频缡码器赞没蠢形状绫璃 的功麓。这撑的话，m p e g 一4 瓣褪频编码器攀实土逐是凰萝曩了传绞豹援颤编璐器。 扶 特率多少土，磁贬g ，4 麴褪凝编码嚣霹鞋分必甚抵魄特率缡羁器窿褰毙特 率缡强嚣：从功土m p e g - 4 瓣撬羧编码爨褥激变持形状编码等凌篷，瞧可不支 蛰这些葫麓。这一点胃毅瑶圈3 2 浚麓： 鞠中，v l b v 措越低码寒视频编鹤( v e r y l o w b i t 抛t e v i d e o ) ) 翅3 2m p e g - 4 援额编码筹法王具势类 孰上潮可知，使其l 嵩比特攀工具，支持对强行李曩搂豹缡玛：瓣在蒸予建窦豹 殇怒下，支持形状绫璐巍霹分缀绽强。 楚3 ，3 绘出了错绞数援菝壤婚器与基予建容熬裰獗编弼黎戆嚣剩： 强3 3 甚低 特率核心编玛嚣每逶掰编码器的区巍 对予m p e g 4 编稻器中运动估计等的其体算法实现，协议是不作规怒的，遮 爵榉体骚了协议盼汗放毪。 对于翻3 1 ，瓣要说明鲍是，该圈势没有撩绘出带有可分级功能豹视频编码嚣 蛔实现方法。为了逛台网络视缀发展瓣溪要，m p e g - 4 提供了缀多技术适食予睡终 第3 章m p e g - 4 豹视频压缩编码 特性。例如为了遁应在不同网络终端上解码嚣的解弼能力与资源的不同，m p e g + 4 协议中规定了可分级编码。有关于这点，在第五章中予以详细介绍。 形状编玛是m p e g * 4 魏一大特色，因舔下霆对之予以麓单的分绍。 如前所述，m p e g 一4 视频编码器的输入是v o p 。v o p 包含了两部分信息：视 额对象豹纹理蕊爨帮形状信惠。v o p 豹形拔售患祓稼为8 平趸。m p e g - 4 褪颤壤 码器的形状编码就是对n 平面进行编码。有两种a 平面：= 进制a 平面和灰度n 平嚣。灰麓a 平谣爝来袋示褫频对象豹透朝发，编鸦方法类觳予纹理编褐。二进 制a 平面漤实上是一个矩形，该矩形将视频对象完全包含在内，且其水平与垂唐 方商的长度均为1 6 的整数倍( 戬象索为单位) 。矩形肉属予视频对象的象素德置 为2 5 5 ，称为不透明象紊，反之置为0 ，称为透明象素。 v o p 的形状编码是这样实现的：首先将：迸制n 平面分割成1 6 1 6 的宏块( 称 这撵魏宏块为二进剑a 块，麓称b a b ) ；再逐个对b a b 分剃进行绽碣。 对b a b 的编码方法是类似于纹理宏块的。如搜索匹配，运动估计，变换编码 等。需要注意懿燕：b a b 懿变换编鹈毽矮懿楚雾寒缡羁。嚣对壶予b a b 豹特殊性 ( 其内部象素值只可取值为0 成2 5 5 ) ，因而b a b 有更多可选的编码模式，如袭 3 1 示： 表3 1b a b 的编码模式及其含义 序号编码模式含义 lm v d s 搿锄n ob a b 运动矢爨差值必0 ，且不对象素差值作c a e 编 u p d a t e 码 2糙v d s 哟& n o b a b 运魂矢爨差毽攀燕0 ，藏不对象素差蓬撑c a e u p d a t e 编码 3a l l _ - ob a b 蠹象紊穰都为0 ( 韶b a b 内蒙豢都不瘸子视频 对象) 4a 己l2 5 5b a b 内象素都为2 5 5 ( 即b a b 内象素都属予视频对 象) 5小r r r a c a e帧内c a e 编码 6 醚v d s 一- 0 & i 嚣e r e a 嚣b a b 运魂矢燕差篷为0 ，捧犊阔c a e 编码 7 m v d s ! = 0 i n t e r c a e ；b a b 运动矢最差值不为0 作帧间c a e 编码 3 2 ) p e g 。4 中视频雁缩数据的组织 在第二章中融经说明，压缩层的输出就是基础流( e s ，e l e m e n t a r ys t r e a m ) 。 基础流被分割为个接一个的访问单元( a u ，a c c e s su n i t ) 。有多种基础流，弼： 生 燮堡! 委堡兰鎏塞整鏊娄 鬣缀流，鬻频浚，系绞流等。税频压缀数据坡经绞覆褪鬏漉鍪。横频浚鹣a u 勰 楚经过组织翁v 0 p 压缩数据。 v o p 黔码流格式育聪稀一静遣嫩头v o p ( v o pw i ms h o r th e a d e r ) ，萁礴流 格式弓h 2 6 3 的赖结构怒完全一样的。事实上这是警初m p e g 一4 的制订卷为了蘸 与 2 6 3 兼容丽特意趣定的一葶申v o p 的码流缀织形式。辩外一耱v o p 皎妈浚缌 织形式就是标准的v o p ，其码流结构觅参考文献【l 翻。 3 ，3渺鞠一4 裁颇缡褥校羧模型 委罄蘸瑟述，m p e g - 4 协议绶谈裁定了褪额缡舀嚣豹实魏糕絮及粥流缀缫。嚣熬 体实现方法是开敖的。滔时为了给诲议静实现翥挺供辩静实现算法酌参考， m p e g 4 的铡订者提供了檄多寄效静箨法，这黧算法俸麓工其统一放在了m p e 4 的校验模型中。校狳摸慰给协议的实现着提供了强有力的簪段来优化他们的编解 玛器。同蹲为了适皮发鼹的幕受，校骤模型中躲算法是不断更藏的。人髓可戳不 断麴提出雯好豹冀法，翅暴能被诞明比派有救箨法照恍越，裂可以被添鸯霆到蔽黢 搂囊t l ；去+ 取代瑟窍瓣笺法。 较验攘黧载凌窭主要分菇 美下死令帮势；澎获缀隅技拳，运动售计与聿 绥技 术，d c t 变换技术，鲞纯技术，漓缡璃技术，冒分缀缡筠技零亵s p r i t e 鳊褥援拳。 形获编褥技术蘸磷叠经予戳篱攀奔绍，母努缀编褥零将在第五章予黻着熬奔缁。 下丽将对运动估诗补偿警的实现簿法律简单讨论。 对于运动估计 偿技术，基零的方法与h 2 6 3 翘瑚曦g - 2 等燕一致魄，餐憝 其穗艘支持i 躔象辫搜索。较为引入淀豢豹是於丁处避方法( p a d d i n gp r o c e s s ) 。 丁处鼹分海内部蛰丁与终郏羚丁蜒秘。悫豁蛰丁是譬 对证予v o p 边缘静裘块避行 毂。遮些宏块中骞魏象素壤予v o p ，窍照不鼹予v o p 。霹予不属予v o p 瓣蒙索， 溺蠛予v o p 豹蒙素篷逡簿壤竞。努罄 丁；睫镑对不糕予v o p 熬宏疑送行熬。瓣 这黧宏块毽臻楣邻蠡鼋宏浚的象嚣疆进稽壤兖。帮班蓉剿这样徽使褥宏获程空弱上 豹变化平缓多了，瓿丽使褥交获螽豹离颓分爨失大减少，这赘| 压缩豹嚣的。 对于羹纯技术，可懿莱馒h 2 6 3 的凝琵技术，也掰采糟类戳予m p e g 的鼙像 技术。h ，2 6 3 的= 鬟豫是线谯的，也蠲除了直流势量以外，一个抉中豹所有交流系数 使删阕一个爨忧步长。藤m p e g 的曩他是 线性的，预先畿定7 个量傀矩阵， 对不瓣约交漆系数搜用不嬲豹豢纯步长。对予爨犯蜃瓣矩黪胃以采鲻壹交浚预测， 霹躅榴罄瓣块懿蠢交滚系数来鞭溺当蘸块兹蠢交流系数。 瓣经羹纯嚣弱d c t 装数踅辫避学织搓，较验模黧墨提供了三耱不溺憋扫接方 法：羲壹季薯攒，永平籀擒和z i g z a g 扫搽。 第4 章m p e g - 4 基础滚骢管理 第4 章m p e g 一4 基础流的管理 经嚣缝屡螽程听淹容菇基整流戆形式传绘爨步层。纂磁浚分为毒蔸叛流，音频 流和系统流。视频流和音频流传输的是视听对象的压缩码流，而系统流传输的是 褫昕对象的描述信惠及它稍之润的籀互关系( 场豢描述信惠) 。 对基础流的管理是通过对象描述框架来实现的。对象描述框架提供了基础流 与视听对象及场景描述之间的关系；同时网络服务的提供者使用对象描述框架来 传输码流，鳃妈端使用对象撰述框架来实现对视听内容的访闻。 在下面的章节中，我们茵先讨论传输与解码视昕内辚需要的必备的辅助信息， 然轰套绥m p e g - 4 的慰象撼述框架，最后奔缨始蜒剥爱怼象攒述蜒絮寒实现对褪 听内容的访问。 4 1传输与解码辅助信患的讨论 为了在网络上传输视听码流，需要给阏络服务的提供者提供必备的些僚息， 这些信息可以朔纳为以下几类： l 。服务质量要求； 服务质量的要求告诉网络服务的提供暂发送端对网络服务质量的要求，如 惩对，豢报率等。网终l 受务的提供考握_ l 毙弩默绘弼漉载健输提供较磐豹服务。 2 码率等； 发送滚告湃瘸络服务提供者发送数据戆平穗速率每最大速枣等。 对予解码端而言，为了准确无误地解码，需要被告知一些必备的辅助信息。 这信息主要可驻癌纳为潋下凡种： 1 对象的类型； 不问的解硝器有不同的解码能力。很明显，税额解硝器不能解音频流，发 之亦然。同样s i m p l ep r o f i l e 的解玛器不能解m a i n p r o f i l e 的码溅。因此妈滚中必须 提供有荧对象类型的信息。该信息告诉解码端对馨的类型及p r o f i l e 。解码端接收 矮提此列叛对该对象蠢无孵瓣缝力。 2 基础流解码所需的资源； 出予现在豹计算梳都支抟多逶撵。霞戴在菜一特定辩亥l 其鸯解菜一类墅对象 能力的解码器不一定拥有解藏础流的资源。比如我们在进行大擐运算的同时观看 网络媒体节蟊。此时出于运算占用了大量的计算机资源( 如主存，c p u 时间簿) ， 从而使解码器可用的资源有限，因丽可能会造成商解码能力的解码器解不了该对 m p e g - 4 系统与流媒体技术 象的蔡，。罐础流。 所有啦土这些弓转瓣帮解麓穗关黪耱蘑穗彝都慧程含在在，獬隧g 。4 静对象描 述框架t l ，的。 4 。2m p e g 4 嬲对象描迷框架 每个媒体对象麓是逶道个躐多个蒸磷滤赞赣携，冠对簿一个媒体对象 对应了个对象描述子。对象描述子包含了对象的i d ，用以在场撩中唯一识别该 对象。嚣辩对象攒述子巾还趣含了一系列懿基础流搽述予，每一个萋磷滚接述予 对应了该对簌的个基础流。溅础流描述子中主要戗含了解码器的配置信息及知 识产权鳇信患。 对象描述子的结构如下： c l a s so b j e c t d e s c r i p t o re x t e n d sb a s e d e s c r i p t o r ：b i tc 8 ) t a g = o b j e c t d e s c r t a g b i t 1 0 o b j e c t d e s c r i p t o r i d ； b i t 1 ) u r l f l a g f c o n s tb i t f s jr e s e r v e d # 0 b l l l l 。l ； i f ( u r lf l a g ) f b i t 8 ，u r l l e n g t h ； b i t ( 8 lu r l s t r i n g u r l l e n g t h ； e l s e e s _ d e s c r i p t o re s d e s c r 1 3 0 1 ； o c i _ d e s c r i p t o ro c i d e s c r c 0 - 2 5 5 i i p m pd e s c r i p t o r p o i n t e ri p m p d e s c r # t r 0 te2 s s l ； ) e x t e n s i o n d e s c r i p t o re x t d e s c r 0 ，2 5 5 1 ； l 熬疆土熬臻掬露爨番嫩，豫了霹蒙撬述孑斡瓣之终，对象搓述予主要毽含了 u r l 绒若干描述予。u r l 是指向另外个描述予的指针。由此可见t 解鹕器获得 某一嘈 象羽旗穑流描述予，既可弘透避该对蒙描述予，也可通过该对象描述子饼 搔是她对象描述予米获褥基鹂瀛撰述予。 对象描避子的主要内襻就是若干描述子：纂础流描述予，o c i 描述予和i p m p 箍述子据赞。o c i 攒述予传输嚣蹩o c i 濂，i p m p 播述子搔赞搬彝i p m p 流t 蕊t p m p 流是即独被传输的。 在照，我霞】较海蓉兴趣藜爨基整流接透予，冀缀梅魏下： c l a s se s d e s c r i p t o re x t e n d sb a s e d e s c r i p t o r ：b i t ( 8 ) t a g = e s _ d e s c r t a g ( 一一篓兰童。釜! 兰i 氅薹壁莲鳌篓鋈 。；3 b i t b i 杜 b i 毫 $ 一i d ； s t r s a m d s p e n d e n c e f l a g ； 淑k i q a g ； c o n s tb i t ( 1 ) r e m e r v e d = l ； b i t 幅 s 专f $ 勰i p r i 甜i t y 。 i f ( s t r e a m d e p e n d e n c e f l a g ) b i t 强6 拯p 女转畦$ o 嚣虬i 釜f i f 豫h 黻a g ) f b i t 8 ) u x l l e n s t h b i t 搪 聪秘 # l n 孽翔袋b l 告奄孽蠊j ； ) 焱 矗e r e f i g 蚤母$ e 蜓p 亡o r 魏。溉照g 蛰e g 错 s l c s n f i 舭) e s c r i p t o rs l c o n f i s d i s s c r i i p l 毵s c r p o i n t e ri p i # t r 0 + l ； i l i d e n t i f i c a t i o n d a t a s s ti p i d sc o 2 s s j ； i p m p _ d e s c r i p t o r p o i n t e ri p m p d s e c r p t r f 0 。，2 # $ l l a n g u a g e d e s c r i p i ：o rl a n g d s s c r f 0 。2 s s jj 聋。舄j d e s # r i p t 。rq o s d e s c r 【o 。赫； r e g i s t r a t i e e s c r l p t o rr e 辩s c r 轻。 ； e x t s n s i o n d e s c r i p t o re m t d e s c rc o 2 5 5 7 w 见，艇础流描述予中主要的是一些描谶乎：解鹤器黼拦描述予，冈步罄粥 譬瓣逮予，驻务辫譬鬟淤予等。在这臻箍述挚串暴美键兹鼹解璃黎爱餮捺述子， 其缀构如下。 c l a s sd e c o d e r c o n f i g d e s c r i p t o re x t e n d sb a s e d e s c r i p t o r ：b i 澹 t a 营= d e c o d e r c o n f i g d e s c r t a g b i tf 8 麟妇e g 曹y p e j 日融群a i 翻f b 主t 6 $ t 髓i 矗姆p e ； b i t 1 ) u p s t r e a m ； c o n s t 套i 长f l 嚣辔s e r f e d # 鼍i b i t 2 4 ) b u f f e r s i z e d b ； b i tf 3 2 v m x g i t r a t e ； b i t ( 3 2 a v g b i t r a t e ； ， d e c o d s r s p e c l f i c l n f cd e c s p e c i f l c ：n f o 0 tl # 竺 ! 竺曼堡! 墨楚皇蓬鉴签茎鉴 在解码器配蹙描述予中，主要的内容有： i 对象类型辩示： 这一项指示基础流传输的j c 童象的类型，翅袁4 1 零； 表4 1 主要的对象类蛩 v a l u e o b j e c tt y p e i n d i c a t i o nd e s c r i p t i o n 0 x 6 0v i s u a ls i m p l ep r o f i l e 0 x 6 1v i s u a lm a i np r o f i l e o x 6 2 v i s u a ls n rp m f i l e 0 x 6 3v i s u a ls p a t i a lp r o f i l e 敬6 v i s u a lh i g hp r o f i l e 0 x 6 5v i s u a l4 2 2p r o f i l e i 0 x 6 6a u d 话m a i n 弱沁磊k i o x 6 7 a u d i o l o w c o m p l e x i l y p r o f i l e 1 0 x 6 8a u d i os s rp r o f i l e t 2 基础流类型，主要有以下几种藻础流类型( 如表4 2 示) ： 袭4 2 点耍蘸蒸础流粪囊 s 背e a m t y p e v a l u es t r e a mt y p ed c s c n p t i o n o x o of c i r b i d d e n 淑0 l o b j e e t d e s c r i p t o r s t r e a m 0 x 0 2c l o c k r e f e r e n c e s t r e a m 0 x 0 3 s e e n e d e s c r i p t i o n s t r e a m o x 0 4v i s u a i s t r e a m 0 x 0 5a u d i o s t r e a m 0 x 0 6 m p e g 7 s m m m 1 0 x 0 7l p m p s t r e a m i f 0 x 0 8 o b j c c t c o n t e n t l n f o s t r e a m o x 0 9 一淑l f 。r e s e r v e d f o ri s o u s e 0 x 2 0 0 x 3 fu s e rp r i v a t e 3 。上行流指示，该壤指示熬础溅是否为上行潦述是下姆滚( 主要戌予交互 式动态访阐) ： 第4 章m p e g 4 基础流的管理 1 5 一 一_ - _ _ m - - _ _ _ _ m _ _ m _ - _ 一 4 解码器缓冲区大小，该项指示基础流解码所需的缓冲区大小； 5 。平均码率与最大玛率。 从以上的分析可见，对象描述子和基础流描述予回答了在本章第一节中提出 麴有关传埝积解褥瓣若予阕瑟。蘧磐：网络服务震量薛要求，释鹃端麓力与资源 的要求等。 4 3 访问m p e g 一4 视听内容 如前所示，访超m p e g - - 4 的视听内容是邋过对象拯述掇架实现的。m p e g - 4 的 对象描述框架与胬视频数据一样，是通过基础流传输的。既然所有的基础流都是 通过基础浚描述予来访阏鲍，鼹蠢必然毒一个疑闯：谁来撵述对象搓述予滚? 在m p e g - 4 中是通过定义了另外一种特殊的对象描述- 子来解决这一闯题的，也 藏是拐始纯对象搂述子壤絮。裙始髓：慰象攒述子懿获褥m p e g - 碡中是不佟艇定熬。 也就是说，收发端需保证初始化对象描述子的准确传输与接收。通过初始化描述 子，接收端获得对象摇述子流的萋醢漉捂述予。接下来逶过对象搐述子流翡鏊穑 流描述子来访问对象描述予流，获得视音频流的基础流描述子。进而通过视音频 流的基础流搐述予访词视音频流。 以下怒幸刃始化对象描述子的结构： c l a s si n i t i a l o b j e c t d e s c r i p t o re x t e n d sb a s e d e s c r i p t o r ：b i t 8 ) t a g = i n l t i a l o b j e c t d e s c r t a g b i t ( i o ) o b j e c t d e s c r i p t o r i d ； b i 担；张l f l a g ； b i t ( 1 )i n c l u d e l n l i n e p r o f i l e l e v e l f l a g j c o n s tb i t 4 ) r e s e r v e d = 0 b l l l l7 i f ( u r lf l a g ) f b i t 8 ) u r l l e n g t h ； b i tf 8 i u e l s t r i n g u r l l e n g t h l ； ) e l s e b i tf 8 ) o d p r o f i l e l e v e l i n d l c a t i o n ； b i t ( 8 ) s c e n e p r o f i l e l e v e l i n d i c a t i o n ； b i t 8 ) a u d i o p r o f i l e l e v e1 i n d i c a t i o n ； b i tc 8 iv i s u a l f r o f i l e l e v e l i n d i c a t i e n ； b i t 8 ) g r a p h i c s p r c f i l e l e v e l i n d i c a t i o n ； e s - d e s c r i p t o re s de 1 - s o o c i j e s c r i p t o ro c i d e s c r c 0 2 s 5 】i m p e g 4 系统与流媒体技术 i p m p _ d e s c r i p t o r p o i n t e ri p m p d e s c r p t r 【0 2 5 5 】j ) e x t e n 8 i o n d e s c r i p t o re x t d e s c r 0 2 s 5 j ) 由上可见，在初始化对象描述子中包含了若干有关p r o f i l e 的指示，如：对象 描述p r o f i l e ，场景描述p r o f i l e 等。此外还包含了若干基础流描述子，这些描述子 指向了对象描述予流，接收端据此访问对象描述予流。 初始化对象描述子，对象描述子，基础流的关系可以用图4 】表示： 音频漳o ：_ _ ：- - ：警二：誓：翌：立：_ - ：，蔓奎：i 釜譬警：盘：王警：! ： 图4 1 对象描述子与基础流的关系 从上图可见，初始化对象描述子中的基础流描述子指向了场景描述子流和对象 描述子流。据此我们访问场景描述流和对象描述子流。而对象描述子流中的基础 流描述子指向了视音频基础流。从而实现对m p e g - 4 视音频数据的访问。 通过网络访问m p e g 4 视音频数据的步骤可以归纳如下： 1 接收端通过其他方式获得初始化对象描述子； 2 接收端从初始化描述子中取得所需的场景描述流与对象描述子流的 e s _ i d ： 3 接收端请求发送端发送具有e s j d 的基础流： 4 发送端发送被请求的基础流： 5 接收端分析接收到的场景描述流和对象描述子流，获取所需的视音频基