（计算机应用技术专业论文）基于对象识别与跟踪的多层次流媒体研究.pdf

l 海大学1 1 】f 究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a lu n i v e r s i t y 摘要 流媒体是一种在i n t e r n e t i n t r a n e t 中使用流式传输技术的连续时基媒体， 如：音频、视频或多媒体文件。流式媒体在播放前不需要下载整个文件，只要将 丌始部分内容存入内存即可。流式媒体的数据流随时传送随时播放，只是在开始 时有些许的延迟。 所谓多层次是指在网络上传输的视频内容是基于视频对象进行压缩解压缩， 而且视频对象的压缩解压缩是多层次的，即每个对象都由一个基本层和多个增强 层组成。因此针对不同的对象，我们可以根据不同的用户要求进行不同层次的压 缩。这样做的最大好处就是可以提供不同质量、不同压缩率的视频流。 要实现多层次压缩，必须要准确定位各个视频对象的位置，这就要求我们在 对象识别、跟踪，运动预测方面的技术有所改进、突破，而这正是本文的研究重 点。本文在对国内外相关课题进行深入分析的基础上加以研究改进，并提出一些 新的观点、算法和理论，主要包括以下几点： 、，提出一种针对足球比赛的对象识别跟踪算法。该算法通过对颜色的色度 和稀疏度的计算来进行局部区域边界裣洳，在得到区域的边界后再进行对象跟 胚。， 一 提出一种人体运动建模的跟踪算法，这是一种采用预测机制的人体运动 跟踪算法。该算法以对整个人体出现区域的预测代替各个特征位置的预测：首先 建立人体运动模型和人体特征的时变模型，然后再将得到的特征与之相匹配，取 匹配度最大者作为特征，最后用人体运动层次模型来检验、完善。 提出一种基于s t g s i m a g e 的运动预测机制。该机制先对s t g s i m a g e 进 行分析，分类，然后针对不同类别的s t g s i m a g e 采用不同的预测模型，提高预 测效率和质量。 为了使得本系统的多层次图像信息可以更好地在网络上传输，本文提出 了种能够根据q o s 要求对各节点网络带宽进行动态自适应管理机制，该机制可 以充分利用客户端的带宽和缓冲资源以让客户可以接收到更高质量的图像，同时 服务器又可以最大可能地避免无效的数据传输。 上述算法在该系统中明显改善了系统的识别、跟踪、预测性能，取得了良好 的实验效果。 关键词：流媒体，多层次，轮廓提耿，对象识别，运动预测， 带宽分配 h 海人学研究生论文用纸 t i ep o s tg r a d u a t et h e s i so fs h a n g h a iu n i v e r s i t y a b s t r a c t s t r e a m i n gm u l t i m e d i ai su s e di np r o v i d i n gc o n t i n u o u sv i d e oo ra u d i o s e r v i c ef o rc u t t o m e r so ni n t e r n e to r i n t r a n e t b yu s i n gs t r e a m j n g m u l t i m e d i a ，i ti sn o tn e c e s s a r yt od o w n l o a dt h ew h o l ev i d e of i l eb e f o r e w a t c h i n g it t h a t i st o s a y ，y o uc o u l d w a t c hm o v i e sw h il e y o u a r e d o w n l o a d i n gt h ef il e t h ev i d e oo b j e c tn o wi sh a n d l e di n m u l t i p l et i e r s w h i c hm a k e si t p o t s i b l et oc o m p r e s sa n dd e c o m p r e s st h o s eo b j e c t si nd i f f e r e n tq u a l i t y l e v e l s t h e r e f o r eiti sp o s s i b l et oa s s u r et h a tc u s t o m e r sc o u l dg e tt h e b e s tq u a l i t yo fv i d e oa c c o r d i n gt ot h e i rl o c a lc o n d i t i o n so fb o t hh a r d w a r e a n ds o f t w a r e f o re x a m p l e ，i fs o m e b o d y sb a n d w i d t hi s v e r yl i m i t e di t i sf u l l yr e c o m m e n d e dt ot r a n s f o r mt h ev i d e od a t ao nl o wl e v e l i tw i l l b en o tn e c e s s a r yf o rs e r v e rt ot f a n s f o r ma sm u c hd a t aa sb e f o r e ， i no r d e rt or e a l i z et h eg o a la b o v e ，i ti sm o s t i m p o r t a n tt og e tt h e r i g h tp o s i t i o no fo b j e c t si nv i d e os c e n e s t h e r e f o r e ，i ti sn e c e s s a r yt o s o l v es o m ep r o b l e m si no b j e c t d e t e c t i o n ，t r a c k i n g ，m a p p i n ga n dm o v i n g e s t i m a t i o ni fw ew a n tt oi m p r o v eb o t he f f e c t i v e n e s sa n de f f i c i e n c yo ft h e s y s t e m a n dt h a ti sm ym a j o rt a s ki nt h i ss y s t e m ，w h i c hi n c l u d e s ： ( 1 )an e wa l g o r i t h mo fo b j e c td e t e c t i o na n dt r a c k i n gi ns o c c e rg a m e w a sp r e s e n t e d i nt h a ta l g o r it h mr a r i t ya n ds p a r e n e s so fc o l o r a r eu s e di no b j e c td e t e c t i o na n dt r a c k i n g i ta l s oi n c l u d e ss o m e u n i n t e r e s t i n gf i e l d sc u t t i n ga n ds h a p es e g m e n t a t i o n ( 2 )a n o t h e rn e w a l g o r i t h mf o r t h e t r a c k i n go fp e r s o n sb a s e do n m o v i n gp e r s o nm o d e lw a sa l s ob r o u g h tf o r w a r di nt h i ss y s t e m ( 3 ) w ea l s op u tf o r w a r dam o t i o ne s t i m a t i 0 1 3m e c h a n i s mb a s e do nt h e p r e a r e l y s i so fs t g s i m a g eo fv i d e os c e n e ( 4 )f i h a l l y ，i no r d e rt om a t c hu pt h em u l t i - t i e rv e d i os t r e a md a t a an e wm e t h o do ft r a n s p o r t a t i o nu s e dt oa d j u s tb a n d w i d t ho ft h e a p p i c a t i o na u t o m a t i c a l l yw a sp u tu pd u r i n gt h i ss y s t e m a c c o r d i n gt ot h es t a t i s t i c so b t a i n e df r o mt h et e s t sd u r i n gd e s i g n i n g t h ew h o l es y s t e m ，t h ea l g o r i t h m sa b o v ea r e v e r yu s e f u l t o i m p r o v e t h e p e r f o r m a n c eo ft h es y s t e mn o to n l yo nt h ea s p e c to fo b j e c td e t e c ti o n ， t r a c k i n g ，m a p p i n g ，m o t i o ne s t i m a t i o n ，b u tr e l a t i v e l yi r a p t o v et h er e s p o n s e q u a l it yo fv i d e os e r v e r k e y w o r d ： s t r e a m i n gm u l t i m e d i a ，m u l t i t i e r ，o b j e c td e t e c t i o n ， m o t i o n e s t i m a t o b b a n d w jd t ha d j u s t m e n t l 海人学卅f 宄生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a lu n i v e r s i t y 一概述 刖舌 随着i n t e r n e t 的普及与发展，流媒体技术也得到迅速的发展。现在人们已 经可以足不出户地欣赏在线电影。但是由于软硬件以及网络带宽等种种原因，现 阶段的流媒体播放质量还有待提高，交互功能也有待进一步完善。比如说我们在 观看足球比赛的时候肯定要求把进球动作来一次更高清晰度的回放，也希望在球 员犯规时候对局部画面来一个特写。宽带网络的推广，以及m p e g 一4 标准的制定 使得这些要求的实现成为可能。 一方面，视频( v i d e o ) 、音频( a u dj o ) 对象( 以下称为a v 对象) 等概念的引 入使得对不同对象进行压缩成为可能。通过对图像中的不同类别物体的分析，把 他们从图像中抽取出来，建立模型，这样能够明显提高压缩质量和压缩效率。 另一方面，影视信息的多层次压缩解压缩、传输、播放的概念的引入使得我 们可以对质量要求高的视频、音频对象进行多层次的压缩。我们可以在信息压缩 编码阶段产生多质量层次的数据，从而可以在播放时根据用户需求以及网络状况 动态确定传输播放哪种质量层次的图像。这么做的目的有二： 1 ，我们可以在图像压缩的时候针对不同的模型给予不同权重，便于对用户 感兴趣的部分分配较多的带宽，而用户并不注重的部分分配较少的带宽，从而有 效提高播放的主观效果。 2 ，这么做也有助于实现交互功能。很明显，出于图像是多层次压缩编码的， 当用户要求动作回放的时候服务器端没有必要把所有的信息全部重新传输一遍， 因为原来的较低层次的信息已经传到客户端了。同样道理，当用户要求局部画面 特写时也没有必要把整个面面信息传过去，而只要把用户指定的局部画面中所包 含的a v 实体的信息传过去就可以了。 二选题的有关技术背景 m p e g ( n o v i n gp i c t u r ee x p e r tg r o u p ) j 二t 9 9 8 年1 1 月提出了m p e g 一4 标准。该标准引入了面向对象单元的概念。其主要特点是可以对图 像中的内容进行编码，具体编码对象就是图像中的音频( a u d i o ) 和视 频( v i d e o ) ，称为a v 对象，即压缩解压缩的时候不再是对8 * 8 的方 块而是对一系列a v 对象进行压缩。由a v 对象可以组成a v 场景。整 个m p e g 一4 标准就是围绕a v 列象的编码、存储、传输和组合而制定 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a iu n i v e r s i t y 的。由图前一1 和图前一2 中我们可以看出m p e g 4 图像是以 v o p ( v i d e oo b j e c tp l a n e ) 为对象进行编解码过程的。所谓v o p ，就 是在一段时间内到达用户终端以比特流形式存在的可以解压缩，合 成，编辑的视频对象实体。 一、，o p 0 l i 垦! ! 吐i - 一v o p 1 l 1 1 ! g 纽i m u ) ( v o p 2l i q 4 吐i 。一 i 。一 图前一1编码器部分 一v o p 0 l 一 也塑! i 虹f 一p 1l ) e m u x l 旦些金鱼墅墨j 一一v o p 2 k i 望皇璺q d 虹l 。 l 。一 图前一2解码器部分 2 ，j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 于2 0 0 0 年提出了j p e g 2 0 0 0 的标准。该标准提出了p r o g r e s s i v et r a n s m i s s i o n ( 渐进传输) 的思想。它能够 首先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，以满足用户的不 同需要。 3 ，针对网络的迅速发展以及广大用户对互联网提出的更高要求，国际电盟 i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 正在制定新一代互联网通信协 议i pv 6 ( i n t e r n e tp r o t o c o lv e r s i o n6 ) 。该标准的目的就是进一步提高网路 数据传输速度和效率，对流媒体的发展意义重大。 三本文主要工作 作为一个多媒体压缩标准，m p e g 一4 不仅仅像m p e g 一1 2 那样着眼于定义不同 码率下的压缩编码标准，而是更多地强调多媒体通信的交互性、灵活性以及媒体 上海人学研究生论文用纸 t l 】ep o s tg r a d u a t et h e s i so fs h a n g h a iu n i v e r s i r y 内容的创建和发布上而这些都是其他标准所没有的特点，也只有这样才能真正 适应当前流媒体发展的需要。它提出了基于内容的压缩要求，这就要求我们必须 可以提供基于内容的压缩算法，而基于内容的压缩首先要求能够提供内容的确切 信息。正是住这样的背景下，本文着重丁罔像的对象识别和跟踪预测领域的研究， 因为只有提高对象识别的成功率，才能有效地进行基于视频对象的压缩，从而提 高视频图像质量：也只有能够实时地跟踪对象并作出准确的预测，才能在压缩过 程中充分利用这些信息有效提高压缩率。在下面的章节中，本文将着重阐述对象 识别，跟踪，预测方面的内容。 第1 章主要阐述了m p e g 一4 标准以及流媒体技术的基本概念。 第2 章介绍了图像的颜色，格式以及边缘椅测和轮廓提取的内容。 第3 章在第2 章的基础上介绍了目前的刘象识别研究现状，主流识别机制和 识别效果，并以足球比赛为例给出一种有效的对象议别算法。 第4 章介绍人体运动的跟踪和预测。在人体运动跟踪部分，首先建立人体运 动模型，然后通过对人体模型的各个关节点( 也就是特征点，详见第4 章) 的采 样，过滤跟踪来跟踪整个人体运动，从而捕获人体运动的状态信息；在人体运 动预测部分，首先定义s t g si m a g e ( 详见第4 章) ，然后通过对g t g si m a g e 的 分析决定是采用传统的6 参数预测算法还是新的2 参数预测算法，从而提高运动 预测的效率。 m f e g 一4 的压缩解压缩都是基于对象且是多层次的，因此在网络上传输的视 频流信息也是多层次。为了能够更高效的传输多层次视频流信息，第5 章提出了 一种针对多层次数据流的带宽动态自适应管理机制。 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学传硷文的规定，即：学校有权保留埝文及送交沦文复印 件，允许论文被查阅和借阅：学校可以公布沦文的全部或部分出容。 ( 保密的论文在解密后应遵守此规定) 签名：搀豳师签名：锄壤。日期： 姒。 ，p 卜海人学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a iu n l v e r s i t y 图l l 图1 - 2 图i - 3 图i - 4 图2 一l 图2 - 2 图2 - 3 图2 - 4 图2 - 5 图2 - 6 图2 - 7 图2 - 8 图2 - 9 图2 一1 0 图2 - i l 图2 1 2 图2 一1 3 图2 - 1 4 图3 1 图3 - 2 图3 - 3 图3 - 4 图4 1 图4 - 2 图4 - 3 图5 - l 图5 - 2 图5 - 3 表3 1 表3 - 2 表3 3 表5 一i 图表目录 m p e g 一4 标准层次结构 m p e g 一4 标准终端体系结构 d m i f 参考结构模型 d m i f 交互示意图 视觉系统对颜色和亮度的敏感度 产生波长不同的光所需要的三原色值 常见的图像格式 阶跃边缘分析图 层顶边缘分析图 s o b e l 算子边缘检测 用于非极大值抑制的可能梯度方向划分示意图 c a n n y 算子边缘检测 轮廓提取中边缘点寻找顺序的示意图 8 连通点和4 连通点示意图 点的分类 收缩原始轮廓的演示图 固定点及其边缘的删除演示 迭代收缩算法流程图 球员识别跟踪算法流程 比赛区域抽取 对象识别结果 无重叠部分球员识别结果 人体结构模型 人体层次模型 经过处理后得到的s t g s i m a g e s 基于集中式m c u 多点群组通信模型 传输策略曲线 峰值带宽曲线 录像资料主要数据 对象识别率( 无重叠部分球员) 对象识别率( 所有球员) 自适应带宽管理结果 0 0，0汜心m煽懈扒毖孙玛弘撕打四驼盯拍钙弘弘靶 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i s0 fs h a n g h a il j n v e r s i t y 第1 章m p e g 一4 与流媒体技术概述 1 1m p e g 4 标准 1 1 1 标准简介 m p e g 一4 是m p e g 组织( m o v i n gp i c t u r ee x p e r t sg r o u p ) 在成功制定了m p e g l 和m p e g 一2 “1 标准之后，再次提出的新一代多媒体数据压缩标准。它主要致力 于为广泛的多媒体应用提供一个通用平台。标准的制定工作开始于1 9 9 3 年，并 在1 9 9 8 年产生了第一版的国际标准。咿e g 一4 。”“”的目标是在m p e g - 1 2 的基 础上满足图像通信，交互图像w e b 浏览等业务的需要。这些业务都是计算机、通 信、电影、娱乐等传统应用的结合。m p e g 一4 标准实现对音频视频对象进行编码， 目标是要定义一种音频视频编码标准，以满足通信、交互式和广播以及这些技术 不断扩展后的混合业务的需要，具体地说，其要实现的目标“1 主要有： 能满足多种业务的需要，从低比特率到质量要求非常高的视频传输比特率范围要求很 大的音乐语音数据、普通的动态3 d 图像到专门的包括人脸、身体等对象、语音、音乐 合成( 3 d ) 以及文字和图像等： 编码层对不同的数据传输类型中出现的错误有很好的纠错能力 场景中不同的对象应该独立地表示允许单独地进行访问、控制和重用 能够把音效、视觉等对象自然地组合成音频视频场景 能够描述场景中的对象( o b j e c t ) 和事件( e v e n t ) 提供交互操作和超链接支持； 对音频视频内容和算法提供智能化的管理和维护，这样使得具有相关权限的用户才能访 问； 提供一个与格式无关的传输媒质，以保证不同环境用户之间的正常传输。 为实现咀上目标，m p e g 4 系统在以往的m p e g 标准基础上，进行丁很大改进。主要 包括以下一些内容这些都是m p e g - 4 中才出现的全新概念； m p e g - 4 特有的要求：音频视频( a u d i o v i s u a l ) 对象和场景描述( s c e n ed e s c d p t i o n ) 。 m p e g 一4 关键的一点就是面向音频、视频对象的压缩，这种压缩方式( o b j e c t b a s e d ) 有以下优点：允许用户与内容( c o n t e n t ) 进行交互操作；提高了内容和 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a lu n l v e r s i t y 编码的重用性以及可以实现针对特定对象的操作，如合成、缩放、同放等。以上 是设计m p e g 一4 标准的目的和m p e g 一4 的一些特点。到目前为止，m p e g 一4 已经完 成核心系统部分并给出了一些工具和定义。从结构上看，整个m p e g 一4 系统分为 六个组成部分，其中核心部分由四个模块组成，即：系统流、视频流、音频流和 媒体传输接口框架( d m i f ) 。另外还有两个支持模块：一致性测试( c o n f o r m a n e e t e s t i n g ) 和参考软件( r e f e r e n c es o f t w a r e ) 。 从层次上来说，四个核心模块可以划分为三个层次，如图卜l 所示： m e d i aa w a r e d e li v e r yu n a w a r e i z o i e c1 4 4 9 6 2v i s u a l i e 0 i e c1 4 4 9 6 3a u d i o m e d i au n a w a r e d e li v e r yu n a w a r e i e 0 i e c1 4 4 9 6 1 s y s t e m m e d i au n a w a r e d e l i v e r ya w a r e i e 0 i e c1 4 4 9 6 6d , m i f i e 0 i e c1 4 4 9 6 - 1s y s t e m i i 2 同步层 图1 1m p e g 4 标准层次结构 基本码流接口 e i s d m i f 应用程 序接口 d a i 图卜2 是m p e g 一4 的一个标准终端的体系结构。可以看出在m p e g 一4 系统中， 数据传输链路最先碰到的是最底层的特殊存储介质和传输媒质，它处于传输层的 下一层，m p e g 一4 的数据能够在不同的传输协议上传输，包括t c p i p 、a t m 、m p e g 一2 、 a a l 2 、h 2 2 3 、d a b 等。但这些内容并没有在m p e g 一4 内定义，m p e g 一4 在这方面只 定义了一个传输接口框架，即d m i f ( d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ) 。m p e g 一4 的数据流不论是被另一端对等网络的d m i f 接收或者是通过 广播的方式播放还是存储在本地，其接口都是一致的，从而使m p e g 一4 的设计独 立于不周的传输系统，也使得m p e g 一4 的应用程序不必关心传输底层的具体细节。 需要说明的是：这个规范不在标准范周内，所以m p e g 一4 的终端应用程序不一定 要受此限制。在d m l f 中还定义了一个d a i ( d m i fa p p i c a t i o ni n t e r f a c e ) ，其 l 海人学f | = 究生论史用纸 t h ep o s1g r a d u a t et h e s i so fs h a n g h a iu n i v e r s i t y 中定义了如何初始化m p e g 一4 数据和进入不同元数掘流( e l e m e n t a r ys t r e a m ，e s ) 的方式。 c p o g n d 弛捌m n g i 翁什俞 毒考柏 硷 毛l _ 喜 寸，_ c c e o f c e 商o n o 崎d 暑c 越 一 l 叠a 日t - i l 蜉w d t - 譬随册 肘。啦n d l _ 画郡：o 虮 h f a 暇d 蛆 |ll，- i 一对i l l _ t t _ y | - i 已l匐【訇瞳 疆3匡孔 l l s y ：b c i 0 脚 j o h i 棚一，幡n ，一、 ，一、，p 匈啦hl d ， i x 酶当 l ei l l i 皿 ll 辄融i 、f，、j r ，、j ， r ，n _ ；一 i 曙：l 窜i | 搿l | 熙i j 翟| | l 一丽 ：l：轴- - t * 一 t r 越s 嘶s 蜒糟蝴椰m e d i t n n 图1 - 2m p e g - 4 标准终端体系结构 同步层是m p e g 一4 中最重要的一层，它的入口数据是由下一层提供的e s ，它 的作用就是识别e s 中的单元如音频视频对象、场景描述命令等，然后恢复基于 时间信息的音频视频对象和场景描述对象，最后对它们进行同步合成整个场景。 在任何一个数据流中，不管其中的数据是何类型，它们都是采用统- 村l $ o 来传达 帧信息的。 在m p e g 一4 中关于场景描述部分是非常重要的，m p e g 一4 提供了一些工具把一 系列的刺象组合成最终的场景，这些必要的组合信息形成场景描述，然后用b i f s ( b i n a r yf o r m a t f o rs c e n ed e s c r i p t i o n ) 表达成= 进制形式，与音频视频对 象一起压缩和传输。在数据流中也至少有一个是关于场景描述的，场景捕述信息 定义了不同的对象之间的时间空间描述，动态行为以及对用户而言可以获得的 些交互性，它还包含了一个指针( p o i n t e r ) 指向特定的所要描述的音频视频对 象。场景描述是基于树状结构和v r m l ( v i r t u a lr e a l i t ym o d e l i n gl a n g u a g e ) 结构的。它的一个重要特点是它完全在自己的e s 中定义，包含了完整的时间信 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a iu n i v e r s t y 息，因此能够做到场景动态更新。系统的合成器( c o m p o s i t o r ) 利用场景信息以 及解码后的音频视频对象数据合成最后完整的场景给用户。 总之，m p e g 一4 与以往的m p e g 标准及现在类似的压缩标准比较，它最大的特 点就是基于音频、视频对象进行各种操作，这种方式不仅为终端用户提供了很多 如交互、重用等重要的功能，而且也为内容的刨建者提供了极大的便利，因为面 向对象结构的应用和直到接受端才对不同对象进行组合，把很多创建的细节都封 装在系统中，简化了创建过程，而这些功能就是m p e g - 4 系统部分的内容和目标。 1 , 1 3 传输层 m p e g 一4 推动了多媒体技术的众多领域的实质性发展。承接以前的m p e g 系统， m p e g 一4 继续集中于多媒体编码的研究，此外还有两个方面创新，一个是音频视 频场景的编码能力，另一个是对传输技术的抽象能力。后者被包含在m p e g 一4 规 范的第六部分 4 1d m i f ( d e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ) 。d m i f 的主要目的是定义一个无关的传输层，这样m p e g 一4 系统规范就不用涉及各种不 同传输技术的具体细节( 这和m p e g 一1 及m p e g 一2 不同) 。而且，d m i f 为在网络上 传输的m e p g 一4 内容提供访问( a c c e s s ) 、表达( p r e s e n t a t i o n ) 和同步 ( s y n c h r o n i z a t i o n ) 等功能。在此基础上，出于同样的目的，定义了d a i ( d m i f a p p l i c a t i o ni n t e r f a c e ) ，它提供了一个统一的接口，这样应用程序就 不必理会传输技术上的细节问题。此外，m p e g 一4 还定义了一般的信号协议 ( s i g n a l i n gp r o t o c 0 1 ) 来满足多媒体数据流的需要，并且被指定以何种方式和 其他已经存在的信号协议集成在一起。d m i f 被设计成一个完全支持m p e g 一4 系统 特点的工具，但也可以应用在非基于m p e g - 4 系统的应用程序中。是否应用d m i f 和d a i 完全取决十本地终端，终端间的协同工作能力只取决于所用特定传输技术 的共l 司规范。 传输层的抽象 m p e g - 1 和m p e g 一2 对特定的传输技术都有个非常明显的初始化过程，这样 可以集中作一些优化，但是比较单一。m p e g 一4 不作这种优化，它选择采用对提 供的传输层进行抽象，把注意力集中在实现他们的共同特点上。在m p e g 一4 中， 把那些能统一管理和与底层无关的部分从传输技术上分离出来，这条分界线就是 d a i 。 因为 i p e g - 4 面向多种传输披术，定义一种单+ 的、共同的同步层语法是比 较有用的，因为这样可以把所有关于传输层的细节都限制在传输层，从而使得访 问、表达、同步、传输不同传输技术上的m p e g - 4 内容成为可能。 d h i f 结构的定义不仅要满足对应程序隐藏网络细节这个目的，同时还要隐 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a lu n i v e r s i t y 藏不同的操作说明( o p e r a t i o n a ls c e n a r i o ) 。d m i f 要考虑三种主要操作方式： 本地检索、远程交互和广播方式。d m i f 结构的定义必须很好地满足以上几种操 作方式才可能实现真正意义上的多媒体应用程序。这意味着无论访问本地、远程 数据流或广播组播数据流，都由传输系统的公共接口完成。这样做的最大优点 是简化了那些兼有广播多点传送和检索两种功能的应用程序的设计工作。它能 够把多种操作方式( 可能用于不同的场合或面向不同的使用者) 在同一个应用程 序中协调地实现。这样，一个应用程序在i n t r a n e t 中可以同时管理多个q o s ( o u a l i t yo fs e r v i c e 服务质量) 差异很大的数据流，在i n t e r n e t 中也可以得 到很好的实现。这些都是在定义了一个如上的统一接口以后才有可能实现的。 d m i f 参考结构模型 d m i f 由以下三个基本部分组成：参考结构( r e f e r e n c ea r c h i t e c t u r e ) 、d m i f 应用程序接口( d a i ，d m i f a p p l i c a t i o ni n t e r f a c e ) 、d m i f 信号协议( s i g n a l i n g p r o t o c 0 1 ) 。d m i f 的参考模型如图l 一3 所示，图中清楚地表示了不同的操作方式 是如何一致地结合在d m i f 中的。其中有4 个基本的模块：源应用程序( o r i g i n a l a p p l i c a i o n ) 、源d m i f ( o r i g i n a ld m i f ) 、目标d m i f ( t a r g e td f 【i f ) 、目标应用 程序。 d 一f m m m _ l ”圳i 懈t l k m 0 i m o o l d h * 娜 口 圈 图1 - 3d m i f 参考结构模型 源d m i f 模块和目标d m i f 模块一起提供会话级别( s e s s i o nl e v e l ) 服务。 源d m i f 模块和目标d m i f 模块在本地检索和广播方式的情况下有点虚拟 ( a r t i f i c i a l ) ，但是这样就可以在远程交互的情况下提供一致的接口。源应用 程序就是终端上运行的程序，比如一个m p e g 一4 浏览器或一个多媒体会议程序。 假设在任何情况下都有一个相对应的应用程序，即目标应用程序，源应用程序和 目标应用程序是通过d m i f 交互的。在远程交互情况下，源应用程序和目标应用 程序在不同的主机上，他们的交互是通过信号协议进行的，这一点应用程序本身 并不知道。d m i f 详细阐述了一个一般的协议来传送这些信号，即d m i f 信号协议 ( d m i fs i g n a l i n gp r o t o c 0 1 ) 。在本地存储和多点广播传送的情况下，目标应用 n 日 上海丈学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a il 开f i v e r s i t y 程序驻留在同一个终端上。在这种方式下，目标应用程序并不对应于一个真正的 应用程序，很可能对应于一个进程，但是它依然保持了一个概念上的角色。 在d m i f 应用程序接口处的元素对d m i f 是不透明的，只能够被目标应用程序 所理解。在不考虑操作方式和目标应用程序格式的情况下也是这样的。因此，d m i f 并不是仅被限定在基于m p e g - 4 的应用程序中的。 d m i f 过滤器为终端中可获得的不同的d m i f 实例提供一系列容器，它的作用 是根据应用程序的d m i fu r l 要求来选择合适的d m i f 实例提供相应的服务。d m i f 过滤器允许即插即用( p l u g p l a y ) ，在不必重新编译或重新链接的情况下提供 新的d m i f 实例。在协议网络仍未可知的环境中这种结构是非常重要的，它使得 基于d m i f 的应用程序自动采用新的传输技术。 s i g n a l i n g 模块( s i g m a p ) 只用于远程交互方式下的d m i f 中，使之与另一 端的d m i f 模块分离，来突出d n i ( d m i fn e t w o r ki n t e r f a c e ) 的地位。d n i 给出 了远程交互方式下d m i f 实例一般性任务和特殊性任务的分界线。 d a i 在m p e g 一4 中，d a i 处于系统和d m i f 中间，把m p e g - 4 系统中与网络无关的 元素和工具从与传输技术相关的( 主要是) d m i f 中分离出来。上面已经提到， d m i f 和d a i 也适于其他类型和格式的内容，这里很重要的一部分是在对这个接 口处暴露出来的参数，以及这些参数所包含的语义值的定义，另外还定义了一些 规则，用来指定哪些参数必须被d m i f 中的哪些模块所处理，有一些参数对d a i 来说是不透明的。 d a i 由以下元语类组成： 服务元语( s e r v i c ep r i m i t i v e s ) 处理控制平台( c o n t r o lp l a n e ) ，允许管理服务期 ( d a _ _ s e r v i c e a r a c h 0 1 f io a _ s e r v i c e o e t a c h 0 ) 通道元语( c h a n n e lp r i m i f i v e s ) 处理控制平台，允许管理通道( d a _ c h a n n e l a d d 0 和 d a _ c h a n n e i d e i e t e ( ) ) ： 数据元语( d a t ap r i m i t i v e s ) ，处理用户平台( u s e rp l a n e ) ，为通道传输数据提供服务( 以 及相应的真实数据和应用程序控制数据) 。 除了以上的这些元语之外，还必须为一个“真正”的接口提供初始化、重叠、 状态查询等额外的函数，另外，一个真正的接口还必须定义详细的语法和编程语 言所需的规范，这个简单的元语集合( 和相应的参数) 完全能够满足描述d m i f 实例的需要。 d m i f 充当了接收和发送两个角色。这是为了把单向接收的应用程序扩展成 会话式应用程序( 担任了接收和发送两个角色) 。通过预先的安排就可以允许利 用统一的方式来描述这些行为。 在用户平台元数据流从单独的通道经过d a i ，在传输层可能被多路复用分 上海大学研究生论文用纸 t h ep o s tg r a d u a t et h e s i so fs h a n g h a lu n n e r s i t y 离。传输层负责配置传输协议栈，每一个d m i f 实例和每一个通道配置相应的传 输协议栈，在传输的时候可以是一个单元的元数据流，也可以是一组多路复用的 数据流。 m p e g - 4 内容的传输 d m i f 参考模型表明源应用程序是通过d a i 访问多媒体内容的，应用程序请 求被d m i f 过滤器处理后再决定由哪个d m i f 实例来为这个请求服务。应用程序对 当前有效的d m i f 实例是没有任何了解的，一个应用程序可以同时使用多个d m i f 实例。 一个基于m p e g 一4 系统的应用程序的内容传输从选择并激活合适的服务开 始。这些服务是用d m i fu r l 标志的，他们还有可能和其他类似的u r l 协作，从 d m i f 的观点来看就是引用新的服务。源应用程序就这样请求激活一个新的服务， 并用d a i 元语d as e r v i c e a t t a c h ( ) 来创建一个新的服务会话。d m i f 过滤器检查 应用程序传过来的d m i fu r l 并决定相应的d m i f 实例，然后应用程序再和目标 d m i f 接触( 一般情况下，在本地存储和广播方式下是用信号协议，而在远程交 互下用同等意义上的机制) 。目标d m i f 要依次识别并与目标应用程序对接，同时 与之建立一个服务会话。在远程交互方式下，一个网络会话( n e t w o r ks e s s i o n ) 也同样会建立，并且被每一个d m i f 对等地映射到相应的局部服务会话。最后目 标应用程序完成服务，如果有必要还会返回一个应答给源应用程序。在基于 m p e g 一4 系统的应用程序中，这个应答还包含了请求服务的( 初始) 对象描述， 然后对等的应用程序利用服务会话来建立连接以用于传输数据流。下一步就是解 析初始的o d 并请求相应的数据流通道( 通常是b i f s 和o d 数据流) ，当源应用程 序请求数据流时，它用d a i 的d a _ c h a n n e l a d d 0 元语指出他们所属的服务。它同 时也给出了用户数据请求的数据流，这些对d m i f 实例来说是不透明的。目标应 用程序定位这些想要得到的数据流，在d a i 中对应着每一个数据流的q o s 参数可 能会影响到整个网络的连接，依靠发送方采用的标准把多个元数据流混合成一个 单一的s o c k e t ( 利用m p e g - 4 的f l e x m u x 或其他的多路复用工具) 。 发送端利用通道并根据接收端发送过来的数据流控制命令来传输数据流( 利 用d a i 的元语d ad a t a ) ，这些命令的传输是采用其他机制的，如d a i 的 d ru s e r c o m m a n d 元