（电路与系统专业论文）多媒体数据库中媒体同步问题的研究.pdf

硕士学位论文 u 、+ e st h e s is 【摘要 多媒体( m u l i t m e d i a ) 技术是随着计算机的硬件和软件技术的发展， 在人们对更友善的人机界面、多种媒体信息处理能力的需求下发展起来的。 由于它所具有的数字化、交互性、整合性等特点，使其在计算机辅助教学、 出版印刷、计算机仿真等领域中得到了广泛和深入的应用。随着多媒体应用 的日益广泛，应用先进的数据库技术对多媒体数据进行存储、管理和综合的 要求促进了多媒体数据库管理系统( m u l t i m e d i ad a t a b a s em a n a g e m e n t s y s t e m ) 的产生和发展。与传统的关系型数据库管理系统相比，多媒体数据 库管理系统有数据量大、等时性和同步、非结构化、特殊的用户操作播放、 倒退、快进和基于内容的检索等许多技术特点和难点。目前多媒体数据库中 的主要研究内容有多媒体数据的建模、多媒体表现( p r e s e n t a t i o n ) 与同步 的建模、多媒体数据库管理系统的体系结构、基于内容的查询处理和检索机 制、新一代用户接口技术等。其中多媒体表现与同步的建模是本文研究的重 点。 本文首先对目前流行的多媒体同步建模方法如时间线模型、参考点模 型、层次模型等进行了分析与比较，给出了不同的同步模型的优缺点和适用 范围。接着对多媒体数据库中的同步集成模型进行了需求分析，由于面向对 象理论中的继承性、封装性、多态性和可扩充性非常适合多媒体数据的特 点，结合目前多媒体数据库研究和应用的情况，我们选择面向对象的模型作 为多媒体数据建模的概念模型，但是面向对象模型中的集成和引用等特性还 不足以描述多媒体对象间的同步展示关系，因此在面向对象的概念模型之 外，我们在时间流p e t r i 网的基础上提出了一个新的同步集成表达模型 h e t s p n ，用以对多媒体对象间的同步展示关系模型化。h e t s p n 同步模型基本 达到了计算机辅助教学软件同步需求分析中提出的多媒体数据库同步集成模 型所应满足的要求能够全面的对逻辑同步、媒体间同步、媒体内同步进 行一致完善的建模具有易于操作，建模方便等特点，并为同步的实现打下 良好的基础。由于h e t s p n 同步模型是在t s p n 同步模型的基础上构建，并且 在链接同步层、复合同步层和原子同步层的同步描述中都采用了t s p n 的描述 方法，所以能够对多媒体作品的同步需求进行一致的建模；库所的类型化使 得h e t s p n 不但支持超媒体结构，而且具有层次建模的能力，这使得复杂多媒 体作品的同步模型的规模易于控制；场景级用户交互建模能力弥补了t s p n 对 用户交互支持的不足，使用户能够在场景级方便的控制多媒体作品的展示； 通过场景表达式的定义和修改变迁语义弥补了很多同步模型不支持空间同步 的缺憾。在文章的最后我们还给出了应用层次扩展t s p n 建模的实例并进行了 计算机模拟，实例分析和计算机模拟的结果都显示该模型较好的完成了对多 媒体作品的超媒体结构、时空同步、场景级用户交互和层次化的建模。 硕士学位论丈 st e rst h e s is 【关键词】 多媒体同步面向对象多媒体数据库 p e 仃i 网 计算机模拟 j 日士学位论文 1 s t e rst h e s is l a b s t r a c t 】 w i t l lt h ed e v e l o p m e n to ft h eh a r d w a r ea n ds o f t w a r et e c h n o l o g yo ft h e c o m p u t e r ，m u l t i m e d i 钆t h en e wg e n e r a t i o nt e c h n o l o g y ，h a sc o m ef o r t hi nt h en e e d o fm o r ef r i e n d l yu s e r - i n t e r f a c ea n dm u l t i p l ei n f o r m a t i o np r o c e s s i n ga b i l i t y f o rt h e c h a r a c t e r so fd i g i t a l ，i n t e r a c t i v i t ya n di n t e g r a t i o n ，m u l t i m e d i ah a sg o tw i d ea n d d e e pu s ei nc a i ，p u b l i s h i n ga n dp r i n t i n g ，c o m p u t e re m u l a t i o ne c t ，w i t l lm o r ea n d m o r ea p p l i c a t i o n so fm u l t i m e d i a , t h ed e m a n do fu s i n ga d v a n c e dd a t a b a s e t e c h n o l o g yt os t o r e ，m a n a g ea n ds y n t h e s i z em u l t i m e d i ad a t af a s t e nt h ee m e r g e n c e a n dd e v e l o p m e n to fm u l t i m e d i ad a t a b a s em a n a g e m e n ts y s t e m i nt h ec o n t r a s tt o t r a d i t i o n a lr e l a t i o n a ld a t a b a s e ，m u l t i m e d i ad a t a b a s eh a sm a n yn e wt e c h n o l o g i c a l c h a r a c t e r ss u c ha sl a r g ed a t aa m o m ti s o c h r o n i s ma n ds y n c h r o n i z a t i o n n o n s t r u c t u r a l s p e c i a lu s e ro p e r a t i o na n dr e t r i e v a lb a s e do nc o n t e n te c t n o w a d a y st h e m a i nr e s e a r c ha r e a so fm u l t i m e d i ad a t a b a s ea r em u l t i m e d i ad a t am o d e l i n g ， m u l t i m e d i ap r e s e n t a t i o na n ds y n c h r o n i z a t i o nm o d e l i n g ，t h ea r c h i t e c t u r eo f m u l t i m e d i ad a t a b a s e r e t r i e v a la n dq u e r yb a s e do nc o n t e n ta n dn e wu s e ri n t e r f a c e e c t f i r s t ，i nt h i sp a p e rs o m ep o p u l a rm u l t i m e d i as y n c h r o n i z a t i o nm o d e l i n g m e t h o d ss u c ha st i m e l i n em o d e l ，r e f e r e n c ep o i n tm o d e la n dh i e r a r c h ym o d e la r e a n a l y z e da n dc o m p a r e d n l em e r i ta n ds h o r t c o m i n go ft l l e i r sa r ed i s c o v e r e d t h a n t h er e q u e s ta n a l y s i so fm u l t i m e d i as y n c h r o n i z a t i o nm o d e lo fm u l t i m e d i ad a t a b a s e a r ed i s c u s s e d b e c a u s ei n h e r i t a n c e c a p s u l a t i o na n dp o l y m o r p h i s mo fo b i e c t o r i e n t e dt h e o r ya r ef i tf o rt h ec h a r a c t e ro fm u l t i m e d i a ，t h eo b j e c t o r i e n t e dm o d e l a r eu s e da sc o n c e p t u a lm o d e lt om o d e l i n gm u l t i m e d i ad a t a b u tt h ec h a r a c t e ro f i n t e g r a t i o na n dr e f e r e n c ei sn o te n o u g ht od e s c r i b et h es y n c h r o n i z a t i o nr e l a t i o n s h i p o fm u l t i m e d i ao b j e c t s s oe x c e p tt h eo o c o n c e p t u a lm o d e i ，b a s e do nt s p n w e p u t f o r w a r dan e wm u l t i m e d i a s y n c h r o n i z a t i o nm o d e l i nm u l t i m e d i a s y n c h r o n i z a t i o nr e q u e s ta n a l y s i s o fc a is o f t w a r e ，w ec a l lf i n dt h a ta g o o d s y n c h r o n i z a t i o nm o d e ls h o u l ds u s t a i nu n i f o r ml o g i c a l ，i n t e r s t r e a ma n di n t r a s t r e a ms y n c h r o n i z a t i o nm o d e l i n g t h eh e t s p nh a sr e a c h e dt h ed e m a n d b e c a u s e h e t s p ni sb a s e do nt s p na n da p p l yt s p nd e s c r i b et h e s y n c h r o n i z a t i o n r e l a t i o n s h i pi nl o g i c a l ，c o m p o s i t ea n da t o m i cl a y e r ，i tc a nm o d e lt h em u l t i m e d i a a p p l i c a t i o ni nau n i f o r mw a y ；t y p e dp l a c es u s t a i nn o to n l yh y p e r - m e d i as t r u c t u r e b u ta l s oh i e r a r c h ym o d e l i n g ，w h i c hm a k e s 血es c a l eo fs y n c h r o n i z a t i o ne a s y c o n t r o l l e d ；u s e rp a r t i c i p a t i o no ns c e n a r i ol e v e lr e m e d yt h es h o r t c o m i n go ft s p n ： s c e n a r i oe x p r e s s i o na n ds e m a n t i cc h a n g i n gi nt r a n s a c t i o no f f s e tt h ew e a k n e s so f m a n ys y n c h r o n i z a t i o nm o d e l sf i n a l l yw eg i v et h ea p p l i c a t i o ne x a m p l eo f 硕士学位论文 、l s t e rst h e s is h e t s p na n di t sc o m p u t e rs i m u l a t i o n ，w h i c hi n d i c a t e st h a tt h i sm o d e lp r o v i d et h e g o o da b i l i t y o fm o d e l i n g h y p e r m e d i aa r c h i t e c t u r e ，t e m p o r a l a n d s p a t i a l s y n c h r o n i z a t i o na n du s e rp a r t i c i p a t i o no ns c e n a r i ol e v e l k e yw o r d s 】 m u l t i m e d i as y n c h r o n i z a t i o n o b j e c t o r i e n t e d m u l t i m e d i ad a t a b a s e p e t r in e tc o m p u t e rs i m u l a t i o n 硕士学位论文 m a s t e rst h es is 第一章问题的提出 1 1多媒体技术与数据库技术的发展与融合 多媒体( m u l i t m e d i a ) 技术是随着计算机的硬件和软件技术的发展，在 人们对更友善的人机界面、多种媒体信息处理能力的需求下发展起来的。多 媒体技术的应用使计算机能交互处理多种媒体信息文本、图形、图像、 视频和声音等，并将多种信息建立逻辑连接，集成为一个系统，同时具有用 户可交互性。文本、图形、图像、视频、声音和动画等媒体的综合使多媒体 技术在计算机辅助教学、出版印刷、计算机仿真等领域中得到了广泛和深入 的应用。多媒体技术集计算机技术、声音处理技术、图像处理技术、通信技 术于一体，具有以下几个特点： 多媒体信息是一种综合信息，这种综合不是多种媒体的简单组合， 而是一种整合，信息之间存在着包括时间、空间和内容上的逻辑联系。 多媒体信息是数字化信息，具有一定的编码形式。 与传统数据相比，多媒体数据内部是非结构化的，但适合用面向对 象的方法进行封装。 多媒体具有交互性，允许用户与计算机进行对话，参与媒体的呈现 和展示。 计算机的产生最早是源于科学计算的需要，但数据处理很快的成为计算 机领域最为重要的应用之一。从早期的简单文件系统，到中期的层次和网状 数据库管理系统( d a t a b a s em a n a g e m e n ts y s t e m ) ，再到目前最为流行的关系 型数据库管理系统，数据管理技术一直处在不断的发展和变化之中。随着多 媒体应用的日益广泛，应用先进的数据库技术对多媒体数据进行存储、管理 和综合的要求促进了多媒体数据库管理系统( m u l t i m e d i ad a t a b a s e m a n a g e m e n ts y s t e m ) 的产生和发展。与传统的关系型数据库管理系统相比， 多媒体数据库管理系统有许多不同的技术特点和难点 硕士学位论文 、i s t e rst h ! s is 多媒体数据一般数据量大，以声音和视频数据为例，五分钟的音乐， 压缩后的数据量要州左右；一小时的视频压缩后的数据量要6 0 0 m 左右。因 此在存储结构的设计上一般采用内存、磁盘、光盘三级存储系统。 等时性( i s o c h r o n i s m ) 和同步( s y n c h r o n i z a t i o n ) 是多媒体数据 固有的特点，在多媒体数据库管理系统的研究中占有重要的位置。 声音，视频等多媒体数据本身基本上都是二进制串，从数据本身是 没有任何结构的，因此称为非结构化数据。在多媒体数据库中只存放媒体数 据( m e d i ad a t a ) 是不够的，往往还要加上一些关于媒体数据的数据，即元 数据( m e t ad a t a ) 。 对于多媒体数据，除了提供一般的数据操作如增，删，改等，还应 提供与媒体有关的接口和操作，例如播放、倒退、快进，基于内容的检索等 用户接口和操作。 目前多媒体数据库中的主要研究内容有多媒体数据的建模、多媒体表现 ( p r e s e n t a t i o n ) 与同步的建模、多媒体数据库管理系统的体系结构、基于 内容的查询处理和检索机制、用户接口技术等，其中多媒体表现与同步的建 模是本文要研究的重点。 1 2 多媒体数据库在远程教育中的应用 计算机辅助教学( c o m p u t e ra i d e di n s t r u c t i o n ) 是将计算机的功能和 特点用于教学，通过计算机与学生的交互式会话实现有效学习的一种教学形 态，其根本目的是充分发挥计算机所独具的功能以促进学生的有效学习。计 算机辅助教学的应用有助于实现教学的现代化、教授的最佳化、因材施教、 个别化学习等传统课堂教学很难实现的目标。在提高学习效率、提高学生的 学习主动性、启发学生积极思维、培养学生处理复杂问题的能力等方面也能 起到重要的辅助作用。 随着国际互连网( i n t e r n e t ) 的迅速普及和它在许多不同领域的广泛应 用，远距离教学( d i s t a n c ee d u c a t i o n ) 这一由计算机辅助教学与i n t e r n e t 碰撞产生的新事物使教育模式发生了革命性的改变。远距离教学突破了时空 的局限、增加了学习的机会、扩大了教学规模、提高了教学质量、降低了教 育成本。在现代通信技术和计算机技术的支持下，远距离教学系统建立了跨 2 硕士学位爸文 ste rsr _ e 、：j 越院墙、跨越国界的虚拟校园并把全球的教育连为一体，促进了校际间、国 际间的交流与合作。目前国际上和国内都有许多远距离教学系统具体的应用 实例。一个通用的远距离教学系统如图1 1 所示。 翥婪婆茎 龊件服务器 图1 1 远距离教学系统模块图 多媒体素材库是远距离教育应用系统中不可缺少的重要组成部分，是网 上教学课件正常使用的保障，有没有丰富的多媒体素材库也是远距离教育应 用系统是否能成功吸引使用者的一个重要方面。当前多媒体计算机辅助教学 软件大致可分为基于脚本语言、应用程序、浏览器等几种类型，经过大量的 实践表明无论那种类型，软件开发人员j 0 6 0 的时间是用在多媒体 素材的获取和制作上，由此可见建立多媒体素材库对于教学软件开发的重要 性。国家关于建立远距离教育应用系统的规范中也明确的对多媒体素材库的 内容、格式、质量等方面作了详细的规定。从技术实现角度讲，多媒体素材 库的最佳实现是采用多媒体数据库管理系统来支撑。比起利用操作系统文件 服务功能的扩展关系数据库应用模式和某些大型关系数据库管理系统中的大 二进制存储方案来说，应用多媒体数据库管理系统来管理多媒体数据是一个 彻底而完备的解决方案。 士壹童论文 1 3 多媒体数据库中媒体同步问题的研究意义 纵观多媒体技术的发展，多媒体信息的同步( m u l t i m e d i a s y n c h r o n i z a t i o n ) 问题始终伴随其发展的始终，这是由多媒体数据、多媒体 系统自身的特点所决定的。一般意义上讲，多媒体同步是指多媒体数据间的 时间、空间或逻辑的关系。远距离教学系统中主要有两大类同步问题，一是 由于网络传输特性导致的远距离教学系统不同节点间的分布式同步问题，另 一个是多媒体数据库数据管理中的媒体同步问题。从应用者的角度看这两种 同步并没有什么区别，因为应用者只关心最终的多媒体应用效果，然而从应 用系统的研究和设计角度来看，这两种同步分别具有各自不同的特点。 分布式环境下的同步问题比单机环境要复杂的多，由于目前的计算机网 络多为“尽力型”，因此多媒体数据在传输和恢复中存在随机的延迟与丢包， 所以在多媒体应用中必须有相应的同步机制来确保以合适的时间关系播放媒 体。例如，在浏览器中观看一个同时有图片和解说声音的多媒体教学节日， 如果同步问题解决的不好会造成严重的失步甚至无法观看。 分布式多媒体系统中多媒体同步包括多媒体通信同步、多媒体表现同步 和交互多媒体同步等。这些同步功能分布于分布式多媒体系统的不同层次中， 共同来支持分布式多媒体应用的同步应用要求。它们之间相互影响，相互制 约形成多媒体同步体系结构，其中多媒体通信同步是分布式多媒体系统的最 基本要求也是其它同步功能的基础。 从多媒体数据库的角度看，同步特性也给已有的数据模型提出了新的挑 战，它要求数据模型不只能够描述结构化信息及定义在其上的操作，还必须 能够捕捉多媒体对象之问的语义关系、捕捉它们的时态关系和空间关系、模 拟多媒体数据的表达及其时空编组的过程。现有的数据模型如实体一关系 ( e r ) 模型、语义对象模型、关系模型等远不能满足这些薪的需求。文献 2 6 中从多媒体应用的角度，对多媒体数据库管理系统的常规功能、建模设 篪、多媒体对象共享和操作等三个方面提出了十二条具体的要求，其中多媒 体展示与同步的建模即是一个重要的研究方向，同时也是本文要研究的重点。 4 硕士学位论文 s t e rst h e s ls 第二章多媒体同步问题的研究现状 2 1多媒体数据与多媒体同步的分类 多媒体是多种特性各异的信息媒体的集成，人们为了便于研究和组织多 媒体数据，从不同的角度依据不同的分类标准对其进行了分类。如通常我们 讲的文本、图形、图象、声音、动画、运动视频既是从用户的使用角度来进 行分类的。但从根本上讲，多媒体与传统的数据类型的差异来源于时间特性 的引入。按时间特性分类，多媒体可分为时间无关( t i m e i n d e p e n d e n t ) 媒 体和时间相关( t i m e d e p e n d e n t ) 媒体。时间无关媒体主要指那些信息值不 随时间变化的媒体如文本、图形、图象等传统的信息媒体，在某些文献上它 们又被称为被动媒体。时间相关媒体是指那些信息值与时间有关，并随时间 变化的媒体如数字语音、动画、运动视频等，在某些文献上它们又被称为主 动媒体。时间相关媒体是一系列信息单元的高度结构化、时化的集合体，文 献 9 中将其定义为一个时间化的媒体流( t i m e ds t r e a m ) ，较能反映时间相 关媒体的本质特征。其定义如下 定义 i 一个时间流是一个三元组 i = 1 2 ，n 的一 个有限序列。e 。是媒体元素每个媒体元素都有一个元素描述符以记录如媒 体类型、编码、表现参数等媒体相关属性；s 、d 分别是媒体元素e 在时间 流中的开始时间和持续时间段，且满足s i + 1 s ，和d 。o ，i 是三元组倔，s ，d 。 在时间流中的序列号。 多媒体同步的分类与多媒体数据的分类一样，根据不同的分类标准也会 得到不同的分类结果。如从同步产生的时间来区分，同步可以划分为实况同 步( 1 i v es y n c h r o n i z a t i o n ) 和合成同步( s y n t h e t i cs y n c h r o n i z a t i o n 【) 两种： l 、实况同步 实况同步是指在信息捕获过程中建立的同步关系。其目标是要在演示时 硕士学位论文 、f st e rs ! 二! s is 再现媒体获取时的时序关系。一个典型的例子是协同式的学习环境，若干个 学习者和一个导师在不同地点的人使用一个协同学习系统共同对一个课题进 行学习，假设该协同学习系统由一个视频会议模块、一个电子白板和一个教 学资料库组成。学习者通过客户端应用程序如浏览器首先对导师指定的学习 资料进行浏览学习，然后开始就学习中的问题与导师和其他同学交流。这时 就有一个实况同步问题。一个人( 导师或学习者) 讲学习的体会或指导学习， 其他人最终看到的效果应该是讲授者口型与声音同步在人类感觉不出的范围 内，一些文献中将其称为唇同步( 1 i p s y n c h r o n i z a t i o n ) 。另一个实况同步 问题是当一个人在电子白版上书写内容或用鼠标指示教学知识点时，书写内 容的变化或鼠标的移动应和他讲解的声音保持同步，这里的同步限制虽没有 唇同步严格，但也属于实况同步。实况同步具有无重排序性和无预览性，要 求在媒体展示时真实再现媒体获取时的状态。 2 、合成同步 合成同步是指对已获取的媒体素材人为地指定媒体间同步关系，由定义 可以看出合成同步只对存储媒体有效。使用者根据自己的需要，从多媒体数 据库中取出媒体素材进行编辑、连接，从而生成符合用户应用需求的多媒体 应用程序。多媒体应用的多样性决定了多媒体同步关系的复杂性，因此这也 从另一个方面说明了多媒体数据库中展示与同步建模的重要性。图2 1 中给 出了一个合成同步的例子。 i 音鼾i 音频二 1 日竹一i 雷斗= 1 日竹! i 视颜i 动百l t 图2 1 一个合成同步的例子 按同步涉及的对象来讲，可将多媒体同步分为媒体内同步( i n t r a s y n c h r o n i z a t i o n ) 、媒体间同步( i n t e rs y n c h r o n i z a t i o n ) 和逻辑同步 ( 1 0 9 i c a ls y n c h r o n i z a t i o n ) 。 l 、媒体内同步 应用时间流的定义，我们可以形式化的定义媒体内同步为 e i ；= e ；s i 。一s 。：= c ；d h = d i 。 6 硕士学住论文 i ! i 、一h e i is 其中e s 。d ，；分别为该媒体流获取时的媒体元素、开始时间和持续时间 段，e 。，s 。，d 。分别为该媒体流呈现时的媒体元素、开始时间和持续时 间段，i 是从1 开始的自然数，c 是正常数。由此可看出媒体内同步就是要求 单一时间相关媒体内的单个媒体元素要保持获取时的时序关系。如运动视频 中的视频帧，声音中的采样点之间都属于这种类型的同步，这种同步的同步 粒度( s y n c h r o n i z a t i o r lg r a i n ) 是最小的。 2 、媒体间同步 媒体间同步是指不同媒体间的同步，如实况同步中音频与视频间的唇同 步或如图2 1 中时间无关媒体与时间相关媒体人为建立的合成同步关系等。 3 、逻辑同步 逻辑同步主要是指人机交互的过程中产生的同步，它定义了在人机交互 过程中多媒体对象间静态的和动态的逻辑关系。如超媒体文档通过链将不同 的多媒体对象或多媒体文档按照某种逻辑关系组织起来，在用户的交互过程 中动态的将这种逻辑关系和媒体内容展示出来。逻辑同步的主要特点是其异 步特性和动态特性。 另外从时空角度来看，还可以将多媒体同步分为时间同步( t e m p o r a l s y n c h r o n i z a t i o n ) 和空间同步( s p a t i a ls y n c h r o n i z a t i o n ) 。 从上述分类我们可以看出，不同的多媒体同步类型划分是有重叠的，其 中基于同步对象的分类方法以分层的观点研究多媒体同步问题，是建立同步 模型时较常用的一种分类法，本文在建立同步模型时也主要以这种分类法为 参考。 2 2多媒体同步的服务质量 多媒体展示的服务质量( q u a l i t yo fs e r v i c e ) 是指服务性能的聚集效 应，它决定用户对特定服务的满意程度。主要的q o $ 参数是：多媒体同步质 量，媒体播放质量，播放的端到端延迟等。 严格意义上的同步只是理论上的抽象，在实际的实现中由于各种因素的 影响是不可能实现多媒体对象内和对象间的绝对同步的。所幸的是人类的感 官并没有理论公式那么严格。大量的研究结果表明，只要将单一媒体流内部 的抖动( j i t t e r ) 和不同媒体间的漂移( d r i f t ) 控制在某一范围内对信息的 硕士学位釜文 、【 s t e rst ：s 。s 接受是没有太大的影响的。如唇同步中声音和口型移动之间的时间差在 一4 0 m s+ 4 0 m s 之间般认为符合口型同步的要求。如果在士8 0 m s 之内，尚 可接受；而二者的时间差，大于士1 6 0 m s ，则认为是不可容忍的了。对于用 户交互一级的同步，如超媒体文档中一个结点到另一个结点的变迁，甚至秒 一级的时延( d e l a y ) 都是可以接受的。多媒体同步的上述特点可以作为同步 服务的质量参数，图2 2 给出了各种媒体的服务质量相关参数。 媒体模式、应用 q o s 视频动画内容相关 + - 1 2 0 m s 音频唇同步，特指人讲话时场景中音频 卜8 0 m s 与人的脸部特写视频的同步 图象相覆盖，即图象是视频内容的附加 f 一2 4 0 m s 描述，同步关系较密切 不覆盖，即两类媒体在不同的窗口 + 卜5 0 0 m s 显示，同步关系较松 文本 相覆盖( 同图象) + - 2 4 0 m s 不覆盖( 同图象) 卜2 4 0 m s 音频动画事件相关，如舞蹈中舞步的动画序 + f - 8 0 m s 列与伴奏音乐 音频紧耦含，如立体声声道间的配合( 对 + | 一1 l m s 采样频率为4 4 k h z ) 松耦合，如多人对话+ - 1 2 0 m s 松耦合，如讲话与其背景音乐 七f _ 5 0 0 m s 图象 紧耦合，如音乐教学中音乐的演奏 七- 5 m s 与音符的展示 松耦合，如幻灯中幻灯片的切换与 + | 一5 0 0 m s 人的讲解配合 文本 文本注释加配音 + _ 2 4 0 m s 指针音频与指针内容相关，如计算机会f - 5 0 0 m s 议中屏幕上鼠标指针移动与讲话的 同步 图2 2 不同媒体对象间的同步误差 多媒体同步是多媒体数据的内在特性和应用语义的本质需求，而且同步 硕士学位论文 m i s t j rsi h e s is 关系存在于整个多媒体应用系统过程中。存储系统、操作系统、硬件设施、 通信系统对多媒体同步都会产生影响，从而使同步问题变的十分复杂，但同 步服务质量参数则从宏观上给了我们一个控制同步的手段，在同步关系规范 化的时候，应将同步服务质量参数作为作为其中的一个部分，以控制多媒体 应用系统给功能部分互相协调共同达到同步服务质量参数所规定的同步质 量。另一方面同步服务质量参数也给了我们一个判断同步质量的标准，既只 要将客户端的多媒体展示控制在同步服务质量参数以内，就达到了最终的目 标和要求。 2 3多媒体应用系统同步参考模型 在对复杂问题求解时，建立合适的模型对问题的研究与解决都会有很大 的帮助。在研究多媒体应用系统同步问题的过程中文献 2 9 提出了多媒体应 用系统两级同步模型，包括多媒体对象间同步层与媒体流内同步层。其缺点 是层次划分过粗，多媒体对象间同步层要完成用户交互同步和对象间同步， 并且同步模型没有给出面向终端用户的接口，因此不能算是一个完全意义上 的多媒体同步模型。 笔者认为文献 3 中的多媒体应用系统同步参考模型能较完全的反映多 媒体同步的各种需求，如图2 3 所示，这一参考模型体现了不同层次上对于 同步的要求。每层实现一个由适当的接口提供的同步机制，其中 媒体层针对的是单独的媒体数据流，它所面对的是数据流中的一个 个基本的逻辑数据单元。媒体层的任务是对文件和设备的访问，其接口包括 对l d u ( 1 0 9 i c a ld a t au n i t ) 的与设备无关的访问，提供对单一l d u 处理的保 障。 流层要面对的是多个媒体数据流，其任务是保证多个数据流的并行、 同步的播放，在具体实现上包括资源预留和规划l d l 处理的时问表。这一层 中解决了媒体数据流间的同步关系。向上提供的接口包扩流和流组的处理、 流内同步处理和流间同步处理等。 对象层同步就是要保证多媒体文档中的各个对象按照规定的次序出 现并能正确的响应用户的输入事件。其任务包括规划演示时间表，通过流层 初始化与时间相关的媒体对象的演示，初始化与时间无关的媒体对象的演示， 9 硕士学位论文 m s t e rst h e ! ：s 初始化演示预备活动等。向上级提供的接口包括同步的定义、对象( 隐藏所 包含的媒体的类型) 定义及面向媒体的服务质量参数的定义( 可接受的漂移 和抖动) 等。 - 描述层解决的是多媒体文档中对象出现次序及交互处理的描述，既 多媒体文档( 超媒体文档) 的作者如何描述一个多媒体文档。描述层是多媒 体著作系统与多媒体文档的制作者之间的接口。在这层只关心多媒体作品是 否能够被描述或描述的是否正确，而至于系统是如何用描述控制多媒体对象 之间的同步或系统在对象间调度算法却不是描述层所关注的。其任务包括编 辑、格式化、将面向用户的服务质量参数影射为对象层的服务质量参数等。 图2 3 多媒体同步参考模型 2 4 现有多媒体同步建模方法分析 2 4 1 时间模型的划分 多媒体同步问题产生的本质是因为时间的引入，因此为了能够对多媒体 同步语义进行描述和建模，首先应该建立相应的时间模型。我们可以通过基 本时间单位( b a s i ct i m eu n i t ) 、上下文信息( c o n t e x t u a li n f o r m a t i o n ) 和时间表达类型( t y p eo ft i m er e p r e s e n t a t i o n ) 这三个互相关联的概念建 立不同的时间模型。其中常用基本时间单位有时刻( i n s t a n t ) 与时间段 ( i n t e r v a l ) 两种，其定义见定义2 和定义3 。 定义2 时刻是指时间轴上的一个零尺度的时间点。 定义3 设集合 s ， 为一个偏序集，a 、b 是集合s 中任意两个时刻， 不失一般性，令a b 。则定义集合( xa x b ) 为个时间段， 1 0 硕士学位论文 s r e rst h e j is 用 a ，b 表示。任意的时间段 a ，b 有如下属性： t 、c a ，b = c ，d a = c 八b = d 2 、如果c ，d a ，b ，e s 且c e d ，则e a ， 上下文信息是指应用选定的基本时间单位，如何来描述时间关系。上下 文信息又可分为定量信息( q u a n t i t a t i v ei n f o r m a t i o n ) 和定性信息 ( q u a l i t a t i v ei n f o r m a t i o n ) 两种。定量信息是以绝对或相对的时间轴为参 考，定量的表述时间关系，如t = 6 p m 、 a ，b = 3 小时等。定性信息没有 数量化的时间表达，如基于时刻的两元时间关系在之前、在之后、与 同时，基于时间段的两元时间关系b e f o r e ( 先于) 、m e e t s ( 衔接) 、o v e r l a p ( 相交) 、d u r i n g ( 包含) 、s t a r t s ( 同始) 、f i n i s h e s ( 同终) 、 e q u a l ( 平行) 和前六种的逆关系。后者的时间关系如图2 4 所示。 t 亘二 睁 至 p lb e f o r e p 2 亘二【卫 p 1r n e e t $ p 2 二亘 二! 口 p 1e q u a l sp 2 图2 4 基于时间段的两元时间关系 选择不同的基本时间单位和上下文信息类型，就产生了不同的时间表达 类型和模型。文献 3 7 中按照上述几个基本概念划分了五种时间模型，其中 基于时刻的定量模型和基于时间段的定性模型得到了最广泛的使用。 2 4 2 几种同步模型的分析与评价 一一一一一一 罾 虽 、 硕士孝位论丈 、! ! t e rst ，e ! ：j 多媒体同步模型问题的研究到目前为止已经比较深入，人们提出了许多 不同的同步模型，每一种都有其优势，但也有其不足之处。 现在较为流行的多媒体同步模型主要有以下几种： 1 、时间线( t i m e l i n e ) 模型 这是一种典型的基于时刻和定量信息的同步模型，它定义同步的方法最 为直观。其基本方法是将所有需要同步的媒体对象映射到一个时间轴上( 绝 对或相对) ，每个对象的启动、结束、持续时间都表示在时间轴上，对象与轴 关联且彼此之间互不影响，因此加入或删除一个对象不会影响其它对象之间 的时间关系。但时间线模型最大的缺陷就是对非确定性( i n d e t e r m i n a t e ) 的 事件无法表达，如用户交互事件。原始的时间线模型的某些扩展模型虽然支 持用户交互，但总的来说仍不自然。另外其对于服务质量参数的定义也不直 接，必须另外给出q o s 的定义。a p p l e 公司推出的q u i c k t i m e 多媒体标准和 用以表示超文本、超媒体、多媒体、基于时间文献的国际标准h y t i m e 都应用 了时间线模型 6 。图2 5 给出了一个基于时间线模型的同步描述的例子 视频二 用户交互 l 音频一p lp 2p 3动酉 回 视频一i 辨i r1r 1r1r1r1r -r 1rl 2 5 基于时间线模型的同步描述的例子 2 、参考点同步模型( r e f e r e n c ep o i n ts y n c h r o n i z a t i o nm o d e l ) 参考点同步模型本质上是对时间线模型的一种改进，它将时间相关媒体 看作是一系列离散时间无关的子单元构成的序列，媒体对象的开始、结束时 间，以及时间相关媒体对象子单元的开始时间都可视为一个参考点。不同媒 体之间的同步是通过将它们在某一时刻的子单元相连接来定义的，如图2 6 所示。同步是通过在同步点上发信号机制实现的，既每个到达一个同步点的 媒体对象给与此同步点相关联的所有其它媒体对象发信号，其它媒体对象在 收到此信号后，在必要时做“加速动作”以保持同步。参考点同步模型中一 般人为的指定一个主媒体流，其他媒体流以此为参考。参考点同步模型的缺 硕士学位论文 m s t e rst h e srs 点是将连续媒体离散化，从而破坏了连续媒体之间的相互依赖关系，破坏了 连续媒体的整体特性，这与目前多媒体的面向对象化发展趋势是背道而弛的。 另外还需要检查不一致性的机制来保证同步定义的正确性。 图2 6 参考点同步模型例子 3 、分层( h i e r a r c h i c a l ) 同步模型 分层( h i e r a r c h i c a l ) 同步模型主要基于两种同步操作：媒体对象间的 串行同步和并行同步。一个媒体对象可以是原子媒体对象或组合媒体对象。 原子媒体对象表示一具体的媒体媒体素材片段，而组合媒体对象由原子媒体 对象与连接它们的同步操作的集合组成。分层同步模型基于时间段和定性信 息的时间模型。在这种同步模型中媒体对象间的同步关系通过一个树型结构 加以表达，如图2 7 所示。树叶表示原予媒体对象，结点则表示串行或并行 同步操作符，用它来描述静态媒体间同步是非常适合的，并且支持分层，便 于理解。但在此模型中同步操作只能建立在媒体对象的开始和结束，不能在 媒体对象的中间部分建立同步点。此模型也不支持直接的o o s 描述，对时间 无关多媒体对象还要另外定义其展示时间。 4 、路径表达式 图2 7 层次同步模型 硕士学位论文 l i s t e rst h j s is 为了描述多媒体对象间的同步关系，h o e p n e r 提出了一种路径表达式 的同步模型 4 1 。该同步模型基于时间段和定性信息的时间模型。通过引入 延时对象，路径表达式的操作可以简化概括为以下六种。其中a 和b 代表两 个不同的媒体对象，而n 是一个正自然数。 a 八b ( p a r a l l e l l a s t ) ：媒体对象a 、b 同时开始执行，复合媒 体对象a 八b 当所有参与的媒体对象均结束时终止 a v b ( p a r a l l e l - - f i r s t ) ：媒体对象a 、b 同时开始执行，复合 媒体对象a v b 在第一个参与媒体对象终止时终止 a ；b ( s e q u e n t i a l ) ：只有a 媒体对象结束后b 媒体对象方可开 始，a 的结束点等于b 的开始点，复合媒体对象a ：b 当序列中最后一个 媒体对象终止时才结束，该操作用以表达串行关系 ab ( s e l e c t i v e ) ：或者执行a 或者执行b ，选择依赖于某一 条件，该条件非路径表达式的一部分，但它能被别的实例检测到，复合 媒体对象ab 随被选中的媒体对象结束而终止。 n 媒体对象a 循环展示i 次，若i 省略，则a 将展示零次或许 多次，具体的重复次数依赖于外部条件。 n ：