（电路与系统专业论文）分布式环境下多媒体风步通信系统的研究与设计.pdf

硕士学位论文 m a s t e r s t h e s i s a b s t r a c t t h e d e v e l o p m e n t o f t e c h n o l o g y i n i n f o r m a t i o n、 c o m p u t i n g a n d c o m m u n i c a t i o n a r e a m a k e t h e i m p l e m e n t o f d i s t r i b u t e d m u l t i m e d i a t e c h n o l o g y p o s s i b l y . i t a c c e l e r a t e s t h e d e v e l o p m e n t o f d i s t r i b u t e d m u l t i m e d i a t e c h n i q u e a n d m a k e s i t b e c o m i n g m o r e c o n s u m m a t e . m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n i s t h e k e y t e c h n i q u e i n d i s t r i b u t e d m u l t i m e d i a s y s t e m , a n d a l s o i s t h e b a s i c r e q u i r e m e n t o f d i s t r i b u t e d m u l t i m e d i a a p p l i c a t i o n s . p r e s e n t l y , t h e r e h a v e t w o a p p r o a c h e s t o s t u d y t h e t e c h n o l o g y o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n i n d i s t r i b u t e d c i r c u m s t a n c e , o n e i s t o s t u d y t h e d y n a m i c s y n c h r o n i z a t i o n s e m a n t i c o f m u l t i m e d i a , b a s e d o n t h i s t o f o r m a m u l t i m e d i a s y n c h r o n i z a t i o n m o d e l t o m e e t w i t h t h e r e q u i r e m e n t o f s y n c h r o n o u s r e p r e s e n t a t i o n w h e n d i s p l a y e d i n d i f f e r e n t m u l t i m e d i a a p p l i c a t i o n s . t h e s y n c h r o n i z a t i o n r e p r e s e n t a t i o n s i n c l u d e i n t e a - s t r e a m s y n c h r o n i z a t i o n a n d i n t e r - s t r e a m s y n c h r o n i z a t i o n ; f i r s t o f a l l , t h e d y n a m i c s y n c h r o n i z a t i o n s e m a n t i c s o f m u l t i m e d i a o b j e c t s i n d i s t r i b u t e d m u l t i m e d i a s y s t e m s a r e s t u d i e d d e e p l y i n t h i s p a p e r . s u m u p t h e u n i f o r m e x p r e s s i o n o f g e n e r a l t i m e i n t e r v a l s i n d u a l i t y t i m e s e q u e n c e o f m u l t i m e d i a o b j e c t s ; b a s e d o n t h e a n a l y z e o f t i m e - s e q u e n c e l o g i c m o d e l s , t h i s p a p e r p r o p o s e d a m u l t i m e d i a d y n a m i c s y n c h r o n i z a t i o n m o d e l 一一m s p n , w i t h n e w s e m a n t i c a n d s y n t a x . i t i s d e m o n s t r a t e d b y t h e m o d e l a n a l y s e s a n d e x a m p l e t h a t t h e m s p n m o d e l c a n p r i m l y s p e c i f y t h e d y n a m i c s y n c h r o n i z a t i o n s e m a n t i c o f m u l t i m e d i a a n d v a r i o u s s y n c h r o n i z a t i o n r e q u i r e m e n t s i n d i s t r i b u t e d m u l t i m e d i a s y s t e m s t o p r o v i d e a f i n e f o r m a l b a s i s f o r s y n c h r o n i z a t i o n c o n t r o l l i n g o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n , w i t h a n i n t e g r a t e d f o r m a l d e f i n i t i o n . a n o t h e r a p p r o a c h i s t o s t u d y t h e t e c h n o l o g y o f s y n c h r o n i z a t i o n t r a n s m i s s i o n a n d c o n t r o l l i n g o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n . m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n h a s t h e d y n a m i c s y n c h r o n i z a t i o n c h a r a c t e r i s t i c , w h i c h i s t h e s o f t r e a l - t i m e c o m m u n i c a t i o n u n d e r t h e d y n a m i c s y n c h r o n i z a t i o n c o n t r o l l i n g r e l a t e d w i t h n e t w o r k s y s t e m s w i t h i n s o m e i n t e r v a l . a f t e r d e e p l y s t u d i e d t h e t y p i c a l t e c h n i q u e o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n , t h i s p a p e r p r o p o s e s a n e w m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n t e c h n i q u e t i m e - m a r k s y n c h r o n i z a t i o n c h a n n e l t e c h n i q u e . u s e t i m e - m a r k t e c h n i q u e t o a s s u r e t h e i n t r a - s t r e a m s y n c h r o n i z a t i o n a n d t o a v o i d d e l a y a n d l o s i n g o f s y n c h r o n i z a t i o n c o n t r o l l i n g i n f o r m a t i o n , b a s e d o n t h e i n t r a - s t r e a m s y n c h r o n i z a t i o n w e u s e s y n c h r o n i z a t i o n c h a n n e l t e c h n i q u e t o a s s u r e t h e i n t e r - s t r e a m s y n c h r o n i z a t i o n . a l l o f i t a r e f i n e p r e c i s i o n a n d f a u l t - t o l e r a n t ; t h e c o m m u n i c a t i o n c o s t i s l e s s ; t w o s y n c h r o n i z a t i o n t r a n s m i s s i o n c o n t r o l l i n g m o d e s o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n c a n b e s u p p o r t e d e f f e c t i v e l y . f i n a l l y , t h i s p a p e r p r o p o s e s a n i m p l e m e n t s c h e m e o f m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o n i n d i s t r i b u t e d c i r c u m s t a n c e b y i n t e g r a t i n g t h e f o r m e r p r o d u c t i o n o f t h e t w o a s p e c t s a n d t h e d i s t r i b u t e d m u l t i m e d i a s y s t e m m o d e l . m a k e t h e o r c h e s t r a t e l a y e r b e c a m e t w o a g e n t s l e v e l s t r u c t u r e , t h e s t r e a m a g e n t i s t o c o n t r o l i n t r a - s t r e a m s y n c h r o n i z a t i o n , t h e s y n c h r o n i z a t i o n m a n a g e m e n t a g e n t u s e t o c o n t r o l i n t e r - s t r e a m s y n c h r o n i z a t i o n ; t h i s s t r u c t u r e c a n s u p p o r t t h e”t i m e - s t a m p s y n c h r o n i z a t i o n c h a n n e l t e c h n i q u e e f f e c t i v e l y . b y u s i n g t h e h i g h s p e e d n e t w o r k p r o t o c o l l i k e a t m , f d d i a n d s o o n t o b e t h e b o t t o m l e v e l i n s t r u c t u r e , t h e s c h e m e c a n p r o v i d e d a t a - t r a n s m i s s i o n s p e e d t h a t q u i c k e r t h a n 1 0 0 m i l l i o n b p s , a n d b y u s i n g t h e x p r e s s t r a n s p o r t p r o t o c o l i n t r a n s p o r t l a y e r c a n e l i m i n a t e t h e b o t t l e n e c k p r o b l e m o f n e t w o r k c a p a b i l i t y . i n b r i e f , t h i s s c h e m e p r o v i d e s a t h e o r y f o u n d a t i o n t o c o n s t r u c t a n d i m p l e m e n t a d i s t r i b u t e d m u l t i m e d i a c o m m u n i c a t i o n s y s t e m . k e y w o r d s : s y n c h r o n i z a t i o n s e m a n t i c , t i m e s e q u e n c e r e l a t i o n , p e t r i n e t s y n c h r o n i z a t i o n m o d e l , s y n c h r o n i z a t i o n c o n t r o l l i n g 1 1 1 匕行匕q j任乙d主 7 . 1 设计原则 7 .一个多媒体同步通信的实现方案 小结 7 . 门乙qj nij.1叮 二d二dlj 附录 在校期间完成的工作 参考文献 致谢 . . . . . . . . . . . . . . . . . . 门了oj 图表说明 2 . 1分布式多媒体系统模型 2 . 2媒体对象的同步粒度级 2 . 3视频对象的对象内同步示例 2 . 4对象间同步示例 ” ” . “ . . ” ” ” ” ” 3 . 1媒体对象的时序关系 3 . 2时间片的七种二元时序关系 3 . 3时间轴同步模型 ” ” ” ” ” ” “ “ ” ” 3 . 4参考点同步模型 ” ” ” ” ” “ “ “ ” 3 . 5层次模型 ， 3 . 6 t s p n同步模型举例 们n曰二jb只qna孟nllqd主n八曰q0d7.ouc乙叮二曰 11lllllq白9口qd勺d，dqj马da人d几d工左二d主月性11a主 4 . 1转移同步关系 图图图图图图图图图图图 图4 . 2 m s p n 回溯算法示意图 4 . 3时序关系的 m s p n表达 4用户交互操作 1一个应用实例 1源点控制模式 生5.6 目的点控制模式 多媒体同步协议结构 6.26.3 6 . 4同步信道方案 7 . 1多媒体同步通信系统的层次化结构模型 7. 2同步通信层的两层代理结构 1多媒体同步服务质量参数 1统一时序逻辑模型的时态参数 2.3. 6 . 1时间戳同步信道技术与其它同步技术的比较 图图图图图图图图图表表表 ;暮 硕士学位论文 s i a s t e r s t h e s i s 第一章 绪论 1 . 1研究背景 1 . 1 . 1分布式多媒体技术将在信息化社会中占 有重要地位 随着科技的迅速发展和社会需求的日益增长，人们己 不满足于单一媒体 提供的传统单一服务，而是需要诸如数据、文本、图形、图象、音频和视频 等多种媒体信息以超越时空限制的集成方式整体呈现。分布式多媒体技术就 是在这样的时代背景下，伴随 着图象处理技术、 音频处理技术、 通信技术的 同步发展而迅速发展起来的一门 综合性技术， 是多 媒体技术与高速网络技术 相结合的产物。它集计算机的交互性、网络的分布性和多媒体信息的综合性 于一身，给计算机的信息处理能力带来了质的飞跃，使多媒体能力不再局限 于单机范围，充分体现了多媒体信息的多样化、交互性和集成性特点。分布 多媒体系统的出 现不仅丰富了原有计算机应用的内 涵， 还极大的扩展了它的 应用范围，将其应用遍及金融、医学、教育、出版、办公、旅游等各个领域。 分布式多媒体技术的广泛应用反过来也推动了多媒体技术和通信技术的向前 发展，因此，将在未来的信息社会中占据重要地位。 1 . 1 . 2多媒体同步是分布多媒体系统的主要特征及关键技术 分布多媒体系统以能计算机控制地、集成地产生、存储、通信、处理和 表现多媒体信息为其特征。由 于多媒体对象的内 在相关性， 故媒体的集成处 理是分布多媒体处理的一个重要特征。集成的关键是信息的数字化表示和多 媒体同步。分布多媒体系统的各个组成部分，例如通信系统、操作系统、数 据库、文件系统以至于应用程序等，都需要在不同层次上支持多媒体同步， 也就是说，计算机网络系统应支持多媒体同步通信， 操作系统的进程调度要 支持多媒体实时同步处理， 多媒体数据库需要考虑多 媒体的同步存储和访问， 多媒体文档应包括多媒体同步关系的描述，多媒体应用程序要支持多媒体的 同步采集、同步处理和同步表现。因此多媒体同步是分布多媒体系统的主要 特征及关键技术，如何支持多媒体同步已是分布多媒体系统研究的一个重要 而又无法回避的问题。 、氮 硕士学位论文 m a s t e r s t h e s i s 1 . 1 .3多媒体同步通信是计算机网络研究的热点 在分布多媒体应用中，多媒体数据在从源点向目的节点的实时传输过程 中，计算机网络和通信协议处理都会不可避免的引入延迟，产生流内的延迟 抖动和流间扭曲，从而破坏了单个媒体流的流内时序关系 ( 如音频的连续等 时性)以 及媒体流之间的时间关系 ( 如音、 视频之间的口型同步) ， 影响了多 媒体的应用语义。多媒体同步通信就是在多媒体通信中，采用有效的措施来 消除延迟抖动，恢复、保持有关媒体流的流内和流间的时序同步关系. 虽 然 “ 同 步” 这 一 术 语出 现 在 开 放 系 统 互 连o s i ( o p e n s y s t e m i n t e r c o n n e c t ) 标准中，但o s i 标准并没有明确提出多媒体实时同步的需要，故传统网络协 议都缺乏对多媒体同步通信的支持。同时一些新出现的轻型运输协议 ( 如 x t p . x p r e s s t r a n s p o r t p r o t o c o l , v m t p ,v e r s a t i l e m e s s a g e t r a n s a c t i o n p r o t o c o l 等) ， 采用了新型协议机制，能有效的支持多媒体实时通信， 但都没有提供多 媒体同步通信功能。因此，多媒体同步通信是计算机网络研究的热点。 1 . 2 研究现状 进入九十年代以来，分布式多媒体通信技术研究迅速成为计算机网络通 信研究的一个热点，越来越多的研究人员开始进行多媒体通信方面的研究， 到目 前为止，不论是在多媒体同步模型方面，还是在多媒体通信协议等方面 都取得了一定的进展。 在多媒体同步通信技术方面，主要有麻省理工学院提出的多媒体信息包 方案:它将不同的多媒体数据流多路复用到多媒体信息包中，同时还含有用 于控制多媒体表现的多维时空信息，包括显示位置、缩放比例等控制信息， 接收方从多媒体信息包中将多媒体流分离出来， 并按表现控制信息予以表现; 美国a t 多 媒体 系 统 提供同 步 机制保证该同步关系。同步机制是为了克服延迟抖动和扭曲而采取的处理措 纂) d 士 r 几 ;二 又 施，而多媒体同步关系抽象和描述则是实现多媒体同步的前提。本文第四章 着重研究第一个问题，在此基础上将在第六章对流间同步通信技术及多媒体 同步通信特性进行探讨和分析，并在第七章提出分布式环境下多媒体同步通 信的实现方案。 1 . 4 1 . 4 . 1 论文的主要研究内容 研究目 标与方法 本文的主要研究目 标是多媒体同步语义即多媒体同步模型、多媒体同步 通信的特性以及形式化模型，为分布式多媒体应用提供一个较为完整的结构 体系。所采用的研究路线是在对媒体时序关系和多媒体动态同步特性进行研 究的基础上， 总结以 往的多媒体同步模型的 优缺点， 运用p e t r i 网这个数学工 具，提出一种新的较为完善的多媒体同步模型，为计算机无二义性的生成多 媒体表现模型和进行多媒体同步通信的同步控制提供了一个良 好的形式化基 础;通过对己 有的流间同步通信技术分析，综合时间戳技术和同步信道技术 的特点，提出了一种时间戳同步信道同步通信技术，同时在对同步通信控制 模式、多媒体同步通信特性进行深入分析的基础上，综合前几章的研究以 及 参考已有的分布多媒体系统模型，构架了一个较为完整的分布式环境下多媒 体同步通信的实现方案，并对其中需要的核心技术进行了简要概括，由于时 间和篇幅的限制，本文不可能对所有的核心技术进行研究，侧重点放在多媒 体同步语义以及流间同步通信技术，对其它技术和算法的研究还有待今后对 多媒体同步通信和高性能计算机网络以及新一代轻型运输协议更深入的学习 和理解 。 1 .4 . 2论文的主要内 容 第一章先对本文的研究背景进行了分析介绍;然后对当前多媒体同步通 信的国际研究现状进行了综述分析，在此基础上提出了本文的研究目标及主 要研究内容， 最后概述了 媒体信息的分类， 给出了 广义和狭义的同步的定义。 第二章通过对多媒体同步进行分类分析，着重研究了分布多媒体系统的 多媒体动态同步特性， 对分布式多媒体系统模型进行了分析研究，并分析分 布式环境下的多媒体同步与通信网络之间的关系。 第三章着重于多媒体对象间时序关系的描述，然后对用于描述多媒体时 .e, 6 t 士学了 二 论文 n i 1 i! f k , ， h f si s 序关系的多媒体时序逻辑模型进行了深入研究， 尤其是对基于p e t r i 网的时序 模型进行了细致的研究。 第四章在第三章的基于p e t r i 网的同步模型研究基础上，提出了一种新的 基于时间p e t r i 网的多媒体动态同步模型 m s p n模型， 可以形式化的描述 分布多媒体系统的多媒体动态同步语义。 第五章通过一个应用实例对 m s p n ( m u lt i m e d i a s y n c h r o n iz a - t io n p e t r i n e t s )模型进行验证，结果表明 ms p n模型能很好的描述分布多媒体系 统的多媒体动态同步语义和各种同步需要，具有完整的形式化定义，为多媒 体同步通信的同步控制提供了一个良 好的形式化基础。 第六章主要多媒体同步通信中的媒体间同步通信技术以及多媒体同步通 信的两种同步控制模式进行了 研究， 在此基础上综合同步信道同步技术和时 间戳同步技术，提出了时间戳同步信道同步技术，并对该技术的性能进行了 分析研究。 第七章在原有分布多媒体系统模型基础上提出了一个分布多媒体同步通 信的实现方案， 将同步通信层细化为两层代理结构，并给出了利用该模型进 行同步控制的基本原理。 1 . 5多媒体同步的 基本内容 1 . 5 . 1媒体信息的 分类 多媒体是多种各异的信息媒体的集成。按照时间特性，可把多媒体信息 分为两类:时间无关媒体和时间相关媒体。时间无关媒体是指那些信息值不 随时间变化的媒体，如文本、图形、图象等传统的媒体信息;时间相关媒体 是指那些信息值与时间有关，并随时间变化的媒体，如视频、音频、动画以 及通过一些压缩编码标准 ( mp e g . j p e g . d v i 等)而生成的媒体流等。时 间相关媒体通常是一系列媒体单元的高度结构化、时间化的集合体， 表现为 一个时间化的媒体流.媒体元素可以是视频帧、音频采样等。 1 . 5 . 2多媒体同 步 在多媒体应用中，通常利用多种媒体从不同侧面来表达同一个主题，此 时媒体间就存在相互依存关系，不同媒体对象间的相互依存关系可概括为三 类:内容关系 ( c o n t e n t r e l a t i o n ) 、空间关系 ( s p a t i a l r e l a t i o n ) 和时间 关系 、 肇 硕士学位论文 u,r r e r u r si ( t e m p o r a l r e la t io n ) ， 它 们 都 是多 媒体 应用 语义的 重要 组 成部 分， 同 步 在一 般的 和广 泛的 意义上也就 是指这 三种关系的 确立p a l ( 1 ) 内 容关系 一般而言，在计算机中只需要保存一份数据，而将表达这组数据的方式 另做定义，称为指定数据间的内容关系。 ( 2 ) 空间关系 主要指不同媒体对象在显示时所处的相互位置关系，它体现了多媒体对 象在显示时的空间关系。 ( 3 ) 时间关系 它定义了媒体对象之间必须保持的时间关系。电视节目 伴音要求很好地 和人的口型动作相吻合， 在放映幻灯片时解说词应与正在显示的图象相对应， 这是媒体对象需要时间同步的典型例子。 在上述三种同步关系中，时间关系是最重要的一种，因为一个系统只有 在集成了时间相关媒体之后才能称为多媒体系统。 所以， 从狭义上讲，多媒 体同步指的就是多媒体对象之间时态关系的确立。 # - z! + i- l il-m v r is iz t 第二章 分布多媒体系统中的多媒体同步特性 2 . 1 分布式多媒体系统模型 目前，人们还没有就分布式多媒体系统的体系结构参考模型达成共识， 但对系统应该采用分层结构这一点已为人们普遍接受 我们认为分布式多媒体系统采用如下层次比 较合适( 1 5 综合国内外研究成果， 如图2 . 1 所示。 分布式多媒体应用层 系 统 管 理 分布式多媒体应用支撑平台层 协奏层 集成化传送协议层 集成式服务网络层 图2 . 1 分布式多媒体系统模型 集成式服务网络层提供下层基础网络设施，既要能够提供诸如文本文件 传送之类的传统数据通信服务，还要能够提供涉及音频和视频等连续媒体在 内 的多 媒体通信服务， 提 供 集成式 服务。 a t m ( a s y n c h r o n o u s t r a n s f e r m o d e ) 是一种比较好的集成式服务网络，是基于电路交换的电信网络和基于分组交 换的 数据网络的折中 和综合，固定大小信元可通过统计复用搭载不同性质的 数据，同时还能提供面向 连接的用 q o s描述的多种传输服务; 此外， 快速 e t h e r n e t 、 光纤分布数据接口( f d d i ) 、 分布队 列双总线 ( d q d b )网等也可 以提供集成式网络服务. i n t e rn e t 也在向集成式服务网络方向发展，为此，一 些可以支持多媒体通信的网络层协议也己经研究出来，如i p v 6 等。 集成化传送协议层既要提供支持连续媒体数据等时与实时传送的高速传 送协议，支持媒体内时间连续性的实现，也要提供支持静态媒体数据异步传 送的传统协议，允许高层根据应用的实际需要对该层协议与服务进行适当的 剪裁与配置，如实时传输协议 ( r e a l t i m e p r o t o c o l , r t p ) . x t p 等都是可以 支持连续媒体数据传送的协议。 、掌 e士“ 二，又 协奏层支持媒体间 ( 包括时间相关媒体间以 及时间相关与时间无关媒体 间)同步关系的实现，提供实时同步机制来控制媒体时序和多媒体交互作用 之间的准确定时， 如英国l a n c a s t e r 大学研制的 协奏系统结构o 1 分布式多媒体应用支撑平台层提供一种基于对象的分布式多媒体应用程 序设计环境， 在该环境下，用对象来建模组成分布式多媒体应用的各元素， 对象之间的交互作用由调用机制提供，从而可向程序员隐蔽对象的位置。如 i s o( 国际标准化组织) 和i t u - t( 国际电 信联盟)为分布处理领域制订的开 放分布处理参考模型r m - o d p ， 就为该 层提供了一个可资借鉴的 模型。 分布式多媒体应用层向端用户提供各种分布式多媒体应用，如计算机会 议、视频点播、远程教学等。 系统管理贯穿参考模型的所有层次，在每一层都要配置相应的管理器， 彼此协调工作。管理器不仅要提供诸如配置管理、安全管理等的传统管理服 务，还必须提供q o s 管理机制以 便适应连续媒体的要求。 2 .2多媒体动态同步特性 2 . 2 . 1 时间 相关媒体的同步粒度 同步粒度是指一个同步时间单位内所含的各种媒体信息及其相互约束关 系的集合。例如当同步时间单位定义为播放一帧视频的时间时，一个多媒体 对象也就是播放一帧视频、音频、文本、图象以及其它媒体的完整信息集。 一个时间相关媒体对象是由一系列媒体元素组成，每个媒体元素都有各 自 的同 步表现时段， 在时间相关媒体对象中， 往往存在多个同步粒度级的媒 体元素，例如，一个乐曲是由多个乐章构成的，每个乐章都是乐曲的一个独 立组成部分， 它们又是由一系列的音符构成， 在数字系统中，每个音符是由 一组采样值构成 ( 如图2 .2 所示) ，同样，在视频对象中也存在着相似的同步 粒度级。 不同同步粒度的媒体元素不仅具有不同的数据量，而且具有不同的同步 表现时段，同步粒度表示了不同的同步精度和同步要求，例如音频和视频就 需要细粒度的连续同步支持，通常连续媒体具有较细粒度的同步要求，而离 散媒体的同步粒度则较粗。 在分布式多媒体应用中，所用的同步粒度级是由应用程序决定的，例如 在 “ 播放”操作中，应用程序既有可能将乐曲作为一个整体来操作，也有可 一晕 硕士学位论文 干 a i i f n s i 1 , 1 . z i 能对乐曲中的有关乐章和音符进行修改和播放。在分布多媒体系统的不同层 次中也会存在不同的同步粒度，应用层进行同步表现处理时往往要求比较大 的同步粒度。 乐曲 乐章 音符 采样 r 络 粉 蔽 一. 二 猫奎 翻 怪 魏 冶 蚕 晚 理 招 双 哭卜拒 些 . 出 聋 韶 雄 攫 黔翼黔黔翼蒸篡 骤1黝溉嫩熬谬 厂 厂 口 口 日 口 口 巨 口 厂 日 日 口 图2 .2媒体对象的同步粒度级 2 .2 .2 多媒体同步的分类 2 . 2 . 2 . 1 基于同步媒体的分类 按同步涉及的媒体而言，多媒体同步可分为三类:媒体内同步、媒体间 同步和人机交互同步。 ( 1 ) 媒体内同步 ( i n t r a - m e d i a s y n c h r o n i z a t i o n ) :指在一个时间相关媒体内 部不 同的媒体元素之间的时态同步关系。 例如在一个视频序列中介于单个帧之间 的时间相关性， 对于视频而言， 播放速率为每秒2 5 帧， 每一帧的播放时间为 4 0 m s ， 此时媒体内同步即指维持帧与帧之间的时态同步; ( 2 ) 媒体间同 步 ( i n t e r - m e d i a s y n c h r o n i z a t i o n ) : 指不同 媒体间的时 态同 步 关系。 这种同步可能是不同的时间相关媒体间的， 如视频和音频的“ 口型同步” ;也 可能是时间无关媒体与时间相关媒体通过后来建立的某种关系而产生的，如 在视频画面上加注文字。 ( 3 ) 人机交互同 步( i n t e r a c t i v e s y n c h r o n i z a t i o n ) : 指不同媒体对象和和交互对象 之间的同步。交互对象是指用户和计算机之间的通信，如用户用键盘或鼠 标 控制快进、倒放、暂停等。该类同步的主要特点是其同步发生时间的不确定 性。 在分布式多媒体系统中，这三类同步是密切相关的。媒体内同步的同步 粒度最小，它是媒体间同步的基础和前提，它们都由 分布多媒体系统实现。 人机交互则是在上述两种同步的基础上，用户和分布多媒体系统间交互的同 步，它的同步粒度是最大的. 硕士学二 ;仑 丸 m s i i r、， l : 叹 基于同步数据对象的分类 /一，自 乙11一，曰 于吕家一卜一，创 ，殆/，别 按同步涉及的多媒体数据对象，多媒体同步分为两类: ( 1 ) 对象内同步 ( i n t r a - o b j e c t s y n c h r o n i z a t i o n ) : 指多 媒体对象内 不同媒体元素 间的时态同步关系。 此类同步存在于时间相关媒体对象中， 如图2 . 3 所示， 为 一段视频对象内单个视频帧间的时态关系。 ，甲甲， 4 0 ms 图2 . 3视频对象的对象内同步示例 ( 2 ) 对象间同步 ( i n t e r - o b j e c t s y n c h r o n i z a t i o n ) : 指不同 媒体对象间的时 态同 步 关系。 如图2 .4 所示， 表示声音1 和视频同时播放， 继而播放三幅静止图 象( p 1 , p 2 , p 3 ) ，然后播放一段动画，其间插入声音2 . t i me 图2 .4对象间同步示例 从数据处理的角度， 多媒体数据是由一个或多个多媒体对象表示的， 而多 媒体对象的大小是由 系统或应用来确定的。当多媒体对象包容整个媒体时， 对象内同步就等同于媒体内同步，对象间同步就等同于媒体间同步。而当一 个媒体是由多个多媒体对象组成时，媒体内同步既包括对象内同步又包括对 象间同步。 2 .2 .2 .3 基于同步产生的分类 按同步关系产生的方法而言，多媒体同步分为两类: ( 1 ) 自 然同步( l i v e s y n c h r o n i z a t i o n ) : 指在信息捕获过程中建立的内在时间同步关系。一般存在于时间相关媒 体内和时间相关媒体间， 例如每秒 2 5 帧的视频流以及同时录入的音频、视频 t 硕士学位论文 k us t e r s t i i e si s 都有内在的时态同步关系，自 然同步的目 的就是在表现时要准确再现数据采 集时的时间关系。 ( 2 ) 合 成同 步 ( s y n t h e t i c s y n c h r o n i z a t i o n ) : 指将各种信息捕获后，由 应用程序后来强加的时间同步关系。 通常用合 成同 步可将一些媒体片段组合成新的 媒 体， 但由 于时况数据 ( l iv e - d a t a ) 是 动态的、实时的、无重排序性和预览性，因此合成同步只对存储数据 ( s t o r e d - d a t a ) 有效。 2 .2 .3分布多媒体系统的多媒体同步特性 在分布多媒体系统中，多媒体具有动态同步特性， 表现在以 下方面: 一方面， 在分布多媒体系统中， 异步系统( 特别是计算机网络通信子系统) 会不可避免的、动态的产生延迟，引 起延迟抖动。因此要实现静态的、绝对 的同步是不现实的。同时多媒体对象的表现是允许在正常表现时间附近有一 点时间变化的( 即 在某一时段里多媒体对象的 语义仍然有效) 。 这意味着在一 定范围内的流内延迟和流间扭曲 是能为人们所接受的， 例如可接受的视频最 大延迟抖动为 l o m s ，而可接受的视频与音频间的最大扭曲为 8 0 m s ，并且当 音频略超前于视频时同步效果反而是最好的。 表2 . 1 给出了 人们视觉所能接受 的媒体间扭曲 值，这些值可被用作与多媒体同步有关的服务质量的参数。故 在分布多媒体系统中，多媒体同步是在有效时 段中系统可控制的动态同 步。 另一方面，人机交互同步需要系统处理用户在多媒体表现过程中的 输入， 而用户操作的时间是不确定的、动态的。 在分布多媒体应用中，有的媒体对应用而言是至关重要的或具有较强的 延迟敏感性 ( 例如在桌面视频会议中的音频信息) ， 我们称它为关键媒体， 它 相对于其它媒体有较高的优先级， 系统要为它优先提供资源和网络带宽以 保 证它的实时同步处理和传输，尤其是在系统负荷重，性能下降时;同时在多 媒体同步控制时应以它的同步要求为准，特别是在它的同步要求与其它媒体 的同步要求相冲突时。 总之，在分布多媒体系统中，多媒体同步是动态的、应用相关的，不同 的媒体在分布多媒体应用中有不同的同 步要求， 应作为多媒体同 步语义的一 部分，由 分布多媒体应用通过多媒体同步模型提供给多媒体同步通信系统。 肇 b , 士学位 论文 i utit i c r s 川i : i i 媒体模式，应用 服务质量参数 +/-竺+/-竺+/-+/-1+/-+/-+/-+/- 视频 文本 动画 音频 音 1 2 0 m s 8 0 m s 2 4 0 m s 5 0 0 m s 2 4 0 m s 5 0 0 m s 8 0 m s i i ps 1 2 0 m s 5 0 0 m s 频 陋雨 有相互关系 口型同步 重叠 不重叠 重叠 不重叠 事件相关 ( 跳舞) 紧祸合 ( 立体声) 松祸合 ( 多个参与者的对 话) 松祸合 ( 背景音乐) 紧祸合 ( 有评注的音乐) 松祸合 ( 幻灯) 文字注释 语音与所指项相关 + / 一5 m s 5 0 0 m s 2 4 0 m s - 5 0 0 / + 7 0 0 m s 表2 . 1 多媒体同步服务质量参数 2 .3分布式环境下的多媒体同步与网络的关系 2 .3 . 1多媒体同步对传输网络的要求 在多媒体通信中，由于多媒体对象类型复杂，且具有集成性、交互性、 同步性特点，因此对多媒体网络也提出了更高的要求。 首先要有较高带宽，如 h d t v( 高清晰度)视频信号，即使采用了有损 压缩技术， 网络带宽至少也要2 0 m b p s ， 如果考虑网 络自 身的开销， 那么要求 将会更高。 其次要支持多样化媒体的传输，保证较小的延迟抖动和较低的误码率， 以保证声音和视频播放的连续性和口型同步.例如当用户从数据库中提取信 息或进行多媒体文件传输时，系统的响应时间应小于 1 - 2 s ，如果用户进行的 蜀 硕士学二 ; 仑 又 ) a i f j _ 尺 、. : 、 卜 是会话型业务，则双向 传输时间 应小于 3 0 0 m s ， 而以 上延时不仅包括信号传 输延迟，也包括网络节点的处理时间，编/ 解码器延时和终端机上的其它延时 等。 此外还要具备处理业务突发、带宽突发以 及拥塞控制，以提供实时、连 续的传输来保证显示质量。 同时，由于不同的多媒体信息系统需要不同的网络拓扑结构来支持，简 单的可视电话只需要点对点连接，而且这个连接是双向 对称的，即两个方向 通信占用的带宽相等， 而在v o d( 视频点播) 系统中， 用户和视频服务器之 间的点到点连接通常是不对称的，从服务器到用户的通信带宽要远大于从客 户机到服务器