（机械电子工程专业论文）基于网络的多通道超宽视频系统的研究.pdf

摘要 多通道超宽视频系统的研究是根据现实人们的迫切需要而展开的。全文介 绍了国内外多媒体网络技术发展的现状，并在以下几个主要方面进行了研究。 一、阐述了多媒体同步的原理，包括多媒体数据的构成、多媒体数据内部 约束关系、多媒体数据时域特征表示以及多媒体同步的四层参考模型。通过对传 统媒体流之间同步方法的比较，最后提出了适合本系统多媒体同步的方法，即基 于全局时间轴的同步方法，也就是在不同p c 机的多媒体系统之间利用网络传送 全局播放时间数据来达到同步控制的要求。 二、围绕系统同步实现方法介绍了传统的网络拓扑结构，并分析了目前存 在的各种网络传输技术及t c p i p 协议等网络传输的相关技术和知识，从而根据 本系统对网络传输的要求，采用了适合本系统的星型总线网络拓扑结构和t c p 协议来进行网络中不同p c 机间的数据传输。 三、提出了一个w i n d o w s 平台下采用客户服务器模式的基于网络的多通道 超宽视频系统的设计方案。采用客户服务器模式，可以将系统的设计问题分化 为客户端的设计与服务器端的设计，这样简化了系统设计的复杂度，在具体的实 现上，客户端和服务器端又分别采用了模块化的思想，简化了实现的难度。 四、在系统的实现中，采用了一些 - 3 前w i n d o w s 开发中流行的技术，包括 w i n d o w ss o c k e t 开发技术，w i n d o w s 多线程设计等。文中还对一些实现方法做了 分析：所选择的客户服务器模式的特点，a v i 格式文件视频切割方法的开发等。 基于网络的多通道超宽视频系统在多通道播放控制软件平台的构建中，整 合应用了多媒体技术、网络技术等多种现代技术，从而在通用设备平台上，利用软 件技术实现了昂贵特种设备才能实现的效果，将信息传递能力提高到一个崭新的 水平。 关键词：多媒体；0 s 模式；网络同步；多线程；视频切割； a b s t r a c t t h er e s e a r c ho nt h em u l t i c h a n n e lu l t r aw i d t hv i d e os c r e e ns y s t e mb a s e do n n e t w o r ki st h ed e m a n do fp e o p l e su r g e n tn e e d t h i sp a p e ri n t r o d u c e st h ed e v e l o p m e n t o ft h er e s e a r c ho nt h en e t w o r kt e c h n o l o g y , a n dc a r r i e sr e s e a r c ho nt h ef o l l o w i n g a s p e c t s ： 1 t h e t h e o r y a b o u tt h es y n c h r o n i z a t i o no fm u l t i m e d i a ， i n c l u d i n g t h e m u l t i m e d i ad a t ac o n s t i t u t i o n 、t h ei n t e r n a lr e s t r i c t i o no fm u l t i m e d i ad a t aa n dt h e f o u r l a y e rr e f e r e n c em o d e lo fm u l t i m e d i as y n c h r o n i z a t i o n ，i si n t r o d u c e d c o m p a r e d w i t ht h et r a d i t i o n a lm e t h o d sa m o n gt h em e d i as t r e a m s ，w ef i n a l l yp r e s e n tt h e m u l t i m e d i as y n c h r o n i z a t i o nm e t h o dw h i c hs u i t st h i ss y s t e m ，n a m e l yt h es y n c h r o n i z e d m e t h o db a s e do nw o r l dt i m ea x i s 2 r e v o l v i n gt h es y s t e ms y n c h r o n i z a t i o nr e a l i z a t i o nm e t h o d ，t h et r a d i t i o n a l n e t w o r kt o p o l o g i e sa r ei n t r o d u c e d t h e na l lk i n d so fn e t w o r kt r a n s m i s s i o nt e c h n o l o g y w h i c ha t p r e s e n te x i s t s a n dt h en e t w o r kt r a n s m i s s i o nr e l a t e dt e c h n o l o g ya n d k n o w l e d g ei n c l u d i n gt c p i pp r o t o c o le t ca r ea n a l y z e d t h u sa c c o r d i n g t ot h ed e m a n d o ft h es y s t e mt on e t w o r kt r a n s m i s s i o n ，w ea d o p tt h es t a rm a i nl i n en e t w o r kt o p o l o g y s u i t st h es y s t e ma n dt c p p r o t o c o lc a r r i e so nd a t at r a n s m i s s i o na m o n g t h ed i f f e r e n tp c m a c h i n e si nn e t w o r k 3 d e s i g n e dam u l t i c h a n n e lu l t r aw i d t hv i d e os c r e e ns y s t e ms c h e m eb a s e do n n e t w o r ko nw i n d o w sp l a t f o r m t h i ss c h e m eh a sa d o p t e dc l i e n t s e r v e rm o d e l ，b r e a k u p s y s t e md e s i g np r o b l e mf o r t h ed e s i g n so fs e r v e ra n dc l i e n t ，h a v es i m p l i f i e d c o m p l e xd e g r e eo fs y s t e md e s i g n s o ns p e c i f i cr e a l i z a t i o n ，c l i e n ta n ds e r v e rh a v e a g a i na d o p t e d m o d u l a r c o n c e p t i o nr e s p e c t i v e l y ，t h e e a s i e r d i f f i c u l t y t h a t i m p l e m e n t a t i o n 4 t ot h ei m p l e m e n t a t i o no fs y s t e m ，w eu t i l i z es o m ep o p u l a rt e c h n o l o g i e si n c u r r e n tw i n d o w sd e v e l o p m e n tw h i c hi n c l u d ew i n d o w ss o c k e t d e v e l o p m e n t t e c h n o l o g y ，w i n d o w s m u l t i t h r e a d d e s i g n e t c m o r e o v e rw e a n a l y z e s o m e i m p l e m e n t a t i o nm e t h o d s ，s e l e c t e dt h ec h a r a c t e r i s t i co fc l i e n t s e r v e rm o d e la n dt h e d e v e l o p m e n to fv i d e os p l i tm e t h o di na v if o r m a tf i l ee t c t h e s y s t e mh a sb e e na p p l i e dt h em u l t i m e d i at e c h n o l o g y ，t h en e t w o r kt e c h n o l o g y a n ds oo nt h em a n yk i n d so fm o d e r nt e c h n o l o g i e so nc o n s t r u c t i n gt h em u l t i c h a n n e l p l a y i n gc o n t r o ls o f t w a r ep l a t f o r m t h u sw ec a nr e a l i z et h ee f f e c tu s i n gt h es o f t w a r e t e c h n o l o g yw h i c ht h ee x p e n s i v es p e c i a le q u i p m e n tc a nr e a l i z ei nt h eg e n e r a l e q u i p m e n tp l a t f o r m ，a n ds h a r p e nt h ei n f o r m a t i o nt r a n s m i s s i o na b i l i t yt oab r a n d - n e w l e v e l k e yw o r d s ：m u l t i m e d i a ，c sm o d e l ，n e t w o r k ，s y n c h r o n i z a t i o n ，m u l t i t h r e a d ， v i d e os p l i t 中国科学技术大学硕士论文 1 1 课题的研究背景 第一章绪论 多媒体技术的出现是计算机领域的一场革命，它利用计算机把多种媒体的功 能，如文件、图像、音频、视频等信号融为一体，提供给人们一个全方位的感知 空间，大大改善了人机界面，提高了计算机的应用水平n _ 1 。多媒体技术已广泛 应用于武器装备、教育训练、咨询服务、视频监控等诸多方面口3 。网络技术的出 现，使人们脱离了地域分隔和局限，在网络所能达到的范围内实现资源共享利用。 “数字式视频和音频的进步导致了计算机和网络的革命，并为计算机系统和 应用开拓了新的设计空间”。这是美国计算机学会1 9 9 3 年多媒体技术国际会议程 序委员会主席p v e n k a rr a n g a n ( 加里福尼亚大学) 在论文集前言中的第一句话。 它充分展示了多媒体技术的内涵及其发展趋势。多媒体网络传输技术实质上是数 字视音频传输技术的集中应用，是多媒体计算机技术和网络通信技术相互结合的 产物。“。有关研究表明，通信的有效性3 5 依赖于面对面( f a c et of a c e ) 的视觉效 果，3 8 依赖于说话语音，视听是人们获取信息的最重要的形式，而面对面是人 类表达思想最丰富的一种方式3 。 1 1 1 国内外多媒体网络技术现状 现代多媒体通信是从两条基本的路线发展起来的，一条是基于电视、电话等 的一般通信方式，通过将多种信息综合化、通信信号数字化，增加某些交互和自 动管理功能。以达到近似于多媒体通信的服务效果。这条线路发展的目的主要是 为了提高多媒体服务质量，增j j n , 服务的内容，以及使用方便等。虽然电视、电话 甚至可视电话等技术较好地解决了视频、音频的综合传输，但是要在其上增加新 的媒体服务却非常困难。另外，要使它们提供足够的交互性和对各种媒体的统一 管理也不容易。因此，它们还不能成为最强有力的信息交换方式。另一条线路 就是以计算机及计算机数字通信网为基础，通过信息传输的实时化、传输信息的 多媒体化以及对各种媒体信息管理的综合化，实现了多媒体通信，这条线路的目 中国科学技术大学硕十论文 标就是实现多媒体服务m 3 。 8 0 年代初，美国、日本和欧洲著名的计算机公司开始致力于多媒体技术的研 究，并把该技术应用于p c 机。他们首先建立了基于局域网( l a n ) 的多媒体通信系 统。9 0 年代以来，多媒体网络传输技术得到了蓬勃发展，其发展速度异常迅猛， 这不仅仅是多媒体网络传输技术的优越性已充分地被人们所认识，另外一方面是 随着多媒体压缩解压缩技术的发展以及网络技术的成熟和普及，使得多媒体网络 传输成为可能。多媒体网络传输技术可广泛应用于电视会议、远程教育、网络监 控、视频点播等领域。但是，从目前国内国际对多媒体网络传输技术的研究状况 看来，多媒体网络传输技术还不成熟，总是有或多或少的缺点。尤其是在网络传 输协议、传输的实时性和稳定性、传输的同步控制以及传输效率方面还有很多难 点亟待解决。 2 课题研究的目的和意义 随着数字压缩技术、计算机及其网络技术不断成熟和发展，人们对视频和网 络有了更多的需求盯也。而现在的数字视频显示画面的太小，无法适合众多观众 的观看，例如在有众多观众在同一场地看一场精彩绝伦的体育赛事，此时现场的 观众座位根本无法容纳如此多的人，那就要在广场或者一些大型场所实行实况转 播，此时就要求要有足够大的屏幕来显示本次比赛，现在通常采用超大屏幕显示， 虽能满足要求，但成本比较高。所以如何运用计算机技术及其网络技术经济的实 现此类视频系统是一个十分令人关注的课题。 而本课题正是由此切入，运用计算机网络技术研究的多通道超宽视频系统就 是一种从实时切割输出、网络同步播放显示的基于网络的不同p c 间同步播放多媒 体文件的技术体系，是使用一组单通道的显示系统横向拼接起来的多通道超宽比 例的特殊显示系统。它的拼接数目可以自由选择，使其满足大众的需求。本课题 的开展，在跟踪国内外先进的计算机网络与多媒体技术的同时，对于积极推进科 研成果产品化的进程具有积极的意义。同时，本项目的开发完成将直接产生经济 和社会效益。 中国利学技术大学硕士论文 第二章系统多媒体同步的研究和实现 同步是在各类通信系统中经常遇到的一个概念，它往往与统一的时间基准 ( 或者说时钟) 相关联；例如收、发端的同步表示收、发端时钟是同频率的；网同 步表示全网有统一的时钟等。而本章所讨论的是在本系统中多媒体的同步，它虽 然与时钟同步有一定的关系，但是二者所包含的概念却是不同的。多媒体同步是 由多媒体数据所具有的独特特征而引发出的问题，换句说话，只有在多媒体系统 中才有多媒体同步的问题。 2 1 多媒体数据 2 1 1 连续媒体数据与静态媒体数据 已在第章中讲过，多媒体数据是由在内容上相互关联的文本、图形、团像、 动画、话音和活动图像等媒体数据构成的一种复合信息实体。多媒体数据的形成 过程，就是这些不同类型数据在计算机的控制之下合成的过程。在这一过程中， 每一种媒体数据都是以数字化的方式表示、存储、传输和处理的。其中，有着严 格时间关系的音频、视频等类型的数据称为实时媒体数据或连续媒体( c o n t i n u o u s m e d i u m ) 数据，其它类型的数据被称做非实时媒体数据、离散媒体( d i s c r e t e m e d i u m ) 数据或者解态媒体数据；般地讲，在谈到多媒体数据时，意味着这种 复合数据体中至少包含一种非实时数据和一种实时数据。 数字化的表示方式是描述多媒体数据的关键之一：正是因为不同类型的媒体 数据( 特别是模拟的音频、视频等信号) 能够以数字化的方式表示。计算机系统才 能将它们构成一个有机的整体，进而完成对多媒体数据的存储、传输和其它的处 理功能。 虽然不同媒体类型的数据都可以表乐为数字信号，但其特点各不相同。按数 据对时间的敏感性和数据生成方式的差别，可以将不同媒体类型的数据划分为表 2 一1 所示的几类。 声音、视频数据和静止图像数据通常是由策种采集设备( 如麦克风、摄像机、 扫描仪等) 直接获取，经a d 转换后进入计算机系统的，这称为获取数据；由 中国科学技术大学硕士论文 计算机生成的动画、文本、图形等数据则称为合成( s y n t h e t i c ) 数据。不过，随着 话音合成技术、光字符识别技术o c r ( o p t i c a lc h a r a c t e rr e c o g n i t i o n ) 等新技术的 应用，这种划分的界线变得越来越模糊。 一一 连续媒体( 敏感)静态媒体( 不敏感) 声成方式 获取( 源自现实世界) 声音、视频传号静止图像 合成( 由计算机完成) 动画 文本、图形 表2 1 媒体数据的成份 连续数据可以看成是由逻辑数据单元l d u ( l o g i c a ld a t au n i t ) 构成的时间序 列( 或称为流) 。l d u 的划分( e l i 所包含的内容) 由具体的应用、编码方式、数据的 存储方式和传输方式等因素决定。例如，对于符合h 2 6 1 标准的视频码流，一个 l d u 可以是一个宏块、一个宏块组、一帧图像，或者是构成一个场景的几帧图 像( 如图2 1 所示) 等。连续数据的各个l d u 之间存在着固定的时问关系，例如以 一帧图像为一个l d u ，则相继的l d u 之间的时间间隔为4 0m s 。这种时间关系 是在数据的获取时确定的，而且要在存储、处理、传输和播放过程中保持不变， 否则就会损伤媒体显示时的质量，例如产生图像的停顿、跳动，或声音的间断等。 在静态数据内部则不存在这种时间关系。 l d u l d u l d u l d u 图2 1h 2 6 1 码流中l d u 的不同划分 2 1 2 多媒体数据内部约束关系 第4 种划分 第3 种划分 第2 种划分 第l 神划分 多媒体数据所包含的各种媒体对象并不是相互独立的，它们之间存在着多种 相互制约的关系( 或称同步关系) 。反之，毫无连系的不同媒体的数据所构成的集 合不能称为多媒体数据。多媒体数据内部所固有的约束关系可以概括为基于内容 中国利学技术大学硕二| 二论文 的约束关系、空域约束关系和时域约束关系1 0 1 。 1 基于内容的约束关系 基于内容的约束关系是指，在用不同的媒体对象代表同一内容的不同表现形 式时，内容与表现形式之间所具有的约束关系。这种约束关系在数值分析中应用 得比较多，例如对原始数据进行分析的结果可以用报表、图形、或者动画的形式 反映在最终提交给用户的多媒体文档中。由于人们对于不同类型的媒体有着不同 的感受，如报表给人以精确详尽的感觉，图形显得直观，而动画则能让人更好地 了解数据的演变过程、因此采用多种表现形式能够使用户对于原始数据有一个全 面的认识。 为了支持这种约束关系，多媒体系统需要解决的主要问题是，在多媒体数据 的更新过程中确保不同媒体对象所含信息的一致性，即在数据更新后，保证代表 不同表现形式的各媒体对象都与更新后的数据相对应。解决这一问题的种办法 是，定义原始数据和不同类型媒体之问的转换原则，并由系统而不是由用户来完 成对多媒体文档内容的调整。 2 空域约束关系 空域约束关系又称为布局( l a y o u t ) 关系，它用来定义在多媒体数据显示过程 中的某一时刻，不同媒体对象在输出设备( 如显示器、纸张等) 上的空间位置关系。 这种约束关系是排版、电子出版物与著作等系统中要解决的首要问题。由这些系 统生成的多媒体文档被称为结构化文档。 办公室文档结构o d a ( o f f i c ed o c u m e n ta r c h i t e c t u r e ) 是一种定义结构化文档 的国际标准它是由f 5 0 制定的( i s o8 6 1 3 系列) ，后为i t u 所支持，并更名为开放 性文档结构( t 4 1 0 协衫系列) 。o d a 标准主要针对办公环境下常见的文档类型( 如 信件、报告、备忘录等) ，以及由文字处理程序生成的文档( 包含文本、图形、图 像) 而制定。早期的o d a 标准不支持声音、活动图像等连续媒体，经过扩展后的 h y p e r o d a 标准则可以支持声音、活动图像、超级链以及对名数据体之间时域关 系的定义】。 o d a 定义了逻辑文档结构和布局文档结构，并采用树状模型对这两种结构 进行层次化描述。文档内容( 即各媒体对象) 被存放在叶子中，叶子的属性表明了 数据的媒体类型。文档的逻辑结构表示内容的组织方式，如章节、标题、注解等； 中国科学技术大学硕士论文 布局结构则描述了各数据体之间的空域关系。媒体对象和基本布局对象之间存在 着确定的映射关系，而基本布局对象和输出设备的某一矩形区域相对应，其位置 可以根据输出设备上的某一固定点或与其它基本布局对象的相对关系来标注。如 图2 2 所示，多个基本布局对象又可构成复合布局对象，从而形成表示媒体对象 间空域关系的树状结构。 图2 2o d a 的布局文档结构 3 时域约束关系 时域约束关系( 或称时域特征) 反映媒体对象在时间上的相对依赖关系，它主 要表现在如下两个方面： ( 1 ) 连续媒体对象的各个l d u 之间的相对时间关系： ( 2 ) 各个媒体对象( 包括连续媒体对象以及静态媒体对象) 之间的相对时间关 系。 连续媒体对象内部l d u 之间的时间约束关系已在上面讲过。图2 3 给出了 媒体对象之间的相对时间关系的例子。图中表示声音1 和电视图像同时播故，继 而播放3 幅静止图像( p 1 、p 2 、p 3 ) ，然后播放一段动画，动画期间插入声音2 。 声音l声音2 p lp 2p 3 电视图像动画 t 图2 3 不同媒体对象之间的时间约束关系 媒体对象之间的时域约束关系按照确立这种关系的时间来区分，可以分为 实时( l i v e ) 同步和综合( s y n t h e t i c ) 步两种。实时同步是指在信息狭取过程中建立 的同步关系。例如，人物口形动作和声音之间的配合，通常称为口形( 或唇) 同步 中国科学技术大学硕二e 论文 f l i p s y n c ) ；又如，当处于不同地点的多个与会者在各自的计算机上观看同一幅 图表，其中一人用箭头指着图表作解说时，出现在其他人的屏幕上的箭头必须和 解说一致，这称为指针同步( p o i n t e r s y n c ) 。口形同步与指针同步都属于实时同步。 综合同步是指在分别获取不同的信息之后，再人为地指定的同步关系。在播放时， 系统将根据指定的同步关系显示有关的信息。在图2 3 所示的例子中，录像片 断、3 幅静止图像和动画之间的串联顺序就属于综合同步关系。综合同步可以事 先定义，也可以在系统的运行过程中定义。例如在一个导游系统中，根据用户即 时键人的要求，系统自动地产生对某条旅游路线的解说，配合介绍该条路线的录 像也同时播放。解说与录像之间的时间约束关系就是在运行过程中指定并执行 的。 在上述3 种约束关系中，时域特征是最重要的_ 种。当时域特征道到破坏 时，用户就可能遗漏或者误解多媒体数据所要表达的信息内容。例如在观看体育 比赛的现场直播时。电视画画的暂时l 二i 断或不连贯，会妨碍观众对比赛过程的准 确了解，而这种画面的中断或不连贯就是时域特征遭到破坏的具体表现。由此可 以理解，时域特征是多媒体数据语义的一个重要组成部分。时域特征被破坏，也 就破坏了多媒体数据语义的完整性。在本章后面的叙述中，将只讨论有关时域约 束关系方面的问题。 2 1 3 多媒体数据的构成 根据上面的讨论，多媒体数据的构成可以用图2 4 来表示。其中主体部分 图2 4多媒体数据的构成 是不同媒体( 如文字、图形、图像、声音和活动图像) 的数据，这些数据包含了所 中国利学技术大学硕士论文 要表达的信息内容，称为构成多媒体数据的成份数据。除了成份数据之外，它们 之间的约束关系( 同步关系) 也是构成多媒体数据的不可缺少的组成部分。这些约 束关系称为同步规范( s y n c h r o n i z a t i o ns p e c i f i c a t i o n s ) 。在存储和传输成份数据时， 必须同时存储和传输它们之间的同步关系。在对成份数据作处理时，必须维持它 们之间的同步关系。当只考虑时域同步关系时，时域同步规范由同步描述数据和 同步容限两部分组成。同步描述数据表示媒体内部和媒体之间的时间约束关系， 同步容限则表示这些约束关系所允许的偏差范围。 上述结构反映了多媒体数据与传统的计算机数据的本质区别，并由此产生了 多媒体系统中的同步问题。多媒体同步所研究的主要问题是： ( 1 ) 如何表示( 描述) 多媒体数据的时域特征； ( 2 ) 在处理多媒体数据的过程中( 如采集、传输、播放等) ，如何维持时域特征。 完成第2 项工作的机制称为同步机制。 2 2 多媒体数据时域特征表示 2 2 1 时域场景和时域定义方案 对多媒体数据的时域特征进行抽象、描述以及给出必要的同步容限，是在表 示时域持征的过程中所要完成的具体任务。这里，抽象是一个忽略与时域特征不 相干的细节( 如数据量、压缩及编码方式等) ，将多媒体数据概括为一个时域场景 的过程。一个时域场景由若干时域事件构成，每一个时域事件都是与多媒体数据 在时域中发生的某个行为( 如- 刀：始播放、暂停、恢复以及终止播放等) 相对应的。 时域事件可以认为是瞬时完成的( 例如在第6 秒开始播放一段电视图像等) ，也可 以认为是持续一段时间( 例如播放过程持续6 分钟等) 的：如果一个时域事件在场 景中的位置可以完全地确定，称该事件为确定性时域事件，否则就是非确定性时 域事件。例如，暂停播放、恢复播放等事件在时域场景中的位置，不能事先确定， 只有在播放多媒体对象的过程中，才能够根据用户交互的实际情况确定下来。凡 是包含有非确定性时域事件的场景为非确定性时域场景，反之则为确定性时域场 景。例如对图2 5 所示的2 个时域场景来说，场景( a ) 中不含有任何非确定性时 域事件，因而是确定性时域场景。在场景( b ) 中，由于p 事件和r 事件的位置有待 中国科学技术大学硕士论文 于在具体格放过程中确定，所以这2 个事件为非确定性时域事件，它们使得e l 、 e 。、s ；、e 5 成为非确定性时域事件。这些非确定性时域事件的存在决定了( b ) 中场 景为非确定性时域场景。由于在每次播放同一个多媒体对象的过程中，非确定性 时域事件在场景中的位置往往是不相同的，这就意味着表示及处理非确定性时域 场景的难度要比确定性时域场景大得多。 在将一个多媒体对象抽象为一个时域场景之后，需要利用某种时间模型对场 景加以描述。时间模型是一种数据模型由若干基本部件以及部件的使用规则构 s i ：播放，e i ：终止，p ；暂停，r ：恢复，e 4 与e 5 间的时间间隔固定 图2 5确定性时域场景和非确定性时域场景 成。它是在计算机系统内部为时域场景建模的依据。建模的结果通过某种形式化 语言转化为形式化描述，这种形式化描述就是同步描述数据。时间模型及相应的 形式化语言则合称为时域定义方案( t e m p o r a ls p e c i f i c a t i o ns c h e m e ) 。 为了使同步机制能够了解并维持多媒体对象的时域特征除了同步描述数据 以外，还需要向同步机制提出必要的服务质量要求，这种要求是用户和同步机制 中国利学技术大学硕士论文 之间，在应当以何种准确程度来维持时域特征方面所达成的一种约定。这种约定 就是同步容限。 同步描述数据和同步容限构成了在计算机系统内部对多媒体数据时域特征 的表示。得到时域特征表示的过程可由图2 6 表示。 抽象时间模型同步宽限 时域特征表示l i 多媒体对象 时域场景同步描述数据 形式化语言( 同步规范) l 图2 6多媒体对象时域特征的表示过程 2 2 2 时域参考框架 时域参考框架【1 2 】( 如图2 - - ? 所示) 是研究多媒体同步的一个很好的基础。它 不仅有助于分析、比较现存的各种时间模型的优缺点，也为综合不同模型的优点 并结合具体应用来定义新的时间模型提供了思路。 图2 7 时域参考框架 时域参考框架由多媒体场景、时域定义方案和同步机制三部分构成。多媒体 中国科学技术大学硕士论文 场景是对多媒体数据时、空等方面特征抽象的结果，反映了多媒体数据在这些方 面所具备的语义，而时域场景则是多媒体场景的一个重要组成部分，是时域定义 方案处理的对象。 如前所述，时域定义方案是在计算机系统内为时域场景建模并对建模结果进 行形式化描述的方法，由时间模型和形式语言两部分构成。前者为时域定义方案 的语义部分，而后者为其语法部分。通过时域定义方案把时域场景转化为同步描 述数据。同步描述数据是同步机制处理的对象。 同步机制是一种服务过程，它能够了解同步描述数据所定义的时域特征， 并根据用户所要求的同步容限，完成对该特征的维护( 即在运行过程中保证时域 特征不道到破坏) 。时域场景、时域定义方案和同步机制三者之间的关系可由图2 8 表示。 图2 8 时域场景、时域定义方案和同步机制之间的关系 2 3 多媒体同步的四层参考模型 多媒体同步是一个复杂的问题，图2 - 9 所示的多媒体同步的四层参考模型， 是沿着这样的思路提出来的n 0 1 ：通过层次化分析来理解各种相关的因素，从而找 出能够满足要求的解决方法。 四层参考模型的意义在于它规定了同步机制所应有的层次以及各层所应完 成的主要任务。在图2 - 9 中，由多媒体应用生成的时域场景，是规范层的处理对 象。规范层的核心是时域定义方案，其接口为用户提供了使用时间模型描述多媒 体数据时域约束关系的工具，如同步编辑器、多媒体文档编辑器和著作系统等。 规范层产生的同步描述数据，经卣对象层的适当转换后进入对象层、流层和媒体 层构成的同步机制。图2 一1 0 给出了时域参考框架与四层参考模型的对应关系， 中国科学技术大学硕士论文 以禾0 于比较和理解。 多媒体应用 1r 规范层 1r 对象层 1r 流层 媒体层 图2 - 9 多媒体同步的四层参考模型 多媒体场景 时域定义方案 抽 象 层 次 古 同 低 多媒体应用 规范层 对象层 流层 媒体层 图2 - 1 0时域参考框架与四层参考模型的对应关系 为实现同步所做的规划常称为调度。同步机制首先依照同步描述数据生成 某种调度方案。调度方案与将要进行的对多媒体数据的处理( 如提取发送、播放 等) 有着直接的关系，它包括伺时对其中哪一个媒体对象或哪个l d u 进行处理的 安排；其次，同步机制需要根据多媒体数据的特点申请必要的资源( 如c p u 时间、 通信带宽、通信缓冲区等) ；然后，在执行调度方案的过程中，同步机制将按照 同步要求完成对偏差的控制，以维持多媒体数据的时域关系。 下面我们分别对同步机制所包含的媒体层、流层及对象层进行具体介绍。 1 媒体层 媒体层的处理对象是来自于连续码流( 如音频、视频数据流) l d u ，l d u 的 大小在一定程度上取决于同步容限。偏差的许可范围越小，l d u 越小：反之， l d u 越大。通常，视频信号的l d u 为1 帧图像，而音频信号的l d u 则是由若 干在时域上相邻的采样点构成的一个集合。此外，媒体层对l d u 的处理通常是 有时间限制的，因而需要底层服务系统( 如操作系统、通信系统等) 提供必要的资 中国科学技术大学硕士论文 源预留及相应的管理措施( 女r l n 务质量保障服务等) 。 在媒体层接口，该层负责向上提供与设备无关的操作，如r e a d ( d e v i c e h a n d l e ， l d u ) 、w r i t e ( d e v i c e h a n d l e ，l d u ) 等。其中，由d e v i c e h a n d l e 所标识的设备可 以是数据播放器、编解码器或文件，也可以是数据传输通道。在媒体层内主要完 成两项任务，其一是申请必要的资源( 如c p u 时间、通信带宽、通信缓冲区等) 和系统服务( 如服务质量保障服务等) ，为该层各项功能的实施提供支持；其二是 访问各类设备的接口函数，获取或提交一个完整的l d u 。实际上，媒体层是同 步机制与底层服务系统之间的接口，其内部不包含任何的同步控制操作。这意味 着，当一个多媒体应用直接访问该层时。同步控制将全部由应用本身来完成。 2 流层 流层的处理对象是连续码流或码流组其内部主要完成流内同步和流间同步 两项任务：由于流内同步和流间同步是多媒体同步的关键，所以在同步机制的3 个层次中，流层是最为重要的一层。 在接口处， 流层向用户提供诸如s t a r t ( s t r e a m ) 、s t o p ( s t r e a m ) 、 c r e a t g r o u p ( l i s t o f - d r e a m s ) 、s t a r t ( g r o u p ) 、s t o p ( g r o u p ) 等功能函数。这些函数将连 续码流作为个整体来看待，即对该层用户来说，流层利用媒体层的接口功能对 l d u 所作的各种处理是透明的。当多媒体应用直接使用流层的各接口功能时， 连续数据与非连续数据之间的同步控制则要由应用本身来完成。 在执行l d u 处理方案的过程中，流层负责将连续媒体对象内的偏差以及连 续媒体对象间的偏差保持在许可的范围之内，即实施流内与流问的同步控制。 3 对象层 对象层能够对不同类型的媒体对象进行统一地处理，使用户不必考虑连续媒 体对象和非连续媒体对象之间的差异。对象层的主要任务是实现连续媒体对象和 非连续媒体对象之间的同步，并完成对非连续媒体对象的处理。与流层相比，该 层同步控制的精度较低。 对象层在处理多媒体对象之前先要完成两项工作。第一，从规范层提供的同 步描述数据出发，推导出必要的调度方案( 如显示调度方案、通信调度方案等) 。 在推导过程中，为了确保调度方案的合理性及可行性，对象层除了要以同步描述 数据为根据外，还要考虑各媒体对象的统计特征( 如静态媒体对象的数据量，连 中国利学技术大学硕士论文 续媒体对象的最大码率、最小码率、统计平均码宰等；同时，对象层还需要从媒 体层了解底层服务系统现有资源的状况。第二，进行必要的初始化工作。对象层 首先将调度方案提交给流层并要求流层进行初始化。然后，对象层要求媒体层向 底层服务系统申请必要的资源和保障服务，并完成其它一些初始化工作，如初始 化编解码器、播放设备、通信设备等与处理连续媒体对象相关的设备。 得到调度方案并完成初始化工作以后，对象层开始执行调度方案。通过调用 流层的接口函数，对象层执行调度方案中与连续媒体对象相关的部分。流层利用 媒体层的接口函数，完成对连续媒体对象的l d u 的处理，同时实施流内与流间 的同步控制。在调度方案的执行过程中，对象层主要负责完成对非连续媒体对象 的处理以及连续媒体对象和非连续媒体对象间的同步控制 2 4 本系统中多媒体同步的实现 如前所述，多媒体系统的同步是指两个或多个多媒体事件按一定的时间顺序 关系播放，同时也是一种用于协调多个媒体事件在时间域中的播放的机制或过 程。同步操作可以协调和控制两个或多个媒体事件在并行播放过程中由用户指定 的或由其内在本质所决定的进展和联系3 1 。按时间关系同步可分为三类：媒体对 象之间的同步，媒体流之间的同步，媒体流内的同步1 。这三类同步构成多媒体 同步的三个层次，最高层是多媒体对象之间同步，最低层是媒体流内的同步。其 中媒体流内的同步在一个时间相关媒体流内( 主要是等时媒体流内) 进行，因此， 与时间无关的媒体，如文字、图像等不存在这种同步问题。媒体对象之间同步要 解决的是多媒体合成时的高层同步问题。 媒体流之间同步的主要任务是保证不同媒体流之间的时间关系，例如视频和 音频之间的时态关系、音频和文本之间的时态关系等。流问同步的复杂性与需要 同步的媒体数目有关。媒体流内同步主要针对等时媒体( 音频和视频) 而言4 。而 在本系统中最需要解决是不同p c 机上多媒体之间的的同步，也就是对象间的同 步。传统的几种同步方法或模型有以下几种分类。 1 分层同步法 在分层同步法中，把多媒体演播或各种多媒体对象抽象为含有多个节点的 树，它是由代表串行和并行演示的子树结点组成。如图2 一1 1 所示。 中国利擘技术大学硕士论文 分层同步法基于两个主要的同步操作：动作的串行同步和动作的并行同步。 p i clp i c 2p i c 3a u d i ov i d e o 幻灯片序列音视频同步表示法 图2 一1 1 串行和并行表现 所谓“动作”( a c t i o n ) ，可以是原子的或是复合的。叶节点是原子动作，它管 理着单个媒体或一个用户输入或一个延时的演示，复合动作则是原子动作和同步 操作的组合。 分层同步法操作结构层次清晰、管理方便，因此应用很广泛。分层结构的 限制是由于每个动作仅能在开始或结束时同步。举例来说，对一个视频流的多个 主题的表现就要将视频流分割为若干个子部分，否则无法在其中间实现同步。因 此，一个同步化的对象，作为其他同步的部件，就不再被作为一个抽象的单元。 2 参考点同步法 在参考点同步法描述中，把时间相关单媒体对象看作离散的子单元序列。 这样，媒体对象表现的开始和结束点，以及各子单元的开始点，都作为参考点。 这种方法没有明确的b , - j - t 司轴来描述对象之间的时间关系。对象之间的同步被定义 为在不同对象的子单元之间，具有同一时间表现的参考点连接，参见图2 - 1 2 。 参考点1至耋皇! - ；动4 f 乍流轴( 爿e e 时间轴) 万几卜y 甜坩hi ih i r l 只l 七l l i1 媒体流1 媒体流2 图2 - 1 2 参考点同步示例 在这种同步中，诸如视频、音频这样的动态对象，被作为时间无关的子单 元组成的序列，在常数时间段上的表现。这时，同步由在同一时间内出现的不同 对象的相关子单元来说明。这种方法使得同步可在表现过程中任意时刻进行，而 且，其表现持续时间无法预知的对象也能较容易地被集成。 口 口口口口 中国利学技术大学硕士论文 如果使用多种表示相结合的方法，数据流间的同步就可以通过在两数据流 内定义一系列参考点来描述。将已同步的多个对象抽象为一个对象，并以第一对 象的起始点和最末对象的结束点为参考点，从而可实现层次化描述。该虚拟参考 点可与层次描述中的参考点相对应。 3 时间轴同步法 ( 1 ) 基于全局时间轴的同步描述 基于全局时间轴的同步是通过把相互独立的对象依附到一个时间轴上来描 述，丢掉或更改一个对象不影响其它对象的同步。这种描述要维持一个全局时间 ( w o r l dt i m e ) 轴。每个对象可将此全局时间映射到局部时间，并沿此局部时 间前进。当全局时i n * b 局部时间误差超出一个给定范围时，则要求与全局时间重 新进行同步。 ( 2 ) 基于虚拟时间轴的同步描述 虚拟时间轴是参考时间轴方法的一般化情形。在该方法中，按用户定义的度 量单位定义坐标系统，同步关系以该时间轴为基准参考，而且，可用若干虚拟轴 产生一个虚拟的坐标空间。例如使用注解进行乐曲的描述。乐曲的连续和持续时 间用一个坐标轴定义，而其节奏频率用另一个轴定义。将虚拟时间轴映射到实际 时间轴是在运行时完成的。 由于时间轴同步能较好地表达源于媒体对象内部结构的抽象定义。在这方 面，它优于分层同步法，它定义了一个与视频流中某图像相关的说明文字的演示 的起始位置，而不再要求有相关视频帧的知识，从而我们采用了基于全局时间轴 的同步方法，也即在不同p c 机的多媒体系统之间利用网络传送全局播放时间数 据来达到同步控制的要求。 中国科学技术大学硕士论文 第三章系统网络传输技术研究 上一章介绍了系统同步的研究和实现方法，即在不同p c 机的多媒体系统之 间利用网络传送全局播放时间数据来达到同步控制的要求，这就对系统的网络传 输提出了要求。本章主要围绕此要求着重阐述了网络的拓扑结构、t c p i p 协议等 网络传输的相关技术和知识，根据本系统对网络传输的要求，采用了适合本系统 的星型总线网络拓扑结构和t c p 协议来进行网络中不同p c 机间的数据传输。 3 1 系统网络的拓扑结构 计算机刚出现不久时，大多数计算机都差不多。它们受限于冯诺依曼结 构，都由主存、中央处理器( c p u ) 和其他外因设备组成，并以内存矛n c p u 为中心。 然而随着计算机网络的出现，诞生了新一代的计算方式，它不再需要进行集中的 计算和数据存储。用户可以从一个地方取出一个程序，在另一个不同类型的处理 器上运行，再把结果送到第三个地方去。 一个连接p c 、打印机和磁盘驱动器等不同设备的系统称为网络。典型的情 况是，网络里的每一设备都提供某种特定的服务。通常一个网络在地理上覆盖一 小块区域，连接一栋大楼或一个建筑群里的设备，这样的网络称为局域n 。一个 覆盖城市、州、国家甚至全球的网络称为广域网。 一个优良的计算机网络必须保证多用户问的数据传输没有延迟或是延迟很 少。我们将各种连接策略称为网络拓扑结构( n e t w o r kt o p o l o g y ) i s o 物理拓扑结 构是解释一个网络物理布局的结构图，它以概括的形式描述一个网络，包括不指 定设备、连接方法或网络编址。物理