浅析多媒体同步技术

1、百度文库让每个人平等地提升口我 7 7%匕工工省土孕 论文题目：浅谈多媒体同步技术 作者姓名 作者学号 指导教师 徐晓霞 201120110221 卢为党 学科专业通信行04 所在学院信息工程学院 提交日期 2014年12月10日 摘要： 维持多媒体的同步关系是对多媒体通信的一个重要要求，也是多媒体通信区 别于传统通信的一个重要特征。在多媒体系统中，各种媒体并存，既有视觉方面 的文字、图像，乂有语音.音乐等信息，多媒体对象表现的基本思想是以时间为 主线来安排活动的开始.中断、继续、终止等操作，可见，多媒体对象表现的关 键是确定多媒体对象在时间上的顺序，即多媒体的时间同步。 关键词：多媒体通信同

2、步技术多媒体信息传输 浅谈多媒体同步技术 1、多媒体同步特性 1.1什么是多媒体及多媒体同步 1.1.1多媒体的概念 多媒体在计算机系统中，两个或两个以上的信息和互动媒体的人机交流的媒 体组合。使用的媒体包括文字，图像，照片声音，动画和视频，以及由该计划 提供的互动功能。 多媒体是计算机和视频技术相结合，它实际上是两个媒体；声音和图像。多 媒体本身有两个方面，和所有现代技术一样，它是一个硬件和软件，或机器和思 想混合。多媒体技术和能力，在概念上可以分为控制系统和信息。多媒体已经能 够实现是依靠数字技术，多媒体数字控制和数字媒体代表的数字式计算机控制系 统的衔接，在当今最先进的音频和视频的存储和

3、传输形式的数字媒体。 1丄2什么是多媒体同步 能够对多种媒体进行处理是多媒体系统的基本特征之一。在这些媒体之中文 字、图形、图像等是不随时间变化的，而声音或视频信号则是时间的函数。数学 上随时间变化的函数在实际中表现为一个数据流；数据流中各个相继的单元之间 有确定的时问关系。如果媒体的每个单元在播放时所用的时间都相同，则称这种 媒体为连续(continuous)媒体。 一个多媒体系统至少应该能够支持一种连续媒体。媒体之间的相互依存关系, 不只是显示时才有，在捕获、存储、传输和处理过程中也是存在的。不同媒体对 象之间的相互依存关系可概括为3类： (1) 内容关系。根据某一组数据既可以列出表格，同

4、时乂可以画出曲线，那 么，在计算机中只需要保存一份数据，而将表达这组数据的方式另作定义，这称 为指定数据间的内容关系。同一组数据可以对应于儿个不同的内容关系。 (2) 空间关系。主要指不同媒体对象在显示中所处的相互位置关系通常它们 分别在不同的窗口中显示，而每个窗口乂允许有缩放.移动、激活等功能，这些 复杂的相对位置关系需要有一定的方法来描述。 (3) 时间关系。电视中的伴音要求很好地和人的口形动作相吻合，幻灯片的 解说词应该与正在显示的图像相对应，这是媒体对象之间必须保持一定时间关系 的典型例子。 因此，媒体同步指的是上述3种关系确立。显然，在集成了多种媒体的多媒 体系统中，同步是一个关键性

5、问题。系统的各个组成部分。例如，操作系统、数 据库、文件系统、传输数据的通信系统，以至于应用程序等，都需要不同层次上 支持媒体的同步。而多媒体通信同步就是使得经网络传输后的多媒体对象序列仍 能保持原来的约束关系，在LI标结点上仍能得到和源结点相同的多媒体表现。 1.2多媒体的同步要求 多媒体的同步要求主要分为多媒体通信同步、多媒体表现同步及多媒体交互 同步等。这些同步功能体现为多媒体同步体系结构中的不同层次的同步要求，山 它们共同来实现系统中的媒体同步。这儿种同步要求相互影响相互制约，其中， 表现同步和交互同步属于上层同步，即用户层同步，是山用户的需求来决定的一 种大体上的同步。用户可以对各个

6、媒体进行编排，山此决定何种媒体何时以何种 时空关系表现岀来。多媒体通信同步则属于中层同步，即合成同步，它的作用就 是将不同媒体的数据流按一定的时间关系进行合成。多媒体通信同步的要求是分 布系统同步的最基本的要求，是其他同步功能的基础。 1.3多媒体同步研究的意义 随着语音，图像压缩技术的不断突破，和数据宽带移动互联网的增加，开发 新一代高品质的多媒体移动终端的客观条件已经成熟。新一代的终端的研究和应 用是在无线互联网的同时音频和视频通信的重要方向之一。音频和视频对象的表 现，即动态再现声音和图像序列，同步是非常重要的。音频信息的需求，以保持 其连续性和变化必须是同步的视频信息，音频信息的变化。

7、我们必须在发送器和 接收器同步控制，恢复的数据之间的时间同步。因此，多媒体同步研究的问题具 有重要的理论意义和实践意义。 2、多媒体同步方法及比较 早期对多媒体同步的研究主要集中在对多媒体流的同步，已经提出了一些同 步方法。例如分层同步、时间轴同步.参考点同步等方法，随着高速网络的发展， 多媒体流在网络上或分布式系统中的同步问题变得非常突出。传统的多媒体流同 步技术不能解决网络多媒体流同步的问题。U前开展这方面的研究也极为活跃。 提出了一些同步方法。 2.1分层同步法 分层同步法是基于分层同步模型基础上的一种同步方法，主要基于两种同步 操作：一种是动作的串行同步；另一种是动作的并行同步。该方法

8、的优点是易于 操作并且应用广泛，但其限制是每一个动作只能在起点和终点进行同步。这就使 得分层同步法不能支持多媒体对象内部结构的适当抽取，从而无法实现灵活的交 互操作。另外，还存在一些不能由分层结构来描述的同步情况。 在分层同步法中，把多媒体对象看成一个树型结构，由串并行演示子树组成。 主要基于动作的串行同步和动作的并行同步两种操作。动作可以是原子的，也可 以是复合的。原子动作管理着一个媒体或一个用户输入或一个延时的播放，复合 动作是原子动作和同步操作的组合。 优点：层次清晰、管理方便； 缺点：同步仅在动作开始和结束时进行。 2.2时间轴同步法 时间轴同步法是基于时间轴同步模型，是将所有独立的对

9、象依附在一个时间 轴上进行描述，去掉任何一个对象都不会影响其他对象的同步。这种同步方法是 维持一个整体时间，每个对象可以将整体时间映射到它的局部时间，并山此局部 时间表现。当局部时间与整体时间的误差超出一个指定门限时，则需要重新与整 体时间进行同步。通过时间轴方法同步的对象可以较好地从单媒体对象和多媒体 对象的内部进行抽取。然而，多媒体流之间的相关性使得基于整体时间的同步方 法不能有效地表述不同流之间的同步情况。 它将互相独立的多媒体对象附加在一个时间轴上，丢掉一个对象不影响其他 对象的同步，它维持一个全局的时间，每个对象都能得到它。每个对象可以从全 局时间映射到局部时间，沿局部时间运行。当全

10、局时间和局部时间误差超过一个 给定的范围时，两者要重新进行同步。它优于分层同步法。 2.3参考点同步法 借助参考点的同步可把多媒体对象分为两类基本对象。动态基本对象山播放 对象的序列（视频中帧）组成，周期性岀现。每个播放对象的索引叫一个参考点。 这样的单一媒体序列的同步叫作对象的内部同步。静态基本对象播放仅有两个参 考点，即播放开始和结束。基本对象间的同步山参考点定义。一个参考点及其对 应的基本对象称为一个同步元素，两个或两个以上的同步元素可结合为一个同步 点。一个完整的对象之间同步山全部同步点组成的表定义。如果一个多媒体播放 中对象总是变化的，用参考点同步就有问题。例如，要插入或删除视频图象

11、中的 一帧，就可能丢失同步。 2.4时间戳同步法 时间戳同步法把每个媒体间的数据流单元加进统一的时间戳（时间码），具 有相同时间戳媒体单元同时进行播放，以达到媒体间同步的訂的。时间戳同步法 乂分为绝对时间戳同步和相对时间戳同步。绝对时间戳同步使用绝对时间标识。 相对时间戳同步使用全局时间和局部时间标识，它既可用于实时多媒体通信，也 可用于多媒体信息存取，还可适应于多点通信，即同一信源发往不同口的地，不 同信源发往同一接收地。 2.5同步标记法 同步标记法是在发送端发出一个同步标记，接收端接收同步标记，用来对各 个媒体进行同步处理以达到双方通信同步的LI的。分为两种同步标记方法：辅助 同步信道方

12、法各媒体在不同信道上传输，专门增加一个信道来传输媒体各路同步 标记信息，指示各个媒体信道中的同步参考点。各同步点到达才开始输岀。辅助 信道还可传输控制信息；插入同步标记方法，发送端在每个媒体流中插入同步标 记，每个媒体流通过不同信道传输，在接收方缓冲存储数据，直到所有信道中的 同步都到达，才将已同步化的数据提交给用户。 2.6多路复用同步法 多路复用同步法将多个媒体流的数据复用到一个数据流或一个报文中，从而 使它们在多媒体传输中自然保持着媒体间的相互关系，以达到媒体间同步的LI的。 例如，分组交换网多媒体会议系统中，为每个会议建立一个多媒体虚电路，发送 者将所有媒体流多路复用到该上，复合成一条

13、顺序组织的分组报文流，保证了媒 体间的同步。到接收端从把各种媒体流解复用出来，提交给用户进程。虚电路多 路复用同步方法，接收端无须重新同步，无须全网络同步时钟，也无须附加同步 信道，故实现较简单。 3多媒体同步模型 3.1同步机制的4层参考模型 图1：同步机制的4层参考模型 多媒体信息同步技术涉及领域较大。同步机制的4层参考模型如图1所示， 它山规定层、对象层、流层、媒体层4层组成。参考模型为多媒体信息同步技术 的系统研究提供了可遵循的参照与思路，它规定了同步机制所应具有的层次关系 以及各层需要实现的功能。 (1) 规定层：山多媒体应用生成的时域场景，是规定层的对象。规定层的核 心是时域定义方

14、案，其接口为用户提供了使用时间模型描述多媒体数据时域约束 关系的工具，如同步编辑器、多媒体文档编辑器、著作系统等。规定层产生的描 述数据和定时要求，经山对象层的适当转换后进入山对象层、流层和媒体层所构 成的同步机制。 (2) 媒体层：媒体层的处理对象是来源于连续视频、音频数据码流的基本信 息单元(BIU)。BIU的大小在一定程度上取决于定时要求的内容，偏差的许可范 圉越小，BIU越小；反之，BIU越大。通常，视频信号的BIU为一帧图像，而音 频信号的BIU则是由若干在时域上相邻的釆样构成的一个集合。此外，媒体层 对BIU的处理通常有时间限制，因而需要底层服务系统(如操作系统、通信系 统等)提供

15、必要的资源预留及相应的管理措施。媒体层接口主要负责向上提供与 设备无关的操作，而媒体层内部则主要完成两项任务：申请必要的资源与系统 服务，为该层各项功能的实施提供支持；媒体层访问各类设备的接口，获取或 提交一个完整的BIU,例如，当设备代表一条数据传输通道时，在发端媒体层负 责将BIU进一步划分成若干适合于网络传输的数据包，而收端的媒体层需要将 相关的数据包组合成一个完整的BIUo (3) 流层：流层的处理对象是连续码流或码流组，主要完成流内部及流间同 步两项任务。流内同步和流间同步是多媒体同步的关键，因而在同步机制的3个 层次中，流层最为重要。流层接口向用户提供了一些功能函数，这些函数将连续

16、 码流作为一个整体来看待，因而对该流层用户来说，流层利用媒体层的接口功能 对BIU所作的各种处理是透明的。当多媒体应用直接使用流层的各接口功能时， 连续数据与非连续数据之间的同步控制则山应用本身来完成。流层在对码流或码 流组进行处理时，首先需要根据定时要求决定BIU的大小以及对各BIU的处理 方案。此外，流层还要向媒体层提交必要的QoS要求，这种要求山定时要求推 导岀来，是媒体层对BIU的处理应当满足的条件，如传输BIU时，BIU的最大 延时及延时抖动范圉等。媒体层将依照流层提交的QoS要求，向底层服务系统 百度文库让每个人平等地提升口我 申请资源及QoS保障。在执行BIU处理方案的过程中，流

17、层负责维持连续媒体 对象内及对象间的偏差在一定许可范用之内，即实施流内与流间的同步控制。 (4) 对象层：对象层能够对不同类型的媒体对象进行统一处理，从而对用户 隐藏了连续媒体对象和非连续媒体对象之间的差异。对象层的主要任务是实现连 续媒体对象与非连续媒体对象之间的同步以及具体完成对非连续媒体对象的处 理。与流层相比，对象层同步控制的精度较低。对彖层在处理多媒体对象之前, 首先需要完成两项匚作：山规定层提供的描述数据出发，推导出必要的调度方 案。为了确保调度方案的合理性与可行性，在推导过程中，对象层除了要以描述 数据为根据外，还要考虑各媒体对象的统计特征及定时要求的内容，同时对象层 还需要从媒体层了解底层服务系统现有的资源状况；进行必要的初始化匸作, 对象层首先将调度方案及定时要求中与连续媒体对象相关的部分提交给流层并 要求流层进行初始化，然后对象层将要求媒体层向底层服务系统申请必要的资源 与QoS保障服务，并完成其他一些初始化工作。 3.2多媒体的时序同步模型 以下为两个对象之间的七种典型的时序关系： (a)A before B (b) A overlaps B A B