（通信与信息系统专业论文）多媒体通信中的音视频同步问题研究与实现.pdf

摘要 媒体同步是多媒体通信中一个特殊的也是极为重要的q o s ( 服务质量) ，作为 多媒体通信中的一项关键技术，多媒体同步已经引起了学术界的广泛关注。本文 主要研究多媒体通信中音视频媒体的同步问题。首先，介绍了多媒体通信的媒体 同步问题：然后，比较了f i f o 模型和语音优先模型下音视频媒体间的同步，并且 通过对音视频媒体单元排队时延偏移的理论推导和实验分析，提出了一种新的 h 3 2 3 终端音视频复用模型；接着，根据不同的最大分段长度( m f s ) 对视频数据打 包，分析其对音频分组和视频分组的时延抖动影响；最后，提出了一种多媒体通 信中音视频同步方案，包括多媒体数据在信源端的同步发送和在信宿端的同步播 放等。实验结果表明，本文提出的音视频同步方案能够有效地实现多媒体实时同 步通信，并已在实际产品中得到应用。 关键词：多媒体同步q o s 时延抖动h 3 2 3 复用 a b s t r a c t m u l t i m e d i as y n c h r o n i z a t i o ni sas p e c i a la n d i m p o r t a n tq o s ( q u a l i t yo fs e r v i c e ) i n m u l t i m e d i as y s t e m s a sak e yt e c h n o l o g yi nm u l t i m e d i ac o m m u n i c a t i o n s ，r e s e a r c ho n m u l t i m e d i as y n c h r o n i z a t i o nh a sr e c e i v e daw i d er a n g eo fa t t e n t i o ni nt h er e c e n ty e a r s t h i sp a p e rm a i n l yd e a l sw i t l lm u l t i m e d i as y n c h r o n i z a t i o n f i r s t l y t h em u l t i m e d i a s y n c h r o n i z a t i o n i s i n t r o d u c e d t h e n ，ac o m p a r i s o no fm u l t i m e d i as y n c h r o n i z a t i o n b e t w e e nf i f om o d e la n da u d i o f i r s tm o d e li sg i v e n ，a n dan o v e lh ：3 2 3t e r m i n a lm o d e l f o rm u l t i p l e x i n ga u d i oa n dv i d e oi sp r o p o s e d f u r t h e r m o r e ，w ep a c k e tt h ev i d e od a t a a c c o r d i n gt ot h em a x i m u mf r a g m e n ts i z e ( m f s ) ，a n da n a l y z ei t se f f e c to nt h ej i t t e ro f a u d i o - - p a c k e t a n d v i d e o - - p a c k e tr e s p e c t i v e l y f i n a l l y , t h e s c h e m eo fm u l t i m e d i a s y n c h r o n i z a t i o ni sp r e s e n t e d ，i n c l u d i n gs y n c h r o n i z a t i o nt r a n s m i s s i o na tt h et r a n s m i t t e r a n ds y n c h r o n i z a t i o n d i s p l a y a tt h er e c e i v e r s i m u l a t i o nr e s u l t ss h o wt h a tr e a l - t i m e m u l t i m e d i a s y n c h r o n i z a t i o n c o m m u n i c a t i o nc a i lb ei m p l e m e n t e db yt h e p r e s e n t e d t e c h n o l o g y , w h i e l l h a sb e e nu s e di np r a c t i c e k e y w o r d ：m u l t i m e d i a s y n c h r o n i z a t i o nq o sd d a yj i t t e r h 3 2 3 m u l t i p l e x 创新十叶i 声明 本人声明所呈交的论文是我个人n ：廿帅指导p 进行的研究卜作及取得的研究 成果。尽我所知，除了丈，m 苛别加以杯注平致谢r t 、所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同t = 作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了澍意。 申请学位论文与资料若有不实之处，本人承担一刨什i 关责任。 本人签名：互堑丝 f 期箜! ；： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期问，论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名 导师签名 1 _ l | j 1 j i j j 哟 f 器 第一章绪论 第一章绪论 近年来，计算机技术和通信技术，特别是宽带通信和i n t e r n e t 技术的发展， 大大促进了多媒体通信技术的发展。多媒体的应用已深入到我们生活的各个方面， 为用户提供多媒体服务已经成为通信领域和计算机领域必然的技术发展趋势。多 媒体应用与传统数据应用相比，它集成了各种不同性质的媒体。多媒体数据在生 成、传输和播映过程中，不可避免地会引入时延，产生时延抖动，从而破坏媒体 内同步关系( 如声音、图像的连续等时性) 和媒体间同步关系( 如“唇音同步”) 。 如何在接收端正确的恢复这些媒体的同步关系，即维持多媒体的同步，也就成为 多媒体通信中的关键技术之一。实现多媒体系统的同步通信是本文研究的主要工 作。 1 1 多媒体数据及其构成 多媒体通信系统中。同一对象的各种媒体之间在时间和空间上面是相互约束 相互关联的，多媒体通信系统必须能正确的反映它们之间的这种约束关系，显然 这就比普通的通信问题要复杂的多。我们来看一个典型的多媒体通信实例：多媒 体远程教育。在多媒体远程教育中，由于某一门课程的内容包括活动图像，静态 图像，声音和文本等多种信息，接收者在收看时也不一定按照固定顺序地来接收 这些信息，因此就必须将这门课程组成一个复合数据对象( 多媒体数据对象) ，这 个对象中又分成若干隶属的予对象。为了达到上述的目的，一个多媒体数据在生 成的时候，在确定它所包含的数据子对象的同时。还应该定义这些数据子对象在 时序上的关系，这种关系必须以某种形式存储在对象中。 1 1 1 多媒体数据 1 媒体数据的成分 多媒体数据是由在内容上相互关联的文本、图形、图像、动画、语音和活动 图像等媒体数据构成的一种复合信息实体。根据媒体数据与时间之间的相互关系， 可以将媒体数据划分为静态媒体数据和连续媒体数据。连续媒体数据有着严格的 时间关系，如音频、视频；其他类型的数据被称为静态媒体数据。这种划分在多 媒体通信系统中有着广泛的应用。按数据对时间的关系和数据生成方式的差别， 可以将不同媒体类型的数据划分为表1 1 所示的几类【1 r i l 3 4 1 。 多媒体通信中的音视频同步问题研究与实现 表1 i 媒体数据的成分 。 与时间的关系 生成方式、 连续媒体静态媒体 获取( 源自现实世界)声音、视频信号静止图像 合成( 由计算机完成)动画文本、图形 2 多媒体数据的构成 多媒体数据的主体是表达信息内容的不同媒体，称媒体分量。在存储和传输 媒体分量的同时，还必须存储和传输它们之间的同步关系。因为多媒体数据所包 含的各种媒体对象并不是相互独立的，它们之间存在着多种相互制约的关系( 也 就是同步关系或同步规则) 。多媒体同步规则是一种明确地描述多媒体系统中各个 媒体对象内以及各个媒体对象间所有时间关系的方法。时域同步规则由同步描述 数据和同步容限组成。前者表示媒体内部和媒体之间的时间约束关系，后者表示 这些约束关系所允许的偏移范围。多媒体数据的构成如图1 1 所示。 图1 i 多媒体数据的构成 多媒体同步问题研究的重点是维持连续媒体对象问的时间关系，而连续媒体 数据可以看成是由一系列信息单元( i n f o m l a t i o n u n j t ) 构成的时间序列( 或称为流) 。 信息单元也称为逻辑数据单元l d u ( l o g i c a ld a t au n i t ) ，l d u 的大小在一定的程 度上取决于同步容限。偏移的许可范围越小，l d u 越小：反之，l d u 越大。通常， 视频信号的l d u 为1 帧图像，而音频信号的l d u 是由若干在时域上相邻的采样 点构成的一个集合。 1 1 2 多媒体同步描述 1 基于时间间隔的同步描述 第一章绪论 在基于时间间隔的描述中，每一个媒体对象的播放时间被认为是一个时间间 隔，根据不同的时间间隔之间的相互关系来表示媒体对象内部和媒体对象之间的 时间关系。根据文献6 1 ，任意两个时间间隔可用1 3 种类型来同步。在这1 3 种类型 中有一些关系是可逆的，如“b e f o r e ”和“a f t e r ”。因此简化后可得七种模式，如图 1 2 所示。这七种模式可描述媒体对象的两个时间间隔之间的简单关系。 e 口 a b e f o r e b巴凸 二田 觚“b a t r i e g t sb a o v e r l a p s b a f i n i s h e s b 图1 2 两个对象的时间关系 厂了 宙 a e q u a l s b t w a h l 和k r o t h e r m e l 在文献州种定义了一种加强型描述模型，它定义了2 9 种时间间隔关系。为了简化这种描述，又定义了十种操作方式来处理这些时间间 隔关系。在这些操作种引入了具体的参数，以便更好的描述任意两个时间间隔关 系。图1 3 是这种描述的几个例子。 图1 3 使用时延参数的操作来描述时间间隔的关系 多媒体通信中的音视频同步问胚研究与实现 本文我们将依据一个如图1 4 所示的典型的时域场景来分析不同的描述方法。 图中t 表示媒体对象的时间宽度，该场景是播映某一应用软件。首先播放的图像， 伴音片段介绍该软件的特色，对代表事先录制好的用户对软件的使用情况，p l 、 p 2 和p ，是3 张图片，反映使用的结果。动画和第二段音频片断进一步解释了软件 的使用方法。与此同时，允许用户在仿真环境中对软件进行实际操作( u i ) ，用户 交互操作结束后显示图片p 4 。 r e c o r d u il| n t c r a c t i o n t l a u d i 。1 il p i i p 2l p 3 l a 试。2 ll p 4i t t nt 口t m t t t h v i d e oa n i m a t i o n tv t m t 图i a 典型时域场景 使用加强型模型可将图1 4 的应用例子表示成 a u d i o lw h i l e ( o , o ) v i d e o a u d i o lb e f o r e ( f f ) r r i b e f o r e ( o ：lp 1 p 1b e f o r e ( 0 ) p 2 p 2 b e f o r e ( 0 ) p 3 p 3b e f o r e ( o ) i n t e r a c t i o n p 3b e f o r e ( 0 ) a n i m a t i o n a n i m a t i o n w h i l e ( z ，5 ) a u d i 0 2 i n t e r a c t i o nb e f o r e ( 0 ) p 4 。 2 基于时间轴的描述 基于全局时间轴的描述 在基于全局时间轴的描述中，所有的媒体对象都以此时间轴作为参考对象。 也即所有的媒体对象都位于一个代表真实时间的时间轴上。可以直接使用全局时 间轴来定义媒体对象的时间特性。如起始点或终止点，也可以用各媒体对象可使 用的局部时间来定义媒体对象的时间特征，然后通过调整局部时间轴和全局时间 轴的关系来对媒体对象的时间参数进行调整。如每个媒体位于各自的本地时间轴 上，用一个可为所有媒体对象所用的全网时钟与它们的本地时钟之间做映射。当 全网时钟与本地时钟的差别达到一定的限度时，就需要与全网时钟进行再同步。 第一章绪论 5 由于各个媒体对象只同全局时间轴或它的局部时间轴发生联系，因此，各个 媒体对象之间具有很强的独立性，某个媒体对象的错误不会影响到其他媒体对象。 但当对象包含有不能预测持续时间的l d u 时，就会比较麻烦，这种描述无法处理 媒体对象播映时间未知的情况。另外该方法要求所有媒体流能够与全网时钟同步。 下图是基于时间轴描述的例子。 r e c o r d u i i n t e r a c t i o n 【u 1 】 a u d i o ! p lp 2p 3 a n i m m i o np 4 v i d e o ，同， ，t 图1 5 典型时域场景的对间轴描述 基于虚拟轴的描述 在基于虚拟轴的描述中，用户可以根据实际需要来定义相应的参考轴。时间轴 的计时单位可以是物理计时单位( 如毫秒、秒、节拍等) ，也可以是逻辑计时单位 ( 如事件发生次序的编号等) 。该参考轴称为虚拟轴。另外还可以引入多条时间轴 来组成虚拟参考空间。该描述是对全局时间描述的种扩展，它即继承了全局时 间描述简单、同步描述数据易于维护的优点，又具备了较强的表示非确定性时域 场景的能力。这种描述方法可以为用户提供较大的灵活性，但在使用时要处理不 同轴对象之间的关系，虚拟轴要实时的映射为真实时间轴，使得应用和维护比较 复杂。图1 6 是基于虚拟时间轴描述的例子。 i n t e r a c t i o n u i 】 p 4 r r t r e c o r du i a u d i o ip lp 2 p 3a n i m a t i o n v i d e o ，同， t 图1 6 典型时域场景的虚拟时间轴描述 3 基于事件的描述 多媒体通信中的音视频同步问题研究与实现 在基于事件的描述中，播映操作由同步事件来初始化。典型的操作如：启动 一个媒体对象的播映过程、终止一个媒体对象的播映过程和准备一个媒体对象的 播映过程。这些特定的操作可能是由外部触发( 如由一个计时器触发) ，也可能由 内部触发( 如在媒体对象内设定特定的l d u 作为启动标志) 。 + 该方法易于集成交互对象，扩展新的同步类型，较为灵活。但是它最大的缺 陷是实时不容易控制，需要使用附加的计时器来集成与时间无关的媒体对象，描 述复杂不易处理，此外该方法不能直接描述偏移q o s 。 4 基于控制流的描述 基于控制流的描述的基本思想是，将并行的播映线索流程在预定义的点上同 步。具体的描述有分层模型、参考点模型和t i m e dp e t r i 网( t i m e dp e t r in e t s ) 模 型。 基于参考点的描述 参考点包括时间相关媒体对象的子单元的开始、结束时刻以及媒体对象播映 的开始和结束时刻。对象间的同步通过连接媒体对象的参考点来定义。这些连接 在一起的参考点叫做同步点，共享同个同步点的子单元的播映必须在同步点到 达时开始或结束。同步是通过在同步点上的发信号机制实现的，只要一个媒体播 映到达一个同步点，它就给所有涉及该同步点的媒体播映发信号，使整个播映同 步进行。该方法描述了对象间的时间关系，却没有明显的时间参考。图1 7 所示为 一个参考点同步的例子。该例集成了时间相关媒体对象、时间独立媒体对象、可 预测持续时间的l d u 以及不可预测时间的l d u 。 r o c o r du i i n t e r a c t i o n l j r a u d i o lp l p 2 p 3 a u d j 0 2 ： ： ： ： v i d e o a i l i m m i o nl 图i 7 典型时域场景的参考点描述 该方法允许在一个对象播映的任意时刻进行同步，直观易用，能够集成播映时间 不确定的对象，可以集成交互式媒体对象。另外还可以集成对偏移q o s 的描述。 由于该方法对媒体对象间的关系进行直接描述，维护起来较为困难。 基于分层的描述 基于分层描述方法【8 】是建立在两种基本的同步操作：串行同步和并行同步基础 之上。以弧线连接的对象之间是并行关系，否则就是串行关系。在基于分层的描 第一章绪论 述中，所有媒体对象被看作是个由节点组成的树，节点引发出子树，子树可以 是串行或并行同步。多媒体播映就按照对象间的串行和并行关系构成一棵播映树， 用分层描述来表示图1 4 的典型时域场景，如图1 8 所示。分层结构便于理解， 图1 8 典型时域场景的基于分层描述 支持分层，易于集成交互对象，但有也局限性，它不直接支持q o s 描述，对与时 间无关的对象要另外定义其播跌时间。有时还要切分媒体对象，因为该方法每个 动作只能在其开始和结束处同步。如图1 8 语音和动画同步部分，为了与部分音频 流保持同步关系，动画被分成了a n i t 、a n i 2 和a n i 3 三个部分，以此来描述语音 与动画同步时期的特征。分层同步不支持对多媒体内部结构的抽象，另外不能描 述有些媒体间同步关系。 基于t i m e dp e t r i 网的描述 p e t r i 网是一种描述和分析实时系统的建模工具，特点是能定义实时需求。它 是一种有向二分图，由位置节点( p l a c e ) 和变迁节点( t r a n s t i o n ) 组成。其中圆表 示位置节点，一竖表示变迁节点。带标记( t o k e n ) 的p e t r i 网有一组标记，它们被 赋给位置节点，标记的位置在运行中是不断变化的，故位置节点的标记的个数也 是不断变化的。把时间的概念引入p e t r i 网，给p e t r i 网的每个节点赋予了持续时间， 就可以对时间驱动的系统建模，得到一个t i m e d p e t r i 网。t i m e d p e m 网是p e u i 网 的扩展，它的一个典型的模型是用来定义多媒体同步关系的o c p n ( o b j e c t c o m p o s i t i o n p e t r in e t ) ，即对象合成p e t r i 1 9 1 加1 。其增加了资源的利用情况，可表 示为c o c p n = t , p ，a ，d ，r ，m 。其中： t = “，：，t 。)变迁节点集合； p = p 1 ，p 2 ，p 。)位置节点集合： a = t 毋u ( p t )有向弧集合 d = p u e 哼月= f l ，7 2 ，o 时间间隔集合； r = p 一 r i ，r 2 ，资源集合； m = p 呻，= o ，l ，2 ，)标记集合。 多媒体通信中的音视频同步问题研究与实现 o c p n 模型的基本时间单位( 即间隔) 与位置节点对应，而d 、r 、m 则标识了库 所的属性，其中d 表示各库所的持续时间，r 表示各库所所需的资源，而m 则表 示每个库所所含标记的个数。触发规则是o c p n 的一个重要部分。它定义了依据 建模结果恢复时域场景的方法。o c p n 的触发规则如下： 当变迁节点t i 的每个输入位置都含有一个解锁标记时，该变迁节点立即触 发： 触发后，变迁节点t i 的每个输入位置节点去掉一个标记，同时该变迁节点 的每个输出位置节点则增加一个标记： 位置节点p j 收到标记后，在时间间隔tj 内保持活跃状态，且标记被锁定： 经过tj 时间后，位置节点p i 进入非活跃状态，同时标记解锁。图1 9 给出 了用o c p n 模型对两个间隔之间各种基本时域关系的描述结果【9 1 【1 1 】。 咆斗- o 斗 h t 6 r p a b e f o r e b a d u r i n g b 一叶 一 k t b a m e o t s b as t 盯t $ b 图1 9 用o c p n 模型描述基本时域关系 a e q u a l sb 对于时间相关的媒体对象，p e t r i 网的每个位置节点代表一个l d u 。媒体间的 同步可通过连接适当的l d u 来表示，l d u 的连接通过变迁实现。通过选择如图 1 1 0 所示的对象间成对的时间关系，逐层构造出复杂的p e t r i 网。典型时域场景的 o c p n 定义如图1 1 0 所示。 通过对两个时间间隔之间各种基本时域关系的描述，且利用t 。补等时间 参数进一步限定，o c p n 可以表示任意复杂的同步。但该方法不具备表示非确定性 时域场景的能力，此外描述复杂，操作十分不便。如何快速正确的生成这样的描 述是有待解决的问题。 第一章绪论 图1 1 0 典型时域场景的o c p n 模型描述 上述各种描述方法的能力和用户的友好性各不相同，都各有优缺点，总的来 说是从各个方面完善了对媒体数据的定义。对各种不同的描述方法，并没有特定 的指标可评定其孰优孰劣。对于采用何种描述方法则主要是依据目标应用程序的 需要和所应用的软硬件环境。近年来，对媒体同步描述的研究有很大迸展，从多个 方面提出了同步描述的方法，如d a y 等人1 1 2 1 提出的利用图的概念来描述时间场景 的同步要求； 1 3 g n 提出的以p e 仃i 网这种形式化的数学工具为基础的各种同步描 述方法，如对象合成p e t r i 网( 0 c p n ) 、扩展的对象合成p e t d 网( x o c p n ) 等： 此外，还推出了用于多媒体同步描述的一个标准p r e m o ( p r e s e n t a t i o ne n v i r o n m e n t f o r m u l t i m e d i a o b j e c t s 多媒体对象表现环境) f 14 】【1 5 】，该模型是基于事件的同步，提 供了一个一般性的框架，允许复杂同步，支持对q o s 的控制，是对现有各种同步 方式的集成。 1 1 3 同步容限 同步容限包含了对同步机制服务质量的要求。在一个多媒体系统的运行过程 中，存在着一些影响准确恢复时域场景的因素，如其他进程对c p u 的抢占、缓冲 区不够大、传输带宽受限等。这些因素致使恢复后的时域场景中，时域事件的相 对位置发生偏移( s k e w ，又称错位) 。有媒体内偏移和媒体间偏移两种。媒体内同 步通过对媒体对象内部偏移的控制来实现，媒体间同步则通过对连续媒体对象间 偏移的控制来实现。同步容限就是用户与同步机制之间就偏移的许可范围所达成 的协议。为了描述同步要求，实现相关的控制机制，定义了一些服务质量( q o s ) 参数。这些参数包括单个媒体流中相邻媒体单元所经历的时延抖动( d e l a yi i t t e r ) 以及两个媒体流中相关媒体单元的时间偏移。 。 延迟抖动和错位是不可避免的，但我们发现，它在一定范围内是可接受的。 人体对抖动和偏移的测量结果表明，如果抖动和偏移限制在一个合适的范围内， 我们会认为媒体是同步的，这个q o s 参数因此被称为可感知q o s ( p )参数。qos 由于不能找到定义偏移许可范围的客观标准，所以我们般采用主观评估的 k 多媒体通信中的音视频同步问题研究与实现 方法。虽然这样得到的偏移许可范围并不十分准确，但对于同步控制机制仍是一 个有力的依据。 对于媒体内和媒体间偏移，表1 2 和表1 3 0 6 给出了主观评估所得到的大致许 可范围，这些都是与多媒体通信的同步有关服务质量参数，这些参数很大程度上 依赖于具体的应用。例如，对于互联网中的音频类业务允许的最大端到端时延为 0 2 5 s ，时延抖动应小于1 0 r e s ，否则就不能保证音频流的连续性。对于图像来说， 允许的误码率要比允许的错误分组率高得多。这是因为一般情况下，屏幕上的一 个象素错误并没有多大影响，但是如果丢失分组就会引起方块效应等，严重影响 图像质量。对于数据传输，对时延抖动没有要求，对时延的要求不高，但通常不 允许有任何误码。 表1 2 媒体内偏移的许可范围及q o s 最大时延最大时延抖平均速率允许的误码允许的错误 q o s ( s )动( m s )( 1 d b i t s ) 盎 分组率 音频 0 2 51 00 0 6 4 1 0 。i 1 0 l 视频( t v 品质) 0 2 5l o1 0 01 0 - 21 0 4 压缩视频o 2 5 12 1 01 矿1 0 9 数据( 文件传输) 12 1 0 000 实时数据 o 0 0 l l 1 00 1 0 图像 l2 1 01 0 - 1 0 9 箜二里堡堡一旦 表1 3 媒体间偏移的许可范围 媒体 条件许可范围 动画内容相关 + ，- 1 2 0 m s 唇同步；特指人讲话的场景中音频视频的同步，q o s 参数与 音频 + - 8 0 m s 讲话人显示的身体部位相关，头部像要全身像的参数要求高。 相覆盖；该模式下图像是视频内容的附加描述，两者的同步显 + ，2 4 0 m s 示对于观众正确理解播映内容很重要。 视频 图像不覆盖：该模式下两类媒体在不同的窗口显示，观众的视线在 两个窗口间切换，般在图像上的停留时间为l s ，因此保持+ + - 5 0 0 m s 5 0 0 m s 的偏移余量对此类应用是足够的。 相覆盖；( 应用模式同图像) + - 2 4 0 m ! ； 文本 不覆盖；( 应用模式同图像) + - 5 0 0 m s 事件相关；例如，播映舞蹈中的舞步的动画序列与伴奏音乐的 动画 + - 8 0 m s 配合是很重要的。 紧耦合：例如，两个立体声声道间的配合偏移要在+ - 1 1 m s 以 + - i lr 1 1 5 内( 对于采样率4 4 k i 忆丽言) 。 松耦合；有多个人参加的对话情形，一般说可以容忍的偏移是 音频 + 1 2 0 m s 1 2 0 m s 。 松耦合；有多个音频声道中一个是讲话者，其他是背景音乐的 + - 铷m 情况下可以容忍的同步偏移是5 0 0 m s 。 音频 紧耦合；例如，在音乐教学中，音乐演奏与音符的显示闻的配 + - 5 m s 合是一种很严格的紧密偶合。 图像松耦含；象在幻灯片显示这类的应用中，幻灯片切换的时间需 要1 秒左右，播映过程中人还可以不断的插话，这种配合要求 4 - 5 0 0 m s 就不严格。 文本文本注释或音频注释，两者的内容表示耍配合一致。 + - 2 4 0 m s 音频与指针所指的项目相关；桌面会议电视中的屏幕显示中的 5 0 0 m s 指针 鼠标指针的移动与讲话的同步。 + 7 5 0 m s 1 2 多媒体同步的分类 多媒体通信中的音视频同步问题研究与实现 1 2 1 多媒体同步关系 在多媒体系统中，通常从多媒体的不同侧面来表达媒体之间存在的相互依存 的关系。 内容关系是指从某种数据定义媒体对象的相关性。例如，某一种数据可以用 表格或曲线来表示，那么在计算机中只需要保存这份数据，而将表达这份数据的 方式另作定义，这称为指定数据间的内容关系。其特点是相同的数据可以用不同 的表现形式来描述，内容同步则指系统能够在相同数据的不同表现形式上自动地 升级，即不同的视图。 空域关系指多媒体播映中菜一时间点上对象在输出设备上的布局关系，也就 是不同媒体对象在显示时所处的相互位置关系。 时间关系是针对时间相关媒体的描述的，如指针同步是指在计算机支持的协 同工作( c s c w ) 系统中( 例如分布式桌面多媒体会议) ，维持共享工作空间的指 针和解说之间存在的时间关系。它是同步关系中最重要的一种，因为一个系统只 有在集成了与时间有关的媒体之后才能称为多媒体系统。因此，狭义上讲的同步 就是指时间关系上的同步。 1 2 2 媒体内同步和媒体问同步 流内同步通信和流间同步通信是紧密相关的，流内同步通信是流间同步通信 的基础和前提。 媒体内同步指维持一个时间相关媒体对象的各个信息单元的时间关系；连续 的各个媒体单元之间存在着固定的时间关系，这种时间关系是在数据的获取时确 定的，而且要在存储、处理、传输和播放过程中保持不变，否则就会损伤媒体显 示时的质量。例如维持一个视频浚各个帧闺的对阅关系，对于一个2 5 帧，秒的视频 流，每帧应播映4 0 m s 。如果不能保持这种时间关系，超过一定限度，观众就会明 显感到画面的停顿和不流畅，影响观看效果。流内同步主要是要消除通信过程中 所产生的延迟抖动( j i t t e r ) 。 媒体间同步是指维持各个媒体对象相互之间的时间关系。例如，电视中视觉 和听觉信息间的同步关系是典型的连续媒体间的同步；幻灯播映中的画面显示与 音频流之间的时间关系是典型的时间相关的媒体和时间无关的媒体之间的同步关 系。流阉同步主要是要消除通信过程中所产生的媒体流闻错位。 1 2 3 现场同步和合成同步 根据时间关系，多媒体同步又可分为现场同步( 或称实况同步) 和合成同步。 在现场同步中，获取的多媒体信怠是现场信息多媒体对象的时间关系是在采集 过程中就确f i t t 。在信宿端要同样再现这种时问关系。而合成同步中的多媒体信 第一章绪论 息是利用多媒体创作工具制作而成，时间关系是人工定义的。现场同步是一种实 时的同步，是固定的时间关系，而合成同步是可随意的时间关系，需要提供用户 和多媒体系统之间交互控制机制，在同步关系描述上更为复杂。 1 2 4 多媒体播映同步、交互同步和通信同步 这些同步功能体现为多媒体同步体系结构中的不同层次的同步要求，由它们 共同来实现系统中的媒体同步。 其中，播映同步和交互同步属于上层同步，即用户层同步，是由用户的需求 来决定的一种同步。多媒体交互同步是指不同媒体对象和交互对象之间的同步。 交互对象是指用户和计算机之间的通信，如用户用键盘或鼠标控制快进、倒放、 暂停等。该类同步的主要特点是其同步发送时间的不确定性。在这两种同步中， 用户可以对各个媒体进行编排，由此决定何种媒体以何种时空关系播映出来。 多媒体通信同步则属于中层同步，它的作用就是将不同媒体的数据流按一定 的时间关系进行按排，并且在整个通信过程中，保持这种时间关系。多媒体通信 同步的要求是分布式系统同步的最基本的要求，是其它同步功能的基础。 1 3 多媒体同步的四层参考模型 多媒体同步是一个复杂的问题，需要系统的许多部分协同解决，包括操作系统、 通信系统和应用程序等等。我们需要一个参考模型来理解多媒体同步的各种需求， 区别和构造支持同步运行的运行机制，比较多媒体同步的系统解决方案。通过层 次化的分析，能更好地理解各种相关的因素，也能更好地描述并建立支持同步的 机制。图1 1 1 给出了一个四层的同步参考模型【1 7 】1 1 引，同时还表明了时域参考模型 和四层参考模型的对应关系。 高 低 图1 11 同步参考模型及与时域参考框架的关系 同步参考模型规定了同步机制所应有的层次以及所应完成的主要任务。其中 同步机制在同步层中实现，同步层相应于o s i 参考模型中的会话层和表示层。每 层有自己的接口，每层的接口都可以直接被一个应用程序使用，或者被它的高层 抽象层次 4多媒体通信中的音视频同步问题研究与实现 利用来实现其接口。 通常整个同步过程是这样的：同步机制首先依据同步描述数据生成某种调度 方案。调度方案与将要进行的对多媒体数据的处理( 如提取发送、播放等) 有着 直接的关系，它包括何时对哪一个媒体对象或哪个l d u 进行处理的安排：其次， 同步机制需要根据同步容限以及多媒体数据的特点申请必要的资源( 如c p u 时间、 通信带宽、通信缓冲区等) ；然后，在执行调度方案的过程串，同步机制将按照周 步容限要求完成对偏移的控制，以维持多媒体数据时域关系。 1 - 3 1 媒体层 媒体层针对的是单独的媒体数据流，它的处理对象是来自于连续码流的l d u 。 媒体层提供一个独立于设备的接口，它的操作针对的是单个媒体流，媒体流被看 作由系列的l d u 组成。该层负责向上提供与设备无关的操作，如：r e a d ( d e v i c ：e h a a d l e ，i ，d u ) 和w r i i e ( c l e r i c e h a n d l e , l d u ) 等。其中，d 刚c e h n d l e 标识的 设备可以是数据播放器、编解码器或文件，也可以是数据传输通道。 媒体层主要完成两个任务，是申请必要的资源( 如c p u 时间、通信带宽、 通信缓冲区等) 和系统服务( 如服务质量保证等) ，为该层各项功能的实施提供支 持；二是访问各类设备的接口函数获取或提交一个完整的l d u 。例如当设备代 表一条数据传输通道时，发端的媒体层负责将l d u 进一步划分成若干各适于网络 传输的数据包，而收端的媒体层则需要将相关的数据包组合成一个完整的l d u 。 实际上，媒体层是同步机割与底层服务系统之间的接口，其内部不包含任何 的同步控制操作。因此，当一个多媒体应用直接访问该层时，同步控制将全部由 应用本身完成。 1 - 3 2 码流层 码流层的操作针对的对象是连续码流或码流组。为了保持多个数据流的并行、 同步的播放，在这层中必须解决媒体数据流之间的同步关系。码流层接口处的典 型的操作有：s t a r t ( s t r u m ) ，洲舭蛳) ，s t a r t ( g r o u p ) ，s i o p ( g r o u p ) ， c r e a t eg r o u p ( 1 i s t _ o fs t r e a m s ) 。通过这些操作。码流层可以将连续媒体对象内的抖 动以及连续媒体对象间的抖动保持在许可的范围之内，从而保持时间相关媒体流 之间的时间关系以及媒体流内部各个媒体单元的连续性，即实施流内和流间的同 步控制。因此，在模型的四层孛，这层是直接与同步控制有关的最重要的一层， 大部分同步策略的研究和实现都是在这一层上提出的。 码流层在处理连续码流或码流组之前，首先需要根据同步容限决定l d u 的大 小以及对各l d u 的处理方案。此外，码流层提供的是带q o s 时间参数的流的抽象， 还要根据同步容限的要求向媒体层提交必要的q o s 要求。媒体层根据此q o s 要求 第一章绪论 还要根据同步容限的要求向媒体层提交必要的q o s 要求。媒体层根据此q o s 要求 向底层服务系统申请资源和保障。 当多媒体应用直接使用码流层的接口功能时，连续媒体与时间独立媒体之间 的相互作用以及与用户的交互则要有应用本身来实现。 1 3 3 对象层 连续媒体对象的流内和流间同步在码流层完成。而连续媒体对象和非连续媒 体对象之间的同步是对象层的主要工作，另外还包括对非连续媒体对象的处理。 对象是多媒体播映中的基本单元，对象层同步就是要保证多媒体播映中的各 个对象按照规定的次序出现并正确地响应用户的输入事件。对象层把同步描述作 为它的输入，能够对各种类型的媒体对象进行统一处理，它隐藏了连续媒体对象 和非连续媒体对象的差别。对象层的接口提供诸如p r e p a r e 、r u n 、s t o p 、d e s t r o y 等 功能函数，函数的参数通常是媒体对象。 在处理多媒体对象之前，对象层还需完成两项任务： 第一，从描述层提供的同步描述数据出发，推导出必要的调度方案( 如显示 调度方案、通信调度方案等) ；在推导过程中，为了确保调度方案的合理性和可行 性，对象层除了要以同步描述数据为根据外，还要考虑各媒体对象的统计特性( 如 静态媒体对象的数据量，连续媒体对象的最大码率、最小码率、统计平均码率等) 以及同步容限，同时，对象层还要了解底层服务系统现有资源的状况。 第二，进行必要的初始化工作。如初始化编解码器、播放设备、通信设备等， 并要求其下层向底层服务系统申请满足q o s 必要的资源。 1 3 4 描述层 多媒体应用生成的时域场景，是描述层的处理对象。描述层解决的是多媒体 播映中的对象出现次序及交互处理的描述，即多媒体播映的作者如何描述一个多 媒体播映。描述层的核心是时域定义方案，其接口为用户提供了使用时间模型描 述多媒体数据时域约束关系的工具，如同步编辑器、多媒体文档编辑器和著作系 统等。描述层是一个开放的层，不提供明显的接口，该层包含一些应用和工具， 利用这些工具用户可以生成同步描述。这些工具包括同步编辑器、多媒体文档编 辑器及著作系统等。描述层还提供转换工具，将同步描述转换成对象层的格式。 描述层还可将用户级q o s 要求映射到对象层接口。在这层只关心是否能够被描述 或描述的是否正确，丽至于系统如何用描述控制多媒体对象之间的同步或系统在 对象间调度算法却不是描述层所关注的。描述层产生的同步描述数据和同步容限， 经由对象层的适当转换后进入由对象层、流层和媒体层构成的同步机制。 总结四层同步参考模型的接口和任务如表1 4 e 1 6 1 所示： 多媒体通信中的音视频同步问题研究与实现 表1 4 同步参考模型的接口和任务 层接口 任务 对l d u 的与设备无关的访问； 媒体层文件和设备访问 对单一l d u 处理的保证 流和流组： 码流层流内同步保证；资源预留和规划l d u 处理时间表 组内流间同步保证 规划播映时间表 同步定义：通过流层初始化与时间相关的媒体对象 对象层对象( 隐藏所包含的媒体的类型) ；的播映： 面向媒体的q o s ( 可接受的偏移和抖动)初始化与时间无关的媒体对象的播映： 初始化播映预备活动 由完成本层任务的工具提供接口： 编辑； 描述层格式化； 本层本身没有向上的接口 将面向用户的q o s 映射为对象层的q o s 1 4 本文的研究内容 多媒体同步涵盏的内容很广，本文主要研究多媒体通信中的音视频同步问题。 音视频同步涉及数据的生成、传输及播映等多个方面，可以在信源端、网络或信 宿端进行控制，同时可以将上述三方面的控制结合起来以实现媒体的同步。 本论文的主要研究内容及成果： 通过对h 3 2 3 发送端f i f o 模型和语音优先模型下的音视频媒体单元的排队等 待时延的理论分析得到了它们的时延偏移的计算式，进而对这两种模型下音视频 媒体间的同步进行了比较。还提出了一种新的h 3 2 3 音视频媒体流复用模型，这 种模型可以调整某些参数来实现对发送端音视频的时延和同步的控制。另外，研 究了在h 3 2 3 发送端，视频的不同打包策略( 根据不同的最大分段长度) 对音频 和视频媒体内同步的影响。以上工作为多媒体同步系统的设计提供了理论基础和 参数选择依据。最后结合实际工作，提出了一种多媒体通信的同步解决方案，包 括多媒体数据在信源端的同步发送及在信宿端的同步播放等。并在工作中得到了 很好的应用。 本论文共分五章，以下各章内容安排如下： 第二章讨论多媒体厨步通信闯题。首先是对多媒体同步通信进行描述和对时 延抖动进行定义，分析了媒体单元的时延和同步的关系，接着讨论了多媒体通信 第一章绪论 中产生时延的各个环节，并且讨论影响媒体同步的因素和针对媒体内同步和媒体 间同步采取的控制技术。最后，给出了同步性能的客观测量标准和主观评定标准。 第三章主要分析了h 3 2 3 系统中分组在发送端的排队等待时延。根据对分组 排队等待时延的理论分析，比较了f i f o 模型和语音优先模型下音视频媒体间的同 步，并且提出了一种新的h 3 2 3 终端音视频复用模型，对该模型的音视频媒体单 元的排队时延的理论计算和实验分析，给出了同步参数的选择依据。 第四章对h 3 2 3 终端的音视频媒体内同步作了研究。研究基于对h 3 2 3 系统源 主机的视频数据的收集和分析，实验根据不同的最大分段尺寸进行打包，并结合 音视频的复合，对视频包的时延和抖动进行分析，得到不同打包策略对视频分组 和音频分组抖动的影响。 第五章最后结合实际工作，提出了一种多媒体通信的同步解决方案。在发送 端。参考i 1 2 2 3 标准将音视频码流复用打包。以利于音频和视频之间的同步；在 接收端，工作一采用基于播放时限的同步方法来实现语音的连续播放；工作二是 使用双缓冲技术来有效控制视频帧的时延抖动，同时兼顾到多媒体通信的实时性； 工作三是将语音作为主媒体，保持正常的语音播放速率不变，通过调整视频的播 放过程来保证媒体间的同步。该方案能够有效地实现多媒体同步通信，并已在实 际产品中得到应用。 多媒体通信中的音视频同步问题研究与实现 第二章多媒体同步通信 广义的同步概念包括媒体对象在内容、空间和时间上的关系，一般意义土的 同步则是基于时间关系的我们这里关于同步的研究主要是针对媒体的时间关系 的。在分布式多媒体通信中，同步是一个基于时间的概念，是指维持多垛体系统 中各个媒体对象之间存在的一定时间关系，同步的目的就是在向用户播映多媒体 信息时，保持媒体对象的固有的时间关系