多媒体通信技术_多媒体同步

1、第6章 多媒体同步 第6章 多媒体同步 6.0 引言引言6.1 多媒体数据多媒体数据6.2 多媒体数据时域特征表示多媒体数据时域特征表示6.3 多媒体同步的多媒体同步的4层参考模型层参考模型6.4.3 影响多媒体同步的因素影响多媒体同步的因素6.5 连续媒体内部的同步连续媒体内部的同步6.6 媒体流之间的同步媒体流之间的同步6.7 接收与发送时钟的同步接收与发送时钟的同步第6章 多媒体同步 3.1 引引 言言 多媒体对象的同步关系抽象为以下两种类型: (1) 媒体内的时间关系 媒体内的时间关系即流内同步, 主要是保证单个媒体流之间的简单时态关系, 也就是按一定的时间要求传送每一个媒体对象, 其

2、表现为媒体流的连续性, 以满足人类感知上的要求。 流内同步的复杂性不仅和单个媒体的种类有关, 而且和分布式系统提供的服务质量（Quality of Service, QoS）有关。 同时, 也和源端和目的端操作系统的实时性有关。 第6章 多媒体同步 (2) 媒体间的同步关系 媒体间的同步关系即流间同步, 主要是保证不同媒体间的时间关系, 如音频和视频之间的时态关系, 音频和文本之间的时态关系等, 表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关。 多媒体对象在时间上存在着并行、 顺序、 独立关系, 在对象的时间表现控制上分别对应于并发、串行和异步执行。多媒体系

3、统的同步控制必须保证在同步点上各个媒体之间能够保持时间关系。例如, 一个有语音讲解的多媒体幻灯片, 其讲解必须和一组画面同时表现, 且随着画面的显示, 讲解是顺序的。这里的同步点处于画面的改变点和讲解的起始点与结束点。又如, 一个可视电话系统, 其语音和图像序列通过通信网络传输到接收端, 且必须同步地在接收设备上演示, 以保持口型和声音同步。第6章 多媒体同步 6.1 多媒体数据多媒体数据连续媒体数据：有严格时间关系的音频、视频等类型的数据；静态媒体数据：其他类型的数据；6.1.1 连续媒体数据与静态媒体数据连续媒体数据与静态媒体数据逻辑数据单元 （LDU：logic data unit）：连

4、续媒体数据的数据组织单元。流（Stream）：媒体数据的LDU序列；LDU，可长可短，一个LDU，可以是一个宏块、一个条、一帧图像或者一个场景；LDU之间的时间间隔固定为40ms；第6章 多媒体同步 连续媒体内部的连续媒体内部的LDU之间的相对时间关系之间的相对时间关系第6章 多媒体同步 6.1.2 多媒体数据内部的约束关系（同步关系）多媒体数据内部的约束关系（同步关系）1、基于内容的约束关系指用不同的媒体对象代表同一内容的不同表现形式时，内容和表现形式之间的约束关系。需要确保多种媒体对象所含信息的一致性。例如：对某一原始数据的多种表示形式：报表、图形、动画；毫无联系的不同媒体数据的集合，不能

5、称为多媒体数据；只有存在多种相互制约的关系的多种媒体数据，才能称为多媒体数据。2、空域约束关系又称：布局关系，用来定义多媒体数据显示过程中的某一时刻，不同媒体对象在输出设备（显示器、纸张）上的空间位置关系；结构化文档、办公室文档结构ODA；第6章 多媒体同步 3、时域约束关系、时域约束关系又称：时域特征，反映媒体对象在时间上的相对依赖关系；主要包括两个方面：（1）连续媒体对象的各个LDU之间的相对时间关系；（流内同步）连续媒体内部的连续媒体内部的LDU之间的相对时间关系之间的相对时间关系第6章 多媒体同步 （2）各个媒体对象之间的相对时间关系；（流间同步）P1、P2、P3：插入静止图片；口形同

6、步；指针同步；提示提示：在3种约束关系（内容、空域、时域）中，时域特征是最重要的一种。当时域特征遭到破坏时，用户就可能遗漏或误解多媒体数据所要表达的信息内容。第6章 多媒体同步 6.1.3 多媒体数据的构成多媒体数据的构成成分数据：包含了所要表达的信息内容的数据，如：文字、图形、图像、声音和视频；同步规范：成分数据之间的约束关系（同步关系）；同步规范包括：同步描述数据、同步容限；同步描述数据：表示媒体内部和媒体之间的时间约束关系；同步容限：时间约束关系所容许的偏差范围；同步机制：维持多媒体数据的时域特征的工作机制；第6章 多媒体同步 6.2多媒体数据时域特征的表示多媒体数据时域特征的表示确定性

7、时域事件：如果一个时域事件在一个时域场景中的位置可以完全确定，则称为确定性时域事件；6.2.1 时域场景和时域定义方案时域场景和时域定义方案非确定性时域事件：如，暂停播放、恢复播放等事件，在时域场景中的位置不能事先确定，则称为非确定性时域事件；时域场景：由若干个时域事件构成，每一个时域事件都是与多媒体数据在时域发生的某个行为（如：开始播放、暂停、恢复播放、停止播放）相对应；第6章 多媒体同步 确定性时域事件非确定性时域事件第6章 多媒体同步 时间（数据）模型：是对时域场景中的时域事件的一种时域描述，是计算机系统中为时域场景建模的数据基础；时域定义方案：是时间（数据）模型及相应的形式化语言的总称

8、；多媒体对象时域特征表示的过程第6章 多媒体同步 同步描述数据，举例：一个时域场景按事件发生的时刻，来定义时间数据模型；按事件发生的相对时刻，来定义时间数据模型；按事件对应的时间间隔，来定义时间数据模型；第6章 多媒体同步 6.2.2 时域参考框架时域参考框架第6章 多媒体同步 6.2.3 描述时域特征的时间模型描述时域特征的时间模型时间模型，包括：基本时间单位、关联信息、时间表示技术，三个部分；1、基本时间单位基本时间单位，可分为时刻和间隔；2、关联信息关联信息，反映时域事件的组织方式，；定量关联信息：认为事件独立，间接反映事件间的关系；定性关联信息：认为各事件相关联，对事件发生次序进行描述

9、；第6章 多媒体同步 第6章 多媒体同步 3、时间表示技术（几种时间模型）有：时间轴模型、虚时间轴模型、OCPN模型，等等；6.2.4 同步容限（关于偏差许可范围的协议）同步容限（关于偏差许可范围的协议）事件间的偏差：在一个多媒体系统的实际运作过程中，总存在一些妨碍准确恢复时域场景的因素，如，其他进程对CPU的抢占、缓冲区溢出、传输带宽不足，这些因素会导致时域事件相对位置发生变化。这种偏差过大，会降低多媒体同步的质量。同步容限：是用户与同步机制之间就偏差许可范围所达成的协议，同步机制根据同步容限，保证在恢复的场景中，事件偏差落在许可的范围内。第6章 多媒体同步 第6章 多媒体同步 6.3多媒体

10、同步的多媒体同步的4层参考模型层参考模型4层参考模型的重要意义在于，它规定了同步机制应有的层次，以及各层所应完成的主要任务；同步工作机制，主要指：媒体层、流层、对象层；第6章 多媒体同步 第6章 多媒体同步 1、媒体层媒体层处于同步机制的底层，是同步机制和底层服务系统的接口，媒体层的主要作用是：从设备获取（收）或向上层提交（发）LDU；如：媒体层接口的读数据函数 Read（Devicehandle，LDU） 写数据函数 Write（Devicehandle，LDU） 媒体层的处理对象是来自连续码流（如音频视频数据流）的LDU。其中，具体分配的 LDU的大小由该数据的同步容限决定；媒体层对 LD

11、U的处理，需要底层服务系统（如：操作系统、通信系统）提供必要的资源预留及管理措施（如：QoS保障服务）；媒体层的同步质量较差，主要是因为媒体层其内部不包含任何同步控制的操作，而且各设备的媒体数据读写速度差异较大；第6章 多媒体同步 2、流层流层是同步机制的最重要的一层，它根据数据的同步容限，执行和实现严格的同步；流层主要完成流内同步和流间同步； 流层的处理对象是连续码流或码流组，是将来自媒体层的LDU，按流内同步和流间同步的要求组合成连续码流或码流组；流层还需要向媒体层下达QoS要求，例如：传输LDU时，LDU的最大延时和延时抖动范围等等；媒体层再依照流层的要求，去向底层服务系统申请资源及Qo

12、S 保障；流层处理来自媒体层的LDU之前，首先需要根据同步容限选定LDU的处理方案（何时、对何LDU、作何种处理）；第6章 多媒体同步 3、对象层对象层，主要完成媒体对象之间的同步，可以针对不同类型的媒体对象（连续媒体对象、非连续媒体对象）进行统一的处理； 对象层的接口功能函数，如：prepare、run、stop、destroy，通常是以一个完整的多媒体对象为处理参数； 对象层需要负责两项工作：第一，从规范层（更上一层）提供的同步描述数据出发，推导得出必要的调度方案（显示调度、通信调度）；同时了解媒体层的底层服务系统的现有资源情况；第二，进行一些必要的初始化；（首先，对象层把调度方案及同步容

13、限中与连续媒体对象有关的部分，提交给流层进行初始化； 然后，对象层要求媒体层向底层系统申请必要的资源和QoS保障；同时，完成其他的一些设备的初始化；） 4、规范层（负责提供媒体对象的同步描述数据，但是，规范层已不属于同步工作机制的范畴了；）第6章 多媒体同步 6.4.3影响多媒体同步的因素影响多媒体同步的因素id1、延时抖动延时抖动：信号从一点传输到另一点所经历的时间的变化，一般用 来表示；延时抖动范围：同步容限所容许的延时抖动的最大值、最小值的范围，如： ；延时抖动，会破坏实时媒体内部以及实时媒体之间的同步；maxmindddi第6章 多媒体同步 第6章 多媒体同步 2、时钟频率偏差在无全局

14、时钟的情况下，分布式多媒体信源、信宿的时钟频率可能存在偏差，会影响到多媒体数据的同步。如果信源的时钟频率低于信宿的时钟频率，那么经过一段时间后，在接收端可能产生数据不足（播放时刻提前）的现象，如图6-23 b图；如果信源的时钟频率高于信宿的时钟频率，那么经过一段时间后，在接收端的缓存器可能产生数据溢出（来不及播放）的现象，如图6-23 a图；第6章 多媒体同步 6.5 连续媒体内部的同步连续媒体内部的同步6.5.1基于播放时限的同步方法基于播放时限的同步方法通常为了消除信道的延时抖动对连续多媒体数据的LDU序列的同步的影响，是让接收到的LDU先进入一个缓存器对LDU序列重新整理，在对延时抖动进

15、行过滤和消除后，再让缓存器向播放器（或解码器）输出一个连续的、符合同步容限要求的LDU序列流；控制播放时限，可以消除延时抖动的影响，从而实现流内同步；第6章 多媒体同步 1、基于播放时限控制，以消除延时抖动影响的流内同步模型：其中，i 是LDU的包序号 ； t(i) 是第 i 个LDU的发送时刻 ； d(i) 是LDU的在信道的传输延时 ； a(i) 是第 i 个LDU到达缓存器的时刻 ； p(i) 是第 i 个LDU的播放时刻 ；适用条件：收、发端的时钟同步，且信道的延时抖动在一个确定范围内；第6章 多媒体同步 2、与播放时限有关的几个时间上的约束关系（1） a(i) = t(i) + d(

16、i) （6-1式） （2） p(i) a(i) （6-3式） 第第i个个LDU包包到达时刻到达时刻第第i个个LDU包包发送时刻发送时刻第第i个个LDU包包在信道的延时在信道的延时第第i个个LDU包包播放时刻播放时刻第第i个个LDU包包到达时刻到达时刻即：第i个LDU包的播放时间必须晚于该包的到达时间；而且，p（i）规定了第i个LDU到达的最后期限；第6章 多媒体同步 2、与播放时限有关的几个时间上的约束关系（3） p(i) p(i-1) = t(i) t(i-1) (i=2,3, )； （6-4式） 播放端的播放端的时间约束关系时间约束关系 发送端的发送端的 时间约束关系时间约束关系即：播放过

17、程中必须保持（信源发送端）原有的多媒体数据的时间约束关系；（4）LDU包在信道的延时的抖动范围)26()(maxmin式didd 第第i个个LDU在信道上的延时在信道上的延时第6章 多媒体同步 2、与播放时限有关的几个时间上的约束关系（5）第 i 个LDU包在缓存器中缓存停留的时间)()(iaip第6章 多媒体同步 3、起始播放延时（D）及缓存器最大容量（B）起始播放延时（D）：当延时抖动限定在一定的范围内时，接收端在接收到第1个LDU包后必须推迟一段时间D，即D= p(1) a(1) ，再开始播放，才能保证整个播放过程不间断；根据6-4式，有： p(i) p(i-1) = t(i) t(i-

18、1) ； p(i-1) p(i-2) = t(i-1) t(i-2) ； p(2) p(1) = t(2) t(1) ；可得： p(i) p(1) = t(i) t(1) (i=2,3, ) (6-5式)等号左边、右边分别相加，抵消、整理，（1）描述方式一： 设t(i) 不发送，即LDU包头中不带有时间戳t(i)数据，表达式中不出现t(i)数据；第6章 多媒体同步 由6-1式及6-5式有： p(i) a(i) = p(1) a(1) d(i) d(1) (i=2,3, ) (6-6式)又由 p(i) a(i) （6-3式）可知 p(i) a(i) 0 即：p(i) a(i) = p(1) a(

19、1) d(i) d(1) 0 (i=2,3, )整理可得：p(1) a(1) d(i) d(1) (i=2,3, ) (6-7式)取最坏的情况： )(,) 1 (maxmindiddd则：minmax), 3 , 2()1 ()() 1 () 1 (ddididMaxapD第6章 多媒体同步 说明：（）按最坏的情况：第1个LDU的延时时间最小；（）如果接收到第1个LDU时就立即播放，那么对于任何一个传输延时大于 的LDU，当需要播放它的时候，它没有到达；（）如果播放的起始时间定在D，则延时最大的第i个LDU的播放时刻正好与它的到达时刻相同，就消除了播放的不连续性；mind（I）（II）（III

20、）第6章 多媒体同步 缓存器的最大容量（B）：接收端缓存器可以消除延时抖动，但要保证缓存器不溢出，要设计缓存器的最大容量； 第i个LDU在缓存器中缓存的时间为： p(i) a(i) ;则，单个LDU的最大缓存时间，为：), 3 , 2()1 ()(min)()96(), 3 , 2()()(minmaxididddiiaipMaxBt式当 时， 取最小值； 有：maxmin) 1 (,)(dddid)1 ()(mindid)(2), 3 , 2()(minmaxmaxminminmaxddiddddBt不一致？不一致？（式6-10有误）第6章 多媒体同步 )(), 3 , 2()(), 3 ,

21、 2()1 ()(min)()96(), 3 , 2()()(minmaxminminminmaxminmaxddjddddjdjdddjjajpMaxBt式已知 ，则 时 取最小值； 有：)1 ()(mindjdmin) 1 (ddmin)(djd第6章 多媒体同步 缓存器的最大容量 B 为：rBBt -播放速率，即：每秒钟传输的LDU的数目；rtB -单个LDU在缓存器中的最大缓存时间；第6章 多媒体同步 （2）描述方式二： t(i) 发送，即：LDU包头中含有时间戳t(i)数据，表达式中出现t(i)数据；则，由式6-6有： p(i) a(i) = p(1) a(1) d(i) d(1)

22、(i=2,3, ) (式6-6) = p(1) a(1) d(1) d(i) (i=2,3, ) 又由式6-1，有：a(1) d(1) = t(1)所以，式6-6变为： p(i) a(i) = p(1) t(1) d(i) (i=2,3, ) (式6-6-2) 根据 p(i) a(i) 0，有： p(i) a(i) = p(1) t(1) d(i) 0 (式6-6-3) 取i=1，则起始播放延时 D = p(1) a(1) = p(1) t(1) d(1) ；第6章 多媒体同步 由式6-6-3，有：p(1) t(1) +d(i) ， 可选取 p(1) = t(1) +maxd(i)= t(1)

23、 + dmax ；则，起始播放延时 D = p(1) a(1) = p(1) t(1) d(1) = dmax d(1) 单个LDU的最大缓存时间，为：minmaxmax), 3 , 2()(), 3 , 2()() 1 () 1 (), 3 , 2()()(ddiidMindiidtpMaxiiaipMaxBt最坏情况下：D= dmax dmin ；第6章 多媒体同步 6.5.2基于缓存数据量的同步方法基于缓存数据量的同步方法上节的基于播放时限控制的同步方法，适用于收发时钟同步、且延时抖动在一个确定范围内的情况；本节将介绍一种更一般情况下的同步；1、基于缓存数据量控制的系统模型上述模型中，缓

24、存器中的数据量是变化的，需要周期性地检测缓存的数据量，如果发生溢出或变空，会触发再同步，需要采取措施进行再同步；图a，为在信宿端进行再同步；图b，为在信源端进行再同步；再同步再同步机制机制第6章 多媒体同步 2、环路工作原理（1）环路滤波器环路滤波器的作用是：将由短期（高频）延时抖动引起的缓存数据量的波动平滑掉，只有长期（低频）缓存量的变化才会触发后级的控制函数 工作；)116()1 ()(1ttttqbqSbtq： t 时刻的缓存数据量 ；tb： 平滑后的缓存数据量 ；： 再同步机制启动的灵敏度控制因子；1tb： 前一个平滑后的缓存数据量；)(tbC第6章 多媒体同步 （2）反馈调节机制控制

25、函数 将 与预先设定的缓存警戒线相比较，在正常的情况下， 在上警戒线UW和下警戒线LW之间浮动；)(tbCtbtb如果 超过警戒线，则缓存器有溢出或变空的危险，则启动再同步机制：以图6-26a为例，信宿会按下式调整播放速率，tb)126()1 (CRRR)136(2/ )(LLWUWLWbRtCLRRC其中，：为正常播放速率；：为相对调节比率；：为再同步的调整期时间段；再同步调整期 L 结束时，控制函数会检查 是否回到正常值范围内；如果回落，则将 恢复为R，否则，启动一个新的再同步；tbRR：为调整期的播放速率第6章 多媒体同步 ：是由反馈滤波器引起的由 到 的响应延迟，是响应延迟的主要原因；

26、tqtb ：缓存器的正常容量， 由基于播放时限的同步机制（6.5.1节的式6-10 ）确定；其中，ab：附加的缓存器容量；（因为再同步启动有个响应过程，会发生响应延迟；加入ba 可使延迟后的缓存数据量落在（LW，UW）范围内；）B正常同步作用范围再同步作用区域再同步作用区域第6章 多媒体同步 6.6媒体流之间的同步媒体流之间的同步主流：在考虑媒体流之间的时间约束关系时，通常选择其中一条媒体LDU流的时间轴作为基准，称为主流；从流：其余的媒体流，称为从流；当媒体流之间的同步关系遭到破坏时，一般保持主流的播放速率不变，调整从流的播放速率；对于音频流和视频流，由于听觉的敏感度比视觉的敏感度要高，所以

27、通常选择音频流为主流，视频流为从流；第6章 多媒体同步 6.6.1 基于全局时钟的时间戳方法基于全局时钟的时间戳方法条件：所有的各个信源和信宿都有统一的全局时钟；同步设计思想同步设计思想：如果2个信源组能在同一时刻。如：t1，开始传送数据，而接收端，从 t1开始等待一个最大延时 后才开始播放，就能达到组同步的目的。可以设计一个启动器来建立组成员的共同起始时刻 t1；,max21dd第6章 多媒体同步 视频信源视频信源A：视频； B：音频；t0：参考时刻；t1：同步区间的起始时刻（各信源从t1 时刻开始向外发送LDU）；d1：视频的信道延时；d2：音频的信道延时；I：启动器（向ABC发送控制信息

28、，如：t0、t1等等）；音频信源音频信源1、流间同步模型、流间同步模型启动器启动器信宿信宿第6章 多媒体同步 2、流间同步实现过程、流间同步实现过程（1）t0-t1 时间阶段：为同步的预备时间，信宿和信源之间要完成同步控制信息数据，如： 的交换；jd（2）t1 时刻之后：各信源给每个LDU打上时间戳（截）（在包头中）；第i个LDU的时间戳（截）为：0)()(titits)(it：为第i个LDU发送的全局时钟时刻；（3）信宿收到第j个信源的第i个LDU包的时刻为： ；jsditt)(0（4）各信源的第i个LDU在信宿端同时同步播放的时刻为： max,)()(0jsdittiT第6章 多媒体同步

29、6.6.2 基于反馈的流间同步方法基于反馈的流间同步方法适用于更一般的情况，如：（1）用户及服务器的时钟都是独立的；（2）各用户的起始播放时间也不精确地相同；（3）服务器到各用户的距离大致相等，传输延时在 范围内；,maxmindd相对时间戳（RTS）：各媒体流的LDU序列按距自己的第1个LDU起始时刻的相对距离标记的时间戳，称为相对时间戳；第6章 多媒体同步 1、基于反馈的流间同步原理不同的媒体流之间，需要同步播放的LDU的RTS应相同；当向用户发送数据时，作为多媒体信源的服务器根据RTS来提取和发送调度，不同流内具有相同的RTS的LDU被服务器同时提取出来，并被送到相应的通信线路上去；为了

30、检测同步状况，用户端在播放某个LDU的同时，会将该LDU的RTS反馈给服务器；服务器周期性地比较各用户反馈回来的RTS值，就可以检测出各条流之间的同步状况；对于某多媒体信息查询系统：第6章 多媒体同步 其中： 、 为A、B两地返回多媒体信息服务器的反馈单元；baff 、 为反馈单元到达服务器的时刻；ba 、 为反馈单元发送的最早、最晚时刻；lett 为流间同步所允许的最大偏差（同步容限）； 、 为反馈单元真正发送时刻，它们落在式6-15式6-18所定义的区间内； 、 也与A、B两点的播放进度密切相联；)()(baftft)()(baftft第6章 多媒体同步 、 满足以下关系式：)()(baf

31、tft)216()()(),()(max)()(bealaeblbaftftftftftft如果)226()()(),()(maxbealaeblftftftft则有：)236()()(baftft讨论：讨论：（1）如果A、B两地的播放已精确同步，则RTS相同的反馈单元的发送时刻相等，即： ；服务器根据RTS相同的反馈单元的到达时刻 、 按式6-15式6-18进行计算，判断式6-22是否满足；)()(baftftba（2）如果式6-22不满足，则说明A、B两地播放不同步，需要调整，调整可以按照主流、从流的同步调整方法来进行；第6章 多媒体同步 6.7.1 基于接收缓存器的方法基于接收缓存器的方

32、法收、发时钟之间如果只存在固定的时间偏差，不会对多媒体同步造成破坏；如果收、发时钟之间存在频率偏差，就会产生图6-23所示的现象；本节讨论收、发时钟之间存在固定的频率偏差的多媒体同步问题；可以设计一个合适的起始时刻偏移量D和缓存器容量B，来避免图6-23所示的数据溢出（来不及播放）或数据尚未到达（播放提前）等现象；6.7 接收与发送时钟的同步接收与发送时钟的同步第6章 多媒体同步 设LDU流按发送时钟进入接收缓存器B，然后按接收端时钟输出并进行播放；如果不考虑信道的延时抖动，则，按发送时钟 Cs 计量的LDU到达的时间间隔，应等于其发送端的时间间隔，即：)266() 1 ()() 1 ()(sssstitaia则，第 i 个LDU在缓存器中缓存的时间为：)()(iaipsr其中， 为按接收时钟 Cr 计量的第 i 个LDU的播放时刻；)(ipr1、基于接收缓存器的同步模型第6章 多媒体同步 2、缓存器的容量设计为了平滑由收发时钟频率偏差引起的数据波动，所需的缓存器容量为：)276(), 3 , 2()1 () 1 ()()(maxiapiaipBsrsr其中， 为播放起始时刻偏移量D ；)1 () 1 (srap)()(iaipsr为第i个