多媒体同步技术.ppt

1,多媒体通信技术,西南科技大学信息工程学院,授课教师：吴静电话：6089322址：东6A515，通信与网络实验室Email：wujing答疑地点：东6A515，通信与网络技术实验室答疑时间：周1下午，周4晚上,2,第九章多媒体通信同步技术,3,9.1概述9.2多媒体同步参考模型9.3同步描述方法9.4同步控制机制1.分布式多媒体系统中的同步2.连续媒体内部的同步3.媒体流之间的同步,4,9.1概述,同步与统一的时间基准相关联已知同步？时钟同步帧同步网同步本章讨论的同步是？多媒体同步媒体内同步、媒体间同步,5,一、多媒体数据,媒体的种类依赖于时间关系的媒体独立于时间关系的媒体媒体数据的时域约束关系媒体对象在时间上的相对依赖关系连续媒体对象的各个LDU之间的相对时间关系各媒体对象之间的相对时间关系多媒体数据的构成成分数据同步规范同步描述数据同步容限,6,多媒体数据的构成,7,多媒体同步：保持和维护各媒体之间和各媒体对象内部存在的事态关系，组织多种媒体序列以实现某种特定的表现。多媒体同步所研究的主要问题：如何表示多媒体数据的时域特征；在处理多媒体数据时，如何维护时域特征。,8,二、同步的类型,上层同步（用户级同步）中层同步（媒体间同步）底层同步（媒体内同步）,9,1.用户级同步,描述方式：从用户的角度设计模型框架，体现用户的交互性，容易被用户理解和使用。控制机制：事件驱动同步，发生在系统中某一节点需要起始动作的情况下。,10,2.媒体间的同步关系,媒体间的同步关系即流间同步。将不同类型的媒体数据流按一定的时间关系进行合成，保证不同媒体间的时间关系。如：音频和视频之间的时态关系,音频和文本之间的时态关系等,表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关,11,多媒体系统的同步控制必须保证在同步点上各个媒体之间能够保持时间关系。例：一个有语音讲解的多媒体幻灯片,其讲解必须和一组画面同时表现,且随着画面的显示,讲解是顺序的。这里的同步点处于画面的改变点和讲解的起始点与结束点。一个可视电话系统,其语音和图像序列通过通信网络传输到接收端,且必须同步地在接收设备上演示,以保持口型和声音同步。,12,媒体内的时间关系即流内同步,主要是保证单个媒体流之间的简单时态关系,也就是按一定的时间要求传送每一个媒体对象,其表现为媒体流的连续性,以满足人类感知上的要求。流内同步的复杂性不仅和单个媒体的种类有关,而且和分布式系统提供的服务质量（QualityofService,QoS）有关。同时,也和源端和目的端操作系统的实时性有关。,3.媒体内的同步关系,13,三、影响媒体同步的因素,延时偏移媒体间信道不同产生不同延时延时抖动传输过程中的延时偏差最大延时与最小延时之差时钟漂移端系统之间的时钟频率变化一段时间间隔内的平均抖动数据丢失,14,9.2多媒体同步参考模型,多媒体同步参考模型用于从整体上描述媒体之间的时序关系。参考点同步模型将连续媒体看作是一系列离散的子单元构成的序列，一个子单元所在的位置称为一个参考点时间轴同步模型所有媒体对象彼此独立地依赖同一时间轴。层次同步模型对多媒体同步进行分层处理，规定了同步机制所应有的层次及各层所应完成的主要任务。,15,1.逻辑数据单元（LDU）,LDU1,LDU2,LDU3,LDU4,LDU5,.,t,40ms,40ms,时间相关媒体流的基本信息单元LDU的划分与应用、编码方式、数据存储方式有关。例：一帧图像为一个LDU，每秒25帧，两个LDU之间的时间40ms。,16,视频帧1,视频帧2,视频帧3,视频帧n,音频1,视频帧3,音频1,音频1,不同媒体LDU同步关系示例,17,2.同步容限,事件间偏差对象内偏差同一媒体对象的时域事件之间的偏差对象间偏差不同媒体对象的时域事件之间的偏差同步容限用户与同步机制之间就偏差的许可范围所达成的协议。同步机制保证恢复后的时域场景中，事件间的偏差在同步容限内,18,3.层次同步模型,19,同步工作过程,按照同步描述数据生成调度方案根据同步容限及多媒体数据特点申请资源同步控制机制按照同步容限要求完成对偏差的控制，维持多媒体数据的时域关系。,20,1.媒体层,处理来自于连续码流的LDU，LDU的大小与同步容限相关。同步容限越小，LDU越小同步机制与底层服务系统之间的接口，向上提供与设备无关的操作，内部不包含同步控制操作。任务：申请资源访问各类接口函数，完成LDU的I/O,21,2.流层,处理连续码流或码流组，完成流内同步和流间同步。流层将连续码流作为一个整体进行处理，向上层用户提供各种功能函数。（面向连续码流）任务：确定LDU大小及对LDU的处理方案向媒体层提交QoS要求实施流内和流间的同步控制,22,3.对象层,对不同类型的媒体对象进行统一地处理，实现连续媒体和非连续媒体之间的同步，并完成非连续媒体对象的处理。任务：制定调度方案：同步容限、媒体信息、资源情况系统初始化执行调度方案：非连续媒体与连续媒体对象之间的同步控制,23,4.描述层,处理多媒体应用生成的时域场景。解决各场景的安排与对象同步的描述问题。为用户提供描述多媒体数据时域约束关系的工具。描述层产生同步描述数据和同步容限，提供给对象层。,24,如何描述多媒体数据的时域特征，对多媒体数据的时域特征进行抽象、描述以及给出必要的同步容限。对象同步关系的描述同步的服务质量的描述方法：1.基于路径的描述方法2.基于Petri网的描述方法3.基于时间标记的描述方法,9.3多媒体信息同步描述法,25,描述时域特征的时间模型,时间模型的构成基本时间单位关联信息时间表示技术,26,基本时间单位,表示时域场景中的事件时刻间隔,27,关联信息,反映时域事件的组织方式定量关联信息事件独立，单独的描述时域事件在场景中的位置，间接反映事件间的关系定性关联信息事件彼此相关，关联信息包含的是对时域事件约束关系的描述,28,1.基于路径的描述方法,动作动作和时间的关系路径表达式,29,）动作,动作：表示发生的事情同步点：一个动作的某些事件和别的动作的某些事件点有对应关系，这个事件称为同步点动作分类：原子动作：起始点之间不再有同步点的动作复合动作：,30,2）动作和时间的关系：,先于衔接包含相交同始同终平行,31,32,3）路径表达式,由路径操作符来定义动作的同步ABABA;BA/BAi*N:A,33,将对象分成SIU(同步间隔单元）,2.基于Petri网的描述法,34,OCPN模型（对象合成Petri网）,OCPN模型描述了媒体对象内和媒体对象间的时间关系，它是一个定时Petri网。用一个六元组表示:OCPN=T,P,A,D,R,M,35,T=t1,t2,tn为变迁集,ti表示同步点和处理位置,在图中用短垂直棒表示。P=p1,p2,pm为位置集,pi表示进程,并假定变迁瞬时发生,故pi具有相应状态,在图中用圆表示。A:TPPTI=1,2,是有向孤集,在图中用箭头表示。D:PRe定义了由位置集向实数集的映射,实数集Re表示OCPN中的时间约束。R:Pr1,r2,rk定义了由位置集向资源集r1,r2,rk的映射。M:PI,I=1,2,定义了由位置集向整数集的映射,它表示位置集中的标记(token)分布。,36,XOCPN是在OCPN模型的基础上扩展了对多媒体对象通信和同步机理的描述。用一个八元组XOCPN=T,P,A,D,R,M,Y,Z表示,也就是在OCPN模型的基础上扩展了两个映射函数Y（pi）和Z（pi）:Y:P控制,对象定义了位置集向位置类型集的映射。位置分为对象位置和控制位置两种。Z:P动作,函数地址,同步单元地址,通信和同步的信息地址定义了由位置集向地址集的映射。,37,38,OCPN中的位置分成对象位置和控制位置两种。(1)对象位置它表示媒体对象的播放进程,每个对象位置与媒体对象的一个同步单元（SIU）相对应。每个对象位置Pi指定一个时间间隔,一个时间间隔与其对应的SIU的时间间隔相等,由映射函数Z(Pi)保持的SIU的地址可以是一个缓冲器指针。每个对象位置表示如下两种操作之一:Action.SIUPlayout:在媒体输出设备上播放相关的同步单元。Action.SIUTransmit:向指定的虚电路通道发送相关的同步单元。,39,(2)控制位置它表示基于XOCPN语义的控制过程,在其上执行的操作有资源的建立,资源的释放以及媒体间的同步等,即:Action.ResourceSetup:建立虚电路信道、按用户设置的QoS参数的协商信道属性、分配接收端缓冲器、预备输出设备等。其中,资源（Resource）定义了通信通道、缓冲器或输出设备等。Action.ResourceRelease:在媒体对象完成播出后,立即释放所占用的资源。Action.InterstreamSynchronize:按所希望的同步策略实现流间同步机制。,40,(1)中断同步(2)受限中断同步,流内同步机制(a)中断同步；(b)受限中断同步,1）流内同步,41,对于流间同步,XOCPN模型也支持两种同步机制:中断和非中断。(1)流间中断同步将在Nxocpn中的每一个IPP（流间播放点）处中断快速流的播放过程,直到所有需要同步的媒体流都到达IPP才播放。（）非中断同步将在Nxocpn中的每一个IPP点收集有关流间的同步状态信息,然后根据所收集的同步状态信息进行某些校正动作,这些校正动作分成两种:,2）流间同步,42,流间同步机制,43,一个电视新闻广播时间线的例子,44,电视新闻广播的XOCPN,45,3.基于同步标记的描述法,在数据生成过程中在数据流中加入同步标记的方法。同步标记形式有形标记：如以信息帧的形式插入到媒体数据流中;逻辑标记：如相对数据量和相对时间。,46,时间标记：,多媒体对象起始媒体单元位于时间系统的零点，一个媒体单元在相对时间系统中的位置。将各个媒体流映射到一个逻辑时间轴上,赋予每个媒体单元一个时戳(Timestamp),以此来标识媒体单元相对于逻辑时间轴起始点的时域位置。逻辑时间轴的单位应小于最小媒体单元的持续时间,从而使同一媒体中两个不同的媒体单元的时戳相异。在媒体表现过程中,具有相同时戳的媒体单元同步播放。,47,图3.6RTP报头格式,RTP协议中的时间标志,48,其中:V:RTP协议的版本号,占2位。当前协议版本号为2。P:填充标志,占1位。如果P=1,则在该报文的尾部将填充一个或多个额外的八位组。X:扩展标志，占1位。如果X=1,则在RTP报头后跟有一个扩展报头。CC:CSRC计数器,占4位,指示CSRC标识符的个数。M:标记,占1位,不同的有效载荷有不同的含义。对于视频,标记一帧的结束;对于音频,标记会话的开始。PT:有效载荷类型,占7位,用于说明RTP报文中有效载荷的类型。例如,GSM音频、JPEM视频等。,49,序列号:占16位,用于标识发送者所发送的RTP报文的序列号;每发送一个报文,序列号增1。接收者通过序列号来检测报文丢失情况,重新排序报文,恢复数据。时戳(Timestamp):占32位,时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动,并进行同步控制。同步信源(SSRC)标识符:占32位,用于标识同步信源。该标识符是随机选择的,参加同一视频会议的两个同步信源不能有相同的SSRC。特约信源(CSRC)标识符:每个CSRC标识符占32位,可以有015个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。,50,设备驱动法：连接驱动法：,典型的时戳递进策略,51,(1)设备驱动法,源于主设备的媒体单元的时戳在主设备时钟控制下递进；源于从设备的媒体单元的时戳的递进要经过调节过程的处理,使从设备媒体单元与同时生成的主设备媒体单元具有相同的时戳。选择主设备时的考虑因素有:时钟频率的精确性和媒体源的重要性等。例如,声音媒体和图像媒体中,通常选择声音频媒体源作为主设备,因为声音媒体的时间误差易被人们的听觉感受;也可以选择外部时钟源作为主设备。,52,(2)连接驱动法,在分布式网络环境中,媒体单元时戳递进率取决于某一网络连接的数据传输率。,53,上讲内容,1同步任务：维持媒体内、媒体间的时间关系。2同步的类型：用户级同步、媒体间同步、媒体内同步3多媒体数据的组成：成分数据、同步数据（同步描述数据、同步容限）、逻辑数据单元（LDU）。4同步描述方法：基于路径的描述方法：基于OCPN模型的描述方法基于时间标记的描述方法,54,课后练习,路径描述表达式：？,55,同步控制机制：理解同步描述数据所定义的时域特征，并根据用户所要求的同步容限，完成对改特征的维护。内容：分布式多媒体系统中的同步连续媒体内部的同步媒体流之间的同步,9.4多媒体同步控制机制,56,多路复用同步技术,将多个媒体流的数据复用到一个数据流中，从而使他们在传输中自然保持媒体间的同步关系。例：MPEG-2标准中TS流的形成,57,58,一、分布式多媒体系统中的同步,分布式系统结构：点对点、点对多点、多点对点、多点对多点,S,D,S,D,S,D,S,D,S,D,59,2同步规范的传送方式：,提前传送法传送多媒体数据之前，将整个播放过程所需同步规范以文件方式传送到接收端，以备播放时参照。辅助通道传送法使用附加逻辑通道专门传送同步规范文件插入同步标记法将同步规范与成分数据复接在一起使用一个通道传送,60,3.影响媒体同步的因素,延时偏移媒体间信道不同产生不同延时延时抖动传输过程中的延时偏差最大延时与最小延时之差时钟漂移端系统之间的时钟频率变化一段时间间隔内的平均抖动数据丢失,61,传输延时抖动对多媒体同步的破坏,服务器,用户,音频数据,视频数据,网络,62,时钟偏差对同步的影响,信源和信宿之间时钟存在偏差，经过一段时间后，接收端数据不足，破坏连续媒体播放的连续性例：时钟偏差10-3秒，90分钟后，偏差5.4秒，播放质量无法保证。一秒内时钟偏差10-6秒，90分钟后，偏差5.4ms，可以忽略。,63,网络时钟同步协议Internet的网络时钟协议NTP（NetworkTimeProtocol），中央时间服务器维护一个高精度和高稳定度的时钟，时间服务器向各站点周期性广播定时信号，各站点以此为基准调整本地时钟各站点同步时钟的精度保持在毫秒级,64,4、多级同步机制,在分布式多媒体系统中，同步通常是分多步完成的，涉及到系统的各个部分。采集多媒体数据及存储多媒体数据时的同步从存储设备中提取多媒体数据时的同步发送多媒体数据时的同步多媒体数据传输过程中的同步接收多媒体数据时的同步输出设备内部的同步,发送、传输和接收过程中的同步控制机制,65,二、连续媒体内部的同步,连续媒体是由若干个LDU构成的时间序列，LDU之间存在固定时间关系，当网络传输存在抖动时，连续媒体内部LDU的相互时间间隔则发生变化，这时接收端需要采取一定的措施恢复原来的时间关系。,服务器,用户,LDU,网络,66,处理方法：接收端设置缓存，延时抖动进行过滤技术：基于播放时限的同步方法基于缓存数据量控制的同步方法,信源,缓存器,播放器(解码器),传输线路,67,1.基于播放时限的同步方法,限定播放延迟时间主要问题？播放延迟时间缓存器如何设计,信源,缓存器,播放器(解码器),传输线路,r,68,设任意LDU：发送时刻为t(i)到达时刻为a(i)播放时刻为p(i)传输时延为d(i)最大延时dmax，最小延时dmin播放速度为r每秒传送的LDU个数,69,1,2,i,1,2,i,dmin,dmax,1,2,i,T,实时数据的发送、接收和播放时间关系,t(i),a(i),p(i),T=?,70,播放延迟时间,71,在延时抖动已限定在一定范围的条件下，接收端在接收到第1个LDU之后，必须延迟一段时间T再开始播放，才能保证整个播放过程不间断。,72,缓存器的最大容量,最大缓存时间Bt,73,缓存器的最大容量,缓存器的最大容量B：设播放速度为r，则：,74,2.基于缓存数据量控制的同步方法,周期性检测缓存数据量，如果缓存数据量超过预定警戒限时，认为存在不同步现象，采取措施进行再同步。,措施？接收端调节发送端调节,75,接收端再同步,信源,缓存器,播放器,传输线路,控制函数,反馈滤波器,：t时刻的缓存数据量,：反馈滤波器,：t时刻的缓存数据量,：控制函数,76,发送端再同步：,信源,缓存器,播放器,传输线路,控制函数,反馈滤波器,：t时刻的缓存数据量,：反馈滤波器,：t时刻的缓存数据量,：控制函数,77,同步操作过程,滤波器输出：通过滤波器后，平滑掉短期延时抖动引起的缓存数据量波动，只有由时钟漂移、网络传输条件改变等因素引起的长期缓存数据量变化才会触发控制函数的工作,为平滑因子，其取值影响滤波器的灵敏度。过大，同步控制机制启动慢，缓冲器溢出或空过小，延时抖动引起的缓存数据量微小变化也会不必要的启动再同步机制，系统不稳定,78,播放速度调整：,控制函数将平滑后的缓存数据量于预先设定的缓存数据量警戒线比较，如果超出警戒线，启动再同步机制。,B,ba,LW,UW,ba,播放速率调整：,相对调整速率,再同步调整期,79,缓存器容量,B,ba,LW,UW,ba,B：已知延时条件下的缓存容量,滞后,ba：附加缓存容量，容纳再同步机制延迟时间的数据,80,三、媒体流之间的同步,1基于反馈的流间同步方法2基于全局时钟的时间戳方法3基于RTP协议的同步控制机制,81,1.基于反馈的流间同步机制,在网络环境下，基于反馈的同步机制是常用的同步方法。关键点：失调检测控制机制：发送端控制接收端控制,82,例：,到达用户A音频流和到达用户B的视频流必须符合二者间的同步要求。,服务器,A,B,fa,fb,fafb:反馈单元,83,条件：无全局时钟延时在dmin，dmax之间工作过程：服务器根据相对时间戳同时提取不同流的并送到通信线路；由于各种因素影响，各用户端播放过程进过一段时间不同步；用户端在播放某个LDU时，将该LDU的时间戳返回服务器；服务器周期性比较反馈回来的数据，可检测出各条流之间的同步情况。,84,同步过程:,估计与反馈信息相对应的媒体单元在从设备上的最早