多媒体通信技术培训课程

多媒体通信技术西南科技大学信息工程学院授课教师：吴静电话：6089322，地址：东6A515，通信与网络实验室E–mail：答疑地点：东6A515，通信与网络技术实验室答疑时间：周1下午，周4晚上1第九章多媒体通信同步技术29.1概述9.2多媒体同步参考模型9.3同步描述方法9.4同步控制机制1.分布式多媒体系统中的同步2.连续媒体内部的同步3.媒体流之间的同步39.1概述同步与统一的时间基准相关联已知同步？时钟同步帧同步网同步本章讨论的同步是？多媒体同步——媒体内同步、媒体间同步4一、多媒体数据媒体的种类依赖于时间关系的媒体独立于时间关系的媒体媒体数据的时域约束关系媒体对象在时间上的相对依赖关系连续媒体对象的各个LDU之间的相对时间关系各媒体对象之间的相对时间关系多媒体数据的构成成分数据同步规范同步描述数据同步容限5多媒体数据的构成多媒体数据成分数据同步规范文本数据图形数据音频数据视频数据同步描述数据同步容限6多媒体同步：保持和维护各媒体之间和各媒体对象内部存在的事态关系，组织多种媒体序列以实现某种特定的表现。多媒体同步所研究的主要问题：如何表示多媒体数据的时域特征；在处理多媒体数据时，如何维护时域特征。7二、同步的类型上层同步（用户级同步）中层同步（媒体间同步）底层同步（媒体内同步）81.用户级同步描述方式：从用户的角度设计模型框架，体现用户的交互性，容易被用户理解和使用。控制机制：事件驱动同步，发生在系统中某一节点需要起始动作的情况下。92.媒体间的同步关系媒体间的同步关系即流间同步。将不同类型的媒体数据流按一定的时间关系进行合成，保证不同媒体间的时间关系。如：音频和视频之间的时态关系,音频和文本之间的时态关系等,表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关10多媒体系统的同步控制必须保证在同步点上各个媒体之间能够保持时间关系。例：一个有语音讲解的多媒体幻灯片,其讲解必须和一组画面同时表现,且随着画面的显示,讲解是顺序的。这里的同步点处于画面的改变点和讲解的起始点与结束点。一个可视电话系统,其语音和图像序列通过通信网络传输到接收端,且必须同步地在接收设备上演示,以保持口型和声音同步。11媒体内的时间关系即流内同步,主要是保证单个媒体流之间的简单时态关系,也就是按一定的时间要求传送每一个媒体对象,其表现为媒体流的连续性,以满足人类感知上的要求。流内同步的复杂性不仅和单个媒体的种类有关,而且和分布式系统提供的服务质量（QualityofService,QoS）有关。同时,也和源端和目的端操作系统的实时性有关。3.媒体内的同步关系12三、影响媒体同步的因素延时偏移媒体间信道不同产生不同延时延时抖动传输过程中的延时偏差最大延时与最小延时之差时钟漂移端系统之间的时钟频率变化一段时间间隔内的平均抖动数据丢失139.2多媒体同步参考模型多媒体同步参考模型用于从整体上描述媒体之间的时序关系。参考点同步模型将连续媒体看作是一系列离散的子单元构成的序列，一个子单元所在的位置称为一个参考点时间轴同步模型所有媒体对象彼此独立地依赖同一时间轴。层次同步模型对多媒体同步进行分层处理，规定了同步机制所应有的层次及各层所应完成的主要任务。141.逻辑数据单元（LDU）LDU1LDU2LDU3LDU4LDU5......t40ms40ms时间相关媒体流的基本信息单元LDU的划分与应用、编码方式、数据存储方式有关。例：一帧图像为一个LDU，每秒25帧，两个LDU之间的时间40ms。15视频帧1视频帧2视频帧3视频帧n音频1视频帧3音频1音频1不同媒体LDU同步关系示例162.同步容限事件间偏差对象内偏差同一媒体对象的时域事件之间的偏差对象间偏差不同媒体对象的时域事件之间的偏差同步容限用户与同步机制之间就偏差的许可范围所达成的协议。同步机制保证恢复后的时域场景中，事件间的偏差在同步容限内173.层次同步模型18同步工作过程按照同步描述数据生成调度方案根据同步容限及多媒体数据特点申请资源同步控制机制按照同步容限要求完成对偏差的控制，维持多媒体数据的时域关系。191.媒体层处理来自于连续码流的LDU，LDU的大小与同步容限相关。同步容限越小，LDU越小同步机制与底层服务系统之间的接口，向上提供与设备无关的操作，内部不包含同步控制操作。任务：申请资源访问各类接口函数，完成LDU的I/O202.流浓层处理连续股码流或码暴流组，完扰成流内同弯步和流努间同步。流层将涂连续码钳流作为晓一个整拒体进行惭处理，知向上层牵用户提夜供各种缺功能函职数。（爷面向连益续码流师）任务：确定LDU大小及能对LDU的处理方残案向媒体层避提交QoS要求实施流音内和流墨间的同云步控制213.对寒象层对不同挥类型的罪媒体对伙象进行丑统一地覆处理，贞实现连牌续媒体滨和非连框续媒体管之间的劲同步，爪并完成工非连续祝媒体对资象的处无理。任务：制定调朽度方案路：同步挪容限、茅媒体信筋息、资软源情况系统初辣始化执行调酬度方案拖：非连询续媒体维与连续逝媒体对辆象之间挪的同步向控制224.描醒述层处理多间媒体应乳用生成形的时域冶场景。鉴解决各撑场景的极安排与济对象同邀步的描优述问题赶。为用户押提供描旱述多媒锤体数据帅时域约宴束关系渣的工具勺。描述层产甜生同步描涛述数据和施同步容限无，提供给贡对象层。23如何描鲜述多媒偿体数据困的时域遣特征，久对多媒平体数据历的时域苗特征进吵行抽象孕、描述利以及给季出必要废的同步毁容限。对象同离步关系理的描述同步的服丛务质量的重描述方法：1.基于路艰径的描辣述方法2.基于Petr基i网的描缝述方法3.基于时尝间标记卸的描述呜方法9.3甚多媒体信肝息同步描燃述法24描述时春域特征绸的时间埋模型时间模辈型的构沉成基本时业间单位关联信吩息时间表鱼示技术25基本时间尤单位表示时抵域场景尿中的事献件时刻间隔26关联信息反映时狸域事件名的组织帽方式定量关论联信息事件独蕉立，单违独的描旦述时域辨事件在融场景中落的位置殿，间接惧反映事杠件间的悦关系定性关产联信息事件彼此谅相关，关茂联信息包若含的是对逮时域事件斥约束关系拍的描述271.朝基于路骡径的描泉述方法动作动作和时贪间的关系路径表占达式28１）动作动作：表示发生笨的事情同步点预：一个动雄作的某劈燕些事件牙和别的党动作的锯某些事些件点有品对应关露系，这通个事件托称为同仙步点动作分类丛：原子动锦作：起唤始点之严间不再助有同步漫点的动妙作复合动雾作：292）动作和蚊时间的关抖系：先于衔接包含相交同始同终平行30313）路径喜表达式由路径操雁作符来定幻玉义动作的埋同步A∧BA∨BA;BA/BAi*N:A32将对象龙分成SIU完(同步间扩隔单元步）2.基于Petr卸i网的描处述法33OCPN模型（对踏象合成Pet首ri网）OCPN模型描述您了媒体对时象内和媒裤体对象间将的时间关第系，它是一个短定时Petr滴i网。用一个寺六元组例表示:OCP其N=持{T,P巾,A,蔽D,R铸,M}34T=捐{t1坡,t2,奔…,偶tn}为变迁误集,t斧i表示同要步点和跑处理位旦置,在图中用半短垂直棒双表示。殊P=冰{复p1,状p2,秒…,烧pm候}为位置茂集,p映i表示进艰程,并假定变恼迁瞬时发扁生,故pi具有相懂应状态,在图中用埋圆表示。屡A:{尚T×P楚}∪{袍P×T适}→迫I=宜{1,2葬,…}是有向生孤集,在图中用鉴箭头表示猜。D:巩P→R茶e定义了由幅位置集向帅实数集的陷映射,实数集Re表示OCP湖N中的时间焰约束。R:P下→{r井1,r赚2,…毁,rk骗}定义了由杀位置集向铜资源集{r难1,r军2,…夏,rk株}的映射杰。M:P证→I,竭I=推{1,踪蝶2,…草}定义了有由位置舟集向整搜数集的顽映射,它表示位巴置集中的肠标记(tok浮en)分布。35XOCP饰N是在OCP法N模型的命基础上柴扩展了孟对多媒节体对象斯通信和葛同步机答理的描宪述。用一个丘八元组XOCP篮N={T,P秃,A,鼓D,R蠢,M,探Y,Z}表示,也就是在OCP孤N模型的名基础上贴扩展了州两个映搂射函数Y（pi）和Z（pi）:Y:P→{控制,对象}定义了站位置集赌向位置辆类型集召的映射厨。位畜置分为乒对象位滴置和控废制位置项两种。油Z:P→{动作,函数地廊址,同步单愈元地址,通信和遭同步的拦信息地备址}定义了遣由位置香集向地障址集的嗓映射。3637OCPN中的位置傲分成对象位置和控制位诉置两种。袋(1)对象位所置它表示媒势体对象的傍播放进程,每个对象呜位置与媒别体对象的云一个同步据单元（SIU）相对应卷。每个眉对象位置Pi指定一停个时间迫间隔,一个时间庆间隔与其碗对应的SIU的时间谨间隔相际等,由映射恢函数Z(Pi)保持的SIU的地址可允以是一个惹缓冲器指材针。每个号对象位置著表示如下耀两种操作庄之一:·Ac洒tio件n.S蔬IU裕Pla朴you部t:在媒体哲输出设艰备上播旺放相关革的同步街单元。系·Act消ion.仗SIU凑Tran捕smit塞:向指定查的虚电尚路通道当发送相驰关的同誉步单元沙。38(2)控制位置兰它表示劫基于XOC阅PN语义的控爱制过程,在其上乡丰执行的众操作有盲资源的弦建立,资源的释暑放以及媒妹体间的同拨步等,即:·Ac径tio错n.烂Res腥our贼ce融Set系up:建立虚电幅路信道、份按用户设冰置的QoS参数的协避商信道属屋性、分配姥接收端缓廊冲器、预缴备输出设计备等。慌其中,资源（Reso改urce）定义了秒通信通道靠、缓冲器半或输出设旅备等。·Act蒜ion.屡Res捷ourc冶eRe酱leas撒e:在媒体对壤象完成播青出后,立即释昆放所占鸡用的资孩源。吧·Act磨ion.吨Inte怕rstr度eam荷Sync颜hron侄ize:按所希望虚的同步策近略实现流用间同步机徐制。39(1)中断同没步(2)受限中咏断同步仓流内同荐步机制(a)中断同步职；(b)受限中颈断同步1）谱流内同绝步40对于流岩间同步,XO徒CPN模型也支觉持两种同戒步机制:中断和非陡中断。棚(1)流间中断追同步将在Nxocp乘n中的每一故个IPP（流间回播放点垦）处中刊断快速叮流的播浑放过程,直到所有鲜需要同步区的媒体流露都到达IPP才播放。划（２）障非中断同崇步将在Nxoc宫pn中的每一侧个IPP点收集愤有关流拴间的同厉步状态蜻信息,然后根据木所收集的叮同步状态拳信息进行框某些校正药动作,这些校正于动作分成诊两种:2）流咬间同步热41流间同步坛机制42一个电视冲新闻广播剪时间线的些例子节目片头引导音乐音乐渐隐播音员念第一条新闻播音员全景播音员上部照片图形ABCDEF视频音乐语音43电视新愉闻广播百的XOCP情N443.基于同步赢标记的描旧述法在数据术生成过谨程中在毛数据流怖中加入疏同步标拴记的方情法。同步标记责形式有形标捕记：如理以信息欧帧的形枪式插入盯到媒体陈数据流熟中;逻辑标愉记：如鞭相对数求据量和秆相对时匪间。毫45时间标记珠：多媒体溉对象起装始媒体渴单元位弓于时间牺系统的愈零点，固一个媒鉴体单元贴在相对讨时间系走统中的倒位置。将各个具媒体流踢映射到遍一个逻忍辑时间献轴上,赋予每个监媒体单元飞一个时戳(Tim略esta婆mp),以此来标妹识媒体单佩元相对于设逻辑时间绪轴起始点井的时域位肉置。逻辑时阅间轴的违单位应誓小于最盒小媒体远单元的松持续时码间,从而使猴同一媒隆体中两惰个不同宾的媒体且单元的缴时戳相举异。在媒体表险现过程中,具有相同宵时戳的媒谁体单元同拖步播放。46图3.6本R宿TP报头格式RTP协议中恋的时间隔标志47其中:·V:堤RTP协议的姨版本号,占2位。奖当前协绢议版本表号为2。·P:填充标志,占1位。永如果P=1,则在该报糟文的尾部誉将填充一乳个或多个近额外的八寺位组。插·X:扩展标贴志，占1位。如灾果X=1,则在RTP报头后跟骨有一个扩聋展报头。课·CC:虑CSR洽C计数器,占4位,指示CSRC标识符溪的个数国。·M:标记,占1位,不同的舒有效载职荷有不痰同的含蜻义。举对于视币频,标记一帧司的结束;对于音频,标记会朴话的开劝始。条·PT遇:有效载荷裹类型,占7位,用于说明RTP报文中撕有效载吊荷的类税型。第例如,GS阅M音频、JPEM视频等。48·序列号:占16位,用于标赤识发送士者所发敞送的RTP报文的制序列号;每发送一姿个报文,序列号夺增1。接收鲁者通过驶序列号检来检测家报文丢乔失情况,重新排京序报文,恢复数据矩。·时戳(Tim修esta搞mp):占32位,时戳反订映了该RTP报文的第态一个八位湿组的采样痒时刻。接说收者使用阿时戳来计奸算延迟和适延迟抖动,并进行面同步控殃制。殊·同步信源(SS利RC)标识符:占32位,用于标识猾同步信源快。该标知识符是随拿机选择的,参加同扁一视频眉会议的玩两个同喜步信源骨不能有枣相同的SSRC。·特约信企源(CSR脚C)标识符:每个CSRC标识符丛占32位,可以有0～15个。每耳个CSR季C标识了鄙包含在产该RTP报文有效雁载荷中的脖所有特约垂信源。49设备驱崭动法：连接驱动哈法：典型的汪时戳递踩进策略50(1)设备驱动饶法源于主设挡备的媒体注单元的时概戳在主设烈备时钟控源制下递进披；源于从设努备的媒体淘单元的时趋戳的递进董要经过调尤节过程的暴处理,使从设备纸媒体单元岁与同时生遥成的主设慨备媒体单穗元具有相搭同的时戳户。选择主设橡备时的考怠虑因素有:时钟频率急的精确性长和媒体源谷的重要性椒等。例如,声音媒体瞧和图像媒循体中,通常选症择声音悦频媒体历源作为环主设备,因为声摆音媒体航的时间峰误差易抖被人们呀的听觉很感受;也可以谱选择外踏部时钟诞源作为果主设备艰。51(2)连接驱动动法在分布式智网络环境夸中,媒体单元籍时戳递进颗率取决于笼某一网络邻连接的数即据传输率习。52上讲内容1．同步任歼务：维持媒妖体内、箭媒体间糖的时间追关系。2．同步的立类型：用户级州同步、凤媒体间努同步、耕媒体内悲同步3．多媒轨体数据全的组成胞：成分数据略、同步数柱据（同步挽描述数据含、同步容纽奉限）、逻春辑数据单艇元（LDU）。4．同步描县述方法：基于路径布的描述方走法：基于OCP盘N模型的摔描述方滋法基于时夕间标记抗的描述良方法53课后练遥习节目片头引导音乐音乐渐隐播音员念第一条新闻播音员全景播音员上部照片图形ABCDEF视频音乐语音路径描述凳表达式：似？54同步控制真机制：理解同步惠描述数据洲所定义的单时域特征会，并根据灶用户所要闲求的同步昆容限，完因成对改特艳征的维护枕。内容：分布式在多媒体苏系统中责的同步连续媒体歪内部的同程步媒体流之死间的同步9.4多媒体同辞步控制机援制55多路复用捐同步技术将多个媒摄体流的数肿据复用到零一个数据择流中，从棚而使他们死在传输中钳自然保持钓媒体间的辛同步关系距。例：MPEG扑-2标准中TS流的形泉成数据编码器音频编码器TS复用音频视频数据视频编码器打包器打包器打包器PS复用TS码流PS码流ESPES56节目1音频1节目1视频1节目1PMT节目1视频2节目1视频3TS包音频PES视频PES数据PES节目1音频2节目1音频3节目1数据1PES包头PES包数据PES包链接头适配域TS包净荷184byte188byte链接头适配域净荷…….57一、分孕布式多隐媒体系尼统中的舟同步分布式系悔统结构：点对点姐、点对含多点、稠多点对访点、多献点对多革点SDSDSDSDSD582．同步国规范的若传送方毛式：提前传送高法传送多房诚媒体数绞据之前红，将整悲个播放街过程所疏需同步泡规范以历文件方小式传送阔到接收颠端，以仪备播放友时参照充。辅助通母道传送椅法使用附与加逻辑秃通道专尼门传送挥同步规陪范文件插入同步击标记法将同步炸规范与圣成分数户据复接基在一起冲使用一秋个通道棋传送593.集影响媒币体同步骑的因素延时偏移媒体间信屈道不同产际生不同延便时延时抖开动传输过在程中的刻延时偏级差最大延时辟与最小延挨时之差时钟漂移端系统之菊间的时钟蚂频率变化一段时间教间隔内的妥平均抖动数据丢饥失60传输延森时抖斯动对多截媒体同材步的破妻坏服务器用户音频数蚀据视频数烤据网络61时钟偏汉差对同胃步的影幸响信源和信享宿之间时乞钟存在偏链差，经过立一段时间视后，接收鉴端数据不秩足，破坏冷连续媒体买播放的连植续性例：时钟偏滚差10-3秒，90分钟后，铁偏差5.4秒，播放羽质量无法馆保证。一秒内时毕钟偏差10-6秒，90分钟后宫，偏差5.4m午s，可以忽塔略。62网络时味钟同步妨协议Int促ern眼et的网络时坏钟协议NTP（Net睬wor苗kT药ime锁Pr防oto霜col），中央谁时间服务怨器维护一毛个高精度爆和高稳定水度的时钟涛，时间服旗务器向各俘站点周期耀性广播定忧时信号，吗各站点以乔此为基准萌调整本地盆时钟各站点同堤步时钟的岁精度保持瞎在毫秒级634、多级拉同步机妈制在分布式槽多媒体系礼统中，同垃步通常是衬分多步完亲成的，涉封及到系统您的各个部恳分。采集多媒痰体数据及悄存储多媒冲体数据时挺的同步从存储兽设备中羞提取多柱媒体数事据时的渠同步发送多米媒体数西据时的缎同步多媒体梦数据传东输过程扯中的同霜步接收多灯媒体数缓据时的耳同步输出设严备内部疲的同步——发送、火传输和狱接收过就程中的像同步控穿制机制64二、连撑续媒体论内部的孟同步连续媒体猪是由若干筐个LDU构成的时仁间序列，LDU之间存冬在固定北时间关晒系，当卵网络传雾输存在辰抖动时符，连续浙媒体内协部LDU的相互仍时间间相隔则发谱生变化晚，这时臣接收端雄需要采荡取一定呈的措施胡恢复原梦来的时曲间关系投。服务器用户LDU网络65处理方核法：接收端设也置缓存，乳延时抖动软进行过滤技术：基于播放能时限的同苦步方法基于缓玻存数据框量控制悠的同步絮方法信源缓存器播放器(解码器)传输线路661.基于播覆放时限中的同步造方法限定播放粪延迟时间主要问题叛？——播放延营迟时间——缓存器如龄何设计信源缓存器播放器(解码器)传输线路r67设任意LDU：发送时朋刻为t(i欠)到达时扮刻为a(i)播放时刻胖为p(i)传输时败延为d(i)最大延逃时dma偶x，最小绪延时dmi困n播放速度拢为r每秒传慢送的LDU个数6812i12idmi票ndma蝇x12iT实时数据流的发送、楼接收和播造放时间关触系t(i)a(i榨)p(i)T=?69播放延迟蜂时间70在延时善抖动已黎限定在辈一定范微围的条沫件下，溜接收端絮在接收排到第1窗个LD液U之后基，必须埋延迟一犬段时间道T再开磨始播放茂，才能种保证整余个播放追过程不睁间断。71缓存器撞的最大识容量最大缓爹存时间Bt72缓存器摧的最大抖容量缓存器辛的最大仔容量B：设播放速项度为r，则：732.基于缓秩存数据艰量控制虽的同步伞方法周期性面检测缓弟存数据年量，如宽果缓存诵数据量抄超过预挪定警戒淋限时，因认为存骗在不同欧步现象胳，采取战措施进扑行再同猛步。措施？——接收端调浴节——发送端调捆节74接收端商再同步信源缓存器播放器传输线言路控制函数反馈滤波器：t时刻的叛缓存数拘据量：反馈滤宾波器：t时刻的缓沃存数据量：控制伐函数75发送端观再同步爸：信源缓存器播放器传输线芹路控制函数反馈滤波器：t时刻的缓显存数据量：反馈兼滤波器：t时刻的缓押存数据量：控制函妇数76同步操论作过程滤波器输大出：通过滤波备器后，平道滑掉短期浓延时抖动佣引起的缓怠存数据量付波动，只四有由时钟挨漂移、网戏络传输条竖件改变等洽因素引起纪的长期缓惠存数据量榨变化才会善触发控制宵函数的工逐作α为平滑因购子，其取悄值影响滤冬波器的灵蒜敏度。α过大，同腔步控制机赤制启动慢玻，缓冲器辩溢出或空α过小，延重时抖动引志起的缓存民数据量微与小变化也盘会不必要伞的启动再路同步机制坐，系统不尸稳定77播放速度诞调整：控制函数辱将平滑后福的缓存数文据量于预耻先设定的悄缓存数据胶量警戒线傻比较，如无果超出警姑戒线，启清动再同步蛾机制。BbaLWUWba播放速膝率调整旬：相对调整给速率再同步调谁整期78缓存器奸容量BbaLWUWbaB：已知受延时条家件下的费缓存容柴量滞后τba：附加畅缓存容度量，容狗纳再同雕步机制疫延迟时弃间的数券据79三、媒体丝式流之间的鞋同步1．基于反木馈的流间袭同步方法2．基于某全局时谦钟的时健间戳方垄法3．基于RTP协议的抬同步控抚制机制801.泥基于反窄馈的流耐间同步幸机制在网络环歼境下，基厨于反馈的跟同步机制振是常用的摊同步方法久。关键点：失调检壶测控制机离制：发送端横控制接收端控匹制81例：到达用户堤A音频流耳和到达用杆户B的视桨频流必须幕符合二者撇间的同步谜要求。服务器ABfafbfafb:反馈单扰元82条件：无全局夹时钟延时在[dm皂in，dmax她]之间工作过程训：服务器根爱据相对时昂间戳同时扯提取不同亩流的并送飘到通信线牌路；由于各种五因素影响杂，各用户男端播放过费程进过一届段时间不些同步；用户端阀在播放舰某个LDU时，将逮该LDU的时间补戳返回撕服务器次；服务器周桥期性比较隆反馈回来名的数据，怎可检测出赛各条流之喇间的同步桌情况。83同步过裳程:①估计垫与反馈信务息相对应腹的媒体单罪元在从设董备上的最龄早播放时讽间和最迟妈播放时间扫。②通争过比较愿在主设通备和从锈设备上恋媒体单辅元播放宾时间的协估计值,确定同步就播放的媒饭体单元集离合。③由愿同步播疼放媒体主单元集泼合各元田素同步巡寿点的差嗽异,确定主设济备和从设袖备之间失妹调的程度孕。④多媒御体服务器乘根据失调坦程度,加速或夕延缓从吹设备的爸媒体演兆示过程,迫使从博设备与坐主设备颗同步运真行。获842.基于RTP协议的牵同步机姻制基于RTP协议的铁同步机刚制是基火于反馈界的同步膝机制的柱一个实争例。失调检亚测机制灵可