（通信与信息系统专业论文）internet上连续媒体的同步技术研究.pdf

摘要 摘要 宽带通信技术的发展促进了多媒体通信技术的发展。多媒体应用已经深入到 教育、办公、商业、科学工程和家庭等各个方面，如网络电视、视频点播、远程 教学、可视电话和视频会议等。与其它传统数据应用相比，多媒体应用最突出的 特点是集成了多种类型的媒体流，而这些媒体流必须以一种同步的方式展现给用 户。作为多媒体通信中的一项关键技术，多媒体同步是一个特殊的也是极为重要 的服务质量( q o s ) ，已经引起了学术界的广泛关注。 本文针对i n t e r n e t 上连续媒体的同步问题进行了较为深入的研究，主要的研究 内容和成果如下： 1 根据c h e b y s h e v 不等式和时延抖动的统计特性，预测出分组网络时延的范 幽，并在时延范围预测的基础上提出一种适用于v o l p 的媒体播放控制算法。该算 法记录先前到达分组的网络时延，用它们对当前的播放时延作短期预测，并根据 播放时延的估计调整每个突发期中分组的播放时间。实验结果表明该算法可以自 适应的跟踪网络时延的变化，能够按照语音q o s 要求在播放时延和分组丢弃之间 取得权衡，并可以在不同时间自适应的选取参数k 的值，将迟到分组的比值限制在 5 以下。 2 针对m p e g 2 软件解码器，提出并实现一种媒体同步控制算法。该算法不 需要调整解码器的本地系统时钟，而以音频流为主媒体流，视频流为从媒体流， 同步启动播放音视频，播放时音频流采用j 下常的播放帧率，利用基于相同时间基 点的媒体单元的播放时间标签，调整视频流的播放帧率来取得视频流媒体内同步 和音视频媒体间同步。实验结果表明，算法可以实现解码器的媒体同步，能够满 足用户提出的可感知q o s 要求。该算法已应用于实际的多媒体通信系统中，m p e g 2 音视频播放同步性能良好。 3 提出一种存储连续媒体的媒体同步反馈控制算法。该算法给出了为保证单 个媒体流媒体内同步和音视频媒体间同步接收端所需的播放缓冲区的设计准则。 算法分别根据音频和视频播放缓冲区的占用水平，发现失步时通过反馈的方式改 变发送端音频流和视频流的发送帧率，补偿时延抖动和网络异常，实现音频流和 视频流的媒体内同步。同时在音频流和视频流保持媒体内同步的基础上，接收端 同步启动播放音视频，从而达到音视频媒体间同步。实验结果表明该算法可以显 著地降低媒体单元丢失率和播放时延，保证音频流和视频流的平滑播放，并实现 音视频媒体间同步。 4 提出种在接收端的流媒体的同步控制算法。算法分别根据音频和视频播 i n t e m e t 上连续媒体的同步技术研究 放缓冲区的占用水平，在不影响音频播放质量的情况下调整音频帧的长度来实现 音频流媒体内同步，通过改变视频流的播放帧率来达到视频流媒体内同步。并以 音频流为主媒体流，视频流为从媒体流，比较最近播放的音频帧和视频帧的播放 时问标签，调整视频帧的播放持续时间来取得音视频媒体问同步。实验结果表明， 在不增加播放时延的情况下，该算法可以实现单个媒体流的媒体内同步，并达到 音视频媒体间同步。 关键词：多媒体通信多媒体同步时延抖动连续媒体 a b s t r a c t a b s t r a c t 3 w j 血r e c e n td e v e l o p m e n t si nn e t w o r k i n gt e c h n o l o g i e s i ti sf e a s i b l et op r o v i d e m u l t i m e d i as e r v i c e ss u c ha si n t e r a c tp r o t o c o lt v , v i d e oo nd e m a n d ，d i s t a n c el e a r n i n g ， v i d e o p h o n ea n dv i d e o c o n f e r e n c ei nb r o a d b a n dn e t w o r k s t h em o s tp r o m i n e n tf e a t u r e t h a td i s t i n g u i s h e sm u l t i m e d i aa p p l i c a t i o n sf r o mo t h e rd a t aa p p l i c a t i o n si st h ei n t e g r a t i o n o fv a r i o u sm e d i as t r e a m st h a tm u s tb ep r e s e n t e di nas y n c h r o n i z e df a s h i o n m u l t i m e d i a s y n c h r o n i z a t i o ni sas p e c i a la n di m p o r t a n tq u a l i t yo fs e r v i c ei nm u l t i m e d i as y s t e m s a s a k e yt e c h n o l o g y i nm u l t i m e d i a c o m m u n i c a t i o n s ，r e s e a r c h o nm u l t i m e d i a s y n c h r o n i z a t i o nh a sr e c e i v e daw i d er a n g eo f a t t e n t i o ni nt h er e c e n ty e a r s t h er e s e a r c hw o r ki nt h i sd i s s e r t a t i o nc a r r i e sar a t h e rd e 印s t u d yo nm u l t i m e d i a s y n c h r o n i z a t i o nf o rc o n t i n u o u sm e d i ao v e rt h ei n t e r n e t ，a n dt h em a j o ra c h i e v e m e n t sa n d r e s u l t sa r eo u t l i n e da sf o l l o w s 1 t h ec h e b y c h e vi n e q u a l i t ya n ds t a t i s t i cc h a r a c t e r i z e so f d e l a y j i t t e ra l eu t i l i z e dt o p r e d i c tn e t w o r kd e l a yb o u n d a r yo fp a c k e tt r a n s m i s s i o n ，a n db a s e do nt h ep r e d i c t i o na p l a y o u tc o n t r o ls c h e m ef o rv o l pi sp r o p o s e d t h es c h e m em a k e s s h o r t t e r mp r e d i c t i o n a b o u tc u r r e n tp l a y o u td e l a ya c c o r d i n gt oh i s t o r i c a lt r a c eo fn e t w o r kd e l a ya n d d e t e r m i n e st h ep l a y o u tt i m e so fp a c k e t si ne a c ht a l k s p u r t e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ep r o p o s e ds c h e m ec a na d a p t i v e l yf o l l o wt h ec h a n g e so fn e t w o r kd e l a ya n d a c q u i r eat r a d e o f fo fp l a y o u td e l a ya g a i n s tl a t ep a c k e tr a t i o s ，f u r t h e r m o r e ，i tc a n a d a p t i v e l ys e l e c tt h ev a l u eo f k t om a k el a t ep a c k e tr a t i o sb e l o w 5 2 ，a na l g o r i t h mo fm e d i as y n c h r o n i z a t i o ni sp r o p o s e df o rm p e g 2s o f t w a r e d e c o d e r i ti su n n e c e s s a r yf o rt h ea l g o r i t h mt or e g u l a t et h ev a l u e so fl o c a ls y s t e mc l o c k i nd e c o d e r w i t ha u d i oa sm a s t e rm e d i as t r e a mw h o s ep l a y o u tf r a m er a t ei sn o m i n a la n d v i d e oa ss l a v es t r e a m ，t h ea l g o r i t h ms y n c h r o n o u s l yi n i t i a t e st op l a yb a c kt h e ma n d m a k e su s eo fp r e s e n t a t i o nt i m es t a m po ft h em e d i au n i t sw h i c hh a v eac o m m o nt i m e b a s et o s y n c h r o n i z e t h ep r e s e n t a t i o no fv i d e o s e q u e n c e w i t l la u d i o s e q u e n c e e x p e r i m e n t a l r e s u l t ss h o wt h a tt h e p r o p o s e da l g o r i t h m c a n a c q u i r e m e d i a s y n c h r o n i z a t i o na n dm e e tt h er e q u i r e m e n t so fp e r c e p t u a lq o s t h ea l g o r i t h mh a sb e e n a p p l i e di n a na c t u a lm u l t i m e d i ac o m m u n i c a t i o ns y s t e ma n da c h i e v e df a v o r a b l e p e r f o r m a n c e 3 af e e d b a c kc o n t r o ls c h e m ef o rm e d i as y n c h r o n i z a t i o no fs t o r e dm e d i ai s p r o p o s e d t h i ss c h e m ep r e s e n t st h ed e s i g n i n gc r i t e r i a so f a u d i op l a y o u tb u f f e rs i z ea n d v i d e op l a y o u tb u f f e rs i z et h a ta r eu s e dt oa c h i e v em e d i as y n c h r o n i z a t i o n t h eo c c u p i e d 4 i n t e m e t 上连续媒体的同步技术研究 l e v e l so ft w op l a y o u tb u f f e r sa r er e s p e c t i v e l yc h e c k e dt od e t e c ta s y n c h r o n i s m o n c ea n a s y n c h r o n i s mo c c u r r e d ，ar e q u i r e d c o r r e c t i v et r a n s m i s s i o nf r a m er a t eo ft h e c o r r e s p o n d i n gm e d i as t r e a mi sf e db a c kt ot h es e n d e rt oc o m p e n s a t ef o rd e l a yj i t t e ra n d n e t w o r ka n o m a l yt or e s t o r e i n t r a - m e d i a s y n c h r o n i z a t i o n w i t hi n t r a - m e d i a s y n c h r o n i z a t i o nw i t h i n a u d i os t r e a ma n dv i d e os t r e a mp e r f o r m e d ，t h er e c e i v e r s y n c h r o n o u s l yi n i t i a t e s t o p l a yb a c kt h e m ，a n dt h e ni n t e r m e d i as y n c h r o n i z a t i o n b e t w e e na u d i oa n dv i d e oi sr e q u i r e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h es c h e m ec o u l d r e m a r k a b l yd e c r e a s et h ep r o b a b i l i t yo fl o s tm e d i au n i ta n dp l a y o u td e l a y ，t h es c h e m e c o u l dk e e pc o n t i n u o u sp r e s e n t a t i o no fa u d i os t r e a ma n dv i d e os t r e a m ，a n dr e q u i r e i n t e r - m e d i as y n c h r o n i z a t i o nb e t w e e na u d i oa n dv i d e o 4 ap l a y o u tc o n t r o ls c h e m ef o rm e d i as y n c h r o n i z a t i o no fs t r e a m i n gm e d i ai s p r o p o s e df r o mt h er e c e i v e ra n g l e t h es c h e m ea d j u s t st h ea u d i of r a m el e n g t hw i t h o u t i m p a i r i n ga u d i oq u a l i t ya c c o r d i n gt ot h eo c c u p i e dl e v e lo fa u d i op l a y o u tb u f f e ra n d c h a n g e st h ep l a y o u tf r a m e r a t eo f v i d e oa c c o r d i n gt ot h eo c c u p i e dl e v e lo f v i d e op l a y o u t b u 行e rt oa c h i e v ei n t r a r e e d i as y n c h r o n i z a t i o no fa u d i os t r e a ma n dv i d e os t r e a m w i t h a u d i oa sm a s t e rm e d i as t r e a ma n dv i d e oa ss l a v es t r e a m ，t h es c h e m em a k e sa c o m p a r i s o nb e t w e e nt h ep r e s e n t a t i o nt i m es t a m po f t h ea u d i of r a m ea n d t h ev i d e of r a m e w h i c ha r ep l a y e db a c kr e c e n t l yt os y n c h r o n i z et h ep r e s e n t a t i o no fv i d e os e q u e n c ew i t h a u d i os e q u e n c ee x p e r i m e n t a lr e s u l t ss h o wt h a t i nt h ec a s eo fa nu n i n c r e a s e dp l a y o u t d e l a yt h ep r o p o s e ds c h e m ec o u l da c h i e v ei n t r a - m e d i as y n c h r o n i z a t i o no fas i n g l em e d i a s t r e a ma n dr e q u i r ei n t e r - m e d i as y n c h r o n i z a t i o nb e t w e e na u d i oa n dv i d e o k e y w o r d s ：m u l t i m e d i ac o m m u n i c a t i o n m u l t i m e d i as y n c h r o n i z a t i o nd e l a yj i t t e r c o n t i n u o u sm e d i a 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：送圣日期丝堑：竺! z 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名： 导师签名：日期2 盟 丝：f 7 第一章绪论 第一章绪论 1 1 基本概念 在技术发展史上，计算机、通信和广播电视一直是三个互相独立的技术领域， 各自有着互不相同的技术特征和服务范围。但是，近几十年来，随着数字技术的 发展，这三个原本各自独立的领域相互渗透、相互融合，形成了一门崭新的技术 即多媒体。多媒体技术的应用和发展，又反过来进一步加速了这三个领域的融合， 使多媒体通信成为通信技术发展的主要方向之一。如今多媒体应用已经深入到教 育、办公、商业、科学工程和家庭等各个方面，如网络电视( i n t e r a c tp r o t o c o lt v ， 简称i p t v ) 、视频点播( v i d e oo n d e m a n d ，简称v o d ) 、远程教学、可视电话和 视频会议等。在多媒体应用中，多媒体数据是由相互关联的文本、图形、图像、 动画、音频和视频等媒体数据构成的一种复合信息实体【4 】。其中，有着严格时间 关系的音频和视频等类型的数据称为连续媒体( c o n t i n u o u sm e d i a ) 数据，其它类 型的数据被称作非连续媒体( d i s c r e t e m e d i a ) 数据。媒体同步是由多媒体数据所 具有的独特特征而引发的问题，也可以说，只有在多媒体系统中才有媒体同步的 问题口】。例如在远程教学中，幻灯片必须与其解说词保持同步，否则屏幕上正在 播映的幻灯片和观众听到的讲解人的解说不一致。作为多媒体通信中的一项关键 技术，媒体同步已经引起了学术界的广泛关注。 1 1 1多媒体数据内部约束关系 多媒体数据所包含的各种媒体对象并不是相互独立的，它们之间存在着多种 相互制约的关系( 或称同步关系) 。反之，毫无联系的不同媒体的数据所构成的集 合不能称为多媒体数据。多媒体数据内部所固有的约束关系可以概括为基于内容 的约束关系、空域约束关系和时域约束关系i lj 。 1 基于内容的约束关系 基于内容的约束关系是指在用不同的媒体对象代表同一内容的不同表现形式 时，内容与表现形式之问所具有的约束关系。这种约束关系在数值分析中应用的 比较多，例如对原始数据进行分析的结果可以用表格、图形或动画的形式反映在 最终提交给用户的多媒体文档中，而采用多种表现形式能够使用户对于原始数据 有一个全面的认识。为支持这种约束关系，多媒体系统需要解决的主要问题是， 在多媒体数据的更新过程中要确保不同媒体对象所包含信息的一致性，即在数据 更新后，保证代表不同表现形式的各媒体对象都与更新后的数据相对应。解决这 i n t e r n e t 上连续媒体的同步技术研究 - 一问题的一种办法是，定义原始数据和不同类型媒体之间的转换原则，并由系统 而不是由用户来完成对多媒体文档内容的调整。 2 空域约束关系 空域约束关系是指在多媒体数据播映过程中的某一时刻，不同媒体对象在输 出设备( 如显示器、纸张等) 上的空间位置关系。这种约束关系是排版、电子出 版物与著作等系统中要解决的首要问题。由这些系统生成的多媒体文档被称为结 构化文档。 办公室文档结构( o f f i c ed o c u m e n ta r c h i t e c t u r e ，简称o d a ) 是一种定义结 构化文档的国际标准，它是由i s o 制定的( i s o8 6 1 3 系列) ，后为i t u 所支持， 并更名为开放性文档结构( t 4 1 0 协议系列) 。o d a 标准主要针对办公环境下常见 的文档类型( 如信件、报告和备忘录等) ，以及由文字处理程序生成的文档( 包含 文本、图形和图像) 而制定。早期的o d a 标准不支持音频和视频等连续媒体， 经过扩展后的h y p e r o d a 标准则可以支持音频、视频、超级链以及对各数据体之 间时域关系的定义 9 1 。 3 时域约束关系 时域约束关系( 或称时间关系) 反映媒体对象在时间上的相对关系，它主要 表现在如下两个方面： ( 1 ) 连续媒体对象内部的相对时间关系； ( 2 ) 各个媒体对象( 包括连续媒体对象和非连续媒体对象) 之间的相对时间 关系。 按照确定时域约束关系的类型来区分，可以分为实况( l i v e ) 同步和合成 ( s y n t h e t i c ) 同步。实况同步是指根据捕获媒体对象过程中存在的时间关系来再 现数据。例如，人物口型动作和声音之间的同步，通常称为唇音同步( l i p s y n c h r o n i z a t i o n ) ；又如，当处于不同地点的多个与会者在各自的计算机上观看同 一幅图表，其中一人用箭头指着图表作解说时，出现在其他人的屏幕上的箭头必 须和解说一致，这称为指针同步( p o i n t e rs y n c h r o n i z a t i o n ) 。唇音同步和指针同步 都属于实况同步。合成同步是指在捕获媒体对象后人为地指定一定的时间关系， 播映时系统将根据指定的时间关系播放有关的媒体对象。合成同步可以事先定义， 也可以在系统的运行过程中定义。 在上述三种约束关系中，时域约束关系是最重要的一种。当时域约束关系遭 到破坏时，就会使用户遗漏或者误解多媒体数据所要表达的信息内容。例如，在 观看体育比赛的现场直播时，电视画面的暂时中断或不连贺，会妨碍观众对比赛 过程的准确了解，而这种画面的中断或不连贯就是时域约束关系遭到破坏的具体 表现。所以，时域约束关系是多媒体数据语义的个重要组成部分。当时域约束 关系被破坏，也就破坏了多媒体数据语义的完整性。本文中的同步特指多媒体数 箱一章绪论 据的时域约束关系。 1 12 逻辑数据单元 连续媒体数据通常是以一系列的信息单元的形式表示。而这些信息单元称为 逻辑数据单元( l o g i c a ld a t au n i t ，简称l d u ) ，也称为媒体单元( m e d i au n i t ， 简称m u ) 。l d u 的划分由具体的应用、编码方式、数据的存储方式和传输方式 等因素决定。例如，对于符合h 2 6 3 标准的视频码流，一个l d u 可以是一个宏 块、一个宏块组、一帧图像，也可以是构成一个场景的凡帧图像。 另外，l d u 还可分为封闭的l d u 和开放的l d u 。封闭的l d u 具有可预测 的持续时间，例如已经编码好的音频和视频等连续媒体的l d u 。而开放的l d u 的持续时问在开始播放前是不能预知的，典型的例子如实况转播源如摄像机或麦 克风的输入，又如包括用户交互等的媒体对象。 连续媒体的各个l d u 之间存在着固定的时间关系。对于视频，通常选取一 l 侦图像作为一个l d u ，例如一个每秒2 5 帧图像的视频流，每个l d u 的持续时间 是4 0 m s 。当基本的物理单元太小难于处理时，通常可将多个物理单元合起来作为 一个l d u ，如在抽样频率为8 k h z 的音频流中可将5 1 2 个抽样作为一个l d u ，这 样一个l d u 的持续时间为6 4 m s 。各个l d u 之间存在的时间关系是在数据捕获 时确定的，而且要在存储、处理、传输和播放过程中保持不变，否则会降低媒体 的播放质量，如产生图像的停顿、跳动，或者声音的间断等。 1 1 - 3 媒体内同步、媒体间同步和组同步 媒体同步包括媒体内同步、媒体间同步和组同步。媒体内同步是指维持一个 媒体流中各个媒体单元的时间关系，也称为流内同步。例如一个视频流中各个帧 之问的时间关系，一个语音流中各个语音分组的时间关系。对于一个2 5 帧t 的 视频流，每帧的播放持续时间应为4 0 m s 。 媒体问同步是指维持多个相关媒体流之间的时间关系以及非连续媒体对象与 相关连续媒体对象之间的时间关系，其中维持多个相关媒体流之问的肘问关系通 常又称为流间同步。图1 1 是接收端的一个媒体间同步的例子，由相关的音频流 和视频流开始，接着是三幅图片。然后是一个带有解说的动画。 和视频流开始，接着是三幅图片。然后是一个带有解说的动画。 i n t e m e t 上连续媒体的同步技术研究 图11 媒体间同步的例子 在多播( m u l t i c a s t ) 通信中除了要考虑媒体内同步和媒体问同步之外，通常 还需要进行组同步控制f lo 】，其目的是使不同接收端的媒体流的媒体单元同时播 放。图1 2 是一个组同步的简单例子，流f 从发送端s 到接收端n ，多播流，由 三个流组成，咖，j z ) ，它们从发送端分别到接收端d k ，d 加上k ，那些接收端属于 同一组的流( d ，和k 属于组g l ，三0 和c k 属于组( 3 2 ) 需要进行组同步。例如视 频会议中，要使位于不同地点的会议参加方同时收到会议内容。 图1 2 组同步的例子 1 2 媒体同步的参考模型 为了理解媒体同步的各种要求，确定支持同步的实时机制的结构以及实时机 制接口间的关系，需要一个媒体同步的参考模型。本节从概念上讨论同步机制。 媒体同步需要系统的许多部分支持解决，包括操作系统、通信系统、数据库 以及应用程序等。因此，一个多媒体系统的同步要从几个层次上加以考虑。为了 更好地理解媒体同步的要求，描述并建立支持同步的机制，b l a k o w s k i 等人将 同步层分为四个子层，提出一个四层的同步参考模型，如图l - 3 所示。每层有自 己的接口，接口定义一些服务，也就是为用户提供一种说明用户要求的方法，接 口提供实现同步的机制，每层的接口都可以直接被一个应用程序使用，或者被它 的高层利用来实现其接口。四层参考模型的意义在于它规定了同步机制所应有的 层次以及各层所应完成的主要任务。 第一章绪论 1 2 。1 媒体层 广 l 一 图1 3 同步参考模型 媒体层提供一个独立于设备的接口，它的操作是针对单个的媒体流的l d u 。 媒体层对l d u 的处理通常是有时间限制的，因而需要底层服务系统( 如操作系 统、通信系统等) 提供必要的资源预留及相应的管理措施( 如服务质量保障等) 。 在媒体层接口，该层负责向上提供与设备无关的操作，如：r e a d ( d e v i c e h a n d l e l d u ) 和w r i r e ( d e v i c e h a n d l e ，l d u ) 等。其中，d e v i c e h a n d l e 标识的设备可以是数据播放器、 编解码器或文件，也可以是数据传输通道。 媒体层主要完成两个任务，一是申请必要的资源( 如c p u 时间、通信带宽、 通信缓冲区等) 和系统服务( 如服务质量保障等) ，为该层各项功能的实箍提供支 持：二是访问各类设备的接口函数，获取或提交个完整的l d u 。例如，当设备 代表一条数据传输通道时，发送端的媒体层负责将l d u 进一步划分成若干适合 于网络传输的数据包，而接收端的媒体层则需要将相关的数据包组合成一个完整 的l d u 。实际上，媒体层是同步机制与底层服务系统之间的接口，其内部不包含 任何的同步控制操作。 1 2 2 流层 流层的处理对象是媒体流以及媒体流所组成的媒体流组，在一个媒体流组中， 所有的媒体流采用流间同步机制播放。该层的目的是维持单个媒体流内部各个媒 体单元的时间关系及相关媒体流之问的时间关系，也就是说完成流内同步和流间 同步。 在接口处，流层向用户提供诸如s t a r t ( s t r e a m ) 、s t o p ( s t r e a m ) 、s t a r t ( g r o u p ) 、 s t o p ( g r o u p ) 和c r e a t e _ g r o u p ( 1 i s t _ o fs t r e a m s ) 等功能函数。这些函数将媒体流作为一 个整体来看待，即对该层用户来说，流层利用媒体层的接1 3 功能对l d u 所作的 各种处理是透明的。流层在对媒体流或媒体流组进行处理前，首先决定l d u 的 大小以及对各l d u 的处理方案。此外，流层还向媒体层提交必要的服务质量 i n t e m e t 上连续媒体的同步技术研究 ( q u a l i t yo fs e r v i c e ，简称q o s ) 要求。媒体层将依照流层提交的q o s 要求，向 底层服务系统申请资源以及q o s 保障。在执行l d u 处理方案的过程中，流层负 责将媒体流的抖动及相关媒体流的偏移保持在许可的范围内，即实施流内和流间 的同步控制。 1 2 3 对象层 对象层能够对各种类型的媒体对象进行统一处理，它隐藏了连续媒体对象和 非连续媒体对象的差异。对象层的主要任务是实现非连续媒体对象和相关连续媒 体对象之间的同步，并完成对非连续媒体对象的处理。与流层相比，该层同步控 制的精度较低。 对象层在处理媒体对象之前先要完成两项工作。第一，从描述层提供的同步 描述数据出发，推导出必要的调度方案( 如播放调度方案、通信调度方案等) 。第 二，进行必要的初始化工作。得到调度方案并完成初始化工作以后，对象层开始 执行调度方案。通过调用流层的接口函数，对象层执行调度方案中与连续媒体对 象相关的部分。流层利用媒体层的接口函数，完成对连续媒体对象的l d u 的处 理，同时进行流内和流问的同步控制。在调度方案的执行过程中，对象层主要负 责完成对非连续媒体对象的处理以及非连续媒体对象和相关连续媒体对象之间的 同步控制。 1 2 4 描述层 描述层是一个开放的层，不提供明确的接口，该层包含一些应用和工具，利 用这些工具用户可以生成同步描述数据。这些工具包括同步编辑器、多媒体文献 编辑器及著作系统。描述层还提供转换工具，将同步描述数据转换成对象层的格 式。描述层还负责将同步要求提供给对象层接口。同步描述的方法主要有4 种： 基于间隔的描述、基于时间轴的描述、基于控制流的描述和基于事件的描述，这 些都是较为抽象层次上的媒体同步的描述。 1 3 同步描述 一个多媒体对象的同步描述数据表达了其中所有对象的时域约束关系，可以 利用描述层的工具来生成同步描述数据并用它为对象层接口服务。尽管同步描述 不能直接实现媒体同步，但它决定整个播映过程，所以是多媒体系统中的一个重 要问题。下面介绍同步要求和同步描述的方法。 第一章绪论 1 3 1同步要求 同步要求可以用服务质量( q o s ) 来表达，所需的q o s 取决于媒体和应用。 为了描述同步要求，实现相关的控制机制，定义了一些q o s 参数。这些参数包括 单个媒体流中相邻媒体单元所经历的时延抖动( d e l a y j i t t e r ) 以及两个相关媒体对 象问的时间差即偏移( s k e w ) 。对媒体同步质量的评估方式，直接影响着用户对 抖动和偏移允许范围的规定。由于很难找到定义抖动和偏移允许范围的客观标准， 通常采用的方法是主观评估。虽然由主观评估所得到的抖动和偏移的允许范围并 不十分准确，但仍可作为设计媒体同步控制系统的参照。 人体对抖动和偏移的测量结果表明，如果抖动和偏移限制在一个合适的范围 内，人们认为媒体是同步的，这个q o s 参数是可以被用户感知的，因此称为可感 知q o s ( p e r c e i v e dq o s ，简称p q o s ) 参数。例如对于因特网中的音频业务允许 的时延抖动应小于l o m s ；相关音频流和视频流之间的同步称为唇音同步，唇音同 步要求音频流和视频流之间的偏移在_ + 8 0 m s 内，这样多数观众都不会感到偏移的 存在。 1 单媒体内的q o s 在多媒体应用中，对于不同的媒体对象定义了各自的服务质量参数，这些参 数很大程度上依赖于具体的应用 3 0 1 。对于同步要求来说，最重要的是时延抖动。 表1 1 给出了不同应用下这些参数的取值。例如，对于因特网中的音频业务允许 的时延抖动应小于1 0 m s ，否则就不能保证音频流的连续性。音频业务的速率较低， 如p c m 编码的语音速率为6 4 k b i t s 。由于p c m 音频信号的冗余度较高，因此允 许的误码率也较高。对于图像来说，允许的误码率要比允许的错误分组率高得多。 这是因为一般情况下，屏幕上的一个像素错误并没有多大影响，但是如果丢失分 组就会引起方块效应等，严重影响图象质量。对于数据传输，对时延抖动没有要 求，但通常不允许有任何误码。 表1 1 单媒体内的q o s 最大时延平均速率 允许的误允许的错误 q o s 抖动m sm b p s 码率分组率 音频 1 00 0 6 4 1 0 。l 1 0 l 视频( t v 品质) 1 01 0 0 1 0 - 2 1 0 一1 压缩视频 l2 1 01 矿1 0 9 数据( 文件传输)2 - 一1 0 0 oo 实时数据 1 0 00 图像 2 1 0 1 0 4l o 母 n t e m e t 上连续媒体的同步技术研究 2 媒体阳j 的q o s 对于两个相关媒体间的q o s 定义了可以接受的同步边界吐表1 2 所示为两 个相关媒体问的q o s 。例如一部影片的音频部分和视频部分保存在数据库的不同 目录下，此时要考虑唇音同步( 参见图1 4 ( a ) ) 。音频流和视频流的相关媒体单元 的时间差称为偏移。研究表明，当偏移在一8 0 m s ( 音频流滞后视频流) 至1 + 8 0 m s ( 音频流超| 视频流) 之间时，多数观众都不会感到偏移的存在，这就是同步区 域；当偏移小于一1 6 0 m s 或者大于+ 1 6 0 r n s 时，几乎所有观众都对播映不满意，这 一区域称为不同步区域；在同步区域和不同步区域之间还存在两个临界区域，当 偏移在临界区域时，观众离播缺点越近，播映的视频信号和音频信号的分辨率越 高，则越容易感觉到偏移。当用指针指着讲解一个图表时，需要保持音频和指针 的同步( 参见图1 4 ( b ) ) 。如果音频超前指针，则必须小于7 5 0 m s ，如果音频滞后 指针，则必须小于5 0 0 m s 时，这时观众不会感觉到偏移，这些区域是同步区域： 当音频超前指针大于 2 5 0 m s ，或者当音频滞后指针大于1 0 0 0 m s 时，几乎所有观 众都能感觉到偏移，这是不同步区域；同样，在同步区域和不同步区域之间也存 在两个临界区域。 表l ，2 两个相关媒体同步的q o s 媒体模式，应用 q o s 动画 相关的 + 1 2 0 m s 音频唇音同步 七| 8 0 m s 重叠 十0 2 4 0 m s 视频图像 不重叠 + | - 5 0 0 m s 重叠+ 1 2 4 0 m s 文本 不重叠+ - 5 0 0 m s 动画事件相关( 如跳舞)+ - 8 0 m s 紧耦合( 立体声)+ - 1 i g s 音频 松耦合( 多方对话) + ，- 1 2 0 n l s 松耦合( 背景音乐) 七| 5 0 0 m s 音频 紧耦合( 音乐及音符提示) + f 5 m s 图像 松耦合( 幻灯片) 斗| 一5 0 0 m s 文本文本注释 + - 2 4 0 m s 指针 音频与指针所指的相关5 0 0 m s ，+ 7 5 0 m s 第一章绪论 - 1 6 08 0 o 8 0 1 6 0 偏移加s ( a ) 唇音同步 不同步区ii 临界区l同步区j 临界区f r 不同步区 。1。一 - 1 0 0 0一5 0 0o7 5 01 2 5 0 偏移m s ( b ) 指针同步 图1 4 媒体间同步各区域分布 对于多个相关媒体的q o s ，可以通过给出的两两媒体的q o s 要求计算出需要 的媒体间的q o s ，如果应用程序将一组相关的同步要求加于一个多媒体系统，也 可以通过计算找出最严格的同步要求。 一个视频会议中，视频和音频数据之间有唇音同步的要求，音频和指针之间 有指针同步的要求，从而视频数据和指针之间的要求可以容易地得到。定义如下 的偏移： 音频超前视频的最大偏移为8 0 m s ：视频超前音频的最大偏移为8 0 m s ； 音频超前指针的最大偏移为7 5 0 m s ；指针超前音频的最大偏移为5 0 0 m s 。 则可以得到如下的偏移： 视频超前指针的最大偏移为8 0 + 7 5 0 = 8 3 0 m s ： 指针超前视频的最大偏移为5 0 0 + 8 0 = 5 8 0 m s 。 1 3 2 同步描述的方法 同步描述的方法主要有4 种：基于间隔的描述、基于时间轴的描述、基于控 制流的描述和基于事件的描述。 1 基于间隔的描述 e 口 ab e f o r e b a o v e r l a p s b 凸凸出圈 a d u r i n g b a s t a r s b a n n i s h e s b ae q u a l s b 图1 5 两个对象的时间关系 在这一描述方法中，个媒体对象播映所持续的时间叫做一个间隔。任意两 9 粤 n t e m e t 上连续媒体的同步技术研究 个时间间隔可用1 3 种类型来同步【3 l 3 2 】。在这1 3 种类型中还包括一些相互反转的 类型，如“b e f o r e ”和“a f t e r ”。因此将此集合缩减后成为7 种类型，这7 种类型 中不包含相互反转的类型，如图1 5 所示。这7 种类型是关于两个媒体对象问的 同步关系的简单描述。另一种加强型描述模型1 33 j 也是建立在间隔关系基础上的， 该方法定义了2 9 种间隔关系。为简化这种同步描述，又定义了1 0 个操作来处理 这些间隔关系。这1 0 个操作包括：带一个时延参数的操作、带两个时延参数的操 作和带三个时延参数的操作，如图1 6 、1 7 和1 8 所示。 弋。是。，巴 b e f o r e ( ( i i )b e f o r e e n d o f ( a 1 )c o b e g i n 扣1 )c o e n d 扣1 ) 图1 6 带一个时延参数的操作 昌2 。噔。昌凸。昌z w h i l e ( q ，( 5 2 ) d e l a y e d ( o l ，a 2 ) s t a r t i n ( o l ，6 2 ) e n d i n ( o i ，0 2 )c r o s s ( 。l ，6 2 ) 图1 7 带两个时延参数的操作 o o v