（计算机应用技术专业论文）基于网络演算的多媒体回放控制研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 计算机网络技术和通信技术的迅猛发展，极大地促进了多媒体应用的普 及。多媒体应用与传统数据型应用相比，集成了各种不同性质的媒体，特别是 近几年出现的多种新型业务，如口电话、视频点播v o d ( v i d e oo nd e m a n d ) 、 多媒体网络会议、远程教育等，这些实时业务对服务质量( q u a l i t yo fs e r v i c e ， q o s ) 有较高的要求，需要网络提供可靠的传输、严格的端到端时延和时延抖 动，因此需要采取有效的控制机制使其以一种同步的方式展现给用户。其中回 放控制是保证多媒体同步连续播放的基本控制策略，也是关键的一步。 在多媒体回放控制中，特别需要考虑的是如何设计补偿缓冲区，如何确定 回放点等问题。近年来，网络演算( n e t w o r kc a l c u l u s ) 逐渐成为分析网络通信 实时性能的一种实用方法，而基于网络演算的多媒体回放控制的研究却刚刚开 始，这必将成为今后的研究热点。另一方面，网络业务具有普遍的自相似和长 相关特性，传统的基于泊松( p o i s s o n ) 分布到达过程假设的排队分析模型不再 适合现代网络流量，因此在自相似下研究多媒体中参数的选取原则具有重要意 义。 本论文系统研究基于网络演算和自相似业务特性的多媒体回放控制方法， 所提出的回放控制方法通过充分考虑网络业务的自相似特性，很好地满足了用 户的服务质量要求，实现了媒体播放的平滑性。本文的主要研究工作及成果如 下： 7 1 ) 给出多媒体回放控制模型，研究基于网络演算的多媒体回放控制参数 的计算方法，并利用d i r e c t s h o w 应用程序验证该参数设置的正确性和有效性； 2 ) 在分析实时服务应用协议的基础上，提出了一种基于r t p r t c p 反馈的 多媒体回放控制方案。当网络状态发生变化时通过r t c p 报告提供的有关服务 质量的反馈信息调节带宽，进行资源的重新预约，同时利用网络演算推导出的 有效带宽和缓冲区的映射关系，动态调节接收端缓冲区的大小，以此保证终端 视频流的平滑播放； 3 ) 提出基于缓冲区监测自适应调节播放速率的同步控制方案。充分考虑 多媒体流量的自相似特性，分析了基于分形布朗运动到达过程的排队模型，给 出缓冲区门限的选取原则，通过m a a b 和0 p n e t 相结合的仿真方法验证了 参数选取的合理性和正确性。 西南交通大学硕士研究生学位论文第l i 页 关键词：多媒体；回放控制；网络演算；业务自相似特性；平滑播放 西南交通大学硕士研究生学位论文第l il 页 a bs t r a c t t h e r a p i dd e v e l o p m e n t o f c o m p u t e r n e t w o r k sa n dc o m m u n i c a t i o n s t e c h n o l o g i e sh a sg r e a t l yp r o m o t e dt h ed e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o n t e c h n o l o g i e s c o m p a r e dw i t ht r a d i t i o n a ld a t aa p p l i c a t i o n s ，m u l t i m e d i aa p p l i c a t i o n s h a v ei n t e g r a t e dk i n d s o fd i f f e r e n tn a t u r e dm e d i a , e s p e c i a l l yt h en e ws e r v i c e s e m e r g e di nr e c e n ty e a r s ，s u c ha si pt e l e p h o n y , v o d ( v i d e oo nd e m a n d ) ，n e t w o r k c o n f e r e n c i n g ，d i s t a n c ee d u c a t i o na n ds oo n t h e s er e a l t i m es e r v i c e sn e e dh i g h e r q o s ( q u a l i t yo fs e r v i c e ) ，n a m e l yr e l i a b l et r a n s m i s s i o nn e t w o r k , s t r i c te n d t o e n d d e l a ya n dj i t t e r , a n ds oo n e f f e c t i v em e c h a n i s m st op l a ym e d i at ot h eu s e rw i t ha s y n c h r o n o u sw a yi sn e e d e d a m o n gt h e m ，p l a y b a c kc o n t r o li sab a s i cs t r a t e g yt o e n s u r ec o n t i n u o u sp l a y b a c ko fm u l t i m e d i aw h i c hi st h ei m p o r t a n ts t e p i nt h em u l t i m e d i ap l a y b a c kc o n t r o l ，t h ep r o b l e m ss u c ha sh o wt od e s i g n c o m p e n s a t i o nb u f f e rs i z ea n dh o wt od e t e r m i n et h ep l a y b a c kp o i n tn e e dt ob e c o n s i d e r e d c a r e f u l l y i n r e c e n ty e a r s ，n e t w o r kc a l c u l u s g r a d u a l l y b e c o m e sa r e a l t i m ep e r f o r m a n c ea n a l y s i st o o lf o rn e t w o r kc o m m u n i c a t i o n ，w h i l et h er e s e a r c h o nt h ew e b b a s e dm u l t i m e d i ap l a y b a c kc o n t r o la l g o r i t h m sh a sj u s ts t a r t e d ，w h i c h w i l lc e r t a i n l yb e c o m eah o ts p o ti nf u t u r er e s e a r c h o nt h eo t h e rh a n d ，e x t e n s i v e s t u d yr e s u l t s s h o wt h a tt h en e t w o r kt r a f f i ch a su n i v e r s a lc h a r a c t e r i s t i c so f s e l f - s i m i l a r i t ya n dl o n g r a n g ed e p e n d e n c e t h eb a s i ca s s u m p t i o n so ft r a d i t i o n a l q u e u i n ga n a l y s i sm o d e la r ep o i s s o nd i s t r i b u t i o n , w h i c ha r en ol o n g e rs u i t a b l ef o r m o d e mn e t w o r kt r a f f i c t h e r e f o r e ，s t u d y i n gt h ep r i n c i p l eo fp a r a m e t e r ss e t t i n g u n d e rt h es e l f - s i m i l a rm u l t i m e d i ap l a y b a c kb e c o m e sm o r ei m p o r t a n t i nt h i st h e s i s ，w ed e p t h l ys t u d yt h ep l a y b a c kc o n t r o lm e t h o db a s e do nn e t w o r k c a l c u l u sa n ds e l f - s i m i l a rc h a r a c t e r i s t i c so f n e t w o r kt r a f f i ca n dp r o p o s ean e w p l a y b a c kc o n t r o ls c h e m eb yf u l l yc o n s i d e r i n gt h es e l f - s i m i l a rc h a r a c t e r i s t i c so f n e t w o r kt r a f f i c ，w h i c hm e e t sb e t t e rt h eu s e r ss e r v i c eq u a l i t yr e q u i r e m e n t sa n d m a k e st h em e d i ap l a y e rm o r es m o o t h t h em a i nr e s e a r c hw o r ka n da c h i e v e m e n t so f t h et h e s i sa r ea sf o l l o w s ： 1 ) b a s e do nt h ea n a l y s i so fm u l t i m e d i ap l a y b a c kc o n t r o lm o d e l ，w es t u d yt h e p l a y b a c k m e t h o do fc a l c u l a t i n gt h ec o n t r o l p a r a m e t e r s b a s e do nn e t w o r k 西南交通大学硕士研究生学位论文第1v 页 c a l c u l u s ，a n dm a k eu s eo fd i r e c t s h o wt ov e r i f yt h ec o r r e e t i v e n e s sa n de f f e c t i v e n e s s o ft h ep a r a m e t e rs e t t i n g s 2 ) b a s e do nt h ea n a l y s i st h ea p p l i c a t i o np r o t o c o lo fr e a l - t i m es e r v i c e s ，w e p r o p o s e da f e e d b a c kp l a y b a c kc o n t r o lm e t h o db a s e do ni u i 盯c p t h e b a n d w i d t hi sr e g u l a t e da n dt h er e s o u r c ei sr e a p p o i n t e da c c o r d i n gt ot h ef e e d b a c k i m f o r m a t i o ng i v e nb yr t c pw h e nt h en e t w o r ks t a t ec h a n g e s a tt h es a m et i m e w e d e r i v e dt h em a p p i n gr e l a t i o n sb e t w e e nt h ee f f e c t i v eb a n d w i d t ha n db u f f e rs i z ew i t h n e t w o r kc a l c u l u s ，a n dd y n a m i c a l l ya d j u s tt h er e c e i v e db u f f e rs i z es oa st oe n s u r e s m o o t hp l a y i n go fv i d e os t r e a m i n g 3 1as y n c h r o n i z m i o nc o n t r o ls c h e m ei sg i v e nb a s e do nm o n i t o r i n gt h eb u f f e r s i z et oa d a p tt h eb r o a d c a s tr a t e b a s e do nt h es e l f - s i m i l a rc h a r a c t e r i s t i e so f m u l t i m e d i an e t w o r kt r a f f i c ，w eu s ef r a t i o n a lb r o w n i a nm o t i o n ( f b m ) q u e u i n g m o d e lt oc a l c u l a t et h et h r e s h o l do ft h eb u f f e rs i z e f i n a l l y , t h er e a s o n a b l e n e s sa n d c o r r e c t i v e n e s so ft h ep a r a m e t e r ss e t i n gs c h e m ea r ev e r i f yt b x o u g hm a t l a ba n d o p n e t k e yw o r d s ：m u l t i m e d i a ；p l a y b a c kc o n t r o l ；s e l f - s i m i l a rt r a f f i c ；n e t w o r kc a l c u l u s ； s m o o t h i n gp l a y o u t 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交 通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密缸使用本授权书。 ( 请在以上方框内打“”) 学位论文作者签名：陶雨嫡 日期： 2 d 口7 1 叶 指导老师签名：诲献筠 日期 加7 么惮 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： ( 1 ) 将网络演算理论应用到多媒体回放控制研究中，深入分析了回放控制中 的参数计算方法，并通过实际播放验证了参数计算方案的正确性； ( 2 ) 提出基于r t p r t c p 的回放控制方案，分析在网络异常情况下，如何动 态调节播放缓冲区的大小；在提出的根据缓冲区占用水平自适应回放的方案 中，鉴于流量的自相似特性，分析了基于分形布朗运动到达过程的排队模型， 给出了缓冲区门限的选取原则，并利用o p n e t 和m a t l a b 仿真验证了参数 选取的合理性。 学位论文作者签名：陶雨炳 日期： 胪7 叶 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 研究背景和研究意义 1 1 1 研究背景 随着计算机网络技术和通信技术的迅速发展，多媒体信息日益渗透到人们 生活的方方面面，在信息交流中不再以单一的数据为主，以音频、视频、文本、 图像等多媒体集成的多媒体信息越来越多地成为主要的交流手段。特别是近几 年出现的许多新型业务，如p 电话、视频点播v o d ( v i d e oo nd e m a n d ) 、多媒体 会议、远程教育等，这些实时业务对服务质量( q u a l i t yo fs e r v i c e ，q o s ) 有较高 的要求，需要网络提供可靠的传输、严格的端到端时延和时延抖动。根据p 网络技术要求一网络性能参数与指标1 1 j 标准规范：进行多媒体传输，网络性 能要求达到1 级或1 级以上。针对实时业务的传输要求，主要表现在以下几个方 面： ( 1 ) 时延指数据包在网络的两个节点之间传送的平均时间，对于实时业 务，一般要求网络时延小于l o o m s ，对于语音这样的实时数据，在网络时延大 于4 0 0 m s 时，就会变得无法忍受，甚至被认为线路断了。 ( 2 ) 时延抖动指时延的变化，抖动过大会严重影响多媒体业务的视音频 主观质量，具体表现为声音出现剪切、图像出现凝固和快进，所以时延抖动最 好能控制在5 0 m s 以内，最大不超过8 0 m s ，减少抖动的方法在于减少端到端的 跳数，并保证足够的带宽，视音频数据包传输时的优先级，回放( p l a y b a c k ) 和流 量整形等。 ( 3 ) 丢包率指在网络传输过程中丢失报文的百分比，用来衡量网络正确 转发用户数据的能力。由于i n t e m e t 具有长相关特性，其报文丢失也是相关的， 如果出现报文丢失，后面的报文也很可能发生丢失，因而连续的报文丢失周期 很容易突破6 0 m s ，文 2 】的主观测试结果表明连续6 0 m s 以上的丢包周期会影响 接收语音的可理解性，为此，一般要求多媒体通信具有较低的丢包率( 如1 0 - 5 ) 。 ( 4 ) 可用带宽指网络的两个节点之间特定应用业务流的平均速率，所有 的实时业务对带宽都有一定的要求，如对于视频业务，当可用带宽低于视频源 西南交通大学硕士研究生学位论文第2 页 的编码速率时，图像质量就无法保证。 然而，i n t e r a c t 构建的初衷并不是用来传输像音频、视频这样的实时数据， 口提供的是一种尽力而为的服务( b e s t e f f o r ts e r v i c e ) ，也就是说数据可能会有 不可预测的延迟，也可能会丢失，口没有服务质量保证。 从应用的角度来看，在广域网上支持实时媒体的最大挑战是如何在端到端 时延具有随机特性的网络上提供同步播放，媒体同步是多媒体通信中一个特殊 的也是极为重要的q o s ，如果媒体发生失步现象，就会影响用户的观看效果。 通常的办法是采取回放控制，即在接收端设置缓冲区对到达的媒体数据进行缓 冲，使绝大多数媒体单元能够在它们预定的播放时刻之前到达。几乎所有的多 媒体同步系统都需要在接收端设置缓冲区，以补偿网路时延抖动。因此，如何 选择缓冲区如何进行回放控制是实现媒体平滑播放需要研究的一个重要问题。 实时多媒体通信离不开新型网络协议的支持，因特网工程任务组 i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) f i l l 定了一系列支持多媒体实时传输和服务 质量控制的协议，如资源预留协议r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 、实时 传输协议r t p ( r e a l t i m et r a n s p o r tr r o t o c 0 1 ) 、实时传输控制协议r t c p 、实时 流化协议r t s p 。其中r t p r t c p 协议是所有这些协议的基础，虽然r t p 协议 为实时数据提供了具有实时特性的端到端传送服务，但其本身并没有提供按时 发送机制或其它服务质量保证。因此，多媒体业务的实时传输与播放要达到令 人满意的服务质量( q o s ) 还需要采取一些同步控制技术。 网络演算( n e t w o r kc a l c u l u s ) 是由r l c r u z 3 , 4 开创并由c s c h a n g 和j y l e b o u n d e c 等人【5 6 j 发展起来的一种网络队列系统性能定量分析的重要而有效的 新型数学工具，是一组基于最小加代数( m i n p l u sa l g e b r a ) 卷积和反卷积运算的 定义和结论。利用网络演算中的基本分析工具一到达曲线和服务曲线可以建立 更为准确的网络模型和简单明了地计算网络极端情况下的性能。目前网路演算 被广泛应用于网络q o s 研究的建模和理论分析中，如利用网络演算改进拥塞管 理算法【7 1 ，将网络演算作为数学工具，研究漏桶模型下的接纳控制模型i 引，基 于网络演算的g p s 系统一。1 4 工t - 缶日匕e 边界模型与分析1 9 j ，在实际应用中已将网络演算应 用于基于交换式以太网的网络控制系统中i j 。但是将网络演算理论应用于多媒 体业务的研究还比较少，因此，基于网络演算的多媒体回放控制有重要的研究 价值。 在传统的网络中，由于业务性能单一，常假设业务到达过程服从p o i s s o n 分布、达到时间间隔服从负指数分布，服务时间也服从负指数分布，因此，之 西南交通大学硕士研究生学位论文第3 页 前的多媒体业务流量模型采用马尔可夫模型【12 】( 如泊松过程) 来刻画。随着 网络技术的发展，网络流量特性发生了根本性的变化，大量研究表明，现代网 络流量具有自相似( s e l f - s i m i l a r i t y ) 、长相关( 1 0 n g r a n g ed e p e n d e n c e ，l r d ) 、重尾 分布( h e a v y t a i l e d ) 、多分形( m u l t i f r a c t i o n ) 、多尺度( m u l t i s c a l e ) 等特性i l 引。网络 业务的自相似性与基于马尔可夫假设的业务模型有着截然不同的特性，对网 络的分析、设计、控制和肿l - t 厶匕b i 评价等均具有重大的影响【1 4 。17 j 。那么，在自相似 性下，多媒体回放控制参数设置研究又将采用怎样的方案? 针对上述问题，本课题研究基于网络演算的多媒体回放控制以及自相似业 务下多媒体接收端缓冲区参数的选取问题，以保证实时多媒体播放的平滑性。 1 1 2 研究意义 目前，在网络上传输多媒体信息日益成为主流，研究多媒体回放控制技术 和同步控制技术是当前解决网络上实时多媒体传输、保证多媒体播放质量的一 个重要步骤，是多媒体研究的关键技术之一，也是未来通信领域的一个重要研 究方向。将最新的网络演算理论应用到多媒体回放控制中，同时考虑到多媒体 流量的自相似性，具有很新的研究意义。因此，本课题的研究意义主要体现在 下列两个方面： 一方面，多媒体通信中的回放控制是保证多媒体平滑性的关键，而回放控 制中关键性的问题是如何设置缓冲区大小和回放时间( p l a y b a c kp o i n t ) 。大部分 缓冲区大小的估算方法都是建立在最大和最小时延基础上的，较为简单，但对 缓冲区的利用不够充分。应用网络演算，通过分析多媒体通信端到端时延、排 队时延和回放时延之间的关系，可以方便计算出给定端到端时延、媒体流到达 曲线和网络服务曲线条件下的多媒体回放时间、需要分配的速率和需要的缓冲 区大小。同时，网络演算还是资源预留的主要工具，当网络状态发生变化时， 根据r t c p 反馈信息估计网络状态来调节带宽，重新协商预约，这时就可以很 方便地利用网络演算所推导出的可用带宽与缓冲区之间的关系来动态调节缓 冲区容量，重置回放点，保证媒体播放质量。 另一方面，考虑到现代多媒体流量的真实特性，在参数的选取中可以更接 近实际情况，更为准确。 网络时延的变化往往是造成媒体不同步的主要原因，解决的办法是除了 在接收端设置缓冲区补偿时延抖动，还要采取定的播放调度算法，自适应调 节播放速率。调整的依据是时延变化，观测网络时延的变化情况可以通过观察 西南交通大学硕士研究生学位论文第4 页 接收端缓冲区的占用程度来间接地反映网络状况。合理地选择缓冲区门限、调 节播放速度可以有效地防止缓冲区上溢造成的播放跳跃和缓冲区下溢造成的 播放停顿。根据马尔可夫调制的泊松到达情况下的排队模型给出的缓冲区门限 的选择原则不能反应实际情况，不够理想。因此，采用基于分形布朗运动( f b m ) 的排队模型，研究在具有自相似特性的多媒体流量下，如何选取接收端的缓冲 区门限具有现实意义。 1 2 国内外研究现状 同步问题解决的好坏对多媒体实时传输和平滑播放的影响是显而易见的， 如何解决同步问题，始终是研究者在思考的问题。虽然“同步 一词出现在 o s i 标准中，但o s i 标准并没有明确提出多媒体实时连续同步的需要。目前， 对同步播放的控制技术没有统一的分类方法。 b i e r s a c k 等人在文【1 8 中提出了三个分类准则进行分类，分别是时间、地 理位置和恢复同步的方式。按时间准则可以将同步方案分为需要全网同步时钟 和不需要全网同步时钟，如果要获得全网同步的时钟需要采用高级复杂的协 议，如网络时间协议n t p l l 9 1 。地理位置是指按发送端和接收端的位置分布，根 据它们所处的位置可以分为四种。恢复同步方式则可以在发送端进行，通过改 变发送速率；或者在接收端进行，通过改变播放速率或通过复制删除媒体单元 来实现。 i s h i b a s h i 等人在文 2 0 】中将媒体同步控制技术分为四类：基本控制( b a s i c c o n t r 0 1 ) 、预防性控铝1 ( p r e v e n t i v ec o n t r 0 1 ) 、反应性控铝i j ( r e a c t i v ec o n t r 0 1 ) 和公共 控铝l j ( c o m m o nc o n t r 0 1 ) 。( 1 ) 基本控制包括源端控制和目的端控制，源端控制 指在媒体单元m u 中加入同步信息如时间戳、序列号和同步标志，目的端控制 主要是引入缓冲区补偿时延抖动【2 ，基本控制是保持媒体同步的一项必不可少 的技术，几乎所有的算法都需要。( 2 ) 预防性控制在发生失步前使用，是为 了避免失步的发生，主要涉及到源端控制、基于时限的发送调度、媒体单元交 叉技术和目的端控制。其中基于时限的发送调度假设媒体单元的大小、输出期 限和时延分布概率已知，仅仅适合于存储媒体的同步。而m u 交叉技术提高了 媒体间同步质量，却降低了媒体内同步质量。目的端控制根据缓冲区的占用程 度选择丢弃或重复某个媒体单元来保持同步【勿，虽然在一定程度上补偿了网络 异常，却失去了数据流的连续性。( 3 ) 反应性控制是在发生失步后采取的措 西南交通大学硕士研究生学位论文第5 页 施，目的在于恢复同步。它的源端控制包括调整发送时间和减少媒体流的发送 数量。目的端控制有反应性丢弃或重复某个媒体单元；缩短或增加媒体单元的 持续时间，对于音频主要是改变数据包静默期的长短，对于视频主要是改变播 放的帧速率；主从媒体流交换，主要用于媒体间同步，r o t h e r m e l 等人在文 2 3 】 中提出了这样的一个交换协议。( 4 ) 将预防性控制和反应性控制结合起来使 用，就称为公共控制。 由于多媒体同步涉及到数据的生成、传输和播放等多个方面，因此，目前 大多数同步控制技术从发送端、网络、接收端三个角度出发进行考虑： 在发送端进行控制1 2 4 s l ：通常是给媒体单元附加同步信息、调整发送速率 和改变编码方式来实现同步。r a n g a n 和r a m a n a t h a n 等人最早提出一种基于反 馈的媒体同步方法，该方法的前提是端到端的最大网络时延和最小网络时延已 知，且反馈信息经历的最大时延和最小时延也是已知的，并且网络条件也不发 生变化，接收端在播放的同时，有选择性地向发送端发送反馈信息。文 2 9 】提 出基于实时传输控制协议r t c p 的反馈进行调节，通过r t c p 中的r r 包得到 关键控制参数一丢包率、抖动等，对这些参数设置阈值来决定服务器端发送速 率的切换方向。许延等人提出一种存储视频的媒体内同步算法，该算法根据接 收端的播放缓冲区的占用水平，发现失步时反馈给发送端，发送端通过改变视 频帧的发送间隔，来补偿网络异常以及恢复同步，如缓冲区占用水平高时加大 发送间隔，占用水平低时减少发送间隔。 在网络节点进行控制p o j ：f e r r a r i 在分组交换网中采用了这种控制方法，该 方法是将全部的缓冲区要求均匀地分布在路径的各个节点上，通过缓存来补偿 时延抖动，同时发送的数据在接收端进行播放。由于各个媒体流的发送时间由 发送方决定，当有多个媒体源时，就难以在各个源之间调节发送时间，因此该 方案只适用于媒体流来自同一源的情况。由于在网络节点处进行控制的方法实 现起来比较困难，因此较少采用。 在接收端进行控制1 1 1 , 1 2 3 1 - 37 j ：( 1 ) 最基本的一项技术是回放控制技术，通 过设置缓冲区预取媒体单元实现平滑播放，当网络发生变化时根据数据包传输 质量( 如传输时延、时延抖动、丢包率) 和媒体评价标准进行自适应回放控制， 文 1 2 n 3 2 1 分别利用语音质量的评价标准平均意见得分( m o s ) 和不连续性 方差v d o p 提出了播放缓冲区的自适应算法。( 2 ) 根据缓冲区的占用水平跳 过或重复播放某些媒体单元，这种方法由于控制粒度太大，容易造成数据流的 不连续性。( 3 ) 动态调整播放速率，来响应网络时延的变化。蒋涛等人】从 西南交通大学硕士研究生学位论文第6 页 信宿端的角度来解决视频媒体的同步连续播放，提出一种自适应的动态媒体播 放算法，分析了马尔可夫调整的泊松到达情况下的排队模型，给出缓冲区门限 的选取原则，通过观测缓冲区的占用水平调节视频帧的播放速率。对于音频 流，由于入耳对声音频率的变化比较敏感，因此一般不能改变音频数据流的播 放速率，往往是通过改变音频数据包的静默期长短来改变每个音频数据包的持 续时间，这相当于改变了音频的播放速率。 以上的这些同步控制算法通常只考虑了某一方面的问题：( 1 ) 在发送端 进行控制时，仅仅是根据反馈调整发送速率或者编码方式，而没有考虑到接收 端缓冲区的情况；( 2 ) 在接收端进行控制时，通过缓冲区占用水平采取跳过 丢弃媒体单元或调整播放速率的方案中，要不就是控制粒度太大，要不就是没 有考虑现实的流量特性；( 3 ) 特别是回放控制技术中，补偿缓冲区的设计往 往根据经验进行设置【3 6 3 8 1 ，b i e r s a c k 1 8 】给出了时延受限情况下缓冲区大小的估 算方法，该方法虽然简单，但对缓冲区的利用不够充分并且有较大的播放时延。 文 3 0 分析了可感知服务质量( p q o s ) 参数与缓冲区选择的关系，文 3 9 】在此基 础上分析了i n t e m e t 网上时延抖动的一阶和二阶统计特性，利用c h e m o 行不等 式，推导出所需缓冲区大小的计算公式，这种方法虽然在缓冲区的利用率上有 所提高但是复杂且客观性差。 网络演算是分析网络通信实时性能的一种实用方法，这种方法适用于各种 业务流，且能够计算多种参数的确定性上界，例如时延、时延抖动和缓冲区大 小等。过去几年也将网络演算理论应用到了多媒体平滑技术中【4 ，但仅仅只 是做了理想情况下的公式推导。 针对以上的问题，本文将在已有的研究成果上，对现有技术进行研究和分 析，在多媒体同步控制中引入最新的理论研究工具网络演算，同时考虑到 现代网络流量的自相似特性，对同步播放控制技术进行改进。 1 3 本文的研究工作及论文内容安排 本课题的目标是研究发送端、网络和接收端控制方案，实现多媒体同步平 滑播放。与传统媒体相比，多媒体应用往往需要更宽的带宽，而且几乎所有的 多媒体应用都具有实时性。如果网络拥塞，对于非实时媒体来说，只是传送时 间变长；而对于实时媒体，可能会造成抖动甚至数据包丢失，会引起媒体失步。 针对网络传输过程中的问题，分析了i n t e m e t 多媒体协议栈和一系列支持 西南交通大学硕士研究生学位论文第7 页 连续媒体服务质量的协议( r t w r t c p 、r s v p ) ，提出了基于r t c p 反馈的多 媒体回放控制方案和基于缓冲区监测的自适应回放方案。第一种方案主要是在 带宽的调节下动态调整缓冲区容量，是将发送端和接收端控制结合起来考虑 的，同时引入了最新的网络演算理论，分析缓冲区的设置和可用带宽的分配。 第二种方案主要是在接收端进行控制，考虑到多媒体流量的自相似性，讨论缓 冲区门限的选取原则，通过m a t l a b 和o p n e t 相结合的仿真方法验证了本 课题中选择的门限可以保证媒体播放的连续性。 论文的内容安排如下： 第1 章绪论介绍了课题背景、国内外研究情况、研究意义及本论文的主要 研究内容； 第2 章介绍多媒体同步的概念、以及时间同步的关系；详细阐述了在单机 环境下和网络环境下多媒体同步的影响因素和同步控制机制，为后面提出的同 步方案提供了理论基础；在最后分析了目前常采用的一种缓冲区参数设置方 法，并指出了该方法存在的问题； 第3 章讨论了回放控制中最基本也是必不可少的补偿缓冲区问题，分析了 多媒体通信的端到端时延组成，以及与排队时延和回放时延之间的关系，重点 研究了利用网络演算中的到达曲线和服务曲线这两个数学分析工具在给定端 到端时延的条件下推导缓冲区大小以及回放点的计算方法，为后面同步方案中 基本缓冲区的设计提供了依据，最后还通过实例和应用程序验证了该方法的正 确性和有效性； 第4 章提出了一个基于r 口瓜t c p 反馈的回放控制方案，利用r t c p 报文 中的信息来估计网络状态，进行带宽调整，其中拥塞指示量是将分组丢失率和 时延抖动两者结合起来进行综合估计，给出了用于判断的阈值的选取原则。在 整个基于反馈的回放控制方案中重点介绍了缓冲区控制模块，研究了重新协 商预约网络资源后如何动态调节缓冲区容量和重设回放点，以补偿时延抖动； 第5 章针对在地域上比较分散的系统，通过网络进行信息反馈比较耗时的 考虑，提出一种基于缓冲区观察法的自适应播放方案。其中基本缓冲区的选取 采用了第三章讨论的方法，本章重点研究了在自相似流量特性环境下，基于 g d 1 n 排队模型的缓冲区门限的选取方法，通过m a t l a b 和o p n e t 相结 合的仿真方法验证了参数选取的合理性。 结束语部分对本论文的主要工作进行总结，指出论文需要进一步完善的地 方，并提出与课题相关的进一步研究的个人见解。 西南交通大学硕士研究生学位论文第8 页 第2 章回放控制相关技术 随着计算机技术和通信技术的迅速发展，将计算机的交互性、通信网络的 分布性和电视的真实性融为一体，产生了一种新的通信方式多媒体通信。 而在多媒体通信系统中，媒体同步又是一个不可回避的问题，为了保持媒体同 步涉及到很多技术问题，本章将系统地分析多媒体同步的相关技术，并着重研 究回放控制参数的度量。 2 1 多媒体同步的定义及其时间同步关系 多媒体信息形式有四种：音频、视频、图形和文本。其中，音频和视频媒 体与时间相关，称为连续媒体；图形和文本媒体与时间无关，称为静态媒体。 连续媒体具有隐含的时间关系，当多媒体系统存储、发送和播放数据时必须维 持这种关系。一般地，我们称维持一个或多个媒体流时间顺序的过程为多媒体 同步f 4 2 1 。 多媒体对象的同步关系可以抽象为以下三种类型【4 3 】： ( 1 ) 媒体内的时间关系 媒体内的时间关系即流内同步，主要是保证单个媒体流之间的简单时态关 系，也就是按一定的时间要求传送每一个媒体对象，其表现为媒体流的连续性， 以满足人们感知上的要求。流内同步的复杂性不仅与单个媒体的种类有关，而 且和分布式系统提供的服务质量( q u a l i t yo fs e r v i c e ，q o s ) 有关。同时，也和 源端和目的端的操作系统的实时性有关。 ( 2 ) 媒体间的同步关系 媒体间的同步关系即流间同步，主要是保证不同媒体间的时间关系，如音 频和视频之间的时态关系，音频和文本之间的时态关系等，表现为各个媒体流 中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关。 ( 3 ) 人机交互同步 人机交互同步是指用户与各种媒体对象之间的交互同步。比如视频点播中 用户可以控制流媒体的快进、暂停和倒放等。这种同步的交互是一个没有确切 发生时间的事件，但它总是在某个时间区间内发生，因此可以看成是一个时间 片，有其开始点和结束点。因此，人机交互对象的同步一般只存在结束点和开 西南交通大学硕士研究生学位论文第9 页 始点，与静态媒体间同步一致。 2 2 多媒体同步控制机制 无论多媒体信息来自单机还是网络，由于受到环境因素的影响都可能产生 同步失调的问题，必须引入多媒体同步机制，以保证多媒体信息的同步播放。 在网络环境下，媒体信息来源于不同的媒体源，在网络传输过程中可能产生不 同的延时和抖动以及数据丢失。因此，网络环境下的多媒体同步问题比单机环 境下要复杂得多，必须通过更加有效的多媒体同步机制来保证多媒体信息的同 步播放和播放质量。 2 2 1 单机环境下的多媒体同步技术 在单机环境中，引入多媒体流失步的因素有：显示速率、磁盘i 0 速率以 及处理机速率等。结果在不同环境中可能会出现音频和视频播放不同步的现 象，在速度较快的机器上，将会出现声音慢于图像的现象，而在速度较慢的机 器上，又会出现声音快于图像的现象。因此，必须通过同步技术来解决媒体在 不同存储体上播放的同步问题。 在多媒体对象播放过程中，固定频率声音的播放是不能间断的，否则将产 生声音播放的停顿，而人们是不能接受有停顿的声音的。图像序列的播放采用 的是帧覆盖方式，只要帧之间的延迟不超过一定的范围，就不会在人们的视觉 上造成太大的错位或停顿感觉。因此，可以采用优先级方法来解决媒体播放时 不同媒体对延迟的灵敏度问题。通常，音频对象比视频对象具有更高的优先级。 常用的多媒体同步技术有两种： ( 1 ) 基于参考点的同步法 在基于参考点的同步法中，音视频对象被看作是由等间距的子单元序列组 成的，同步关系可以用同时出现的不同对象来定义，一个媒体对象的子单元的 位置称为参考点。该方法把媒体对象分为静态和动态两种基本对象，基本对象 的同步由参考点定义。在这种同步算法中，同步控制采用三种原子动作，等待： 如果一个动态对象的播放已达到同步点而其他对象还未到达，则该对象需要执 行一个等待动作，如暂停视频帧等；跳过：如果一个对象的播放需要跟上另一 个对象的播放，则该对象需要执行跳过动作去播放下一个媒体单元的数据；连 续跳过：如果一个对象的播放需要连续跳过多个媒体单元到达新的同步点，则 西南交通大学硕士研究生学位论文第10 页 该对象需要执行连续跳过动作来增大播放速度，这是一种加速操作。 基于参考点的同步法的优点别删：对内存的要求不高，不需要一次性将所 有的音频数据调入内存，而是利用双缓冲区技术实现音频数据的连续播放；在 播放过程中进行快进、快退、暂停或慢放等控制操作非常方便；与对象合成 p e t r i 网( o c p n ) 的机理相吻合。 ( 2 ) 基于参考时间线的同步法 基于参考时间线的同步法是把多个具有时间关系的媒体对象统一于一个 时间线上进行描述，更换或移去一个对象并不影响其他对象的同步。这种同步 技术的关键是维持一个公共的时间线，每个对象将时间线映射到对象的局部时 间，并沿此局部时间线进行播放，当公共时间线和局部时间的误差超过一个指 定的范围时，则要求重新进行同步。 基于参考时间线同步法的突出优点是：媒体以非切割方式分开存储，不同 段可重复应用于不同的应用程序，而不必重复地切割成多个拷贝，这对于同一 视频图像采用多语种进行解说的应用来说非常有用。但是这种同步方法表现各 种媒体流之间的同步关系还不太充分，例如，当用户交互作用于播放对象时， 保持媒体间的同步比较困难。 2 2 2 网络环境下的多媒体同步技术 在一台多媒体计算机中进行信息获取、处理、存储和播放的系统是单机系 统，如果信息的发送方和接收方分处异地，中间需要网络连接的系统成为分布 式多媒体系统。 按照发送方( 信源) 和接收方( 信宿) 的位置和分布，分布式多媒体系统 的结构可以分为四种，如图2 1 所示。 其中，( a ) 一个信源一个信宿的情况称为点对点结构，可视电话就是这种结 构的典型应用；( b ) 一个信源多个信宿，有一个信源向多个信宿发送信息，典型 的应用有远程教学、电视会议等；( c ) 多个信源一个信宿，例如从一个数据库得 到视频信息，从另一个数据库获得相关的音频信息；( d ) 多个信源多个信宿，这 种结构中用户构成了一个组，组内的用户可以为信源也可以为信宿，或者信源 又是信宿，多媒体就是这种结构的典型例子。 西南交通大学硕士研究生学位论文第1 1 页 信源信宿 c ) - 信源 信宿 图2 1分布式多媒体系统结构 2 2 2 1 网络中影响媒体同步的因素 在网络环境下，多媒体对象往往需要通过网络传输到接收端进行播放，影 响媒体同步的主要因素有：媒体间时延偏移、网络时延抖动、端到