（信号与信息处理专业论文）无线流媒体代理中基于反馈的调度算法的研究.pdf

南京邮 u 学院顸士学位论文无线流媒体代理中基于反馈的调度算法研究 无线流媒体代理中基于反馈的调度算法的研究 摘要 随着无线网络技术的飞速发展，单一的数据话音业务已经不能满足人们日益增 长的需求，多媒体无线通信正渐渐成为研究中的热点。流媒体业务是随着i n t e r n e t 的发展而兴起一项多媒体业务，它将是未来无线网络上数据流量的主体，可以说， 能否实现流媒体服务将成为未来无线网络成功的关键。 在无线网络中传输流媒体遇到很多的困难，有线信道和无线信道的差异对流媒 体传输的影响就是其中之一。在有线信道中，绝大多数的媒体质量下降是由于网络 拥塞引起的丢包产生的：而在无线信道中，由于信道的不可靠性，电波传输中的衰 落是造成媒体丢包的重要原因。针对以上的状况，综合前人的研究，本文提出了一 种基于转换编码的无线流媒体代理系统。在有线信道和无线信道的边界设置一个流 媒体代理，利用该代理检测两侧不同的网络状况，并采取相应措施提高流媒体的服 务质量。 本文在流媒体代理中采用抗干扰性强的e n _ m d m c 编码应对无线网络中快衰落引 起的单个丢包，并通过基于反馈的调度算法减少在慢衰落引起的突发差错中丢失的 数据包的数目，从而提高流媒体的服务质量。实验证明，采用本文提出的基于反馈 的调度算法后，客户端恢复的图像质量有一定的提高。 关键字：无线流媒体代理包调度基于反馈突发差错 南京| | | | j i 也学院硕士学位论文无线流媒体代理中基于反馈的调度算法研究 r e s e a r c ho nf e e d b a c k b a s e dp a c k e ts c h e d u l ei uw i r e l e s s s t r e a m i n gm e d i aa g e n t a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to ft h ew i r e l e s st e c h n o l o g y , r e s e a r c h o nw i r e l e s s m u l t i m e d i ac o m m u n i c a t i o n sn o wb e c o m e sah o t s p o ti nr e l a t e df i e l d s t r e a m i n gm e d i a ( s m ) i sa l le m e r g i n gs e r v i c ea p p e a r e dw i t ht h ef a s td e v e l o p m e n to fi n t e m e ta n di t i s r e g a r d e da st h ek e ys e r v i c ew h i c hd e t e r m i n e st h ef o r t u n eo fw i r e l e s sn e t w o r k si nt h e f u t u r e h o w e v e r , s t r e a m i n gm e d i ao v e rw i r e l e s sn e t w o r k se n c o u n t e r e dm a n yc h a l l e n g i n g d i f f i c u l t i e s ，o n eo fw h i c hi st h ed i f f e r e n c eb e t w e e nw i r e da n dw i r e l e s sc h a n n e l s i nw i r e d c h a n n e l s ，p a c kl o s s e sa r eo f t e nc a u s e db yn e t w o r kc o n g e s t i o n ，b u ti nt h ec a s eo fw i r e l e s s c h a n n e l s ，h i g hb i te r r o rr a t ec a u s e db yf a d i n gi st h em a i np r o b l e m i nt h i s p a p e r , b a s e do no t h e r sf o r m e r l yr e s e a r c h e s ，w ep r o p o s e d aw i r e l e s s s t r e a m i n ga g e n ts y s t e m a na g e n tw h i c hc a nt r a n s - c o d ei n c o m es t r e a mi n t om u l t i p l e d e s c r i p t i o no u t c o m es t r e a m si sp l a c e do nt h ej o i n te d g eo fw i r e da n dw i r e l e s sn e t w o r k o u rr e s e a r c hm a i n l yf o c u s e do nh o wt od e a lw i t ht h eb u r s te r r o r sc a u s e db ys h a d o w e f f e c t so ro t h e rs l o wf a d i n gi nw i r e l e s sn e t w o r k t e s tr e s u l t ss h o wt h a t0 1 1 1 a l g o r i t h mc a n i m p r o v et h es u b j e c t i v ea n do b j e c t i v eq u a l i t yo f t h er e c o n s t r u c t e di m a g e s k e y w o r d s ：w i r e l e s ss t r e a m i n gm e d i aa g e n t ，f e e d b a c kb a s e d p a c k e ts c h e d u l e ，b u r s te r r o r i l 南京邮电学院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：驾塑驾 日期：丝堕：芝 ! 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部办理。 研究生签名：避导师签彳： f 南京懈 u 学院硕+ 学位论文第一章：弓f 言 第一章：引言 目前，无线广域网从2 g 发展到3 g ，单一的话音业务已经不能满足人们的需要， 多媒体等业务正在成为移动领域内一个新的服务方向。对于移动终端特别是手机而 言，其内存与能量受到限制，传统的媒体文件下载播放方式不能得到应用，一种新 的技术：移动流媒体技术必然成为移动业务的新的增长点。 流媒体技术是近几年来在互联网上出现的一种多媒体传输播放技术 1 。应用陔 技术，用户可以采用边下载边播放的方式获得良好的收视效果。这种技术经过几年 的发展已经日趋成熟，由于其码流适于低速率传输，因此在无线网络传输流媒体数 据渐渐成为开展未来无线多媒体业务的关键所在。 移动流媒体业务中，移动终端向有线网络中的流媒体服务器发送请求，流媒体 服务器接收到终端的请求后，向客户端传输流媒体数据。与在i n t e r n e t 上传输流媒 体不同，在移动流媒体业务中，流媒体数据先后经过有线网络和无线网络到达移动 终端。有线网络和无线网络在底层结构上介质完全不同，从而在信道条件上也大相 径庭。不同的信道，在带宽、差错率等方面也不同，而带宽、差错率直接制约着对 流媒体数据的传输所能提供的服务质量。因此在不同的信道中传输流媒体数据时， 采用同一种服务质量标准不能满足实际的需求。 有线网络和无线网络由于信道条件的差异，对流媒体数据传输的影响不同，分 析如下： 1 、 带宽差异：为得到可以接受的视频质量，视频流式传输有最小带宽的要求。有 线信道( i n t e m e t ) 流量是随时间变换的，各个时刻的情况很不相同，因此可用 带宽是不可预知、动态变化的【2 ，3 ；而在无线网络中，视频流式传输不仅受带 宽抖动的影响还受其他众多因素的影响，多径衰弱、信道间相互干扰、噪声等 因素使得无线信道的带宽与因特网相比变得更加有限 4 。当流媒体数据从有线 网络进入无线网络时，可用带宽的变化十分剧烈。如果数据在有线网传输速率 大于无线网带宽，就会严重损害移动终端的接收质量：而另一方面，如果在流 媒体服务器端按照无线网络的带宽传输数掘，那么就不能充分利用有线网络的 带宽资源。因此，对于流媒体的跨网络传输，必然要采取相应的措施，达到传 南京邮l b 学院顸上学位论文 第一章：i f 言 输速率和带宽的匹配。 2 、差错产生原因不同：无论在无线环境中还是在因特网中，大部分的错误都是由 丢包引起的 5 ，6 。丢包产生的影响与丢包类型有关，丢包类型有三种：单个包 丢失、突发性丢包、暂时的通信中断。有线信道中，网络拥塞是造成丢包的主 要原因 6 】，而在移动网络中，由于无线链路受到多径衰弱、信道间干扰以及噪 声的影响，频繁的位错误是造成数据包丢失的主要原n 5 1 。从流媒体服务器的 角度而言，仅凭客户端的反馈不能准确判定网络故障发生在有线信道还是无线 信道，从而不利于流服务器采用不同的应对措施来提高服务质量。 为了解决在流媒体数据跨网络传输中产生的问题，人们提出了一种无线流媒体 代理系统。流媒体代理是放置在有线网络和无线网络交界的网络中间节点，该节点 可以对于两侧不同的网络状况进行估计并采取不同的应对措施，从而提高流媒体的 服务质量。 当前流媒体代理的研究主要有以下几个方面： l 、缓存研究。代理的一个主要功能就是缓存数据，采用何种策略置换缓存中的内 容是缓存研究的重点。r e j a i e 等人提出了一种应用于分层编码流的代理缓存机 制 7 ，在该算法中，码流被分成基本层和扩展层，代理中缓存最常用的视频对 象的基本层数据以满足接收端的基本需求，并在客户端要求数据的时候向服务 器请求扩展层数据。在s e n 等【8 】的研究中采用了一种预缓存措施，即在代理 中预存储一部分媒体数据，以减少客户端接收开始时的等待时间。t e w a r i 等 9 提出了应用于恒定比特流的基于资源的缓存机制，其置换策略同时考虑了网络 带宽和代理空间。 2 、转换编码研究。针对于无线带宽和有线带宽的差异问题，码流在进入无线网络 时，需要进行进行转换编码，流媒体代理中转换编码的研究集中在两个方面： 码流格式转换 1 0 ，1 l 】和降低速率的转换编 1 6 1 2 ，1 3 】。前者研究的重点是在 不同的码流格式之间进行转换，例如h 2 6 3 和m p e g 4 ；后者的研究是通过对 码流进行下采样或者重新量化来降低码流速率，以适应无线网络有限的带宽。 3 、编码、传输鲁棒性研究。针对于无线网络中差错率高的状况，代理中对码流进 行抗差错的保护，例如f e c 1 4 、分层编码 1 5 】、多描述编码 1 6 】等：代理中也 可以采用合适的传送措施来保证接收端的接收质量，如a r q 1 7 ；另外的研究 南京邮i 乜学院顿十学位论文第一章：引言 是在无线网络上实施t f r c 协议来保证传输质量 1 8 】。 综上，设置无线流媒体代理的最终目的是改善流媒体在无线网络中的服务质 量。与上述流媒体代理的研究不同，本文研究的流媒体代理中，针对于无线网络中 不同的衰落类型采取不同的方案以提高流媒体的传输质量。针对快衰落引起的单包 丢失或少量包丢失，采用基于二阶预测的多描述编码【1 9 对输入码流进行转换编码， 以加强码流的抗扰性；针对无线信道中慢衰落造成一段时间包的丢失，提出了一种 基于即时反馈的调度算法，以减少突发性丢包对于媒体质量的损害。 本文的结构如下：第二章详细描述流媒体代理系统的研究现状，并在此基础上 总结流媒体代理各部件的内部结构与功能；第三章分析现有无线网络中的衰落以及 衰落对流媒体特别是视频数据的影响，并在考察现有网络模型的基础上对无线网络 建立一个统计模型：在第四章，通过对前一章内容的研究，针对无线网络中慢衰落 引起的突发现象提出一种码流传输控制算法：第五章对第四章提出的算法进行测 试，并对试验结果进行分析。第六章对本文的工作进行了必要的总结，并展望未来 的工作，提出下阶段工作的重点。 南京邮f u 学院硕士学位论文 第二章：无线流媒体代理 第二章：无线流媒体代理 多种通信网络无缝链接在研究和开发领域已经成为富有挑战性的课题，同样跨 网络的多媒体通信也越来越受到研究者的关注。为了提高流媒体数据在不同网络中 传输的质量，当前有一项研究是无线流媒体代理技术，即在有线网络和无线网络的 边界设置一个流媒体代理，通过该代理对两侧不同的网络状况进行估计并采取不同 的应对措施，以达到提高跨网络流媒体服务质量的目的。 本文的研究的该代理有两个主要功能，1 ) 对上游流媒体数据进行多描述转码2 ) 对多描述数据流根据网络状况进行转发。本章中，主要介绍流媒体代理系统的结构 与功能。 2 1 流媒体代理系统的系统构架 在典型的移动流媒体系统中，流媒体服务器处于有线网络中，为终端提供流媒 体数据。当客户端处于有线网络时，对于提高流媒体服务质量的研究有很多，而且 也比较成熟 2 ，2 0 ，2 l ，2 2 ；但是当客户端处于无线网络中时，以往的研究【2 3 ， 2 4 往往忽略无线网络中最后一跳( 从基站发射器到客户端) 对流媒体传输的影响， 而仅仅根据无线终端的反馈信息来调整流媒体的发送。一个典型的流媒体传输系统 如图2 - 1 所示。 图2 - 1 流媒体传输系统图 这种系统结构的缺陷是显而易见的。从服务器的角度看，不可能有效的根据收 到的反馈来辨别实际的网络状态，从而不能很好的调整发送策略来改善流媒体的传 输。一般而言，对于有线网络的拥塞引起的差错，可以用降低传输速率的方法来改 南京邮| u 学院硕士学位论文第二章：无线流媒体代理 善传输：而对于无线网络衰落以及阴影效应等引起的差错，则需要提高媒体流的抗 差错能力，如采用分层编码、多描述编码等来改善传输质量。因此，图2 1 所示的 流媒体传输系统由于无法分辨不同的网络状态，在跨网络传输流媒体对难以获得较 好的传输质量。 为了改善传输，有一些研究 2 4 ，2 5 ，2 6 在有线网络和无线网络的交界加入一个流 媒体代理，通过这个网络节点，把流媒体传输的路径分割为无线和有线两个部分， 从而对于不同的网络进行不同的处理。 f a ny a n g 等在研究中 2 6 提出了图2 2 中的无线流媒体代理系统结构，在其结 构中，代理放置于基站控制器中，向流服务器提供i n t e r n e t 的拥塞报告以及无线网 络的差错情况。 圜= i 一 “ c o n g e s t i o n 酞耄 m o b i i eh o s t ( c l i e n t ) 图2 - 2y a n g 2 6 提出了流媒体代理系统结构 图2 - 3 是l e i h u a n g 等在其研究【2 4 中提出另一种无线流媒体代理系统的结构。 d e d i c a t e du m t s s t r e a m i n gb e a r e r - - - w i t hq o s 圜垦一河丑 图2 3l e i h u a n g 2 4 提出的流媒体代理系统结构 该系统结构针对u m t s 网络，对流媒体代理服务器的放置位置进行了细化。代 理服务器被放置在u m t s 核心网中的g g s n 之前，这样对于无线网络的流媒体服 务质量保障可以依靠3 g p p 中的承载业务来进行，而只把研究重点放在应对有线网 络的拥塞控制上。 综合上面两种系统结构，本文采取了如图2 - 4 所示的无线流媒体代理系统结构。 在这种流媒体代理系统中，原始的由流服务器一一移动终端构成的c s 系统被分割 南京邮i 乜学院硕j ：学位论文第二章：无线流媒体代理 为两个衔接的c s 系统。 首先，移动客户端向流服务器发送数据请求后，流媒体服务器根据移动客户端 所在的小区选择流媒体代理，并建立连接。流媒体代理作为虚拟客户端和流服务器 进行通信，流媒体数据被发送到流媒体代理，同时流媒体代理给流服务器提供反馈， 以便于流服务器根据有线网络的状况改变调度机制。流媒体代理与流服务器构成了 第一层c s 系统。 移动客户端和流媒体代理构成了第二个c s 系统。流媒体数据在流媒体代理缓 存并进行抗干扰编码后，通过无线网络传输到移动终端，移动终端接收到流媒体数 据，进行解码播放并向流媒体代理发送反馈，流媒体代理根据反馈来估计无线网络 的状态，改变发送策略。 图2 - 4 无线流媒体代理系统 2 2 无线流媒体代理系统的分类 无线流媒体代理系统虽然在整体结构上大同小异，但是在不同的研究应用中， 其内部结构和功能是不相同的。按照流媒体代理的内部结构与功能，无线流媒体代 理系统大体可以分为两类：基于发送与差错控制的流媒体代理系统和基于转换编码 的流媒体代理系统。 2 2 1 基于发送与差错控制的流媒体代理系统 f a ny a n g 等在研究r b 2 6 提出的流媒体代理系统是典型的基于发送和差错控制 的无线流媒体代理系统( 图2 2 ) 。该系统由服务器、代理、客户端以及分别运行于 三者之上的程序组成。处于系统三个组成部分中的处理程序作用有所不同。在服务 器端处理程序根据代理返回的拥塞报告调整传送速率，并根据从移动终端返回的差 南京邮【b 学院硕1 j 学位论文第二章：无线流媒体代理 错率报告来进行差错控制后采用部分校验和策略来分包数据并传送。在客户端中处 理程序用于计算差错率并周期性把差错率传送给服务器端，对接收的数据包进行校 验以及发送衰落结束通知给代理。代理中处理程序的作用为：计算从服务器传送包 的丢失情况，并发送拥塞报告给服务器端；根据客户端发送的n a c k s 或者衰落结 束通知重传数据给客户端，这种重传基于加权的调度算法。这种体系结构主要有3 个功能：差错控制：衰落重传：拥塞控制。差错控制是由服务器客户端完成的，衰 落重传出网关和客户端完成，拥塞控制用于服务器与网关之间。 l e i h u a n g 等在其研究 2 4 】中提出的流媒体代理系统结构中( 图2 3 ) ，由于对无 线网络流媒体服务质量的保障依靠于u m t s 的承载业务进行，因此其研究重点在于 应用t c pf r i e n d l yr a t ec o n t r o l ( t f r c ) 方法对有线网络进行拥塞控制，t f r c 是 在非t c p 协议的基础上应用类似于t c p 的速率调整。有线网络中，对于一般的数 据传送，数据要求无误传输到客户端，因此一般在网络层采用t c p 传输，大流量重 传数据必然会使网路出现拥塞，而对于流媒体而言，实时性要比低差错稍为重要， 客户端对于媒体流的差错有一定的容忍度，因此经常使用r t p 传输，r t p 建立在 u d p 之上，在网络拥塞的时候仍然不会降低发送速率，从而可以优先考虑实时性。 在其研究中，通过在t r f c 协议之上建立了一个简单的重传机制以保证较低差错率， 并与t c p 直接直连的效果进行了比较，比较的标准是：如何使客户端具有较低的初 始缓冲延迟和较小的缓存尺寸。t c pf r i e n d l y 速率控制算法有两种，一种是模仿 t c p 拥塞控制，采用a i m d ，另一种是利用t c p 吞吐量公式。研究中采用了基于 5 r e x f o r d 研究 2 7 的t f r c 控制算法，并在其上进行了改进。由于其标准是使客 户端获得较小的延迟以及缓存大小，算法在实质上是在代理缓存和客户端缓存之间 寻求一种达到标准的方法。当代理缓存中有数据的时候，要尽可能快地将它们传送 到客户端，同时防止客户端缓存的溢出( 传输上界) ：传输足够的数据给客户端平 滑播放，同时防止代理缓存溢出( 传输下界) 。图2 5 为其算法原理，a 是k 时刻进 入代理缓存的数据，d 是k 时刻播放的数据，x 、y 分别为客户以及代理缓存。以r 代表k 时刻客户端可以使用的最大数据量，建立一个s 方案，计算k 时刻应该从服 务器传送到代理端的数据量，从这个s 可以计算出y 缓存的大小。 南京邮l b 学院硕士学位论文第二章：无线流媒体代理 a l 竺兰! 广 竺竺! 广 。凛巍，l j t c p t f r c 图2 - 5l e i h u a n g 2 4 流媒体代理系统中的缓存控制 图2 6 为g e n ec h e u n g 等在其研究 2 8 】中提出的无线流媒体代理系统的逻辑模 型。该系统称为双反馈流媒体代理系统( d s f a ) 。 图2 - 6g e n ec h e u n g 2 8 提出d f s a 系统结构 该无线流媒体代理系统中采用了加入部分路径信息的方式提高控制的效率。其 研究的核心问题在于如何利用部分路径信息。在混合网络条件下传输流媒体数据， 一种最常用的方法是端到端的连接，客户端如果发现信息丢失，那么就会发反馈给 服务器端，服务器端根据反馈进行处理。但是因为无线网络与有线网络中传输流媒 体时遇到的差错状况是不同的，服务器端不能准确辨别错误发生在有线网络还是无 线网络，而只是采用有线上的拥塞控制算法，降低传输速率，不可能有效的处理多 媒体信息。流媒体代理可以向流媒体服务器反馈有线网络的状况，这部分信息称为 部分路径信息。流服务器同时收到客户端和代理返回的两种网络信息，根据对两种 信息的比较，就可以辨别差错具体发生在哪一个网络，从而采用相应的措旌进行处 理。该研究提出流媒体代理是在r t p 监视代理的基础上发展而来。代理发送两种反 馈给服务器端，一种是统计反馈，一般几秒钟发一次，包括r t t 和丢包率等；另一 种是即时反馈，这种反馈的发送周期很短，包括一些用户自定义的事件消息，用于 处理一些突发事件。文章中假设是有线网发生拥塞，无线网的没有丢包只发生在网 络带宽和发送速率产生矛盾的时候。在这种情况下，移动客户端和代理分别发信息 给服务器。通过比较，就可以即时采取相应的控制方法。其系统模型如下： 南京邮l u 学院硕二学位论文 第二章：无线流媒体代理 图2 7d f s a 中的反馈结构 2 2 2 基于转换编码的流媒体代理系统 视频转换编码是为了实现一种压缩的视频流在异型网间互通，而将该压缩从一 种语法转换到另一种语法结构所需的操作过程。使用这些算法完成所需转换的设备 称为视频转换编码器。 视频转换编码想法的初衷是考虑视频编码技术的可缩放性 2 9 ，3 0 1 ，可缩放性允 许一个视频源的视频编码器以不同的比特率和q o s 级别产生不同的视频流，以适应 不同网络条件的需求。可展缩性编码需要使用复杂的可展缩技术，从而导致需要额 外的处理能力和附加的延时，从而得到复杂且次优的视频编解码结果。 已经提出的几种视频转换编码中，最常用的是同类视频转换编码算法，由适应 变化的传输环境的比特率、帧速率和或降低分辨率算法组成。随着处理器处理能力 的提高和多媒体通信网络的发展，异类的转换编码器已经日渐流行并可实际操作。 所谓异类转换编码，指为解决视频编码标准彼此不相同而进行的转换编码，通俗而 言，就是从一种编码格式转换为另一种编码格式。解决标准不兼容问题通常采用一 对完全解码重新编码器，然而，解码重新编码会显著增加复杂度。另外的一种视 频转换编码器称为差错弹性恢复的视频转换编码器。加入这种转码器的代理往往位 于低差错率、高带宽和高差错率、低带宽两种网络的边界，通过转换编码提高媒体 数据的抗扰性能。 在无线流媒体代理系统中，为了应对无线网络高差错率的情况，有一种措施就 是在代理中加入差错弹性恢复的视频转换编码器 3 1 ，以使得流媒体数据通过转换 编码器的处理后适应实际的无线网络传输。 j e n sm e g g e r s 在研究 2 5 中提出了一种向移动终端提供流服务的视频网关( 图 2 - 8 ) ，这种视频网关实质上是一种基于转换编码的无线流媒体代理。网关内部采用 南京邮电学院硕士学位论文 第二章：无线流媒体代理 了分层的结构，分为四个层。首先是媒体与通道选择，这一层用来根据当前网络配 置来选择通道，并在可能的条件下初始化变换编码器；第二层是变换编码层，根据 网络带宽限制对进入的流进行变换编码或进行分层编码：第三层是应用帧层，这一 层的作用是将流数据进行分帧，从而降低由丢包产生的错误：最后一层是网络适配 层，是直接对比特流进行控制，相应的差错控制方法如a r q 或者f e c 都可以用到。 具体的实现上，它对要发送的包进行了不平等保护( u e p ) ，在网络带宽情况较差 时，仅传输重要性高的帧。在这种分层的视频网关中，可以在不同的层上进行q o s 保证。 图2 - 8j e n sm e g g e r s 2 5 分层视频网关示意图 2 3 无线流媒体代理的模块结构和功能 无线流媒体代理作为流媒体代理传输系统的核心，一方面要和流服务器通信， 保证上游链接的数据的完整性，一方面要处理客户端的信息，保证向下游链接传输 数据的鲁棒性。本文研究的流媒体代理的内部模块结构如图2 - 9 所示。 南京懈电学院硕l j 学位论文 第二章：无线流媒体代理 图2 - 9 流媒体代理内部模块结构 流媒体代理内部的组成模块主要有以下几部分： 夺通信模块( c o m m u n i c a t i o nm o d u l e ) 。流媒体代理在流服务器和移动终端的 通信中充当信令中继的角色，即将移动终端的播放控制信息传递给流服务 器以及将流服务器的信令信息发送到移动终端，从而保证服务器和终端的 通信连接。 冷上路缓存( b u f f e r ) 。该缓存用于缓存从流服务器到来的流媒体数据，这些 数据用来作为转码操作的源数据。缓存的大小受缓存控制器( b u 行e r c o n t r 0 1 ) 控制。 夺缓存控制器( b u f f e rc o n t r 0 1 ) 。控制缓存大小，监控缓存数据状况，并把缓 存信息通过代理反馈模块( s a f e e d b a c km o d u l e ) 反馈给流服务器以便于流 服务器的调度控制。 夺转码模块( t r a n s c o d i n gm o d u l e ) 。转码模块是流媒体代理的重要组成模块， 流媒体数据的转码有很多种，例如f e c 的转码，媒体流变换为分层编码等。 该模块的作用是依据下游链路的状况将源媒体流变换成为适合传输或抗干 扰性好的格式。 夺发送队列( o u t g o i n gq u e u e ) 。转码后的流媒体数据，根据网络状况分包， 储存到该队列中。这个队列实际上是一个发送缓存，负责为移动终端提供 媒体数据。 南京邮l b 学院顺 ：学位论文第二章：无线流媒体代理 夺发送控制器( s e n d i n gc o n t r 0 1 ) 。根据终端反馈处理模块( f e e d b a c kp r o c e s s m o d u l e ) 发送来的信息改变调度机制，使媒体数据的发送适合与当前网络 状况。 夺反馈处理模块( f e e d b a c kp r o c e s sm o d u l e ) 。处理移动终端的反馈信息，并 发控制信号给其余三个模块。在不同的控制信号下，缓存控制模块、转码 模块、发送控制器作出不同的调整来改善流媒体传输。 代理的一般定义为数据存储转发器 4 1 1 ，即在系统中扮演中介的角色，从一个 位置取出数据转发到另一处。无线流媒体代理处于有线核心网和无线网络的边界 上，负责流媒体数据的转发，但是流媒体代理的转发不是普通的转发，而是针对网 络的状态对数据进行处理，并对处理后的数据按照某种调度机制进行转发，以达到 提高媒体流传输质量的目的。 无线流媒体代理的功能有以下几点： 缓存流媒体数据。缓存功能是代理的一个及其重要的功能，在普通代理中， 设置适当的缓存可以提高下游链接访问上游内容的速度，并减少代理与上 游链接的通信量。流媒体代理的缓存功能与普通代理有所不同。由于流媒 体代理介于两种网络之间，带宽差异会比较明显，因此，流媒体代理将流 媒体数据缓存后可以根据目标网络的带宽瓶颈进行速率匹配，以减小带宽 差异对媒体流的影响。 处理流媒体数据。流媒体代理对于流媒体数据不是直接转发，而是先进行 处理再发送出去。因为目标网络是无线网，因此代理可以对媒体数据进行 抗干扰编码以使得媒体流适应无线网络的状况。这里的抗干扰编码包括很 多种，常用的有f e c 、分层编码、多描述编码等。在本文研究的无线流媒 体代理中使用了多描述编码来增加码流的抗干扰性能。 转发流媒体数据。代理的基本功能就是数据的转发，流媒体代理的转发与 普通代理不同，普通代理是被动的转发，即不管终端状态，把要求的数据 完全发送给终端；流媒体代理的转发是调整性的转发，代理根据终端的反 馈信息对媒体流进行分包发送，并采取有限度的重传机制来保证终端的接 收质量。 南京i 邮电学院硕士学位论文第二章：无线流媒体代理 流量监控。在商业应用中，流媒体代理除了致力于提高服务质量，还可以 实时监控流量并向终端提供计时计费信息。 2 4 小结 本章比较系统的综述了流媒体代理的研究状况，并对本文研究的流媒体代理的 内部结构和功能进行了描述。从本章中可以看到，虽然不同的研究中代理的作用虽 然在细部上不相同，但是设置代理的目的都是为了提高流媒体传输端对端的服务质 量。采用代理机制的代价是在网络中增加了冗余节点，从而增加了系统的复杂度， 因此在具体的应用中应该根据实际情况对代理的使用进行折衷考虑。随着微处理器 能力的提高与多媒体通信网络的发展，加入代理引起复杂度渐渐可以忽略，因此对 流媒体代理的研究对于提高流媒体服务质量有一定的实际意义。 南京u 学院硕i 学位论文第三章：无线信道网络模型 第三章无线网络信道模型 信道中的差错与延迟是影响流媒体通信的重要因素。由于无线通信的特性，在 无线信道中传输流媒体，面临比在有线信道中传输流媒体数据更为艰巨的挑战。了 解无线信道的特性，无论是对于评估无线网络性能还是对于开发基于无线网络的应 用都有巨大的意义。本章中我们将介绍无线信道的特性以及我们使用的信道模型。 3 1 无线信道特性 移动无线信道为典型的变参信道。系统中的电波传播问题比较复杂，其传输特 性已不能简单地应用固定点无线通信的电波传播模式，而必须根据移动无线通信的 特点，按照不同的传播环境和地形特征，运用统计分析结合实际测量的方法，找到 移动条件下的传播规律，以获得准确预测接收信号的方法 3 8 。 3 1 1 无线网络中的衰落 移动无线通信中，移动台是处在运动状态之中的，电波传播的条件随着移动而 发生较大的变化，因此接收信号很容易出现严重的衰落现象。接收信号出现严重衰 落是移动通信电波传播的一个主要特点。无线电波受到的影响有以下两点： 多径衰落( 图3 1 ) 。在建筑物密集的城市地区，由于接收天线一般都不可能高 于建筑物，因此收发天线之间没有视线方向上的电磁波传播，能量的传播主要依靠 障碍物的衍射、反射和散射。这三种传播机制会产生大量的传播路径，因此电波在 移动环境中的传播模式是一种多径模式。接收天线收到的是通过直射径、各种反射 径和散射径到达的合成波。由于各路径分量的幅度和相位各不相同，造成的合成信 号起伏很大，这称为多径衰落，它是一种快衰落。同时在多径传播条件下，接收信 号还会产生时延扩展( t i m ed e l a ys p r e a d ) ，这是由于各种路径长度不一致而产生 的。时延扩展值的大小将决定信号的衰落是否具有频率选择性。在数字移动通信中， 当码元速率较低，信号带宽远小于信道相关带宽时，信号通过信道传输后频率分量 的变化具有一致性，信号波形不失真，无码问干扰，此时的衰落为平坦衰落：反之， 当码元速率较高，信号带宽大于信道相关带宽时，将引起波形失真，造成码间干扰， 南京i u 学院硕士学位论文 第三章：无线信道网络模型 此时的衰落为频率选择性衰落。 n 一一? 竺竺一一一一歹画 、一一一一一一一一一一。 ，【b 到 矿芝叶。“ 图3 - 1 多径传输示意图 阴影效应( 图3 2 ) 。移动台在运动过程中，周围地形地物造成对电波传播路径 的阻挡，形成电磁场的阴影，这种随移动台运动而不断变化的电磁阴影引起接收点 场强中值起伏变化的现象叫做阴影效应。阴影效应引起的信号电平衰落称为阴影衰 落。由于阴影衰落的信号电平起伏是相对缓慢的，因此，阴影衰落属于慢衰落。慢 衰落的特点在于：衰落速率与工作频率无关，而取决于地形和地物的分布，高度以 及移动体的运动速度。通常，阴影衰落是距离( 位置) 的函数。阴影效应是造成移 动通信电波传播慢衰落特性的主要原因。产生慢衰落的原因还有一些，例如大气折 射引起的衰落也属于慢衰落，但是，大气折射衰落是时间的函数，与阴影效应相比， 它对电波传输衰落的影响远小于阴影效应。 震雾重、l l 、豢。凰 图3 - 2 阴影效应示意图 3 1 2 衰落对视频数据的影响 在有线网络中由于信道可靠性高，流媒体数据分组丢失往往是由于网络的拥塞 造成的。在无线网络中，信道的可靠性很差，因此较高的位差错率会引起流媒体数 据分组的丢失。产生无线网络中位差错的一个重要原因就是衰落。 南京邮电学院硕士学位论文第三章：无线信道网络模型 图3 - 3 无线网络中不同的衰落 根据成因的不同，衰落可以分为多径衰落，阴影衰落等。 多径衰落属于快衰落，在这种衰落情况下，电波信号的强度随时间变化很快， 对于数字信号，就可能造成随机的单个位错误。有研究 4 2 证明，在f o e 一5 的位差 错率下，视频数据的差错不是很严重，接收端可得到可以接收的图像质量，而在 i o e 一4 或者更高的位差错率时，接收视频的质量就会急剧变差。 阴影效应属于典型的慢衰落。在慢衰落情形下，传输信号的强度随时间变化相 对缓慢。对于视频数据分组，容易造成突发性错误，即在一段时间内丢包严重，突 发性错误对于视频传输的影响更为严重，甚至可能造成视频服务的中断 4 2 。 3 2 无线信道模型 3 2 1 无线信道模型概述 建立信道模型的目的在于描述和预测不同原因引起的信道差错，从而采取不同 的策略来提高实际通信中的通信质量。然而在无线环境下，由于上一节中提到的无 线电波传输特性，无线网络的差错和时延等表现出时变性和随机性。因此无线网络 模型在本质上也应该是随机的。下图是现有的研究中使用的信道模型。 南京邮电学院嘲上学位论文 第三章：无线信道网络模型 图3 - 4 随机无线信道模型分类 建立信道模型可以在模拟层面上建立，模拟信道模型用于描述通信中的信号的 强度与噪声干扰功率等受信道的影响；同样，信道模型也可以在数字层面上建立， 数字信道模型可以描述传输的位序列在信道中的差错与延迟。与模拟信道模型相 比，数字信道模型有两个优点： 1 、数字模型把所有可能造成信道差错的因素都考虑在内，例如信道特性和终端硬 件上的同步问题等。 2 、数字模型反映的信道状态正是信道高层协议( 如链路层) 所要应对的。 对于模拟和数字信道模型，信道模型都可以分为两种：基于分析的信道模型和 基于测量的信道模型。常用的基于分析的模拟模型为莱斯瑞利衰落模型 4 5 ( r i c e a n dr a y l e i g hf a d i n gm o d e l s ) ；基于分析的数字模型有g i l b e r t e l i i o t 模型 4 6 等。 一个典型的流媒体在无线网络的传输结构如下图 4 3 ： 图3 - 5 无线网络传输结构 o h n ii ne n d - e n d 呻r s p e c t l y e 南京邮电学院硕士学位论文第三章；无线信道网络模型 同在有线网络中传输一样，流媒体数据在无线网络中的传输也经过应用层、网 络层、物理层几个基本层，流媒体数据在应用层封包后，由底层的协议进行进一步 的做适合网络传输的优化，并通过下层的机制进行不同层的q o s 保证。从应用层的 角度来讲，关心的从流媒体代理到移动客户端的q o s ，因此在本文的研究中，将无 线链路中应用层以下的部分作为一个统一的信道，并研究在该信道中传输流媒体数 据的优化策略。 3 2 2 无线网络突发丢包信道模型 在实际网络中，数据的传输受到不同形式差错的影响，例如随机的单个数据包 丢失、突发性包丢失等。对于流媒体数据特别是视频数据，突发性的包丢失将会大 大降低客户端视频的接收质量。已经有研究证明 4 4 ，在相同的媒体数据源情况下， 突发性数据包丢失比相同数量的独立包丢失产生更大的失真。因此，无论在有线网 络还是在无线网络中，如何应对突发性丢包成为提高视频质量的一个重要因素。 在无线网络中，信道的不可靠传输特性会将随机误码引入实际的比特流中，多 径传播和衰落都会造成严重的突发性丢包，因此，对于流媒体传输系统中的发送端， 应该尽量提高码流的抗干扰能力以及使用合理的调度算法，来减小突发性丢包对接 收质量的影响。 在本文研究中，我们采用了传统的一阶m a r k o v 模型( 图3 6 ) ，并将该模型应 用于数据包的层面上 4 7 ，用该模型来捕捉模拟无线网络中的突发丢包特性。 p 0 i p l 图3 - 6 马尔可夫模型 这个模型有两个状态：s o ( 表示g o o d ) ，s t ( 表示b a d ) 。p 0 0 、p 0 1 、p i o 、p 1 l 是该模型的转移概率。该马尔可夫模型的状态转移矩阵为 南京邮电学院颂j ：学位论文第三章：无线信道网络模型 p = 【2 未】： 1 - 只p 。0 1 o l 。】 睁，) 使用这个模型，我们把媒体数据包的丢失状况模拟为一个两状态连续时7 的齐 次马尔可夫链 z r ) ，其中一 o ，n 。在t 时刻时，如果信道状态为s l ，那么当前 包就可能丢失，反之，如果信道状态为s o ，该包就会被客户端正确接收。 该马尔可夫链只有有限个状态，即状态空间为i = 0 ，1 ，因此根据连续时间齐次 马尔可夫链的性质，其转移概率可以构成以下形式的矩阵： 2 _ - 【一g o oq o l 】：【一 】 q l og i i一 ( 3 - 2 ) 其中q l o 、q l t 、g o o 、q oj 为该马尔可夫过程的转移速率，且其定义如下： 驴l i m 鼍产驴牌半 该马尔可夫链的平稳分布可以由计算得出。令万= ( 厶，鳓) ，其中心2 布， 厶：二 + ，则可以得到下列等式： p u ( f ) = e ( x 。，= ，l x m = i ) = 2 0 一五。e x p 卜彬) ，b 一oe x p ( 一班) o + 九e x p ( 一班) 厶+ oe x p ( 一班) p u ( ) 的含义为，如果信道状态在时间t 0 时处于i 状态，那么在t o + t 时，信 道处于j 状态的概率就为p i , j ( 。信道的状态决定了媒体数据包的丢失情况。 3 2 3 传输延迟模型 对于流媒体传输，时延也是影响媒体接收质量的重要因素。在实时应用中，一 帧图像的编码和接收端解码间的延迟要尽可能的小。无线网络中的包延迟定义为一 个数据包从发送端出发到达客户端所经历的时间，这里我们把解码时的处理时间忽 略不计。一般而言，延迟的产生与物理层多径传输和链路层的有限重传机制都有关 3 30t o l l o = = = = 。“j吖j“j吖 一一 i l = 一一 fz1 i 南京邮屯学院硕士学位论文 第三章：无线信道网络模型 系。 如果在时间t 发送一个数据包，那么在该包不丢失的情况下，这个数据包在t o 时刻到达客户端，即这个包的延迟为a t = t o t 。在特定的网络中，& 对于不同的 包大小是随机的，但是从统计的角度讲，f 服从或者近似服从某种概率分布。在无 线网络中，数据包的延迟也是随机的。不失一般性，我们的研究中应用了3 g 无线 网络中的延迟模型。 按照 4 8 ，无线网络中的分组延迟大致遵循g a m m a 分布，即包延迟a t 的概率密 度可以由下式表示： ，c r ，2 7 6 4 。e x p ：7 6 7 6 r 口 竺： 。一。， 其中，r 0 ) 是参数为a 的r 函数。 3 3 小结 本章首先对无线电波的传播特性以及由此引起的无线信道的特性进行了阐述。 通过对无线网络中衰落的描述，分析了不同的衰落对于流媒体特别是视频传输造成 的影响。随后对现有的无线信道模型进行了综述，并建立了一个统计的信道模型， 以用于进一步算法的测试。 南京邮i 乜学院烦l 学位论文 第心章：基于反馈的调度算法研究 第四章基于反馈的调度算法研究 设置流媒体代理的目的是针对不同的网络来调节媒体流，使接收端得到更好的 服务质量。为了达到这一目的，流媒体代理通过对输入码流进行转码等操作来适应 目标网络的状态。新的媒体流经过分包后被发送到接收端，在传输过程中，信道状 况造成的差错不可避免。对于压缩视频通信，包丢失会