（计算机应用技术专业论文）流媒体应用及其qos控制机制的研究.pdf

流媒体应用及其q o s 控制机制的研究 摘要 弋h 1 | l j 毽l ( 流媒体是一种在网络上实时、流式传输的连续时基媒体，用户可以一边下 载一边对接收的部分数据进行播放。流媒体应用涉及实时技术、多媒体技术、 高吞吐量存储技术、高速网络技术、通信技术等多种技术，适用于远程教育、 远程医疗、视频点播、现场直播、可视电话、视频会议、网络互动游戏、电子 商务、多媒体广告、实时监控等许多领域。尸1 本文在w i n d o w sm e d i a 基础上设计并实现了一个完整的流媒体服务系统， 主要包括流媒体服务器、存储系统、播放器、节目和用户管理等部分，可应用 于视频点播、现场直播、多媒体广告等领域。 在局域网这类带宽充足的网络环境中，流媒体应用的关键是流媒体服务器 的性能。本文通过对三套视频点播系统进行性能评测，确定了流媒体服务器的 磁盘外部交换率、带宽、c p u 构成流媒体应用的硬件瓶颈，以及流媒体服务器 的调度程序构成流媒体应用的软件瓶颈，这也是性能优化的主要问题。 在i n t e r n e t 这类无法可靠保证服务质量( q u a l i t yo f s e r v i c e ) 的网络环境中， 拥塞和带宽不足成为流媒体应用的主要瓶颈，因此i n t e r n e t 中流媒体应用的关键 是q o s 控制机制。本文设计并实现了一个基于r t p 协议和m e p g 一4 可扩展编 码的q o s 控制机制，这是i n t e r n e t 智能流媒体服务系统研究的一部分。f 该q o s 控制机制具有以下三个特点： ( 1 ) 保持多媒体流与t c p 流的友好性和公平性。为防止多媒体流占用过多资 源而使传统的t c p 流无法正常传输，本文限制流媒体的传输速率，并采 用类似t c p 拥塞控制的方式对流媒体进行速率控制。这样有效保证了多 媒体流和传统t c p 流的友好共处、公平竞争。 ( 2 ) 非均匀的q o s 控制机制。本文利用多媒体数据中各部分重要性的非均匀 分布，在带宽预分配、流调度、丢包处理、错误处理等方面对不同多媒 体流安排不同的q o s 控制策略，从而实现了带宽、处理、缓存等资源的 合理高效分配。 ( 3 ) 预防拥塞。本文将丢包率持续增大但拥塞尚未最终形成的时间段定义为 警戒阶段。本文的q o s 控制机制在警戒阶段即开始进行流控制，从而以 较小的代价避免拥塞，而不是等拥塞发生后再以较大的代价减轻拥塞和 消除拥塞。，“ 关键词：流媒体q o s 控制流调度可扩展编码r t p 协议 流姒休脚川及托q o s 控制机制的 究 r e s e a r c ho n s t r e a m i n ga p p l i c a t i o na n dq o s c o n t r o l s h iy i ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yl i ns h o u x u n s t r e a m i n gm e d i ai s ac o n t i n u o u st i m e b a s e dm e d i at r a n s m i t t e di nar e a l t i m e a n d s t r e a m i n g m o d eo v e rt h en e t w o r k u s e r sc a n p l a y b a c ks o m e p a r t s o fa s t r e a m i n gm e d i aw h i c hi sb e i n gd o w n l o a d e d s t r e a m i n ga p p l i c a t i o n sa r er e l a t e dt o r e a l t i m et e c h n o l o g y ，m u l t i m e d i at e c h n o l o g y ，h i g ht h r o u g h p u ts t o r a g et e c h n o l o g y ， h i g h - s p e e d n e t w o r k t e c h n o l o g y ，c o m m u n i c a t i o nt e c h n o l o g y ，e t c s t r e a m i n g t e c h n o l o g yc a n b eu s e di nm a n yf i e l d s ，s u c ha sd i s t a n c el e a r n i n g ，t e l e m e d i c i n e ，v o d l i v i n gb r o a d c a s t ，v i d e op h o n e ，v i d e oc o n f e r e n c e ，i n t e r a c t i v eg a m e s ，e - c o m m e r c i a l ， m u l t i m e d i aa d v e r t i s i n g ，r e a l t i m em o n i t o r i n g ，e t c a n i n t e g r a t e ds t r e a m i n ga p p l i c a t i o ns y s t e m h a sb e e n d e s i g n e d a n d i m p l e m e n t e db a s e do nw i n d o w sm e d i at e c h n o l o g i e s i nt h i st h e s i s t h e s y s t e m c o n s i s t sm o s t l yo f s t r e a m i n gs e r v e r s ，s t o r a g es u b s y s t e m ，p l a y e r ，p r o g r a m sa n du s e r s m a n a g e m e n t t h ea p p l i c a t i o ns y s t e mc a nb e u s e di ns u c hf i e l d sa s v o d ，l i v i n g b r o a d c a s ta n dm u l t i m e d i aa d v e r t i s i n g t h ek e yo fs t r e a m i n ga p p l i c a t i o n si ns o m en e t w o r kw i t he n o u g hb a n d w i d t h ， l i k el a n ，i st h ep e r f o r m a n c eo fs t r e a m i n gs e r v e r b ym e a s u r i n ga n da n a l y z i n gt h e p e r f o r m a n c e o ft h r e ev o ds y s t e m s ，w eh a v ef o u n dt h a t s t o r a g et h r o u g h p u t ， b a n d w i d t ha n dc p uo fs t r e a m i n gs e r v e r sa r et h eh a r d w a r eb o t t l e n e c k so fs t r e a m i n g a p p l i c a t i o n s ，a n dt h es c h e d u l e ro fs e r v e r sa r et h es o f t w a r eb o t t l e n e c ko fs t r e a m i n g a p p l i c a t i o n s ，w h i c h i sm a i n p r o b l e m sf o rp e r f o r m a n c eo p t i m i z a t i o n s i n c ei n t e m e tc a nn o tp r o v i d er e l i a b l eq u a l i t yo fs e r v i c e ( q o s ) ，b a n d w i d t h s h o r t a g ea n dc o n g e s t i o n h a v eb e c o m et h eb o t t l e n e c k so f s t r e a m i n ga p p l i c a t i o n so v e r t h ei n t e m e t t h e r e f o r eq o sc o n t r o lm e c h a n i s mi st h ek e yo fs t r e a m i n ga p p l i c a t i o n o v e rt h ei n t e r n e t a nq o sc o n t r o lm e c h a n i s mb a s e do nr t p p r o t o c o la n dm p e g 一4 s c a l a b l ec o d i n gh a sb e e nd e s i g n e da n di m p l e m e n t e di nt h i st h e s i s t h em e c h a n i s mi s a p a r t o fas m a r t s t r e a m i n g s e r v i c e s y s t e m o v e rt h ei n t e r n e ta n dh a v et h r e e c h a r a c t e r i s t i c sa sf o l l o w i n g ： 1 t c p f r i e n d l ya n dt c p f a i r l y t oa v o i du s i n gt o om u c h r e s o u r c eb ym u l t i m e d i a f l o w sa n dl e a d i n ga b n o r m a lt r a n s m i s s i o no fc o n v e n t i o n a lt c pf l o w s ，t h er a t e so f m u l t i m e d i af l o w sh a v eb e e nl i m i t e da n dc o n t r o l l e di nas i m i l a rw a yt ot c p c o n g e s t i o nc o n t r o lm e c h a n i s m s i nt h i st h e s i s 2 u n e q u a lq o s c o n t r 0 1 s i n c et h es i g n i f i c a n c ef o re a c hp a r to fm u l t i m e d i ad a t ai s d i f f e r e n t ，v a r i e dq o s c o n t r o l s t r a t e g i e s h a v eb e e n d e p l o y e d f o rd i f f e r e n t n a u l t i m e d i af l o w si n d e a l i n gw i t hb a n d w i d t hp r e a l l o c a t i o n ，s t r e a ms c h e d u l i n g ， 流媒体心川硬jlq o s 拧：i “机制的”宄 l o s sa n de r r o rt r e a t m e n tt h eu n e q u a lq o sc o n t r o im e c h a n i s mm a k e su s co f s u c h r e s o u r c e sa sb a n d w i d t h ，p r o c e s s i n ga n d c a c h i n gr e a s o n a b l ya n de f f e c t i v e l l y 3 c o n g e s t i o np r e v e n t i o n t h ed u r a t i o na f t e rl o s sr a t i ob e i n gc o n t i n u o u s l yi n c r e a s e d a n db e f o r eac o n g e s t i o no c c u r r i n gi sd e f i n e da sa l e r td u r a t i o ni nt h i st h e s i s t h e q o sc o n t r o lm e c h a n i s md e s c r i b e di nt h i st h e s i sb e g i n st oa d j u s tt h er a t ea ss o o n a s e n t e r i n g i n t ot h ea l e r t d u r a t i o n ，t h e r e f o r e c o n g e s t i o np r e v e n t i o n i s i m p l e m e n t e di nl o wc o s t ，r a t h e rt h a nl i g h t e n i n ga n de l i m i n a t i n gt h ec o n g e s t i o n w i t hh i g hc o s ta f t e ri th a so c c u r r e d k e y w o r d s ：s t r e a m i n g ，q o sc o n t r o l ，s t r e a ms c h e d u l i n g ，s c a l a b l ec o d i n g ，r t p p r o t o c o l v 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。就我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 作者签名：史均乙日期：j 。l j j 自日 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件， 允许论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采 用影印、缩印或其它复制手段保存该论文。 储鹳：叉轧剔程氢妒节醐：矽。吻亏向叭 i 第一章绪论 1 1 流媒体技术及其应用 第一章绪论 随着网络技术的发展和多媒体技术的不断成熟，网络上所传输的信息已小冉 局限于简单的文字和图像，而是朝着传输以视频、音频组成的多媒体信息的方向 发展。同时，随着宽带网的普及和无线网络的建设，用户需要更多基于网络的多 媒体应用，如视频点播、远程教育、电子商务等。 现在人们从网络上接收多媒体基本有两种方式：先下载后播放、边下载边播 放。在流媒体技术诞生之前，人们只能将多媒体文件全部下载在本地硬盘上之后， 才能开始播放。这既需要很长的下载时间，又占用很大的本地存储空间，因而客 观上阻碍了多媒体在i n t e r n e t 中的传播。一种解决途径是在下载的同时，就可以 对接收的尚未完整的多媒体数据进行播放。流媒体技术就是实现边下载边播放的 一种技术，连续的视频和音频信启、经过压缩后，从流媒体服务器连续、实时的发 送，接收端接收到部分多媒体数据后就可以开始解码并进行播放。而且，对于网 上现场直播、实时监控等应用，原来的先下载后播放的方式根本无法实现，只能 依靠流媒体技术。 流媒体技术综合了实时技术、多媒体技术、高吞吐量存储技术、高速网络技 术、通信技术等多种技术。其中压缩编码、q o s 控制、流媒体服务器是流媒体技 术和应用的三个关键，下面分别介绍。 多媒体数据量庞大，为了减少传输数据量，需要在传输前对多媒体文件进行 压缩编码处理。压缩往往以损伤播放效果为代价，因此如何在压缩比和播放效果 之间权衡，是传输前需要解决的难题。当前的一种思路是将对压缩比的选择推迟 到传输时。即将固定压缩比的码流存储，而在传输过程中根据网络状况和接收端 对播放效果的要求，动态选择不同压缩比的码流进行传输。比如，可扩展编码和 可变速率编码。对压缩比的选择，从效果上看实际就是对传输数据最、传输速率 的选择。当然，寻找同时具备高压缩比和低损失的压缩编码方案是另一种思路。 当前的i n t e r n e t 是尽力而为型的网络，无法对延迟、丢包等服务质萤( q o s ， q u a l i t yo f s e r v i c e ) 提供可靠保证。而实时的多媒体播放对时间的要求相当苛刻， 因此在播放时刻后接收的数据也被视为丢包。网络现状和实时要求之间的矛盾表 现为接收端视音频播放的流畅性和清晰性因为网络原因常常受到不同程度的损 害，甚至无法播放。虽然随着宽带网的普及，这种矛盾会有所缓解。但足，网络 上多媒体数据的激增、未来无线网络的高易错性等因素同样会加重矛盾。所以， 缓解这种矛盾的手段q o s 控制在相当长时间内是流媒体应用的关键。 流媒仆f i , ：j tj 及j q o sh ；制机制的川究 流媒体服务器是流媒体应用的另一个关键，凶为流调度和速率调糕这两个，扛 要功能由流媒体服务器负责实现。流媒体应用中，往往是成百甚至t ：千个 j 。旧 时从流媒体服务器接收数据，每个用户至少由一个音频流和一个视频流连接。流 涮度策略决定如何高效而合理的为每个流分配带宽、处理等资源，从而决定了流 媒体服务器能够为多少用户服务。当网络状况变化时，流媒体服务器的速率调整 功能尽量使发送速率的调整变化与网络变化同步。速率调整决定了每个用户的服 务顾景如何。 当前的i n t e r n e t 主要钊对传统t c p 流进行端到端、可靠的、非实时的传输而 设h 。与t c p 应用比较，流媒体应用具有以下五个特点： 1 音频、视频等多媒体数据在网络上的传输不仅对丢包和比特错误敏感，而i j 对传输延迟和实时性同样敏感，当传输延迟超过一定阈值后同样被视为丢包。 根据资料 l i u1 9 9 7 1 显示，当音频的延迟超过2 5 0 m s 后，人耳就能明显的感觉 b 停顿。而 见频的停滞同样会大大降低观赏质量。多媒体数据的传输客观1 ： 要求数据包准时并按一定顺序到达，以保证在接收端同步然后播放，这足传 统t c p 流的传输所不要求的。 2 需要传输的多媒体数据非常庞大，而且传输过程往往具有突发性。庞大的数 据传输最决定流媒体应用将占用比传统t c p 流大得多的带宽，而儿更易导致 拥塞。拥塞使得接收端的接收速率剧烈变化，所以大多数流媒体应用都要求 接收端有较大的缓存，以平滑数据接收。若接收速率超过上限则可能造成缓 存上溢，从而丢失部分包。若接收速率低于下限则又可能导致缓存下溢，从 而造成“饥饿”。 3 多媒体文件中不同数据部分在重要性分布上非均匀。因为压缩的原因，多媒 体数据与数据之间往往存在关联和依赖性。如果依赖某部分数据a 的其它数 据越多，则a 的重要性就越高。例如，m p e g 码流中的i 帧重要性高- j p 帧 和b 帧。 4 流媒体传输在一定程度上允许错误，甚至以局部错误换取整体效率和质餐。 这也是有别于传统t c p 流的。因为多媒体文件中不同数据部分在重要性分伽 上是非均匀的。所以对重要的关键部分或感兴趣的部分要求具有鲁棒性，f | i 对重要性较低的数据，比如细节部分，有传输错误则可容忍。 5 网络和接收端的非均匀性。网络的子网资源，包括带宽、存储能力、处理能 力、拥塞控制策略等，在i n t e r n e t 中不均匀的分布。同时，接收端的处理能力、 显示能力、对传输延迟的需求、对视音频质持的要求等也是丁筹万别n 1 。 以i ：7 i 个特点决定了流媒体廊用，可以而l j 必须发睦一唑t c p 应川所汝f 拂浆绢沦 的技术。但是，i n t e m e t 中的流媒体应用首先应与t c p 应用兼容，即多媒体流与 t c p 流应该友好相处、公平竞争。当前流媒体技术与数字权限管理、智能检索等 技术相结合，已经可以广泛应用于远程教育、远程医疗、视频点播、现场直播、 可视电话、视频会议、网络互动游戏、电子商务、多媒体广告、实时监控等众多 领域。并且随着r s v p 、i p v 6 、区分服务等技术的发展和应用，流媒体应用将得 到越来越广泛的应用。 1 2 流媒体技术中的q o s 控制 在局域网这类带宽充足的网络环境中，流媒体应用的关键是流媒体服务器的 性能。但是，在i n t e r n e t 这类无法可靠保证服务质量的网络环境中，流媒体应用 的关键是q o s 控制机制。 q o s 涉及带宽、延迟、延迟抖动、丢包率和错误控制五个方面。 个数据包 的延迟由传输延迟、传播延迟、交换延迟、排队延迟构成 v e g e s n a2 0 0 1 。传输 延迟是发送端或路由器等设备发送一个包所需的时间，取决于设备带宽和包人 小，比如以3m b p s 的速度发送一个6 4 字节的包大约需要1 7 l 微秒。传播延迟是 一个比特从发送端到路由器、从路由器到下一个路由器、从路由器到接收端总共 所需的时间，取决于距离和媒介。交换延迟是路由器等设备从收到包到开始转发 之间所需的时间。排队延迟是网络拥塞时包在队列中等待处理所消耗的时间。延 迟抖动用来表征延迟值的变化程度。在流媒体中，传输的延迟过长而使包到达接 收端时错过了解码时刻，这种情况同样被视为丢包。传输错误主要是指比特错误。 在i n t e m e t 中，比特错误的概率大约为1 0 。2 ，接收端可以忽略比特错误。但是相： 无线网络等易错环境中，传输错误就值得重视了。 流媒体中的q o s 控制是在发送端和接收端这两端进行。接收端对接收的多 媒体数据包进行监测，通过对丢包率、传输延迟、抖动等的实时统计，判断和估 计网络的状况。然后调整发送速率或是接收速率，使之尽量与网络的状态变化同 步，从而使传输延迟、丢包率等参数保持在一个合理的范围内。尤其是在拥塞发 生后，需要显著减少继续涌入拥塞点的多媒体数据量。针对数据重要性分布的非 均匀、网络和接收端的异构性( 非均匀) ，q o s 控制也可以分别采取不同的策略， 以实现资源的合理分配。 1 3 国内外研究现状 目前在流媒体服务器领域竞争的公司产品主要有：美国c o n c u r r e n t 并行计算 机公司的m e d i a h a w k 系列视频服务器、s g i 公司的o r i g i n 系列流媒体服务器、 c i s c o 公司的i p t v 视频服务器、o r a c l e 公司的o v s 视频服务器、s u n 公司的s u n s t o r e d g e 视频服务器等。 流媒体j 赶川及j 0q o s 控制机制的研究 当前在流媒体应用领域上竞争的公司主要有三家：m i c r o s o f t 公司、 r e a l n e t w o r k s 公司、a p p l e 公司，而相应的产品分别是：w i n d o w sm e d i a 、r e a l m e d i a 、q u i c k y i m e 。 当前的压缩编码大致可分为两类：固定编码和可伸缩性编码。后者因为能更 好的适应i n t e m e t 中带宽的动态变化，比前者更适合于流媒体应用。可伸缩性编 码主要有两种实现方式： ( 1 ) 分别对同一源信息按照不同的播放速率分别编码，产生多个视频码流。播 放速率更大的视频流被播放时效果更好，但也更占用带宽。可伸缩性表现 为：发送端选择播放速率最匹配当前网络带宽的某视频流发送，当可获 得的带宽变化时，发送端随之调整视频流的选择。典型的应用是微软公司 w i n d o w sm e d i a 产品中使用的多速率编码技术。 ( 2 ) 将源信息编码后分成若干层，层与层之间有关联或依赖性。可伸缩性表现 为：清晰度、视频显示窗口尺寸、帧速率等随着网络状况的变化可伸缩， 分别对应于s n r 、空间、时间可伸缩性。典型的编码有m p e g 一4 、f g s l i 1 9 9 8 、p f g s f ，w u2 0 0 1 】。 在编码标准方面，i t u 标准组织先后制定了h 2 6 3 、h 2 6 3 + + 、h 2 6 l 等标准， i s o i e c 标准组织先后制定了m p e g 一1 、m p e g 一2 、m p e g 一4 等标准。这些标准都 是当前工业界和研究机构广泛使用并不断发展的标准系列。 当前i n t e m e t 中的q o s 控制正沿着三个不同的方向进行研究：针对网络路由 器上部署的拥塞控制算法和包调度算法、针对端到端q o s 的标准化、针对传输 两端采用的流控制和拥塞控制。在第一个方向上，缓慢启动、拥塞避免、快速重 传、快速恢复等算法r f c2 0 0 1 能有效的用于路由器的拥塞控制，w f q 算法、 w r r 算法、d r r 算法等被广泛的用于路由器的包调度。在第二个方向的研究中， i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ) 的集成服务工作小组 i e t fi n t s e r v 通过 r s v p 信令协议为流预留资源，同时i e t f 的区分服务小组 i e t fd i f f s e r v l 正在标 准化l p 包头中t o s 字节使之能用于区分包的优先级。流媒体技术中的q o s 控制 研究主要是第三个方向上的研究。 在流媒体应用中传输两端的速率控制和拥塞控制方面，当前主要有两种方 式：基于试探、基于公式。前者的典型代表是a 1 m d ( a d d i t i v ei n c r e a s e m u l t i p l i c a t i v ed e c r e a s e ) 算法 w u2 0 0 0 a 1 。后者的一种实现方案是s a l l yf l o y d 等 人提出的t f r c ( t c p f r i e n d l yr a t ec o n t r 0 1 ) 方案 f l o y d2 0 0 0 a 。 f l o y d2 0 0 0 b 文中将基于试探的a i m d 算法与基于公式的拥塞控制策略进行了比较。 1 4 本文的主要工作及各章组织 本文主要研究了流媒体服务器和q o s 控制机制两方面问题，这两个方面是 流媒体应用的关键。在带宽充足时，流媒体服务器的性能决定了流媒体应用可服 务的接收端数目；当带宽不足时，q o s 控制机制决定了每个接收端的播放效果。 本文对流媒体服务器的研究，主要是为了构造和优化高性能媒体服务器。通 过一个流媒体服务系统的设计与实现，以及对局域网环境下视频点播系统的性能 评测，确定流媒体服务器的硬件瓶颈是带宽、存储系统吞吐量、c p u ，尤其是前 两者，而调度策略是软件上的瓶颈。对以上瓶颈进行优化，可使流媒体服务器为 更多用户提供更好的服务。 对q o s 控制机制的研究，主要是为了研究如何利用1 1 节介绍的流媒体应用 的五个特点，对t c p 拥塞控制进行改进。主要问题和关键技术如下： ( 1 ) 在接收端的监测中，如何更精确、迅速的察觉网络变化和拥塞。为此本文 扩展了r t p 包头，在扩展部分置入发送时间戳。并重新定义了r t p 包头 的序列号域。监测时，用丢包间隔间接反映丢包率，并使用带权值调整的 加权平均来实时计算丢包间隔，以求精确的反映网络变化和拥塞。 ( 2 ) 如何调整传输速率。这包含三层含义：速率调整到多少，对哪些数据进行 调整，如何调整。本文使用t c p 的吞吐量公式来计算须调整到的速率值， 以保持多媒体流和t c p 流的友好性。在调整速率时，利用多媒体数据重 要性的非均匀分布，减速时首先暂停重要性较低的数据，加速时首先恢复 重要性较高的数据。减少速率时以丢帧与丢层相结合的方式实现。 ( 3 ) 如何避免拥塞。为此本文根据丢包间隔的值划分出三个区域：安全区域， 警戒区域，拥塞区域。当丢包间隔值进入警戒区域后，q o s 控制机制就开 始调整速率，以预防拥塞的发生。 ( 4 ) 如何进行错误控制。本文对重要包的错误控制采用有限制的重发，对其它 包采取错误隐藏的方式，对多播的错误控制采取分层f e c 的方式。 本文的第二章介绍了一个流媒体服务系统各部分的设计与实现，第三章介绍 了在局域网环境下对视频点播系统的性能评测，第四章首先比较了局域网和 i n t e r n e t 环境下流媒体应用的区别，随后详细介绍了流媒体中的q o s 控制技术， 第五章介绍了一个基于r t p 协议和m p e g 一4 可扩展编码的非均匀q o s 控制机制 的实现，第夕i 章是对全文的总结。 第一章流媒体服务系统的醴计j 实现 第二章流媒体服务系统的设计与实现 本章实现的流媒体应用系统以微软公司的w i n d o w sm e d i a t e c h n o l o g i e s 为基 础进行研制，结合了网页嵌入a c t i v e x 控件技术、w e b 信息发布技术，及实现了 节目管理和用户管理模块。 21 节首先介绍了该系统的研制背景，2 2 节介绍了系统的总体结构，23 27 节分别介绍了各个部分的实现。 2 1 背景 本章的流媒体服务系统选择微软公司的w i n d o w sm e d i a t e c h n o l o g i e s 作为实 现基础，这是因为w i n d o wm e d i a 有以下的四方面特点： ( t ) 智能流编码器支持多比特率编码( 详细内容参见4 2 1 ) ，即编码后 的一个文件中包含一个音频流和多个适合不同带宽需求的视频流，流媒体 服务器向外发送数据包时智能的、变化的从多个视频流中找出最匹配当前 带宽的流，从而以当前带宽允许的最佳品质提供服务。 ( 2 ) 高效压缩比。 ( 3 ) 支持和其他类型数据的同步除了视频流和音频流的同步外，支持在 文件中的选定时刻设置s c r i p t 或m a r k e r ，当播放到选定时刻，播放器自动 调用u r l 或启动文件，或是发消息给p o w e r p o i n t 使之自动翻页，从而实 现视音频流和其他类型数据的同步。 ( 4 ) 支持数字版权管理功能通过d r m ( d i g i t a lr i g h t sm a n a g e m e n t ) 可 以防止未经授权的复制和传播。 a s f ( a d v a n c e ds t r e a m i n gf o r m a t ) 文件格式是w i n d o w sm e d i a t e c h n o l o g i e s 的核心之一。a s f 文件中，视频、音频、图像、控制命令脚本等多种类型的多媒 体信息合成在一起以数据包的形式传输。这是微软公司专门为编码、播放、在j p 环境中传输具有同步关系的多媒体数据而设计，支持多种编解码方式，同时也可 以在其它多种网络环境下以多种协议传输数据。 2 2 系统总体结构 流媒体应用系统的总体结构主要包括：节目制作模块、存储系统、流媒体服 务器组、流媒体播放器、节目管理和用户管理模块，各部分之间的关系如图21 所示。 流媒体应川及j eq o s 拓啡0 机制的研究 其 节 视 音 羔旦螂墼一 存储系统 流媒体服务器组 图2 1流媒体服务系统总体结构 节目制作模块负责视音频的实时采集并将模拟信号编码，或是将已有的节 目文件重新编码并优化，比如将m p e g l 节目重新编码成a s f 格式的码流。 制作后的节目可以放在存储系统中。如果节目不多，可以以文件系统方式 赢接存储在流媒体服务器的硬盘上，如果节目量大或者节目更新频繁，应考虑 s c s i 设备，或做成磁盘阵列，并以数据库形式存储、管理节目。 流媒体服务器组是通过分发( d i s t r i b u t i o n ) 将多个流媒体服务器相连的整 体，每个流媒体服务器负责码流的流化，并以单播或多播的形式智能的向外发 送数据包。 流媒体播放器负责连接流媒体服务器，并接收数据包，最后播放节目。 节目管理和用户管理模块负责用户对节目的查询，管理员对节目的管理、 对用户的时间限制、权限限制、费用计算，管理员对连接的监控与错误诊断等 习j 能。 2 3 节目制作模块 流媒体应用系统的节目制作工具主要是w i n d o w sm e d i a 编码器，它主要用 j 一对已有节目的重新编码并优化、视音频的实时采集、屏幕捕获功能，下面分 别介绍。 ( 1 ) 刘已有节目的重新编码并优化。 将已有节目进行重新编码，转换成w i n d o w sm e d i a 格式，并支持取消隔行 扫描、翻转电视电影等优化功能( 但是视频优化功能不支持p a l ) ，并且对高速 运动内容支持以3 2 0 2 4 0 6 0 帧秒的速率编码，优化后的视频效果会有明显 的提高。 取消隔行扫描( d e i n t e r l a c e ) 技术是通过将两个隔行扫描的场组合成帧， f 以3 0 帧秒的速率播放这些帧，取消隔行扫描后可以删除非自然信号并提高 编码视频的平滑效果。 第一寸流媒体服务系统的醴讣j 史现 翻转电视电影( i n v e r s et e l e c i n e ) 技术是指智能的删除3 0 帧秒的电影视频 中原来人工添加的帧并以2 4 帧秒的速率对视频编码。 ( 2 ) 视音频的实时采集。 通过视频捕捉卡等采集视频，通过麦克风等采集音频，采集得来的模拟数 据允许未经压缩的传递给编码器，编码成w i n d o w sm e d i a 格式，然后存储或直 接传输给流媒体服务器。 ( 3 ) 屏幕捕获。 捕捉屏幕上的一块或应用程序界面内的活动( 如鼠标移动、菜单、剥话框 等) ，然后以1 5 k b p s 的速率将屏幕图像传输“j 去，并且能使用d r m 技术为屏 幕内容的编码加密。屏幕捕获功能可用于培训帮助、软件演示等场合。 w i n d o w sm e d i a 编码器支持多比特率编码，即编码后的w i n d o w sm e d i a 文 件中包含一个音频流和多个适合不同带宽需求的视频流，比如适合5 6 k 和2 0 0 k 的视频流，不同视频流的大小和视频质量成正比。流媒体服务器根据反馈了解 当前的带宽状况，并根据可获得带宽的变化智能的从多个视频流中找出最匹配 当前带宽的流发送给客户端，从而以当前带宽允许的最佳品质提供服务。多比 特率编码是该流媒体应用系统实现q o s 控制、保证i n t e r n e t 中有效应用的基础。 2 4 存储系统 制作完成的节目可以放在存储系统中，或者直接传给流媒体服务器。存储 系统的选择根据应用的实际情况而定。由于本系统需要存储的节目量比较小( 小 于1 0 0 g ) ，所以直接以文件系统的方式存储在流媒体服务器硬盘上，也就是存 储系统在流媒体服务器内。并用数据库对节目进行管理。 存储的w i n d o w sm e d i a 文件一股是以多比特率方式编码，由于多个视频流 是同时编码在一个文件中，所以在同样目标带宽前提下，多比特率文件比单比 特率文件要大几倍。而从存储系统传输到流媒体服务器的是所有的视频流，而 不管当前客户端接收的是哪个流，所以存储系统的外部传输带宽肯定比流媒体 服务器向外发送的带宽大。以双通道的i s d n 为例，视频流目标带宽分别是 1 0 0 k b p s 、8 0 k b p s 、5 2 k b p s ，音频流目标带宽是1 0 k b p s ，而编码后的文件从存储 系统到服务器的传输带宽达到2 0 9 k b p s 。 存储系统与流媒体服务器之间的传输带宽( 吞吐量) 是流媒体应用中的主 要瓶颈之一。在点播情况下，一个目标带宽为1 0 0 k b p s 的用户连接消耗掉存储 系统到流媒体服务器的2 0 0 k b p s 左右的带宽，而一个i d e ( 集成驱动电子设备) 硬盘的外部传输率目前通常为1 0 0 m b s ，也就是说最多连接5 0 0 个带宽为 1 0 0 k b p s 的用户。由此可见，多比特率编码在带来智能流功能的同时，是以消 流媒体应用及其q o s 控制机制的研究 耗更多的存储空间和外部传输带宽为代价的。 当存储系统的外部传输带宽成为流媒体服务系统的瓶颈时，用s c s i ( 小犁 计算机系统接口) 设备代替i d e 设备。因为s c s i 的外部传输率可以达到 1 6 0 m b s ，甚至3 2 0 m b s ，而且由于有s c s i 控制芯片来控制数据的传输，同 时也可以大夫降低c p u 的占用率。如果需要进一步提高外部传输率和数据保护 功能的话，可以采用r a i d ( 廉价磁盘冗余阵列) 或者磁盘阵列。 2 5 流媒体服务器组 w e b 应用和w e b 服务器是i n t e r n e t 中最常使用的，w e b 服务器也可以用于 流媒体服务。过程和传统文件一样：c l i e n t 发出请求，w e bs e r v e r 找到流媒体格 式文件并以尽力而为方式传送给c l i e n t ，流媒体的特殊格式使得c l i e n t 可以一 边下载一边播放。 但是，专用的流媒体服务器因为安装了特别设计的流媒体服务器软件，所 以比w e b 服务器更加适合流媒体服务。以下是两者的几点主要区别： ( 1 ) 流媒体技术要求服务器实时的、不间断的发送数据。但是w e b 服务器是 按照尽力而为的方式调度，即尽可能多、尽可能快、非连续的发送数据， 只适合文本、图像等传统文件。而流媒体服务器可以在一段时间内以某 一速率、不间断的向客户端发送流数据。 ( 2 ) 流媒体服务器可以根据客户端的反馈信息动态调整发送速率平发送的内 容。 ( 3 ) 流媒体服务器支持多播和现场直播。 本系统的流媒体服务器软件使用w i n d o w sm e d i as e r v i c e 。它能够通过媒体 流广播分发( m s b d ，m e d i as t r e a mb r o a d c a s td i s t r i b u t i o n ) 协议将多个流媒体 服务器连接成一个流媒体服务器组。这样做一方面可以方便的扩展流服务的能 力，增加能够服务的用户数目，并且通过控制还可以实现负载平衡。另一方面， 某些子网的网关或路由器不支持多播，子网外的流媒体服务器可以通过m s b d 协议将内容单播给子网内的一个流媒体服务器，子网内的该流媒体服务器再以 多播的方式向子网内的用户传送内容，从而扩展了多播的范围。 流媒体服务器组的输入有两种来源：( 1 ) 从存储系统传输过来的w i n d o w s m e d i a 文件：( 2 ) 从w i n d o w sm e d i a 编码器传输过来的实时采集1 ，目或屏幕捕 获内容。它的输出也可以有两种方式：( 1 ) 单播，( 2 ) 多播。 根据 o l i v e i r a2 0 0 1 1 所提供的测试数据，流媒体服务器的c p u 山+ 用率保持 在3 0 5 0 之间为佳。并且，当有新用户连接时最消耗流媒体服务器的c p u 资源，所以应限制一秒钟内允许新连接的用户数，这个上限以2 5 为仕。 多播是一种有效节省带宽资源的传输方式。与单播相比，多播能够连接的 第二章娩媒体服务系统的| 笠训j t 立；w 用户数日比单播多大约1 2 2 2 。在大部分情况下，尤其是流媒体服务器服 务的用户数目较大时，单播比多播更消耗c p u 资源。而且从单个流所消耗的内 存数量来看，多播只是单播的5 2 3 。所以，应尽量使用多播方式传输流 媒体数据。 本系统支持的流媒体服务器与接收端之间使用的流传输协议有三种： m m s t 协议、m m s u 协议、h t t p 协议。m m s t 协议是m m s ( m i c r o s o f tm e d i a s e r v e r ) 协议用于t c p 数据包传输的子协议，m m s u 协议是m m s 协议用于u d p 数据包传输的子协议。从 o l i v e i r a2 0 0 1 1 的试验数据可知，在同样的c p ul 用 率条件下，使用m m s u 协议比使用m m s t 协议和h t t p 协议能够多服务5 3 的用户。但是，使用m m s u 协议时每个用户连接所消耗的内存也比另两种蜘议 多6 2 左右。可见，使用m m s u 协议虽然能够节省c p u 资源，但同时又多消 耗了内存资源。因此，为了保持多媒体流和t c p 流的友好性，本系统建议尽最 使用m m s t 协议。 一个流媒体服务器的外部带宽往往受网卡的限制，因而是固定的。例如， 百兆网卡在w i n d o w sm e d i a 系统中最大能支持6 0 7 0 m 的外部带宽，而干兆网 卡最大支持3 0 0 4 0 0 m 外部带宽。试验证明，在占用同样的带宽情况下，较多 的低速率流比较少的高速率流消耗更多的流媒体服务器的资源。比如5 0 0 个 2 2 k b p s 的流和5 0 个2 2 0 k b p s 的流，在多播时前者的c p u 占用率明显高于后者， 而且后者全部消耗的内存仅