（计算机系统结构专业论文）流媒体内容分发网络的研究(1).pdf

摘要 流媒体内容分发网络是保障流媒体q o s 的有效方法。流媒体传输和流媒体分发是流 媒体内容分发网络的两部分功能，它们从不同的角度提高流媒体的q o s 。流媒体传输是 指采用特定的机制使流媒体服务器能够根据网络状态调节发送速率，保证用户观看的媒 体质量尽可能高而且稳定；利用流媒体分发可以降低网络负载、避免主于网的搠塞，使 用户的启动延迟更短、流媒体的质量更加稳定。本文从这两方面展开了研究，其主要贡 献包括： ( 1 ) 为了平滑连续帧的质量，提出了基于最高位平面的帧质量平滑机制( h b p f s ) 。 ( 2 ) 为了使连续g o p 的质量保持稳定，在分析和研究m p e g 4f g s 流媒体位平面 编码特征的基础上，根据f g s 位平面r d 模型和h b p f s 帧质量平滑机制得到g o p 的 位平面r d 模型，进而提出了g o p 常质量带宽分配机制，实现了常质量g o p 带宽分配 的静态算法和动态算法。 ( 3 ) 为了在有丢包的i n t e r n e t 环境下获得平滑的质量，提出了g o p 质量平滑、帧 质量平滑的两阶段质量平滑机制以及f e c 差错控制机制，进而提出了流媒体自适应传输 系统。 ( 4 ) 针对g o p 质量平滑，提出了三种g o p 平滑机制，分别为基于总带宽的g o p 平滑机制( b w g s ) 、基于增强层的g o p 平滑机制( e l g s ) 和基于最高位平面的g o p 平滑机制( h b p g s ) 。 ( 5 ) 针对分层编码的流媒体，结合流媒体预取提出了一种前缀优先的分层缓存策 略。它能有效地降低用户的启动延迟，同时对系统的字节命中率和网络传输成本的影响 较小。通过预取算法，代理服务器主动地从原始服务器预取内容，保证用户能够持续地 获得服务，当条件不能满足时可以与用户进行q o s 协商。 ( 6 ) 针对非分层编码的流媒体，提出了一种基于传输成本的流媒体缓存替换算法 基于传输成本的最小缓存效用( t c b s c u ) 算法，并将其统一到前缀优先的分层缓 存策略中。t c b s c u 能够针对各种传输调度方法对系统的传输成本进行优化，同时也降 低了对原始服务器带宽的消耗。 ( 7 ) 为了提高流媒体缓存机制的有效性，在多代理服务器协作方面，提出了基于 传输成本的流媒体代理服务器组( t c b s p g ) 的系统组织，并对系统的传输成本进行了 性能优化，提出了基于缓存效用的缓存替换算法、基于联合缓存效用的缓存空间优化分 配算法以及确定缓存内容分布的方法。 关键词：流媒体；内容分发网络；质量平滑：缓存机制；多代理服务器协作 r e s e a r c ho n s t r e a m i n g m e d i ac o n t e n td i s t r i b u t i o nn e t w o r k l u oz h i g u o ( c o m p u t e r a r c h i t e c t u r e ) d i r e c t e db y w a n gx i n g g a n g s t r e a m i n gb y c o n t e n td i s t r i b u t i o nn e t w o r k ( c d n ) i sa l le f f e c t i v ew a yt og u a r a n t e eq u a l i t y o f s e r v i c e ( q o s ) o fs t r e a m i n gm e d i a s t r e a m i n gm e d i at r a n s m i s s i o na n ds t r e a m i n gm e d i a d i s t r i b u t i o na r et w of u n c t i o n a lm o d u l e so fs t r e a m i n gm e d i ac d n ，w h i c hi m p r o v eq o so f s t r e a m i n gm e d i a f r o md i f f e r e n ta s p e c t s s t r e a m i n gm e d i ac a n a d a p t t ot h ev a r i e t yo fn e t w o r k b y c e r t a i ns t r e a m i n gm e d i at r a n s m i s s i o n m e c h a n i s m s ，a s s u r i n gq o sp e r c e i v e db y u s e r sa sh i g h a n ds t a b l ea sp o s s i b l e s t r e a m i n gm e d i ac a nb ed i s t r i b u t e dt o e d g en e t w o r kb yd i s t r i b u t i o n s c h e m e ss oa st or e d u c en e t w o r kp a y l o a d ，a v o i db a c k b o n en e t w o r k c o n g e s t i o n ，s h o r t e nu s e r s s t a r t u pl a t e n c y ，a n ds t e a d yt h eq o s o f s t r e a m i n gm e d i a t h ep a p e r c o v e r st h e s et w oa s p e c t s ， a n dm a i nc o n t “b u t i o n sa r e ： 1 t os m o o t ht h eq u a l i t yo fc o n t i n u o u sf r a m e s h i g h e s tb i t p l a n eb a s e df r a m eq u a l i t y s m o o t h i n g ( h b p f s ) s c h e m e i sp r o p o s e d 2 b a s e do n a n a l y s i sa n ds t u d yo f t h ec h a r a c t e r i s t i c so fm p e g 一4f g sb i tp l a n ee n c o d i n g ， ag o pb i tp l a n er a t e d i s t o r t i o n ( r d ) m o d e li sd e d u c e da c c o r d i n gt ot h ef g sb i tp l a n er d m o d e la n dt h eh b p f ss c h e m e ac o n s t a n tg o pq u a l i t yb a n d w i d t ha l l o c a t i o ns c h e m ei s p r e s e n t e d o f f i i n ea n do n l i n ea l g o r i t h m sa r ep r o v i d e dt om a k et h eq u a l i t yo fc o n t i n u o u s g o pc o n s t a n t 3 a na d a p t i v et r a n s m i s s i o ns y s t e mf o rm p e g 一4f g ss t r e a m i n gm e d i ai sp u tf o r w a r d b a s e do nt h ec o m b i n a t i o no f t w o p h a s eq u a l i t ys m o o t h i n gs c h e m ep r o p o s e da n d e r r o rc o n t r o l s c h e m e t h es y s t e ma d j u s t st h e s e n d i n gb a n d w i d t ho fe v e r y f r a m eu s i n gg o pq u a l i t y s m o o t h i n gs c h e m e ，f r a m eq u a l i t ys m o o t h i n gs c h e m e a n df e ce r r o rc o n t r o ls c h e m e ，i no r d e rt o g u a r a n t e es t a b l eq u a l i t yo f c o n t i n u o u sg o p sa n ds u c c e s s i v ef r a m e si nag o pi nt h eu n s t a b l e a n dl o s s yi n t e r n e t 4 w i t hr e g a r dt ot h eg o pq u a l i t ys m o o t h i n gs c h e m e ，t h r e eg o p q u a l i t ys m o o t h i n g s t r a t e g i e sa r eb r o u g h tf o r w a r d ，w h i c ha r eb a n d w i d t hb a s e dg o pq u a l i t ys m o o t h i n g ( b w g s ) ， e n h a n c e m e n tl a y e rb a s e dg o p q u a l i t ys m o o t h i n g ( e l g s ) a n d t h eh i g h e s tb i tp l a n eb a s e dg o p q u a l i t ys m o o t h i n g ( h b p g s ) r e s p e c t i v e l y 5 ap r e f i xp r e f e r e n t i a ll a y e r e dc a c h i n gs t r a t e g yw i t hp r e f e t c h i n ga l g o r i t h mi sp r o p o s e d f o rl a y e r e ds c a l a b l ec o d e ds t r e a m i n gm e d i a i tc a nr e d u c eu s e r s s t a r t u pl a n t e n c ye f f e c t i v e l y w i t hl i t t l ee f f e c to nt h eb y t eh i tr a t i oa n dn e t w o r kt r a n s m i s s i o nc o s to ft h ew h o l es y s t e m “ 中国科学院博l 一学位论文流媒体内容分发网络的研究 p r o x i e s p r o a c t i v e l yp r e f e t c h c o n t e n t sf r o mt h e o r i g i n a l s e r v e r t h r o u g h t h e p r e f e t c h i n g a l g o r i t h m ，e n s u r i n gt h a tu s e r sc a nw a t c hs t r e a m i n gm e d i ac o n t e n t sc o n t i n u a l l y u n d e rt h e c o n d i t i o nt h a tc a n n o tm e e t s y s t e mn e e d ，p r o x i e sn e g o t i a t eq o s w i t ht e r m i n a lu s e r s 6 ac a c h er e p l a c e m e n ta l g o r i t h mf o rs t r e a m i n gm e d i a t r a n s m i s s i o nc o s tb a s e ds m a l l e s t c a c h eu t i l i t y ( t c b s c u li s p r e s e n t e da n di s c o m b i n e dw i t ht h ep r e f i xp r e f e r e n t i a l l a y e r e d c a c h i n gs t r a t e g y t h e t c b s c u a l g o r i t h mc a l lo p t i m i z es y s t e mt r a n s m i s s i o nc o s ta n d r e d u c e o r i g i n a ls e r v e rb a n d w i d t h c o n s u m e dw i t h r e g a r dt od i f f e r e n t t r a n s m i s s i o nm e t h o d s 7 t oe n h a n c et h ee f f i c i e n c yo fs t r e a m i n gc a c h es c h e m e ，at r a n s m i s s i o nc o s tb a s e d s t r e a m i n gp r o x i e sg r o u p ( t c b s p g ) c o o p e r a t i o ns c h e m e f o rc o o p e r a t i v ep r o x i e si sa d v a n c e d s y s t e mo p t i m i z a t i o ns c h e m et o w a r d st r a n s m i s s i o nc o s t i s p r o p o s e d ，w h i c hi n c l u d e sc a c h e u t i l i t y - b a s e dr e p l a c e m e n ta l g o r i t h m ，g l o b a l c a c h e u t i l i t y b a s e d c a c h e s p a c eo p t i m i z e d a l l o c a t i o na l g o r i t h ma n dc a c h ec o n t e n td i s t r i b u t i o nm e t h o d k e y w o r d s ：s t r e a m i n gm e d i a ，c o n t e n t d i s t r i b u t i o nn e t w o r k ，q u a l i t y s m o o t h i n g ，c a c h e s c h e m e ，c o o p e r a t i v e p r o x i e s 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：雩老l 蓟日期：2 一。恤，p 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许论 文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、缩印 或其它复制手段保存该论文。 作者签名：、琴擒目导师签名： i 纤同1 日期：上鲫仁0 第一章绪论 随着宽带网络的发展和用户需求的驱动，流媒体( s t r e a m i n gm e d i a ) 应用得到了迅 速发展。但是，流媒体传输需要较为严格的q o s 保证，而i n t e r n e t 的“尽力而为”无连 接转发机制主要是为突发性的数据传输没计的，不能保证网络服务的q o s 。为了实现 i n t e r n e t 上流媒体的传输，一种思路是以网络为中心，通过综合服务模型( i n t s e r v ) f b z b h j 9 7 或区分服务模型( d i f f s e r v ) 【b b c d w w 9 8 来保障网络的q o s ；另一种思路 是改进端系统，通过应用层协议实现流媒体传输的q o s 保障功能。以网络为中心的思路 需要改变整个网络的设备，实现难度较大，而以端系统为中心的思路只需要采用一一些应 用层的质量控制机制来解决传输中的问题，实现相对方便【钟0 2 】。 从端系统提供q o s 保障的控制机制有多种方式，最常用的方式是采用速率适应机 制，通过定的速率反馈机制，利用流媒体的速率层次编码能力，在媒体服务器端动态 地调节流媒体的传输速率，保证客户端在网络可用带宽变化时也能够正常地收看流媒体 内容。速率适应机制和差错控制相结合能够有效地保证流媒体的正常收看。另外一种方 式是采用内容分发网络( c d n ) c d n 0 2 】，采用c d n 传输流媒体的优点主要包括三个 方面：第一是通过应用层的内容分发降低了主干网络的流量，并实现基于应用层的组播 传输( 即利用主机构建独立于网络层的逻辑组播树，并采用主机上的应用层软件进行组 播转发) ：第二是通过分布在网络边缘的流媒体代理服务器，避免了拥塞链路，改善了 流媒体传输的质量和启动延迟：最后，通过c d n 能够有效地提高整个流媒体系统的扩 展性，降低对流媒体服务器的性能要求。目前，利用c d n 传输流媒体是大规模流媒体 应用的发展趋势。 本文从应用层入手研究流媒体的特性，尤其是针对适合i n t e m e t 流传输的m p e g 一4 f g s f i s o i e c 0 0 编码的流媒体，提出自适应传输机制，使之能够适应底层网络状况的变 化；然后从内容分发网络技术入手，研究流媒体代理服务器的缓存机制以及多个代理服 务器之间的系统组织与协作机制。通过流媒体技术与c d n 技术的融合，为宽带流媒体 在广域网和城域网范围内的应用提供q o s 保证。， 1 1 流媒体技术的发展和应用前景 流媒体技术的发展依赖于网络的传输条件、媒体内容的传输控制、媒体文件的编码 压缩效率及客户端的解码等重要因素，任何一个因素都会影响流媒体技术的发展和应用。 早期的流媒体主要是在窄带互联网上应用，受到带宽条件的制约。到1 9 9 9 年，人们在网 上仅可以看到一个很小的视频播放窗口，在具备一定带宽的局域网上，人们也很难欣赏 到高品质的影音节目，原因在于音视频编码压缩算法不够先进、客户端计算机解码运算 中国科学院博士学位论文流媒体内容分发网络的研究 速度不够等。2 0 0 0 年下半年，随着全球范围内的互联网升温和宽带i p 网的发展，越来 越多的网络运营商投入到新一轮的宽带互联网的建设中。作为流媒体技术倡导者和发起 者的r e a ln e t w o r k s 、m i c r o s o f t 、a p p l e 等公司几乎同时向世界宣布了新的流媒体技术宽 带解决方案，使得流媒体技术有了飞跃性发展【吴0 1 。 流媒体在中国的宽带网建设中被列为最主要的应用之一，越来越多的运营商开始采 用网络视频媒体服务解决方案，以增强在网络服务上的优势。目前，国内已经建立了各 种流媒体典型应用，例如：中央电视台采用r e a l n e t w o r k s 公司的流媒体解决方案实现了 视听在线系统、湖南卫视等采用o r a c l e 公司的o v s 系统( 支持机顶盒) 实现视频点播、 北京邮电大学采用c i s c o 公司的i p 厂r v 系统实现远程教育系统等。 i n t e m e t 的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒体业务正 变得日益流行 欧0 2 1 王0 2 1 吴0 1 】。流媒体技术广泛用于网络视频点播、远程教育、数 字图书馆、视频会泌、远程医疗、电子商务等互联网信息服务领域，使得基于互联网的 数字多媒体产业成为本世纪初计算机产业中发展最快、规模最大的产业之一。在3 g 网 络中，流媒体将得到广泛的应用：在n g n 中，流媒体也将扮演重要角色。这些应用将 为网络信息交流带来巨大的变化，对人们的工作和生活产生深远的影响。 目前，许多实验性的高速网络都把视频传输的技术和应用作为研究的重点课题。美 国的i n t e m e t2 ( 1 2 ) i n t e m e t 2 研究计划中成立了数字视频研究组( d i g i t a l v i d e o i n i t i a t i v e ) 作为1 2 应用开发的重要部分。1 2 的应用开发组认为数字视频是带来最广泛的利益和最广 泛的利用1 2 能力的应用，它可以覆盖从点播到远程的资源控制的应用。中国的3 t n e t 研 究计划中f 3 t n e t 乜明确提出要开发高速网络中的流媒体相关技术，实现h d t v 等视频应 用。 1 2 流媒体研究面临的挑战 由于流媒体在数据量、q o s 要求等方面与传统数据有着显著区别，i n t e m e t 具有的延 迟、抖动、丢包、带宽变化以及网络的异构性使流媒体应用面临重要挑战【林o o 】【钟0 3 。 1 2 1 流媒体的q o s 要求 从用户角度看，流媒体q o s 由如下因素组成： ( 1 ) 媒体质量( m e d i aq u a l i t y ) 媒体质量是衡量流媒体服务的重要指标，对于视频或音频媒体，可用峰值信噪比 p s n r ( p e a k s i g n a ln o i s er a t i o ) 进行衡量 o s b 9 7 1 。p s n r 越大，说明媒体质量越高。 另外，如果连续帧的质量变化较大，也会影响到用户观看的视觉效果，对整个媒体 质量的影响也较大。因此流媒体需要针对网络状况进行适应，以便得到比较平滑的质量。 第一章绪论 ( 2 ) 启动延迟( s t a r t u pl a t e n c y ) 启动延迟是指用户发出请求到接收服务之问的延迟。 ( 3 ) 抖动( j i t t e r ) 抖动是流媒体服务中特有的q o s 问题。流媒体的时间相关性很强，帧间的时间限制 必须严格遵循，否则用户将明显感觉到视频不连贯。 1 2 2 影响流媒体q o s 的因素 流媒体从编码、传输到播放，需要经过前端系统、网络以及终端系统，因此这些子 系统的性能对流媒体q o s 有着重要的影响。 ( 1 ) 流媒体的前端系统 流媒体的前端系统负责生成媒体流，它包括视频服务器、流媒体代理服务器等。媒 体流的生成涉及编码( 0 h 实时直播) 、解码( o n 代码转换) 、码流分析( 如代理服务器) 、 信道编码( 如无线网关) 以及打包、传输调度等操作，这些操作均需消耗大量的计算与 存储资源。为了提高系统服务能力，很多流媒体前端系统需要同时支持大量用户，从而 使得系统资源调度成为一个重要问题。前端系统中的稀缺资源包括存储资源、服务器i o 资源、服务器计算资源等。 ( 2 ) 网络系统 网络系统负责流媒体的传输，其影响流媒体q o s 的因素很多，如带宽、丢包率、误 码率、网络异构性以及网络延迟等。 网络带宽是影响流媒体q o s 的重要因素。实际网络带宽随时问变化而改变。由于流 媒体平均码率较大，流媒体传输时间也较长，因而需要有足够且稳定的网络带宽作保障。 然而，目前i n t e m e t 尚未采用r s v p 等资源预留协议，而链路带宽和路由器都可能造成 带宽瓶颈，从而使端到端的有效带宽不能满足流媒体的需求。 丢包率是i n t e m e t 的一个特性。由于i n t e m e t 的尽力特性，当网络繁忙时，路由器不 能处理到达队列中的所有数据而丢弃新到达的数据，从而引起流媒体的媒体质量下降， 甚至在严重情况下导致终端无法解码播放。在无线网络中，由于多径衰减等影响，会造 成信道的误码率很高，数据传输常常会出现随机性或突发性错误。而高度压缩的流媒体 对错误又非常敏感，特别是采用预测编码和变长编码的码流( 如m p e g 码流) ，即使少 量的错误也可能传播和积累而造成严重的媒体质量下降。为了降低丢包、误码对媒体质 量的影响，需要配置a r q ( a u t o m a t i cr e p e a tr e q u e s t ) t a n 8 8 等差错重传策略或者 f e c m c a 9 0 等差错控制策略。 中国科学院博，l 学位论文流媒体内容分发网络的研究 网络异构性( h e t e r o g e n e i t y ) 是流媒体应用面临的重要挑战。随着宽带网络的发展， i n t e m e t 的接入手段非常丰富，但是不同接入技术的差异性较大。而流媒体传输往往需要 跨越不同子网，甚至需要穿越有线网络和无线网络，其q o s 协商等问题非常突出。 网络延迟是由流媒体跨越多个子网和路由器而造成的。一种延迟是端到端的网络延 迟，它对不同流媒体应用的影响也不尽相同。端至端的网络延迟造成点播类型应用的启 动延迟，但在服务过程中用户对端到端延迟并不敏感。另一类延迟是突发性网络延迟。 路由器接收突发流量时可导致突发性网络延迟，对于流媒体，突发性延迟可造成抖动问 题。 ( 3 ) 终端系统 终端系统负责接收流媒体并完成解码、播放等操作。终端系统影响流媒体q o s 的主 要因素是系统资源。目前，采用典型p c 作为终端，其c p u 、内存和硬盘几乎不会影响 流媒体的q o s 。但随着无线网络的发展，各种无线终端往往缺乏大容量内存，其处理器 的性能也非常有限，从而限制了很多典型的流媒体算法的应用，影响流媒体的q o s 。 另外，终端系统的差异性也增加了流媒体系统的复杂性。 1 3 流媒体内容分发网络 内容分发网络( c d n ) 是为提高w e b 内容的访问速度而提出的，是建立和覆盖在 互联网之f ：的网络，专门用于高效传递媒体内容。它通过引入主动内容管理、全局负载 均衡和内容缓存等技术，可以将用户请求的媒体内容发布到距离用户最近的网络边缘， 从而提高用户访问的晌应速度，并有效解决网络拥塞，最大跟疫的减轻骨干网络流量。 1 3 1 流媒体c d n 的体系结构 c d n 体系结构可分为中心和边缘两部分。中心包括原始服务器、计费i , 8 帐系统、系 统维护中心、内容分发系统、请求路由系统等【c d n 0 2 】【c g k 0 l 】 d c t r 0 2 ，这些系统可 以配置到多个分离的服务器上，安装在管理中心机房，负责系统的维护以及全局网络系 统的负载均衡。边缘主要指异地节点，它们是c d n 分发的载体，主要由代理服务器和 负载均衡器等组成。图1 1 是一个典型的流媒体c d n 的体系结构。 原始服务器是一个流媒体服务器或者服务器机群，保存内容提供商的内容，对于多 媒体内容还需进行编码、打包、请求调度和传输等工作。流媒体的传输控制必须能够适 应网络带宽的变化，使得用户能够获得较高而且稳定的媒体质量。内容分发系统可以将 媒体内容主动地“推”到边缘的代理服务器，并且协调各代理服务器间的内容存储。请 求路由系统根据用户的位置选择合适的代理服务器，将用户的请求转发到相应的代理服 务器。目前实现请求路由系统有三种典型的技术，包括：使用动态d n s 的全局请求路 由，在传输层的全局请求路由，在应用层的全局请求路由。计费记帐系统收集用户的传 4 第一章绪论 输量以及其它对等c d n 的有关信息，进行记帐。系统维护中心管理c d n 的各种组件， 检测各种组件的状态，管理客户( 内容提供商) 的信息，并产生相应的报告。 图il 流媒体c d n 的体系结构 代理服务器作为媒体传输的中继，它从原始服务器或其它代理服务器中接收媒体内 容，为端用户提供服务，同时还有选择的将内容存储到缓存空间，以便为后来的用户提 供服务。图1 2 是流媒体代理服务器的功能模块划分。代理服务器底层包括网络监测模 块，在与服务器以及用户进行通信时，监测网络状态的变化，进行流媒体质量自适应传 输。缓存机制完成对缓存内容的管理的功能，当缓存空间不够时，需要进行缓存内容的 替换：当缓存内容不命中或者部分命中时，需要进行媒体预取。请求管理模块管理用户 的请求，在必要的时候与用户进行q o s 协商。流媒体传输通常需要实时流传输协议( r e a l t i m es t r e a m i n gp r o t o c o l ，r t s p ) s r l 9 8 1 协议进行流媒体会话的管理，请求管理模块还对 r t s p 协议进行转换，实现r t s p 协议在客户端与服务器之间的转换与传递。传输调度 模块管理实际数据的传输，并可通过b a t c h i n g d s s 9 4 和补丁算法 h c s 9 8 等对多个用户 的数据传输进行动态调度，减小网络的传输消耗以及服务器的带宽消耗。多个代理服务 中国科学院博士学位论文流媒体内容分发网络的研究 器之i n j 可通过协作机制，将内容和用户请求分布到不同的代理服务器，使得多个代理服 务器成为一个有机整体。 图1 2 代理服务器结构 当用户访问流媒体内容时，首先通过请求路由系统的d n s 重定向技术确定最接近 用户的最佳的边缘节点( 代理服务器) ，同时将用户的请求转向该节点。当用户的请求 到达指定节点时，如果缓存空问己经存储了所请求的内容，则将内容提供给用户，如采 没有缓存内容，则需要从原始服务器或其它代理服务器获取，同时将内容缓存下来。 c d n 的实现需要依赖多种网络技术的支持，主要包括负载均衡技术、动态内容路由、 高速缓存机制、动态内容分发与复制、安全服务等。 流媒体c d n 从功能上可分为三个部分，即；系统管理、流媒体的传输和流媒体的 分发。系统管理包含管理和维护c d n 系统正常运行的必要功能；流媒体传输是原始服 务器和代理服务器所必须的功能；流媒体分发主要包括代理服务器的管理、为了达到系 统负载均衡而实现的多个代理服务器的协作等功能。流媒体传输和流媒体分发可以从不 同的角度提高用户所获得的q o s ，流媒体传输是采用特定的机制使得流媒体传输能够适 应网络状态的变化，使得用户观看到的媒体质量尽可能高而且稳定，流媒体分发是为了 降低弼络负载、遥免主干两的据塞，并使得用户的启动延迟更短、流媒体的质量更加稳 定。 本文的研究目的是为了提高流媒体的q o s ，因此主要研究内容集中在流媒体传输和 流媒体分发两部分。 1 3 2 流媒体对c d n 的要求 由于流媒体在数据量、q o s 等方面与传统w e b 页面有着较大的差别。因此，它对 c d n 的设计实现提出了更高的要求。 6 第一章绪论 ( 1 ) 数据量及存储方式 w e b 页面包括几个较小的对象，基本上都是静态的文字及图片信息。一个典型的 w e b 页面大小在l k - - l o o k 之间，由于其数据量较小，所占的存储空间也较少，在代理 服务器中缓存时一般以整个页面为数据对象，在缓存替换时通过简单的l r u ( l e a s t r e c e n t l yu s e d ) 、l f u ( l e a s tf r e q u e n t l yu s e d ) 等算法即可得到较高的性能，管理相对 简单。 流媒体包含动念的视频内容，其数据速率高，播放时间长，数据量非常大。典型的 m p e g l 码率为1 5 m b p s ，1 分钟m p e g l 码流的数据量高达1 1 2 5 m b ，远远超出传统 媒体的数据量。如果在代理服务器中保存整个流媒体对象，要求的存储空间很大。如果 保存流媒体的部分数据，用户播放时要分别从代理服务器及原始服务器或其它代理服务 器获取内容，增加了同步需求，需要设计较好的管理方案才能保证流媒体的播放质量。 针对部分数据的缓存，传统的l f u 等算法的性能较低，需要研究更有效的缓存替换算法。 由于流媒体播放具有持续的特征，代理服务器通常还要配置预取功能，以保证用户可以 及时地获取所需内容，能够连续地观看视频内容。但是，由于流媒体的数据量过大，需 要定的预取策略，既保证用户能及时收看，同时尽量减小代理服务器所需的预取缓冲 区大小。 ( 2 ) 带宽需求大 流媒体传输需要长时问保持大量的磁盘和网络带宽，因此，代理服务器缓存管理另 一个主要的考虑是降低带宽消耗，在某些时候甚至比减小用户的启动延迟更重要。此外， 流媒体代理服务器的带宽瓶颈限制了其同时可支持的用户数，通过组播以及多代理服务 器协作能够进一步解决这问题。 ( 3 ) 高度的交互性 用户对流媒体播放时会进行各种交互操作，能够提供类似于v c r ( v i d e oc a s s e t t e r e c o r d e r s ) 功能( 例如搜索、快进等) 的v o d ( v i d e o o n d e m a n d ) 系统更能够吸引用 户。最近的研究表明，超过5 0 的搔放请求被用户主动的提前结束，这一方面可能是由 于当前的流媒体传输质量问题没有很好的解决，用户无法忍受过多的停等和质量抖动， 另一方面是用户对所观看的内容不再感兴趣。这些交互性操作使得用户访问可能从流媒 体的不同位置，f 始，使得缓存管理变得更为复杂。 1 3 3 流媒体c d n 的性能指标 传统的c d n 或代理服务器的系统性能指标主要是命中率和字节命中率。由于流媒体 在数据量大小、传输特性等方面与w e b 页面存在显著差别，因此命中率不能直接反映 中国科学院博士学位论文流媒体内容分发网络的研究 c d n 系统的性能。对于流媒体服务而言，用户接受的媒体质量、用户启动延迟以及流媒 体数掘传输对网络的消耗才是代理服务器最直接的设计目标和性能衡量指标。 流媒体c d n 的性能指标分为两部分，即用户关心的性能指标和系统性能指标。用户t 关心的指标包括所获取的媒体质量、启动延迟等。流媒体c d n 的系统性能指标包括网 络传输消耗、服务器带宽消耗、预取空间的消耗等。用户所关心的指标有时候会与系统 性能指标相冲突，例如，为了降低用户的启动延迟，我们需要将绝大多数流媒体的前缀 ( 开始部分) 缓存到代理服务器，但是为了降低网络传输消耗，在单播环境下往往将流 行程度最高的那些流媒体缓存下来更有效，因此需要在两个指标之间进行一定的折中。 网络传输消耗是指流媒体在网络上传输所消耗的网络资源。在i n t e m e t 上，代理服务 器到不同原始服务器的距离( 路由器跳数) 不同，对应的网络消耗也不同：有时候即使 网络距离相同，但是所经过的链路不一样，其网络消耗也可能不一样。为了评价网络传 输的消耗，采用传输成本作为评价指标。首先分别为不同的链路设置单位传输成本，即 传输单位数据量在链路上传输所消耗的网络成本，通过计算总体的传输成本或者每个请 求的平均传输成本评价流媒体c d n 系统的网络消耗。原始服务器和代理服务器的带宽 是有限的，服务器的带宽消耗可以衡量c d n 系统最大可同时支持的用户数。 流媒体传输是为了提高和平滑用户观看的媒体质量因此我们在研究流媒体传输方 案时主要采用媒体质量作为评价指标，即视频帧的峰值信噪比p s n r 以及连续帧信噪比 的波动。 流媒体分发主要是为了减小用户的启动延迟、降低网络负载、实现系统负载均衡， 因此在研究流媒体分发时，主要采用用户的启动延迟、网络传输成本、服务器带宽消耗 作为性能指标进行评价。 1 4 论文贡献 ( 1 ) 在分析m p e g - 4f g s 流媒体的率失真( 艮d ) 特性的基础上，提出了g o p 常 质量带宽分配机制，实现了静态算法和动态算法，使连续g o p 的质量保持稳定。 ( 2 ) 提出了基于最高位平面的帧带宽分配方法( h b p f s ) ，平滑连续帧的质量。 ( 3 ) 提出了流媒体两阶段质量平滑机制，结合差错控制机制，进一步提出了流媒 体自适应传输系统。 ( 4 ) 提出了三种g o p 质量平滑机制，即基于带宽的g o p 质量平滑机制( b w g s ) 、 基于增强层的g o p 质量平滑机制( e l g s ) 以及基于最高位平面的g o p 质量平滑机制 ( h b p g s ) 。 ( 5 ) 针对分层编码的流媒体，结合流媒体预取提出前缀优先的分层缓存策略。这 种策略能在保证用户的低启动延迟的前提下，有效提高缓存的字节命中率，降低网络消 耗。 8 第一章绪论 ( 6 ) 针对非分层编码的流媒体，提出一种基于传输成本的缓存替换算法基于 传输成本的最小缓存效用( t r a n s m i s s i o nc o s tb a s e ds m a l l e s tc a c h eu t i l i t y ，t c b s c u ) 算 法，并将其统一到前缀优先的分层缓存策略中。 ( 7 ) 在多代理服务器协作方面，提出了基于传输成本的流媒体代理服务器组 ( t r a n s m i s s i o nc o s tb a s e ds t r e a m i n gp r o x yg r o u p ，t c b s p g ) 的系统组织，并对系统的 传输成本进行了性能优化，提出了基于缓存效用的缓存替换算法、基于联合缓存效用的 缓存空间优化分配算法以及确定缓存内容分布的方法。 1 5 论文架构 本文主要研究流媒体c d n 的流媒体传输和流媒体分发两部分内容。 流媒体传输的功能主要配置在流媒体服务器以及代理服务器上。在流媒体传输方 面，采用适合流媒体传输的视频编码技术m p e g 一4f g s ，结合t c p 友好的拥塞控制技术， 首先提出基于场景的g o p 常质量带宽分配机制，保证同一场景内连续g o p 的质量稳定， 并使g o p 内连续帧的质量也相对平滑。在此基础上，进一步提出两阶段平滑机制，结 合差错控制机制，提出流媒体自适应传输系统，适应网络带宽的变化，保障用户获得尽 可能高和稳定的媒体质量。 在流媒体分发方面，主要研究流媒体代理服务器的缓存机制和多代理服务器系统组 织与协作机制。代理服务器缓存机制的研究主要集中在缓存替换算法、预取算法以及前 缀缓存等，目标是在减小用户启动延迟的基础上，降低网络传输成本，并通过预取保证 用户能持续地获取服务。多代理服务器协作机制是为了平衡c d n 系统的负载，提高代 理服务器缓存空间的利用率，进一步降低网络传输成本。本文基于覆盖网络( o v e r l a y n e t w o r k ) 的思想，提出基于传输成本的流媒体代理服务器组( t c b s p g ) 的系统组织和 协作机制，并以传输成本为指标进行性能优化。 论文架构见图1 3 。第二章介绍相关的研究背景，主要包括流媒体的编解码技术、 流媒体的传输与控制技术以及流媒体代理服务器技术等。接下来两章为本文提出的流媒 体传输技术，其中第三章为流媒体常质量g o p 带宽分配机制，第四章为流媒体质量自 适应传输系统。第五章和第六章为提出的流媒体分发技术，分别为流媒体代理服务器的 缓存机制以及多代理服务器系统组织和协作机制。第七章为本文的结论和展望。 9 中国科学院博士学位论文流媒体内容分发网络的研究 图i - 3 论文架构 1 0 2 1 适合网络传输的编码方案 第二章研究背景 2 1 1 精细粒度可扩展编码( f i n eg r a n u l a r s c a l a b l ec o d i n g f g s ) 传统编码方法将视频压缩成适合一个或几个固定码率的码流，不适合网络传输。由 于网络的异构性和缺乏q o s 保证，带宽在一个很大的范围内变化，作为m p e g 4 的流传 输框架( s t r e a m i n g p r o f i l e ) i s o f i e c 9 9 】，精细粒度可扩展编码( f i n e g r a n u l a r i t ys e a l a b i l i t y ， f g s ) 能够动态适应网络带宽的变化 i s o f i e c 0 0 1 。 m p e g 一4 f g s 的主要特性是 l i 0 】 r s c 0 1 ：第一，基本层使用基于分层运动补偿和 d c t 变换的编码方式达到网络传输的最低要求；第二，增强层使用位平面编码技术对 d c t 残差进行编码来覆盖网络带宽的变化范围：第三，每一帧的增强层码流可以在任何 地点截断；第四，解码器重建的视频质量随着收到并解码的比特数递增。 f g s 的基本层编码和普通的m p e g 4 非可扩展编码相同，由运动估计、运动补偿、 d c t 变化、标量量化和变长编码组成。而增强层编码是从原始的d c t 系数中减去基本 层逆量化后重建的d c t 系数值获得d c t 残差，然后对每个8 8 的块按从上到下从左 到右的顺序进行位平面编码。 7 -拍 尹芦 o0oo 矿g艇 000o0 鞋 0o00oo r ，00 o0oo o oo000o 00 0o00o0 00 o000o0o0 o0oooo oo 团丑巫匹回田 丑位平面编码 回 ( r t r s ，e o p ) 编码 同e 专( o ，o ) ( 1 ，1 ) 同( o ，o ) ( 4 ，1 ) 回 ( o ，o )