（计算机系统结构专业论文）适合于vod系统的大规模分布式流媒体传输技术研究.pdf

中文摘要 摘要 随着宽带网络的普及和计算机相关技术的迅速发展，向互联网内的海量用户 同时提供有服务质量保障的流媒体服务成为可能，并受到了越来越多的重视。在 流媒体直播领域，基于对等网络的解决方案取得了很大的成功，商业化推广及应 用正在加速进行。然而，在v o d 领域，亦即流媒体点播领域，由于用户观看节目 内容的异步性，相关研究进展缓慢，仍然存在一系列技术问题需要克服。 适合于v o d 系统的大规模流媒体传输技术的核心问题是，如何解决流媒体服 务器服务能力有限与大量用户并发点播请求对网络带宽等资源的巨大需求之间的 矛盾。服务器集群方案由于仍然采用集中式的数据传输方式，所能支持的用户规 模比较有限；内容分发网络方案由于需要构建专门的流媒体内容分发网络，开销 很大，难以被广泛采用；现有网络基础设施普遍缺乏对口多播的支持，这决定了 多播方案难以得到实际部署和应用；基于对等网络的解决方案则不存在上述问题， “用户规模越大，服务质量越好”，并且理论上可以做到用户规模与流媒体服务器服 务能力无关，因此具有良好的发展前景。 本文对基于对等网络的流媒体点播解决方案在缓存管理、伙伴节点的发现和 维护、多点下载等关键技术问题上所具有的特点及现有研究存在的主要问题进行 了比较系统的研究。研究发现，基于磁盘空间的的缓存管理策略虽然可以使用户 节点拥有比较高的节目内容缓存能力，但版权泄露以及用户对硬盘损伤的担心使 这策略的应用面临很大阻力；基于内存空间的缓存管理策略可以降低这种担心， 但通常没有在缓存空间利用效率与保证节目的及时到达率之间达到很好的平衡； 集中式伙伴节点发现策略效率较高但容易产生性能瓶颈，进而影响到整个系统的 可扩展性；基于媒体发布图的伙伴节点发现策略则发现效率较低且可靠性很差； 基于分布式散列表的伙伴节点发现策略可扩展性很好，但在发现效率上仍然存在 比较大的提升空间；现有的多点下载算法均存在比较大的缺陷，或者不太适应流 媒体点播数据缓存特点，或者因过于复杂f 面难于实现，或者对流媒体服务器保留 了过多的依赖等等。 在对现有大规模分布式流媒体点播系统关键技术及典型模型的研究基础上， 本文提出了一种新的适合于v o d 系统的大规模分布式流媒体传输对等网络解决方 案。该方案采用了包含多个流媒体服务器的覆盖拓扑，以扩展服务器的服务能力。 采用的基于索引顺序表的伙伴节点快速发现算法则可以有效缩短系统的启动时 延，并为快进、后退等v c r 操作提供良好的支持。 本文方案的缓存管理包含服务器缓存管理和对等点缓存管理两个方面。在服 重庆大学硕士学位论文 务器的缓存管理策略上，本文提出了一种结合基f 节目流行度的缓存置换策略和 随机缓存置换策略优点的混合缓存置换策略。该策略使服务器的服务能力町以方 便的进行扩充，同时保持各个边缘流媒体服务器的负载均衡。在对等点缓存管理 策略f - ，本文通过在前缀缓存策略基础上加一个比较小的数据预取段，很好的平 衡了缓存利用效率和保证节目连续回放之间的关系。 为适应用户节点的加入和退出引起的网络拓扑变化对用户所造成的影响，本 文对在流媒体直播及g r i d c a s t 等点播系统中广泛使用的g o s s i p 协议进行了改进。 改进后的协议被称作有限g o s s i p 协议，该协议通过限制组员消息只在必要范围内 而不是整个对等网络中盲目传播，大大提高了发现网络拓扑变化并进行相应调整 的效率，进而有效提高了用户节目 口】放的稳定性，同时降低了对流媒体服务器的 依赖。 本文提出了一种基f 最小死亡时间优先的多点下载算法。多点下载算法优劣 直接关系到系统的町扩展性，以及用户所能获得的服务质量。本文提出的算法考 虑到了流媒体点播系统中町用伙伴节点数目相对减少这一特点，将伙伴节点分为 两类：对等点伙伴节点和流媒体服务器伙伴节点。通过尽量从对等点获取服务， 即可以尽量减少对流媒体服务器所造成的压力；通过优先下载需求紧迫的数据， 则使得节目回放的流畅性得到比较好的保证。 最后，本文通过模拟实验对文中提出的协议及算法进行了测试和验证。 关键词：流媒体，对等网络，缓存管理，覆盖拓扑，多点下载 英文摘要 a b s t r a c t w i t ht h ep o p u l a r i z a t i o no fb r o a d b a n da n dt h e d e v e l o p m e n t o fc o m p u t e r t e c h n o l o g i e s , s u p p l y i n gs t r e a m i n gs e r v i c e ss i m u l t a n e o u s l yt oa m a s so f u s e r si ni n t e m e t i sb e c o m i n gp o s s i b l e , w h i c hi sa l s ob e i n gp a y e dm o l ea n dm o r ea t t e n t i o n s i nl i v e s t r e a m i n g6 e l d , p e e r - t o - p e e rb a s e da p p r o a c h e sc o m et oag r e a ts l l c , c , e 鹤，a n dt h e c o m m e r c i a la p p l i c a t i o ni ss p e e d i n gl j p h o w e v e r , i nv i d e o - o n - d e m a n df i e l d , r e l a t i n g r e s e a r c h e sm a k ep r o g r e s sl a g g a r d l yb e c a u s eo ft h ea s y n e h r o n i s mo fu s e r s r e q u e s tt o p r o g r a m a sar e s u l t , m a n yt e c h n i q u ep r o b l e m sl u es t i l ll e t tt ob es o l v e d h o wt og e tr i do ft h ec o n t r a d i c t i o nb c t w c e nt h el i m i t e ds t r e a m i n g 剐玎v 廿s e r v i n g c a p a b i l i t ya n dt h eg r e a tr e q u i r e m e n to fn e t w o r kl e f l o u i c 鹤c a u s e db yp a r a l l e lr e q u e s to f u s 粥i st h ec o l ep r o b l e mo f v i d e o - o n - d e m a n de n a b l e ds e a l a b l es t r e a m i n gi z a m m i s s i o n c l u s t e rb a s e da p p r o a c h e sl n - i 。l i m i t e di ns c a l a b i l i t y1 3 t 渤u s eo fi t sc e n t r a l i z e dd a t a l z a n s m i s s i o nm a l m a - c o n t e n td e l i v e r yn e t w o r kb a s e da p p r o a c h e s 黜v e r yc o s i l y , t h u s 粥i m p o s s i b l et ob ea p p l i e de x t e n s i v e l y m o s to fe x i s t i n gi n f r a s t r u c t u r en o n s u p p o r to f s u p p o r ti pm u l t i e a s t , w h i e l am a k e sm u l l i e a s ta p p r o a c h e s h a r dt ob ed e p l o y e d p e e r - t o - p e e rb a s e da p p r o a c h e sw o n tc a l l s ca f o r e m c n d o n e dp r o b l e m s , a n di sk n o w n 勰 t h em o l eu s e 碍，t h eb e t t e rs 盯v i c e w h a t sm o l e ，t h en u m b e ro f1 1 ： 哪t h i sk i n do f a p p r o a c h e ss u p p o i ti si n d e p e n d e n to ft h ee a p a b i f i t yo fs t r e a m i n gs c l v c i s w h i c hn k 岫 t h e m b e i n gs e e m e d 髂t h em o s tp r o m i s i n ga p p r o a c h e s n e wc h a r a c t e r so f p e e r - t o - p e e rb a s e da p p r o a c h e so f v i d e o - o n - d e m a n da a m t a l y z e d i nt h ep a p e r m a n ye x i s t i n gs o l u t i o n s s u c h 鹪b u f f e rm a n a g e m e n t , p a r t n e rf i n d i n ga n d m u l t i s e n dd a t am m s m i s s i o n i sa l s os t u d i e d i ti sf o u n dt h a tt h ea p p l i c a t i o no fd i s k e t t e s p a c eb a s e db u f f e rm a n a g e m e n tp o l i c yw o u l db eh e l db a c kb yc o p y r i g h tl e a k i n e s sa n d t h ep r o b a b l eh a r m f u l n e s so fu s e l * sd i s k e t t e s ，a l t h o u g ht h ep o l i c ym a ye n a b l ep e e r st o s t o r ea n ds h a r eal a r g ea m o u n to f p r o g r a ms l i c e s o nt h eo t h e rk m d p r e s e n t e dm e m o r y s p a c eb a s e db u f f e rm a n a g e m e n tp o l i c yo t t e ac a n tm a k eag o o db a l a n c eb e t w c c l lt h e u t i l i t yo f b u f f e rs p a c ea n dt h et i m e l ya r r i v i n gr a t eo f p r o g r a ms l i c e s c e n t r a l i z e dp a r t n e r s e a a e l a i n gp o f i e yi se f f i c i e n t , b u tb a di ns e a l a b i ；i t yb e c a u s eo fb o t t l e - n e c kp r o b l e mo f i n d e xs e l v e t m e d i ad i s t r i b u t eg r a p hb a s e dp a r t n e rp o f i e yi si n e f f i c i e n ta n db r i t t l e h a s h t a b l eb a s e dp a r t n e rf i n d i n gp o l i c yi se f f i c i e n ta n ds c a l a b l e b u ts t i l lf e a z e db ym a n y p r o b l e m s e x i s t i n gm u l t i - s e n d e rd a t al 埘l s m i s s i o na l g o r i t h m s 黜p r e d o m i n a n ti ns o m e a s p e c t s ，b u tf a u l t f u li no t h e ra s p e c t sf o ri l l s t a n c e , t h e ym a yb en o tv e r ys u i t a b l et ot h e h i 重庆大学硕士学位论文 c h a r a c t e ro f b u f f e rp o l i c yo f v i d e o o n - d e m a n d ，o rm a yb et o oc o m p l i c a t e dt oi m p l e m e n t , o rr e l a t et o om u c ho ns t r e a m i n gs e r v e r , e t c o nt h eb a s i so ft h es t u d yo f e x i s t i n gv i d e o o n - d e m a n dt e c h n i q u e sa n ds y s t e m s ，a n i n n o v a t i v ep e e r - t o - p e e rb a s e da p p r o a c hi s p r e s e n t e di nt h ep a p e r t oe x p a n dt h e c a p a b i l i t yo fs c r v e l 馏，m u l i - s g v e gt o v e r l a yt o p o l o g yi sa d o p t e d b yu s i n gi n d e x s e r i a l t a b l eb a s e dp a r t n e rf a s ts e a r c h i n ga l g o r i t h m ，t h ed e l a yo fb o o t i n gi sl i m i t e d ，a n dv c r o p e r a t i o n sc o u l db es u r p o r t e dv e r yw e l l t h eb u f f e rm a n a g e m e n tp o l i c yo f t h ea p p r o a c h m a i n l yc o n t a i n st w oa s p o c 舾，b u f f e r m a n m g e m e n tp o l i c yo fs e r v e r sa n db u f f e rm a n m g e m e n tp o l i c yo fp e e r s i nt e r m so f b u f f e rm a m n g e m e n tp o l i c yo fs e r v e r s ，ap o p u l a r i t y - r a n d o mh y b r i dp o l i c yi s p r e s e n t e d , w h i c he n a b l et h ef r e e l ye x p a n s i o no ft h ec a p a b i l i t yo fs t r e a m i n gs e r v e r s i nt e r m so f b u f f e rm a n m g e m e n tp o l i c yo fp e e r s ，t h ep o l i c yo ft h i sp a p e rm a k e sag o o db a l a n c e b e t w e e nt h eu t i l i t yo f b u f f e ra n dt h ec o n t i n u o u sp l a y i n gb a c ko f p r o g r a m s b ya d d i n ga p r e - f e t c hb u f f e rs e g m e n tt ot h ep r e f i x a lb u f f e r t oa d a p tt ot h ec h a n g eo fo v e r l a yt o p o l o g yc a u s e db yt h ej o i na n dl e a v eo f p e e r s ， g o s s i p ，w h i c hi sa p p l i e de x t e n s i v e l yi nl i v es t e a m i n ga n ds o m ev i d e o - o n - d e m a n d s y s t e m s ，s u c h 嬲g r i d c a s t ，i si m p r o v e di nt h ep a p e r t h em a i nf e a t u r eo ft h ei m p r o v e d p r o t o c o li st h a tt h es p r e a ds c a l eo fm e m b e r s h i pm e s s a g e si sc o n f i n e dt oan e c e s s a r y r a n g e ，w h i c hg r e a t l yi m p r o v e st h ec a p a b i l i t yo fp e e r st oa d j u s tt h e i rl o c a lt o p o l o g y a c c o r d i n gt ot h ec h a n g eo f t h eo v e r l a y s u c hi m p r o v e m e n ti sv e r yp r o p i t i o u st ok e e pt h e p r o g r a m t h a tt h eu s e rd e m a n dp l a y i n gb a c ks t e a d i l y , a n dl e s s e nt h er e q u e s to f s t r e a m i n g s e r 、，e 嚣 as m a l l e s t - d e a d t i m e - f i r s tb a s e dm u l t i - s e n d e rd a t at r a n s m i s s i o na l g o r i t h mi sa l s o p r e s e n t e d m u l t i s e n d e rd a t at r a n s m i s s i o na l g o r i t h mc o u n tf o rm u c ht ot h es e a l a b i l i t y a n dq o so ft h es y s t e m c o n s i d e r i n gt h e r ea r em u c hl e s se l i g i b l ep a r t n e rf o rp e e r si n v i d e o - o n - d e m a n ds y s t e m st h a ni nl i v es t r e a m i n gs y s t e m s ，p a r t n e r sa r ed i v i d e di n t ot w o t y p e s p e e rp a r t n e r sa n d s e r v e rp a r t n e r s b yu s i n gt h e c a p a b i l i t yo f p e e rp a r t n e r sg r e e d i l y , t h ep r e s s u r ei m p o s e do ns t r e a m i n gs e r v e r si sl e s s e n e d b yd o w n l o a d i n gt h em o s tn e e d e d s l i c e sf i r s t , t h ep l a y b a c kc o n t i n u i t yo f p r o g r a m si sa s s u r e d a tt h ee n do ft h ep a p e r , t h ei m p r o v e m e n to ft h ep r o t o c o la n da l g o r i t h mi nt h e a p p r o a c hi sm e a s u r e da n dv a l i d a t e db ys i m u l a t i o n k e y w o r t h ：s t r e a m i n g , p e e r - t o - p e e r , b u f f e rm a n a g e m e n t , o v e r l a yt o p o l o g y , m i l l t i s e n d e rd a t at r a n s m i s s i o n i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重庆盔堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：矿年j 月多1 日 学位论文版权使用授权书 本学位论文作者完全了解重废太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重废太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( 、) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名： 亏脖 签字日期： 州年了月多f 日 导师签名： 签字日期叩年哪胭 1 绪论 1 绪论 1 1 课题研究背景 互联网( i n t e r a c t ) 正以难以想象的速度影响并改变着我们的生活。随着宽带网络 的迅速普及和计算机通信技术的不断发展，人们对从网络获取高质量多媒体服务 的需求越来越强烈，正是用户的这种强烈的需求与愿望，成为了相关研究及业务 开展最原始的驱动力。 流媒体不同与传统的下载完然后再播放的多媒体服务，其采用了支持边下载 边播放的视频压缩及传输技术，可以为用户提供更为及时，更加人性化的服务。 这种服务方式更符合用户的期望，因此自其诞生之日起，人们就对其投入了极大 的关注和热情。 然而，直接用互联网进行音视频内容的传输，所能提供的流媒体服务质量( q o s ) 并不能使用户感到满意，导致这种现象深层次原因主要在于互联网的最初设计主 要是为了满足端对端系统的需求。传统的单播方式在满足网络中的大量用户同时 的流媒体内容请求时很容易造成服务器网络带宽和计算能力瓶颈，从而使得要么 对服务的规模和范围进行限制，要么用户就要忍受延时很大、抖动频繁的低质量 服务。因此，研究大规模流媒体传输技术，解决如何向互联网中的海量用户提供 有服务质量保证的流媒体服务问题，具有十分巨大的理论意义和实践价值。 1 2 大规模流媒体传输技术研究现状 对大规模流媒体传输技术的研究，主要分为两个领域：面向直播服务的l i v e s l r e a m i n g 相关技术研究和面向点播服务v i d e o - o n - d e m a n d 相关技术研究。两者相 互交叉，又各有不同。正是这些不同，导致几乎同时开始的这两个领域的研究在 实际进展上有相当大的区别。 大规模流媒体传输技术的进展，依赖于桌面p c 、网络底层传输技术和基础设 施的迅猛发展。桌面p c 日见宽裕的存储能力、计算能力和网络带宽使一度举步为 艰的流媒体服务在规模上的扩展看到了新的解决思路：利用广布于网络中的各个 用户主机的大量空闲资源，进行分布式协同，以解决传统的集中式解决方案难以 避免的传输瓶颈问题以及多播方案改造网络基础设施所带来的巨大开销等问题。 这种方案在数据传输上基于应用层多播，被称作对等网络( p 2 p ) 解决方案。 直播领域由于所有用户只观看当前直播内容，用户对流媒体数据的需求高度同 步，因此更容易在用户间实现协同。1 9 9 8 年，美国学者在i e e em u l t i m e d i a 杂志上 发表了第一篇关于利用p 2 p 技术来实现大规模流媒体点播和直播系统的论文 重庆大学硕士学位论文 w e b e a s t 。2 0 0 0 年，美国c m u 大学的华人科学家张辉带领的团队率先实现了第一 套p 2 p 视频直播系统的原型e s m ( e n ds y s t e m m u l t i c a s t ) ，并且使用该原型系统向全 球学者直播当年的a c m 学术盛会s i g c o m 。此后各种原型系统、高度町扩展的应 用层多播协议大量涌现。其中，典型的系统有s t a n d f o r d 大学的提供爵频广播的 p e e r c a s t 系统和德国的p 2 p r a d i o 系统等。典型的应用层多播协议包括微软研究院 的c o o l m e t s p l i t s t r e a m 协议、c i s e o 研究院的o v e r c a s t 协议、马里兰大学的n i c e 协议，伯克利大学的g o s s i p 协议等等。虽然这些系统和协议尚不能实用，但为p 2 p 流媒体直播打下了1 簪实的基础。2 0 0 4 年5 月欧洲杯期间，香港科技大学张欣研博 士开发的基于g o s s i p 协议的c o o l s t r e a m i n g 原型系统在p l a n e t l a b 网上试用获得成 功。在其鼓舞下，中国国内流媒体直播技术和业务发展迅速，在世界上独树一帜， 目前中国有十多个网站使用各自发展的软件提供p 2 p 流媒体直播业务。p p l i v e 、 p p s t r e a m 就是其中的典型代表。这些系统目前都已在不同程度上开始了各自的商 业化运作，显示出在直播领域，大规模流媒体传输技术日见成熟。 与直播领域相对比，适合于v o d 系统的大规模流媒体传输技术及其业务的开 展进展缓慢。这主要是在于流媒体点播服务与直播服务相比有其独有的特点和一 些新的需求。一方面，用户观看每个节目时，均需要从节目起始位置开始观看， 但由于点播用户的到达方式是异步的，这就造成了用户在同一时间所需要的节目 片段各不相同，从而大大增加了用户之间共享节目片段的难度；另一方面，点播 系统用户需要所接受的流媒体服务支持后退、快进等v c r 操作，这进一步增加了 在同一时间用户所请求节目片段的动态性；最后，相关研究表明，在流媒体服务 质量下降时，点播用户有更强烈的进行节目切换的意愿，因为v o d 的节目主要为 录制节目，现在不看，以后还可以看得到。 点播领域的前期研究，主要包含服务器集群、c d n 、多播等方案等。这些方 案由于各自原因，均不能很好解决规模与部署成本之间的矛盾关系。基f p 2 p 的解 决方案主要包含两种思路：基于传统的p 2 p 文件共事机制，或者借鉴直播领域的相 关研究成果。典型的系统包括2 0 0 0 年美国普度大学实现的基于g n u t e l l a 网络的 g n u s t r e a m 系统，以及国内2 0 0 5 年以后最新出现的一些系统，如华中科大的g r i d e a s t 、 北京原力的x t v 、上海友用的s n s 以及p p l i v e 研发团队最新推出的p p l v 等。在应 用层传输协议方面，比较重要的有2 0 0 2 年提出的p 2 c a s t 协议以及2 0 0 3 年提出的 p 2 v o d 协议、c o l l e c t c 矧协议( 用于p r o m i s e 系统) 以及2 0 0 4 年提出的p r o p 协议等。 这些系统和应用层协议的出现，有力的推动了适合于v o d 系统的大规模分布式传 输技术的发展，但仍然存在很多问题，相关应用也并未象直播领域那样迅速吸引 大量用户。因此，有必要对这一领域及相关技术进行更为系统和深刻的探讨，提 出更加有效的解决方案，以促使高服务质量的大规模点播被广泛应用之日的早日 2 1 绪论 到来。这也正是本文研究的初衷所在。 1 3 主要工作及论文组织 本文的重点对适合于v o d 系统的大规模流媒体传输技术进行了系统和深入的 研究，所做的主要工作包括： 通过对现有流媒体点播解决方案的分类研究，提出基于对等网络的解决方 案是一种最有发展前景的解决方案。 对基于对等网络的解决方案所涉及的伙伴节点的发现与维护、用户缓存策 略、多点下载技术等关键技术问题的现有各种技术方案的优缺点进行了对比分析。 在研究现有解决方案的基础上，提出了一种新的适合于v o d 系统的大规 模分布式流媒体传输方案。 对方案涉及的缓存管理策略、覆盖拓扑维护协议、多点下载算法进行了深 入的研究。提出了服务器、对等点的缓存置换策略，一种被称作有限g o s s i p 协议 的覆盖拓扑维护协议，以及一种基于最短死亡时间优先的多点下载算法。 通过模拟实验，对本文方案中关键协议和算法进行测试。相关实验结果同 典型方案g r i d c a s t 进行了比较，验证了其在规模可扩展性等方面的显著进步。 全文共分六章，各章的组织结构如下： 第一章为文章的绪论部分，主要对课题研究背景、大规模流媒体传输技术主 要的应用领域以及所取得的进展进行了介绍，指出了本课题研究的必要性。 第二章对现有的适合于v o d 系统的大规模流媒体解决方案进行了分类讨论。 第三章提出了基于对等网络解决方案所涉及的主要技术问题，并对现有的技 术方案进行了系统的分析和比较。 第四章对现有的基于对等网络的典型模型进行了研究和讨论。 第五章对本文提出的基于对等网络的解决方案在相关主要技术问题上的研究 进行了详细描述。并对的相关协议和算法的测试方法和测试结果进行了具体的介 绍。 第六章对本文进行了总结并展望了未来研究及实践上的一些想法。 2 流媒体点播主要解决方案 2 流媒体点播主要解决方案 2 1 服务器集群解决方案 2 1 1 服务器集群方案概述 服务器的计算能力和带宽瓶颈一直是制约流媒体服务在规模上的可扩展性的 关键因素。这是由流媒体服务自身的特点所决定的。首先，流媒体服务对网络带 宽要求很高。典型的视频节目对带宽的需求都在数百k b p s ，高清节目甚至高达数 m b i a s ，而服务器处网络的网络带宽有限，比如1 0 0 m b p s ，这样最多只能承受几百 个用户的并发请求。其次，流媒体服务对服务延时十分敏感，强调服务的实时性， 因此，采用延迟服务的方式来缓和短期的服务请求高峰并不十分合适。这就使得 对服务器能力的要求更为苛刻。 提高服务器本身的服务能力，是解决这一问题的最直接的，最容易想到的方 法。通过使用高性能的服务器，提高单台主机的能力，不仅效果有限，并且在成 本上开销很大。多台普通服务器主机联合起来为统一为用户提供服务，就可以以 比较低的成本达到同样甚至更好的提高服务器整体服务能力的效果。这就是服务 器集群的基本思想。 文献f 1 】中为服务器集群提供了更严格的定义：服务器集群是一组由网络连接 起来的独立的服务器的集合，它们能够协同工作，共同处理i n t e r n e t 上日益增 长的客户请求。它具有良好的可用性( a v a i l a b i l i t y ) 、可扩展性( s e a | a b i l i t y ) 以及优秀 的性价比，是当前服务器技术的热点之一。 美国南加州大学的y i m a 集群视频服务系统【2 l 即是这种思想的典型代表。 y i m a 系统的体系结构如图2 1 所示。在y i m a 原型系统中，服务器由8 台戴尔1 5 5 0 p o n t i u mi i i8 6 6 m h zp c 机组成，1 6 块希捷3 6 0 硬盘通过s c s i 接口与之相连。集群 中的各个主机之间通过l o o m 以太网总线连接起来以进行通信和数据交换。各个主 机分别用一条或者两条快速以太线路接入到本地的交换机，以为其所在的局域网 内或者远程的客户提供服务。 服务器集群系统包含数据在各个主机之间的存放和置换策略以及对客户请求 的调度策略。y i m a 系统的数据存放和置换策略十分简单，每个流媒体对象以伪随 即的方式发布到各个主机，以实现各个主机的负载均衡。在客户请求的调度策略 上，y i m a - i 和y i m a - 2 分别采用了主一从方案和对等方案。 主从方案：各个主机的身份不完全对等，部分主机既是“主”服务器，又是 “从”服务器，其他主机则是单一的“从”服务器。当一个用户请求到达时，某个具有 “主”能力的主机对其进行响应。若该主机不存在请求的数据对象，则其负责查找存 5 重庆大学硕士学位论文 在那螳数据对象的主机，获取该数据对象，然后将其发往请求客户机。 对等方案：对等方案中各个圭机身份完全对等，某个用户请求到达后，任 一主机接受该请求，并查找可以为该主机提供服务的其他主机，然后这些主机直 接为客户提供服务。 图2 1y n n a 系统体系结构 f i g2 1 a r c h i t e c t u r eo f y i m as y s t e m 不难看出，主一从方案实现简单，并且对客户端无任何特殊要求。存在的问题 是对某一客户而占，只有一个主机为其提供请求的数据对象，容易造成单点故障 失效问题；对等方案可以避免这一问题，但要求客户端有数据重组能力，实现上 相对复杂，但性能更好。 2 1 2 服务器集群方案的局限性 用服务器集群的方式来提高服务器的整体服务能力，以解决服务器计算及带 宽瓶颈，实现简单，成本不高，可以有效增加服务器所能容忍的并发用户请求的 数目。但是，这种方案在本质上仍是沿用了过去的c s 模式，在用户规模不断增加 时，就很容易显现出其局限性。实践证明，由于流媒体服务中高带宽、高实时性 6 2 流媒体点播主要解决方案 的需求，使得这类系统在服务能力上仍然只能停留在同时服务并发上千人的规模 之上，远不能适应大规模流媒体传输系统的需要。因此，有必要寻找更为有效的 解决方案。尽管如此，集群解决方案用比较低的成本部分解决了流媒体服务的可 扩展性问题，并且已经在中小型服务系统中广泛被采用，因此，不能完全忽略这 种方案的出现为流媒体服务尤其是v o d 服务的推广和实践所带来十分重要积极意 义。 2 2 内容分发网络方案 2 2 1 内容分发网络方案基本思想 内容分发网络的英文名称为c o n t e n td e l i v e r yn e t w o r k ，简称c d n ，是建立并覆 盖在互联网之上的一层虚拟智能网络，专门用于通过互联网高效传递丰富的多媒 体内容，通常部署在网络边缘接入层p 】。其基本思想是，依靠放置在各地的缓存或 媒体服务器，通过系统中心平台的负载均衡、内容分发、调度等功能模块，将用 户最感兴趣的那部分流媒体内容部署到最贴近用户的地方，使得原本无序、低效、 不可靠的宽带口网络转变成高效、可靠的智能网络，以满足用户对媒体访问质量的 更高要求。如图2 2 所示： 图2 2 内容分发网络架构 f i g2 2 a r c h i t e c t u r eo f c o n t e n td e l i v e r yn ( a w o r k 由于缓存服务器( c a c h es e r v e r ) 服务器的空间有限，不可能缓存服务供应商所 要发布的全部流媒体内容，因此，必须有选择的缓存一部分流媒体内容；同时缓存的 7 重庆大学硕士学位论文 目的是提高用户的“命中率”，即应该缓存用户最可能访问的内容。只有这样，才可 以使用户尽町能的从本地缓存服务器获取资源，以确保服务质量，并且最大叮能 的减轻用户服务请求对中心流媒体服务器的压力，增加系统在规模上的町扩展性。 解决这一问题的关键即为采用一种合适的数据调度策略。 最典型的数据调度策略即为基于节目流行度的数据调度策略。其主要过程是： 用户首先向本地缓存服务器提交服务请求，若本地缓存服务器上包含其所请求的 内容，则直接响应之；否则，缓存服务器将该客户的请求重定向到中心流媒体服 务器，由其来提供用户所请求的内容。同时，中心流媒体服务器向该用户的本地 缓存服务器发送该用户请求的流媒体内容。若该缓存服务器剩余磁盘空间足以放 下上述全部内容，则直接将其在本地进行缓存，以备其他用户的下次请求。若剩 余磁盘空间不足，则用该内容置换缓存服务器上流行度比其小的那些流媒体内容。 2 2 2 内容分发网络方案的优缺点 内容分发网络方案尽町能避开互联网上有可能影响数据传输和稳定性的瓶颈 和环节，使用户距离所需要资源更近，获取更便捷。同时，通过在网络各处部署 缓存服务器所构成的虚拟网络，内容分发网络方案能够实时的根据网络流量、各 个缓存服务器的负载情况以及距离用户的距离等因素动态的调整流媒体内容在互 联网各个区域内的分布情况，以提高系统对用户请求的响应能力和服务质量。这 种方案有效解决了服务器瓶颈问题，是适合于v o d 系统的大规模流媒体传输技术 研究上的一大进步。 然而，内容分发网络方案同时也存在与生俱来的熏要缺陷：构建内容发布网 络本身需要大量投资，成本很高，远远超过一般服务供应商的承受能力，因此不 可能被广泛采用。 2 3 基于多播的方案 2 3 1 多播方案概述 多播技术的创始人s t e v e e d e e r i n g 定义多播为：将源口地址相同的数据报发送 到特定的主机组中，该主机组的成员数目可以为零个或者多个；组播数据报的传 输町靠性和m 单播相同；主机成员是动态的，任何主机可以在任何时候加入或者退 出某个主机组；主机组对其成员没有位置和数量的限制，而且一台主机可以同时 是多个主机组的成员。 多播技术融合了单播技术和广播技术的特点，可以将一份数据同时发往多个 特定的用户。同时，向多个用户的数据报的发送并不是简单的同各个用户建立各 自的单播通道，而是传输路径必须分岔时才将数据报复制后继续转发，进而可以 有效减轻对源站乃至整个网络传输带宽等资源的消耗。 2 流媒体点播主要解决方案 由于多播同时发送数据的特点与流媒体直播的需求非常吻合，直播服务使用 多播技术十分简单，并且非常有利于发挥多播的特点与优势，相关的研究更多的 集中在组管理策略上；在流媒体点播领域则有不同，由于用户对流媒体内容需求 具有很大的异步性，如果简单的为每个到达的用户均开设一个独立的多播信道， 其效果等同与单播，并不能有效缓和对服务器和网络负载的压力。为解决这一问 题，人们进行了大量研究，产生了大量的方案。这些方案大致可分为以下几类： 批处理( b a t c h i n g ) 、周期广播( p e r i o d i cb r o a d c a s t ) 7 - 1 0 、流合并( m e r g i n g ) 【1 1 。 1 2 1 、补丁( p a t c h i n g ) 【1 3 - 锕。 2 3 2 现有主要多播策略 批处理策略。 批处理策略的基本思想为，在某一用户请求到达时，并不马上为其提供服务， 而是令其等待，当有相同请求的用户达到设定的阔值n 时，服务器开启一个多播流， 统一向本批次请求的用户发送其所请求的流媒体内容。 批处理方案实现简单，可以在一定程度上缓解服务器的压力。其所能达到的 效果取决于n 值的设定。该策略的主要问题是，先到的用户必须等待后到的用户， 因此，对各个用户并不公平。此外，用户获得服务所需要的回放延时不是一个确 定值，当用户请求稀疏时，该问题尤其严重。因此，本方案只对热播节目的多播 有一定的参考价值。 周期广播策略。 最简单的周期广播协议为s t a g g e r e db r o a d c a s t i n g d 议。采用这种协议的流媒体 服务器为某一节目每隔一固定时间开启一个新的多播流。点播该节目的用户只要 加入加入时间之后最近的那次多播，就可以从服务器获取想要的流媒体内容。这 种方案对客户端的缓存能力没有特殊要求，但服务器压力依然较大。比如，要确 保每个客户最多等待2 分钟就可以获得服务，则服务器就要为一个1 0 0 分钟的节目 开启5 0 + 多播流。 一些更加复杂和有效的协议可以较好的改善这一状况。这些协议的基本思想 为：每个多播流不再多播整个节目，而是将该节目分