（计算机科学与技术专业论文）大规模vod系统设计及其负载均衡设计.pdf

摘要 摘要 近年来随着v o d 系统的不断发展成熟，v o d 用户数量不断增加，而相对来 说，计算机系统硬件发展较为缓慢，v o d 系统的设计面临着不断提高的服务器 负载的问题。集中式单服务器v o d 系统已经远远不能满足用户的需求，分布式 v o d 系统的提出提高了可服务的用户数量，但对于电信级的用户规模来说，一 般的分布式v o d 系统远不能满足要求。本文从设计电信级大规模v o d 系统出 发，以提高整个v o d 系统可服务用户数量、提高服务质量目为标，对分布式 v o d 系统的结构作了一些研究和探讨，力图以较低成本实现一种高性能大规模 v o d 系统，并就系统中负载均衡问题做深入的研究。 通过对已有单机v o d 系统以及多节点v o d 系统的结构分析，在v o d 系统 设计中引入内容分发网络( c d 技术及计算机集群技术的基本设计思想，提出了 一种基于分层c d n 的服务器拓扑结构。整个系统由一个数据中心和若干个边缘 服务器组组成。每个组类似一个集群系统，由一个管理平台和若干边缘服务器组 成：边缘服务器负责给用户提供视频服务，管理平台负责管理用户点播请求、边 缘服务器负载均衡等；为了降低管理平台的实现成本，将管理平台的部分功能转 移到选举出来的边缘服务器上。这部分内容的创新点在于，将c d n 技术和集群 技术结合设计出新的服务器网络拓扑，并将管理服务器任务分摊，降低设计成本。 为解决每组服务器的负载均衡问题，根据用户点播行为各种分布规律，设计 了系统的媒体文件按播放时间分段存储策略。在此基础上，提出当节目热度变化、 或者服务器负载不均横时，进行组内文件重发布的方法，以解决负载均衡问题， 并制定了组内文件重发布的策略。在调度用户请求时，为了降低管理服务器的负 载，管理服务器将调度策略和相关输入发送到客户端、客户端通过计算得到文件 获取方法。提出了服务器预测负载的计算方法，并考虑每个节目用户退出率的影 响，使预测负载的计算更为精确。这部分的创新点在于，根据用户行为分布来设 计系统的存储策略；提出服务器存储内容重发布的思想，并给出重发布策略；将 调度策略下载到客户端进行计算，以降低服务器负载；提出预测负载概念，并考 虑用户退出率对预测负载的影响。 在局域网上搭建了原型v o d 系统，并设计了用户行为模拟程序，测试了负 载均衡策略。实验结果表明，根据用户行为分析结果制定的负载均衡策略可以很 好的使系统中每组的边缘服务器达到很好的负载均衡。 关键词：视频点播负载均衡用户行为分析内容分发网络 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ec o n t i n u o u sd e v e l o p m e n to fv o d s y s t e m s ，t h en u m b e ro f v o du s e r si sg r o w i n g ，b u th a r d w a r ed e v e l o p m e n to fc o m p u t e rs y s t e m si sr e l a t i v e l y s l o w ，t h ed e s i g no fv o ds y s t e mf a c e dw i t hac o n s t a n ti m p r o v e m e n ti nt h es e n r e r l o a d c e n t r a l i z e ds i n g l es e n ，e rv o ds y s t e mh a sb e e nf a rf r o mm e e t i n gt h en e e d so f u s e r s ，d i s t r i b u t e dv o ds y s t e mc a ni m p r o v et h en u m b e ro fu s e r st h a tv o ds y s t e mc a n s e r v e ，b u tw h e nf a c i n gu s e r so fc a r r i e 卜g r a d es c a l e ，ag e n e r a ld i s t r i b u t e dv o ds y s t e m i sf a r 行o ms a t i s 毋i n gr e q u i r e m e n t s t h i sp a p e rs t a r tf r o mt h ed e s i g no fl a r g e s c a l e v o ds y s t e m ，i no r d e rt oi m p r o v et h en u m b e ro fu s e rv o ds y s t e mc a ns e r v e ，t o i m p r o v es e r v i c eq u a i i t y ，t h es t m c t u r eo f d i s t r i b u t e dv o d s y s t e mw a sr e s e a r c h e d ，a n d t r y i n gt 0d e s i g nah i g h p e r f o m a n c el a r g e s c a l ev o ds y s t e mw i t hl o w e rc o s t ，a n d s y s t e ml o a db a l a n c i n gi s s u e st od oi n d e p t hr e s e a r c h t h r o u g h t h ea r c h i t e c t u r ea n a l y s i so fe x i s t i n gs i n g l ea n dm u l t i n o d ev o d s y s t e m ， i n t r o d u c et h eb a s i ct e c h n o l o g yo fc o n t e n td i s t r i b u t i o nn e t w o r k ( c d t e c h n o l o g y a n dc o m p u t e rc l u s t e rt ov o d s y s t e md e s i g n ，w ep r o p o s e dat o p o l o g yo f s e r v e r sb a s e d o nl a y e r c dc d n t h ee n t i r es y s t e mi sad a t ac e n t e ra n dan u m b e ro fe d g es e r v e rg r o u p ， e a c hg r o u pi ss i m i l a rt oac l u s t e rs y s t e m ，h a sam a n a g e m e mp l a t f b ma n ds e v e r a l e d g es e r y e r s ：e d g es e r v e ri sr e s p o n s i b l ef o rp r o v i d i n gv i d e os e i c e st 0u s e r s ，a n d m a n a g e m e n tp l a t f o n nw i l lb er e s p o n s i b l ef o rt h em a n a g e m e n to fu s e r d e m a n d r e q u e s t s ，s u c ha se d g es e r v e rl o a db a l a n c i n gm a n a g e m e n t ；t br e d u c et h er e a l i z a t i o n c o s to fm a n a g e m e n tp l a t f o r m ，p a r to ft h em a n a g e m e n tp l a t f o m 如n c t i o n sw a s t r a j l s f i e r r e dt 0t h ee l e c t e de d g es e e r t h ei n n o v a t i o no ft h i sp a r ti sa l sf o l l o w s ： c o m b i n e dc d na n dc o m p u t e rc i u s t e rt e c h n o l o g yt od e s i g nan e wt o p o l o g yo fv o d s e r v e r s ，n a n s f e rp a r to ff u n c t i o n so fm pt oe st or e d u c et h ed e s i g nc o s t t bs o l v em el o a db a l a n c i n gp r o b l e mo f e a c hg r o u p ，w es t a r t i n gf 两mt h ea n a l y s i s o fv o du s e rb e h a v i o r ，a n da c c o r d i n gt 0v 撕o u sd i s t r i b u t i o n so fu s e rd e m a n db e h a v i o r ， w ed e s i g n e das t o r a g es t r a t e g yt h a tv i d e of i l e sw a ss p i t e db yt i m eb l o c ka n ds t o r e do n e d g es e e r s b a s e do nt h i s ，i no r d e rt 0s o l v ei o a db a l a n c i n gp r o b l e m ，w ep r o p o s e dt o r e - r e l e a s em e d i af i l ei n 铲o u pw h e nt h eh e a to fv i d e o sc h a n g e do rt h ei o a do rs e e r s b e c a m eu n b a l a n c e a n dw ep r o p o s e dt h es 仃a t e g yo fr e r e l e a s ea c c o r d i n gt ot h er e s u l t o fu s e rb e h a v i o ra n a l y s i s i ns c h e d u l i n gt h er e q u e s to fu s e r s ，i no r d e rt or e d u c et h e a b s t r a c t l o a do fm a n a g e m e n ts e r v e r t h es e r v e rw i l is e n dt h es t r a t e g ya n dr e l a t e di n p u tt ot h e c l i e n t ，c l i e n tg e tt ok n o wh o wt 0g e tf i l e sb yc a l c u l a t i n g b a s e do ng e n e r a id y n a m i c l o a d b a l a l l c i n g ，w ep r o p o s e dt h em e t i l o dt 0 f o r e c a s tt h es e r v e rl o a d ，a n db y c o n s i d e r i n gt h ep r o b a b i l i t yo fu s e rq u i t ，、v ec a nc a l c u l a t et h ep r e l o a do fs e n r e r sm o r e a c c u r a t e l y t h ei n n o v a t i o no ft h i s p a r tl i e s o n ： p r o p o s e ds t o r a g es t r a t e g y a n d r c r e l e a s es t r a t e g ) ，b a s e do nu s e rb e h a v i o ra n a l y s i s ， s c h e d u l i n gs t r a t e g yw i l lb e d o w n l o a d e dt 0t h ec l i e n tc a l c u l a t e dt 0r e d u c es e r v e rl o a d ；p r o p o s e df o r e c a s tl o a d c o n c e p t w bi m p i e m e n t e dt h e s i m u l a t i o ns y s t e m ，锄dt h eu s e rb e h a v i o rs i m u l a t o r s i m u l a t i o nr e s u l ts h o w st h a tu s i n gt h er e - r e l e a s es t r a t e g y ，t h es e r 、r e r sa c h i e v el o a d g o o db a l a n c i n g ，s h o w st h a tt h es 仃a t e g yi sf e a s i b i e k e y w o r d s ：v o d ，l o a db a l a n c i n g ，u s e rb e h a v i o ra n a l y s i s ，c d n u i 图表目录 图表目录 图2 1 单机结构的视频服务器体系结构1 2 图2 2 服务器服务模型1 3 图2 3 州s 体系结构示意图1 5 图2 4 基于c d n 技术的内容传送模式1 8 图2 5 服务器组结构1 9 图2 6 系统拓扑结构图2 l 图2 7e s 加入系统过程2 4 图2 8 好加入过程2 5 图2 9e s 失效检测和处理过程j 2 6 图3 1 用户退出概率示意图3 0 图3 2 长短视频的点播时长分布3 l 图3 3 用户v c r 行为模型图3 3 图4 1 系统中文件重发布过程。3 9 图4 2 组内负载调度过程4 l 图5 1d c 中的功能模块4 8 图5 2 职中的功能模块5 0 图5 3e s 中的功能模块5 l 图5 4 系统软件结构图5 3 图5 5 协议控制字5 4 图5 6d c 运行流程图5 6 图5 7 肝运行流程图5 7 图5 8e s 运行流程图5 8 图6 1 组a 服务器负载状况6 2 图6 2 组b 服务器负载状况6 2 图6 3 组c 服务器负载状况6 3 图6 4 组d 服务器负载情况6 3 图6 5 各组的l i d 变化情况6 4 图6 6 存储重发布策略测试服务器组l i d 值6 6 图6 7 预测负载测试l i d 值6 7 表3 1 用户点播时长3 1 表6 1 模拟程序各种时长链接的保留百分比6 l v i i 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名： 垄盘 瑚年f 月7 日 第l 章绪论 1 。1 引言 第1 章绪论 随着互联网技术的发展，人们可以主动、及时的从互联网上获得所需要的信 息，包括多媒体信息，互联网逐渐发展成为继电视之后覆盖面最大的一个新兴媒 体【1 】。但受网络结构、网络带宽等因素的制约，几年前人们从互联网上获取信 息主要是文字、图片等静态信息，近年来，随着宽带网络技术的发展，视频点播 ( v o d ) 技术得到了快速的发展和广泛的应用，逐渐成为人们获取信息的重要 手段，也成为一个研究热点 2 5 】。 v o d ，就是d e o - o n d e m a i l d 6 】的缩写，其中文意思就是根据用户的要求播 放特定节目的视频系统。v o d 系统是当代网络上一个十分具有前景的多媒体应 用，它通过网络将电影节目、视频游戏、家庭购物等服务提供给用户。单个用户 具有对大范围影片、视频节目、游戏、信息以及其他服务的实时访问能力，从而 改传统的、被动的、广播式的信息灌输为新型的、主动的、更具自己需求而进行 的信息获取。由于用户和被访问资料之间的这种高度的交互性带来的巨大方便， v o d 技术已经迅速进入市场，成为人们生活、学习和娱乐的重要手段。 但由于此前一段时间内计算机系统性能和网络带宽等方面的限制，v o d 应用 一直在小规模的系统上徘徊。随着骨干网络和接入网带宽的飞速提高、计算机系 统性能的不断进步，计算、存储的成本日益下降，发展大规模v o d 系统的时机 日益成熟。同时，越来越多的人希望交互式的观看各类视频节目，对来源于网络 的高品质的视频、音频等多媒体信息的需求也曰益增大，发展大规模v o d 系统 也是在必行。 大规模v o d 系统要服务更大规模的用户，传统单服务器v o d 系统以及普通 集群系统已经无法满足用户需求。随着v o d 系统规模的增大，内容分发网络 ( c d n ) 技术【7 ，8 】被运用到v o d 系统中来。c d n 技术是解决互联网性能问题的 有效手段。c d n 是建立并覆盖在互联网之上、由分布在不同区域的节点服务器 群组成的虚拟网络。其工作思路就是尽可能避开互联网上有可能影响数据传输速 度和稳定性的瓶颈和环节，使内容传输的更快、更稳。如何将v o d 系统中的媒 体服务器按c d n 网络的结构进行部署，以及各服务器之间的负载均衡问题【9 1 l 】 成了研究的重点。 同时，v o d 系统的用户行为分析也逐渐成为热点 1 2 1 7 】，合理的用户行为分 第l 章绪论 析和建模可以在v o d 系统的设计中起到很好的指导作用，使得v o d 系统能更 有效率的为用户提供服务。 1 2 研究背景及相关技术 随着v o d 用户数量的日益增加，v o d 系统需要服务的并发用户数也日益庞 大，传统的单机构架的视频点播服务器已经不能满足需求。 单机构架的视频点播系统服务器普遍存在如下一些问题：视频服务器容量有 限，容错性差，为了满足日益增长的客户访问量带来的沉重负载，必须提高服务 器的性能。但是，简单的提高单台服务器性能的方法不能从根本上解决问题，因 为提高单台服务器的性能上一种昂贵的、难以扩展的方案：服务器的性能将随着 需求的增加而需要不断的提高。这种方案在系统维护和升级的期间，系统提高的 服务将被迫中断；而且这种方案存在着单点脆弱性，单台服务器的失效就会给系 统所提供的服务带来问题。 为了克服单服务器的缺点，人们提出的集群服务器的方法。集群是一群以网 络技术连接起来的工作站或p c 机的组合，整个系统像一个单独集成的计算资源 一样协同工作 1 8 】。 集群服务器的提出和应用，一定程度上满足了用户需求，但要设计一个电信 级的v o d 系统，单单靠集群服务器技术还是不够的。内容分发网络( c d n ) 技 术的提出 7 】，给大规模v o d 系统的设计提供的新的思路。 本文将集群服务器技术与c d n 技术结合，设计了一种新的v o d 系统服务器 体系结构，用廉价的服务器组建电信级大规模的v o d 服务网络。 1 2 1v o d 系统 v o d 是v i d e oo nd e m a n d 的英文缩写，即视频点播技术，也称，也称交互 式电视点播系统，即按需要的视频流播放，它是随着计算机技术和网络通讯技术 的发展，综合了计算机技术，通讯技术，电视技术而迅速兴起的一种综合性技术。 “在想看的时候看想看的节目”，这是最适合用户胃口的地方，也是点播业务最 具魅力之处。用户可以根据自己的意愿选择收看电视节目，从根本上改变了过去 被动式收看电视的不足。用户不必遵守传统的时间表，不必坐在电视机前为某个 想看的电视节目苦苦等待，打开电视机就可以直接点击希望收看的节目，同时不 受广告干扰，完全实现了由用户掌握获得信息的主动权。 v o d 系统由服务器系统、网络系统及客户端系统三部分组成【1 9 】。 服务端系统一般由视频服务器、各种管理服务器以及控制网络部分组成。各 第l 章绪论 种管理服务器主要完成一些用户信息管理和计费工作，以及影视材料的整理工作 和安全保密等。控制网络部分主要完成各种服务器中的各种信息传递的工作，后 台的影视材料和数据的交换。视频服务器主要由存储系统和建立其上的各种控制 器管理系统组成，其目标是实现压缩媒体数据的存储，以及按请求进行媒体信息 的检索和传输。视频服务器与传统的数据服务器在很多方面有显著不同，需要解 决许多问题，以求能够支持新功能，例如：媒体数据检索、信息流的实时传输以 及信息的加密和解密工作。对于交互式的v o d 系统来说，服务端系统还需要完 成诸如用户实时请求处理、允许控制( a d m i s s i o nc o n t r 0 1 ) 服务等功能【2 0 】。服 务器主要有下列几项评价标准： 1 ) 节目流成本。包括网络带宽成本、缓冲区成本等。 2 ) 并发用户数目。最大支持的并发用户数目，通常指在不降低用户的服务 质量，即用户接受画面无抖动的条件下。 3 ) 用户响应时间。从用户发出请求到接受到服务器响应的时间。 4 ) v c r 支持。即暂停、快进、快退、慢放、随机定位等类似录像机的操作。 5 ) 可靠性。指在实际运行环境中的连续、可靠的工作能力。 网络系统包含主干网络和本地网络系统两部分，是影响连续媒体网络服务系 统性能的关键部件。由于媒体服务系统的网络部分投资巨大，所以在设计时不仅 需要考虑当前的媒体应用需要，而且还要考虑将来发展需要和兼容性。当前，用 于建立这种服务系统的网络物理介质主要是：c a t s 的同轴电缆、光纤、双绞线和 无线网。而采用的网络技术主要是：以太网、f d d i 和a t m 技术。这些网络实现 技术都有各自具体的服务对象、带宽范围和环境特征。视频服务对网络功能提出 了以下几方面的要求： 1 ) 带宽要求。视频数据量大，不同的压缩格式对带宽有不同的要求。m p e g 1 文件速率是l 。5 m b p s 左右，m p e g 2 数据的传输速率在3 1 0 0 m b p s 之间， 而m p e g 4 要求的带宽范围在5 k b p s 到l o m b p s 之间。 2 ) 对延迟的要求。视频数据有实时性要求，网络延迟将影响用户的等待时 间和服务质量。 3 ) 多播支持。多播用于多用户共享节目。i p 网络中u d p 协议支持多播，c a b l e 是广播行网络，支持多播。 4 ) 上行支持。上行数据是指数据的传输方向为客户端到服务器。对于i p 系 统，上行通道也是i p 网络，对于c a b l e 系统，上行通道可以是i p 网络、 公用电话网或者c a b l e 系统。 客户系统完成客户需求数据的现实和用户需求的提交功能。只有利用客户终 端系统，使用者才能与某种服务或服务提供者进行互操作。实际上，在计算机系 第l 章绪论 统中，它是由带有显示设备的p c 终端+ c a b l em o d e m 完成。在电视系统中，它 是由电视机加机顶盒( s e tt 0 pb o x ) 完成。在客户端系统中，除了处理硬件问题外， 还需要处理与之相关的各种软件问题。如：为了满足用户的多媒体交互需求，客 户系统界面必须加以改造。此外，在进行连续媒体演播时，媒体流量的缓冲管理、 音频与视频同步、网络中断与演播中断的协调等问题都需要进行充分的考虑 【2 1 】。 1 2 2 内容分发网络 c d n 通常被称为内容分发网络( c o n t e n td i s t r i b u t i o nn e t w o r k ) ，有时也称作 内容传递网络( c o n t e n td e l i v e r yn e 帆o r k ) 2 2 】。内容分发和传递可以看作一个完整 内容网络的两个部分，前者强调内容从源分布到边界节点的过程，后者强调用户 通过c d n 获取内容的过程。 c d n 的核心思想是将内容从中心推到边缘，即靠近用户的地方，这样不但提 高了用户访问内容的性能，而且减轻了中心设备和骨干网络的压力。通过c d n ， 可以将内容服务从原来的单一中心结构变为分布式结构。 一个典型的c d n 系统通常包括c d n 管理系统、负载均衡设备和c d n 节点。 c d n 管理主要负责制定c d n 的策略，例如内容分发、传递的策略，负载均 衡的策略，可以把它看作是c d n 的控制层。c d n 管理还需要支持必要的a a a 功能，并和内容提供商或者应用提供商连接，实现内容的注入和发布控制。 c d n 节点是c d n 服务设备，c d n 节点一般被称为c a c h e 或者p r o x v ，它们 可以为用户提供w 曲和流媒体服务。一般而言，当c d n 节点作为c a c h e 的时候， 通常是作为用户和源服务器( w - e b 服务器或者流媒体服务器) 的中间设备，对用 户是透明的；当c d n 节点作为p r o x y 的时候，通常它直接为用户提供服务。 c d n 负载均衡系统实现c d n 的内容路由功能。它的作用是将用户的请求导 向整个c d n 网络中的最佳节点。最佳节点的选定可以根据多种策略，例如距离 最近、节点负载最轻等。通常负载均衡可以分为两个层次：全局负载均衡( g s l b ) 和局部负载均衡( s l b ) 。负载均衡系统是整个c d n 的核心，负载均衡的准确性 和效率直接决定了整个c d n 的效率和性能。 1 2 3 流媒体技术 数字视频和声音传输所涉及到的一个重要概念是所谓的“流媒体”概念。所 谓流媒体是指视频、声音和数据从源端同时向目的地传输，它可以作为连续实时 流在接收端被接收。这里所说的源指的是服务器端的应用，而目的地或者接收端 是指客户端应用。 第l 章绪论 流数据从服务器端应用传输后可由客户端应用接收并显示或回放，一般是客 户端应用接收到足够的数据并将之存储在缓冲区后便立即将视频显示出来，或将 音频回放出来。 流媒体的一个重要特征是对时间的敏感性，这正是实时性要求高的应用所必 需的，所以这类应用与流媒体密不可分就十分自然的了。流媒体的实现主要取决 于网络带宽和压缩算法的提高。今天，随着网络协议的改善、网络基础设施和压 缩技术的发展，流媒体的实现己经变得越来越容易了。 采用先进的“带有控制的流”技术，支持将上百个高质的多媒体“流”传送 到网络客户机。客户端可以在任何时间播放存放在服务器视频中的任何多媒体资 料。提供的“带有控制的流”，客户端在接收到小部分数据时便可开始观看所选 择的多媒体资料。这种技术改进了“下载”或简单的“流技术的缺陷”，它能够 动态调整系统工作状态，以适应变化的网络流量，保证恒定的播放质量。网上购 物、企业培训、医疗服务、卡拉o k 、电子广告亭等交互式应用，要求多媒体服 务器提供具有品质保证的视像播放和短暂的启动延时能力，“带有控制的流”正 是满足这二点的关键技术 2 8 】。 一个典型的v o d 服务器体系结构如下：r t p 舢d p 协议用于打包传输音频、 视频媒体流，r t p 协议提供了序列号和采样时间戳等信息，以保证分块、打包后 的音视频流能够被接收端按正确的时序回放：r t c p 协议主要提供质量反馈功 能，以实现发包速率控制和拥塞控制等，还提供了源标识等功能。位于r t p 和 i 汀c p 之上的传输控制协议，例如r t s p 协议提供了一个流媒体点播操作的基本 框架，使实时数据，如音频与视频的受控、点播成为可能。 i h p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 【2 9 】是实时传输协议的简称。它的作用是 在多点传送( 多播) 或者单点传送( 单播) 的网络上，提供端对端的网络传输功 能，适合需要传送实时数据的应用程序。k r p 被广泛用于音频、视频流以及实时 会议等的数据传输。 r t p 协议具有以下特点： r t p 协议包括负载类型( p a y l o a dt y p e ) 、序列号( s e q u e n c en u m b e r ) 、时间戳 ( t i m e s 协m p ) 等元素，以提供带有实时特性的端对端数据传输服务。 r t p 本身没有提供任何的机制来确保实时的传输或其他的服务质量保证，而 是由低层的服务来完成。它不保证传输或防止乱序传输，它不假定下层网络是否 可靠，是否按顺序传送数据包。但r t p 包含的序列号允许接受方重构发送方的 第1 章绪论 数据包顺序，和确定一个数据包的正确位置。例如，在视频解码的时候不用按顺 序的对数据包进行解码。与此同时r t p 的时间戳使得接收方能够同步它所接收 到的数据流。 一般而言，应用程序在u d p 上运行r t p 来使用它的多路技术和c h e c k s u m 服 务，但r t p 可能被其他适当的下层网络和传输协议使用。如果下层网络支持， r t p 支持数据使用多播分发机制转发到多个目的地。 i 汀p 原先的设计是用来满足多参与者的多媒体会议的需要，但它没有限定于 专门的应用。连续数据的储存，交互分布式仿真，动态标记，以及控制和测量应 用程序也可能会适合使用l 玎p 。 r t p 只是一个协议的框架：r t p 是被规定为可扩展的，它用来提供一个专门 的应用程序需要的信息，并将会经常性的被归并到应用程序的处理中，而不是作 为一个单独的层被实现。首先，i 汀p 并没有规定具体的数据流的编码和分块方法， 以及数据块是怎样被分配在每一个r t p 包中进行传输的。它们由使用r t p 的具 体应用程序定义和实现，并在下文中提到的辅助文档里描述。其次，r 1 p 和r t c p 可以定制扩展的选项，额外的功能可能通过完善协议本身或者增加一个可能需要 分析的选项机制来增加，r t p 被规定为可以根据需要通过修改和或增加操作， 可以对协议报头进行扩展。 r t p 控制协议( i c p ) 向会议中所有成员周期性发送控制包。它使用与数据包 相同的传输机制。底层协议必须提供数据包和控制包的复用，例如用不同的u d p 端口。r t c p 提供以下四个功能： o 基本功能是提供数据传输质量的反馈。这是r t p 作为一种传输协议的主要 作用，它与其他协议的流量和拥塞控制相关。反馈可能对自适应编码有直接作用， 并且i p 组播的实验表明它对于从接收端得到反馈信息以诊断传输故障也有决定 性作用。向所有成员发送接收反馈可以使”观察员”评估这些问题是局部的还是全 局的。利用类似多点广播的传输机制，可以使某些实体，诸如没有加入会议的网 络业务观察员，接收到反馈信息并作为第三方监视员来诊断网络故障。反馈功能 通过l 玎c p 发送者和接收者报告实现。 o r t c p 为每个r t p 源传输一个固定的识别符，称为规范名( c n a m e ) 。由 于当发生冲突或程序重启时s s r c 可能改变，接收者要用c n a m e 来跟踪每个成 员。接收者还要用c n a m e 来关联一系列相关r t p 会话中来自同一个成员的多 个数据流，例如同步语音和图像。 o 前两个功能要求所有成员都发送r t c p 包，因此必须控制速率以使r t p 成员数可以逐级增长。通过让每个成员向所有成员发送控制包，各个成员都可以 独立地观察会议中所有成员的数目。此数目可以用来估计发包速率。 第1 章绪论 o 第四个可选的功能是传输最少的会议控制信息，例如在用户接口中显示参 与的成员。这最可能在”松散控制”的会议中起作用，在”松散控制”会议里，成员 可以不经过资格控制和参数协商而加入或退出会议。i 玎c p 作为一个延伸到所有 成员的方便通路，必须要支持具体应用所需的所有控制信息通信。 o 在r t p 用于i p 多点广播时，功能1 3 是强制的，在所有情况下都推荐使 用。建议i m 应用开发商避免使用只能用于单向广播而不能扩充到多用户的方 法。 实时流协议r t s p ( r e a lt i m es t r e 锄i n gp r o t o c 0 1 ) 【3 0 】是一种为流媒体服务的会 话控制协议，主要用来在服务器端和客户机端建立和控制多媒体流，比如音频和 视频。i u s p 本身并不传输数据，而是作为一个多媒体服务器的网络远程控制 ( n e 铆o r kr e m o t ec o n t r 0 1 ) 。 对r t s p 来说，它没有连接的概念，而是建立一个r t s p 会话( 】阿s ps e s s i o n ) 。 i 汀s p 会话和传输层的连接，比如说t c p ，并没有必然的联系。在一个r t s p 会 话期间，客户端可以打开和关闭很多个可靠的传输连接向服务器端发送i 玎s p 请 求，也可以通过无连接传输协议，比如u d p 。t r s p 流控制的流可能用到r t p ， 但r t s p 操作并不依赖用于携带连续媒体的传输机制。在体系结构上r t s p 位于 r t p 和t r c p 之上，使用t c p 或r 1 甲完成数据传输。 r t s p 是一个控制协议，而l m 协议是一个实时数据的传输协议。r t c p 协 议是用来对r 1 曙的传输数据进行同步和q o s 的监测。r t s p 是一个双向的协议， 客户端可以通过t r s p 请求来完成诸如播放，前进，后退，停止之类的要求，同 时，服务器也可以发出r t s p 反馈给客户端。而r r p 是一个单向的协议，只能从 服务器流向客户端。r t s p 在逻辑结构上位于i m 和r t c p 之上，它通常建立在 t c p 包的基础上。 1 2 5v o d 用户行为分析 用户行为分析是v o d 系统研究的重要内容。典型v o d 系统的服务过程是一 个排队过程，系统中的用户随机的发出用户行为操作指令，v o d 系统按一定的 策略来处理这些指令【2 5 1 。用户进入系统有一定的随机性、用户发出不同指令也 有随机性。因此，v o d 系统的调度算法、用户许可控制策略以及负载均衡算法 要针对这些变化采取不同的策略。这些策略是否能够优化满足系统的要求，最终 还依赖于在实际系统中的检验。然而，建构实际系统既费时，在经济上也不合算， 同时组织大量的用户参与算法测试，也不现实。因此，有必要研究典型的用户行 为随机特性，建立起形式化的数学模型，通过仿真的方式辅助设计和验证流调度 第l 章绪论 算法或用户许可控制。 v o d 系统中，用户的行为主要包括：进入系统，选择节目，退出系统，以及 一些v c r 操作，包括播放、暂停、停止、前跳、后跳等。用户行为研究主要就 是要统计分析实际系统中，大规模用户行为，给用户的各种行为分布建立相应的 数学模型。并在用户行为模型的指导下，设计出更合理的v o d 系统体系结构， 根据用户需求设置文件的系统中的存储方式，以及系统的负载均衡调度策略。 1 2 6 负载均衡技术 在大量的并发访问中，由于用户请求的分布不统一，如果不能对用户的请求 合理的进行分配，那就会造成系统的负载分布不均衡，有的服务器处于超负荷状 态，有的处于超轻载状态，从而整个系统的资源利用率低下、用户的拒绝率就会 增加。 负载均衡在结构上分为局部负载均衡和全局负载均衡【2 3 】。前一种是指对本 地的服务器集群做负载均衡，后一种是指对分别放置在不同的地理位置、在不同 的网络及服务器集群之间做负载均衡。服务器集群中每个服务器节点运行一个所 需服务器程序的独立拷贝。服务器负载均衡一般用于提高服务器的整体处理能 力，并提高并行性，可用性，可维护性，最终目的是加快服务器的响应速度，从 而提高用户的体验度。负载均衡的关键技术包括请求分派机制和负载均衡算法。 负载均衡算法： 如何让服务器均衡的工作，是负载均衡算法解决的首要问题。负载均衡器将 根据由负载均衡算法选择的服务器做出重定向请求的决定。负载均衡算法可以分 为静态、动态两种【2 4 】。静态负载均衡不断地将用户分派到运行同一应用的多个 服务器上。因为这种分派与网络状况以及其它因素无关，所以这种方法称为静态 负载均衡。静态负载均衡方法需要管理员的介入，并且只有在负载可预测时才能 很好地工作。动态负载均衡利用指示构件的思想能够提供更加巧妙的负载均衡方 法。指示构件不仅可以基于用户i d 来选择服务器，它还可以根据以下3 种情况 来选择服务器：有关服务器的负载程度；客户和可用服务器之间的网络拓扑 结构；某个给定用户过去需求量的统计数字。每当一个客户连接一个构件时， 指示构件将其分配给当时最合适的可用服务器。一般均衡算法包括随机算法、轮 询法、加权轮询法、最少连接法、加权最少连接法、最快响应法。 负载均衡的实现方案： 目前，对负载均衡的实现，按照o s l 分层模型可分为：客户端负载均衡、应 第1 章绪论 用服务器、动态域名、高层协议交换和网络接入协议交换等【2 6 】。目前负载均衡 技术一般是通过四个方案进行的，不论局部或者全局负载均衡，不过有些方案的 侧重点不同，例如，h t t p 重定向方案就适用于局部负载均衡技术。 1 ) 基于h t t p 重定向的负载均衡：利用h r r p 协议中的服务器重新定位功 能，在应答包的头中加入l o c a n o n 命令将请求重新分配到其它的服务 器。还有一种负载均衡方案是利用h t m l 文件中的连接，将一个网页的 不同部分存放在不同的服务器上，也被称之为基于内容的负载均衡方案， 例如：将一个站点的主体框架网页放在一台计算机上，将网页上所有的图 片放在一台专用的服务器上，音频文件放在另外一台服务器上，当用户 连接主体网页的时候，网页上其它的组成部分由不同的服务器提供，减 轻主体服务器的负载达到负载均衡的目的。但是在实际使用中开销太 大，同时降低了速度，尤其基于内容的负载均衡方案更是因为操作起来 改动太大而且费效比太大。 2 ) 基于d n s 的负载均衡【2 7 】：最早的负载均衡技术是通过d n s 来实现的， 在d n s 中卫多个地址配置同一个域名。这又可分为两种情况，一种是流 行的d l b d n s ( d y n 锄i cl o a db a l 觚c ed n s ) ，将一个域名解析成不同的i p ，以 此来分流服务请求，如运行命令“p i n g 、) w w y a h o o c o m 刀，每次运行一般 就会看到不同的i p 返回。如何对域名进行动态解析，有不同的算法，常 用的有r o u n dr o b i n 、最佳排名等集中算法。 3 ) 基于o s i i m 第七层的负载均衡。此时根据数据包内数据的内容不同， 在考虑各支撑服务器的处理能力和等待执行的任务队列中的任务量，将 任务分配到不同的服务器处理。在这个方案中，由于均衡服务器要解出 数据包内的内容，故对其性能要求比较高，且极易在此形成瓶颈。如 a p a c h e 的p r o x y p a s s ，可以将不同的路径，映射到不同的服务器上。又如 a s p 的r e d i r e c t i o n 等，需要特定的应用程序支持。 4 1 基于i p 层的负载均衡：类似于基于t c p 的方法，主要应用n a t 技术， 由分配器通过替换源i p 地址和目的i p 地址来实现中转。尽管这样的替 换可以通过硬件加速，但是因为对于每一个这样的连接都需要在分配器 中由相应的一个地址转换表进行操作，需要进行查找，替换，所以对分 配器的要求很高。由于均衡在i p 层进行，调度成本比上述两者都低，能 调度更多的支撑服务器。 9 第l 章绪论 1 3 本章小结 本章首先介绍了v o d 系统的基本概念：根据用户的要求播放特定节目的视 频系统。改传统的、被动的、广播式的信息灌输为新型的、主动的、更具自己需