（模式识别与智能系统专业论文）流媒体服务器集群的负载均衡研究.pdf

中国科学杖术土学硕士学位论文流媒体服务器榘群的负载均衡研究 摘要 奉文针对同家“8 6 3 ”计划重大专项高性能宽带信息网“3 t n e t ”中流媒体服 务器集群巾的负载均衡需求，探讨了负载均衡技术，结合本系统的架构特点和对 负载均衡系统的要求，提m 了将许可准入控制、负载分配和存储调度管理三者有 机结合的负载均衡算法。此项研究成果为项目提供了负载均衡系统的完整解决方 案，编4 与了负载均衡软件并在实际运行测试中取得了很好的均衡效果。 集群系统能够用相对较为廉价的方式提供较强的可扩展性和良好的吞吐性 能，然而要使系统资源得到充分利用却面临着许多技术上的挑战，负载均衡技术 就是其中之一。在一个由服务器集群构成的大规模视频点播系统中，负载均衡策 略的优劣直接影响着整个系统的资源利用效率和服务质量。 许可准入摔制是决定系统是否接收负载的技术，针对系统服务特点，提出了 种区分服务类别的矸：公半许可控制算法，同刈引入q o s 协商与资源预约机制， 得到，种新的基于0 0 s 协商的、不公平许可准入控制算法。 负载指标的合理确定是决定动态负载均衡算法能杏取得良好效果的前提，本 文提出了基二j 二资源利j j 率的负载指标计算法，并提出了负载获取机制和为了确保 负载信息j r 确性面提出的种负载信息获取的自适应算法和负载信息致性保 证算法。同时，本文存分析了几种常用的服务器选择算法的基础上，提出了一种 最优排名服务器选择算法。 对于大型流媒体服务器技术而言，存储管理也会影响集群内各服务器的负载 水平因此作为一个重要组成部分引入到负载均衡中。本文提出了可行的存储调 度管理策略和一种智能化的冷热播自动识别技术从而帮助负载均衡系统更加 良好地分散数据流量，达到更好的均衡效果。 为了完成负载均衡程序的编写，利用a c e 自适配通信环境技术，完成了软 件架构设计和程序实现。通过采用仿真测试程序和安捷伦专用测试设备，对软件 进行了测试和实际运行，并分析了其结果。最后义章对未来的一作提出了展望。 中国科学技术太学硕士学位论文流媒体服务器集群的负载均衡研究 关键词：v o d ，流媒体，负载均衡，q o s ，q o s 协商，许可控制，存储调度管理 负载指标，a c e 自适配通信环境， 4 中国抖学技术文学碛士学位论文 流媒体服务器集群的负载均衡研究 a b s t r a c t t h i sp a p e ri sb a s e do nt h e ”8 6 3 ”p o j e c to fh i g h p e r f o r m a n c eb r o a d b a n d i n f o r m a t i o nn e t w o r k ( 3 t n e t ) t os a t i s f yt h el o a d b a l a n c i n gr e q u i r e m e n to ft h e s t r e a m i n g - m e d i a s e r v e rc l u s t e r i n 3 t n e t ，t h el o a d b a l a n c i n gt e c h n o l o g y i s d i s s c u s s e d t a k i n gt h es y s t e m ss p e c i a ls t r u c t u r ea n di t sr e q u e s to rl o a d _ b a l a n c i n g a l o g r i t h mi n t oa c c o u n t ，t h i sp a p e rp r e s e n t san e wl o a d b a l a n c i n ga l g o r i t h mw h i c h n o to n l ye m p l o y st h eo p t i m i z e ds t r a t e g yt od i s t r i b u t et h ec o n s u m e r sd e m a n d s ，b u t a l s oi n c l u d e st h ea d m i s s i o nc o n t r o l ，t h ep o pm o v i ea u t o r e c o g n i t i o na n ds t o r a g e m a n a g e m e n ts t r a t e g y t h i sl o a d b a l a n c i n ga l g o r i t h mp r o v i d e saf ur lm e t h o dt os o l v e t h el o a d b a l a n c i n gp r o b l e ma n di t se f f i c i e n c yh a sb e e np r o v e db yf a c t s c l u s t e rt e c h n o l o g yp r o v i d ee x c e l l e n te x p a n s i b i l i t ya n dt h r o u g h p u te c o n o m i c a l l y , b u tt ou s et h er e s o u r c ee f f i c i e n t l y ，s o m ep r o b l e mi n c l u d i n gl o a d b a l a n c i n gh a v et ob e s o l v e df i r s t i nl a r g e s c a l ev i d e o o n d e m a n ds y s t e m s ，t h el o a d - b a l a n c i n ga l g o r i t h m h a sg r e a ti n f l u e n c eo nt h ep e r f o r m a n c eo f t h ew h o l es y s t e m a d m i s s i o nc o n t r o la l g o r i t h mm a k e st h ed e c i s i o na b o u ta c c e p t i n ga c u s t o m e r s r e q u e s to rn o t ，w h i c hi sa ni m p o r t a n tp a r to fo u ri o a d _ b a l a n c i n gs y s t e m t a k i n gt h e c h a r a c t e r i s t i co fv o ds e r v i c ei n t oa c c o u n t ，t h i sp a p e rp r o p o s e dan e ws e r v i c e _ d i f f a d m i s s i o nc o n t r o la l g o r i t h m a tt h es a m et i m e ，q o sn e g o t i a t i o na n dr e s o u r c e r e s e r v e m e c h a n i s mi sc o m b i n e dw i t ha d m i s s i o nc o n t r o la l g o r i t h m a n a p p r o p r l a t em e s u r e m e n t o f l o a dd e c i d e sw h e t h e rt h el o a d _ b a l a n c i n g a l g o r i t h mc a n w o r kw e l l s oi ti sa l s oa ni m p o r t a n tp a r to fo u rl o a d _ b a l a n c i n gs y s t e m ， t h i sp a p e ra d o p t san e wm e t h o dt oc a l c u l a t el o a da n dt oa c q u i r et h el a o dd a t a a n a d a p t i v ea l g o r i t h mi sp r o p o s e dt oe n s u r et h el o a dd a t a sv e r a c i t y b a s e ds e v e r a l s e r v e r - c h o i c ea l g o r i t h m ，an e wo n en a m e dr a n k _ f i r s tp r i o r i t yi sd i s c u s s e d s t o r a g em a n a g e m e n ti s a n o t h e ri m p o r t a n tp a r to fl o a d _ b a l a n c i n gs y s t e m a n 5 中国科学杖术大学碛士学位论文流媒体服务器集群的负载均衡研究 i n t e l l i g e n ts t o r a g em a n a g e m e n ta n dc o l d h o tm o v i ea u t o r e c o g n i z a t i o nm e c h a n i s mi s p r o p o s e d ，w h i c hc a nh e l pt h e l o a ds c h e d u l i n gm e c h a n i s md i s t r i b u t ed a t a f l o w e f f i c i e n t l y f i n a l l y , t h i sp a p e rg e ta no v e r v i e wo na c e a n dd e s i g np a t t e r n s ，t h e ni n t r o d u c e d s o m em e t h o du s e di nt h el o a d b a l a n c i n gs y s t e m s t h es o f t w a r e si m p l e m e n ta n di t s t e s tr e s u l ta n a l y s i si sd i s c u s s e d t h ef u t u r e sw o r ki sa l s oe x p e c t e d k e y w o r d s ：v o d ，s t r e a m i n gm e d i a ，l o a d _ b a l a n c i n g ，q o s ，q o sn e g o t i a t i o n ， a d m i s s i o n c o n t r o l ，s t o r a g em a n a g e m e n t ，l o a d m e a s u r e m e n t ，a d a p t i v e c o m m u n i c a t i o ne n v i r o m e n t f a c e ) 6 _ p 国料学技术点学硕士学位论文流媒体服务器集群的负载均衡研究 致谢 论文完稿之际，回顾三年的求学生涯，首先要感谢我的导师刘振安教授，刘 老帅在学习上、研究巾和生活上对我的谆谆教导和亲切关怀使我终生难忠，刘老 帅渊博坚实的理论功底和严谨求实的治学念度是我学习的榜样。 在此要特别感谢奚宏生教授对我在“8 6 3 ”项甘组工作期间给予我的谆谆教 诲和亲训关怀! 奚老师精益求精的1 作作l x l 和一丝不苟的科研精神使我终牛受 益，奚老师平易近人和诲人不倦的高尚品德是我将会永远铭记和学习的。 感谢承i 我存“8 6 3 ”项目组共同工作过的老师和同学们! 吴春旭老师、杨坚、 赵宇、陈薇、李靖、茅旭峰、向伟、杨峰、高荣、孙忱、许书彬，和他们在一起 并肩作战的日子是美好和充实的，在这个充满生机和活力的团队里工作和生活的 经历将是我永远的刚富! 我将永远怀念和铭记我的同学和朋友们张扬、刘敬轩、靳澎、陈家军、 尹少华、陈欢、刘胜璞、叶川、 1 1 刚、蒋琳、孙捷、王晋军、王健等一起度过的 青春岁月，那些真诚的、欢乐的、年轻的笑脸将会永远停留在我记忆的深处，永 不淡忘! 我还要l u 培养我多年的父母和所有教育过我的老师表示深深的谢意，是他们 多年的无私关怀和认真教诲使我健康成长，也是他们多年的默默奉献给了我向前 的动力! 感谢我的爱人李俊，和你在一起是我一生最宝贵的财富! 衷心感谢所有支持、关心我的师长和朋友们1 7 中国科学技术土学硕士学位论文流媒体服务器集群的负载均衡研究 第一章绪论 奉章主要介绍了奉研究课题的相关背景知识，描述了3 t n e t 及3 t n e t 中的 流媒体视频点播服务，3 t n e t 巾的流媒体视频服务器集群的结构、主要功能及其 工作流程，为本文的后续工作做铺垫。 1 1 课题背景 1 1 1 高性能宽带信息示范网3 t n e t 近年来，开发新代高速信息网络得到世界务国的普遍蕈视，各国都提山 了相应的高速网络研究计划，如美国自然科学基金会设立了“下一代i n t e r n e t 研 究计划：n g l ( n e x tg e n e r a t i o ni n t e m e t ) ” a 0 3 1 建立了高返i 叫络试验床v b n s 【m ! i ( v e r yh i g hs p e e db a c k b o n en e t w o r ks e r v i e e ) j 韭高速计算机l 叫络及其应用的 研究。美国1 8 0 多所大学联合成立u c a i d 【9 9 】( u n i v e r s i t yc o r p o r a t i o nf o r a d v a n c e d i n t e r n e td e v e l o p m e n t ) ，从事i n t e r n e t 2 ( 1 2 ) 研究计划，u c a i d 建设了高速网 络试验床a b i l e n e 。其他国家也纷纷提出了类似的计划。 国家高技术研究发展计划( 8 6 3 计划) 重人专项一一高性能宽带信息网 ( 3 t n e t ) 项目n j | 标中明确提m ：以高性能宽带信息示范网3 t n e t 的创建为手 段，晕点攻克t 比特级智能光网络、t 比特级w d m 光传输、t 比特级路由器等 系统设备的关键技术，跟卜国际卜有关高性能网络的研究，到2 0 0 5 年使我国存 商性能宽带信息网技术研究、设备开发及业务应用等方面跻身于世界先进行列。 3 t n e t 明确提出要从宽带流媒体等典型业务入手，建立一个能适应标清电视 ( s d t vs t a n d a r dd e f i n i t i o nt v ) 和高清电视( h i g hd e f i n i t i o nt v ) 标准的i n t e r n e t t v 和高清晰度的v o d 等媒体流实时传输的高性能、广域( 城域) 宽带演示验 证网络3 t n e t ( 见图1 1 ) 。 3 t n e t 的规划巾，明确提出在长三角地区建设成功国际上第一个可运营的基 于3 t n e t 技术和i p v 6 技术的实验网络，2 0 0 5 年末至少在上海和杭州建设成功第 中国斜学技术土学硕士学位论文流媒体服务器囊群的负载均衡研究 一批试点网络。 在图l - l 中，我们可以看到整个3 t n e t 系统将由二条省际3 2 t b p sd w d m ( d e n s ew a v e l e n g t hd i v i s i o nm u l t i p l e x i n g ，密集波分复用) 干线和个省( 市) 域的o a d m 环网( o p t i c a la d dd r o pm u l t i p l e x e r s ，光分插复用) ，一个省际t b p s 级s o n ，4 个t r 连接主要节点和3 个驻地网以及3 个支持流媒体服务的超级服 务器构成。安装计划o a d m 环网将建设在上海市，d w d m 干线将首先连接上海 市和浙江省。 高一隧能宽漤健想 3 t n e t 图卜l3 t n e t 网络规划网 1 1 2 视频点播和流媒体传输协议 视频点播系统( v i d e o o nd e m a n d ，v o d ) 的实现一般可划分为：文件共享 方式、下载方式、基于顺序流式传输和基于实时流式传输方式四种： 1 文件共享方式的v o d 文件共享方式是通过网卜| 邻居驱动器共享媒体文件的方式来播放音视频数 据的，它属于非流式系统，用户通过操作系统的文件系统来直接访问服务器上的 共享视频文件进行视频播放。由于它没有任何特殊的机制保证音视频数据传输的 实时性、带宽和流量负载的平衡性，另外服务器需要共享音视频文件，增加了媒 体节目管理的难度，不利_ 丁信息检索，降低了系统安全性，且难以满足实时v o d 9 中国科学技术土学珏士学位论文流媒体服务器集群的负载均衡研究 要求。一般情况下，这种方式多用在小型局域网内部，供少量用户使用。 2 下载方式的v o d 卜载方式的v o d 系统是通过网络h t t p f l p 协议传输整个音视频文件，把 数据存储到用户终端的硬盘中，只有全部的节目内容都下载到用户端之后，才开 始调用本地播放器观看视频节目，它也属于非流式系统。“下载”机制能够较好 地满足一些低质量和时问短的视频”段点播应用，但对于要求播放启动延迟短和 视频质量高的应用，也不能满足系统实时性的要求。这种方式多见_ 丁互联网上提 供视频服务的一些站点，包括现在非常流行的8 t ( b i tt o l e r a n t ) 下载等方武。 3 采用顺序流式传输的v o d 这种技术把连续的影像和声音信息经过压缩处理后存到网站服务器，将多媒 体文什打散成适合于网络传送和客户端播放的片断，经封装后源源不断地传送给 客户端，并在客户端即时解压播放。这样，客广端可以接收、解压、播放同时进 行，收到多少数据就回放多少内容，而叫i 需要等整个压缩文件下载到自己机器后 才可以观看。浚技术先存使用端上创造一个缓冲区，于播放前预先下载一段资料 作为缓冲，当例路实际连线速度小于播放所耗用资料的速度时，播放程序就会取 用这一小段缓冲区内的资料，避免播放中断，也使得播放品质得以保证。这种数 据传输与播放并行处理的力式，大大节省了文件下载时间，使实时进行影音解码 传输成为可能，既解决了占用本地存储资源的问题，又减小了用户的等待延迟。 这种方式采用的协议是修正了的h t t p 协议，该方式与第二类的下载方式提 供服务的方式不同之处在于：下载方式中需要将整个文什下载到本地硬盘后才捕 放，而采用修正了的h t t p 协议进行流式传输是将文件一点一点卜载到播放器的缓 存中，。边卜载- 边播放。这种方式目前也取得了t 定的应_ _ 】，不过在广域网卜 使用的效果远远一i 如存局域网中使用。 4 采用实时流式传输的v o d 采用实时流式传输的v o d 则采用特定的r t s p ( r e a lt r a n s f e rs o u s e p r o t o c 0 1 ) 协议、s d p 协议( s e s s i o nd e s c r i p t i o np r o t o c o l 资源描述协议) 、r t p r t c p 协议( r e a l t i m et r a n s p o r tp r o t o c o l r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l ，实时传 输协议和实时传输控制协议) 等，实时地将多媒体数据从发送方开始经分解、装 帧、传送到接收方接收、解压最后回放给用户，仿佛源源不断的流水在一个管 o 中国科学技术土学两士学位论文流媒体服务器集群的负载均衡研究 道中流动，可以称之为“流”，实现、控制和处理流的技术称之为流媒体技术。 这种服务方式可以使存放在网络中的媒体文件可以_ 边f 载一边向客户服务，最 大限度地节约了用厂t 等待时间，而日a j 以满足不i _ 网络带宽的要求，使得用广- 曰j 以存变换的网络环境下1 i 中断地收看节目。 采用流媒体技术的v o d 和前面介绍的第三类技术采用h t t p 传输的v o d 的最大不同之处在于，h t t p 传输的v o d 中，数据不能中断或缺少，只有所有数 据都接收到以后才能够正常播放，而流媒体技术则允许主动丢弃一些数据包，而 播放仍然继续进行。这样，当网络环境变坏时，h t t p 协议下的v o d 必须等待数 据接收完全，会出现播放不连续的情况，用户感观差：流媒体技术的v o d 则可 以继续播放，用户感观好。 h 前网络上成熟的运营模式方面有基于h t t p 的v o d 系统，更有包括 m i c r o s o f t 公司的m e d i as e r v e r j 、r e a ln e t w o r k 公司的h y l i x f 。”l 和a p p l e 公司 的q u i c k t i m es e r v e r i ”6 l 在内的各种丰流的流媒体服务器，日采用流媒体技术的 v o d 系统有越来越流礼：的趋势。 在m s 中采用的是实时流式传输技术。实时流式传输需要合适的嗍络传输协 议，支持流媒体传输的蚓络协议一一般有如下儿种： 实时传输协议，实时传输控制协议”1 ( r e a l t i m et r a n s p o r tp r o t o c o l ，r t p 和 r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l ，r t c p ) ，它是用1 ：i n t e r n e t 上针对多媒 体实酬数据流的一。套传输协议，巾数据和控制两部分组成，数据传输部分称 为r t p ，数据控制部分称为r t c p 。r t p 协议支持具有实时属性的连续的媒 体文件( 如音频和视频文件) ，它处理多媒体数据流的实时打包和传输，指 明数据类犁、数据包序州编号、数据采样点时间戳及数据编码方式，其中数 据类型用于指出数据是音频还是视频；数据包序列编号用于检测包丢失数； 时问戳作为同步信息，使收方能重组同步：数据编码方式用于控制解码和动 态改变编码方式。同时还包括定时重建、错误探测、安全和内容验证等。r t c p 协议在服务器端和客户端传递有关数据量、刚络状况等信息，和r t p 一起提 供流量摔制和拥塞控制服务。它支持源地址验证，支持网关，并且提供多点 传送到单点传送的解析。它提供不同媒体流的同步支持，也提供从接收者到 组播组的高质量的反馈信息。一般情况下，r t p r t c p 可以通过u d p 或t c p 十国科学技术史学硕士学证论文流媒体服务器集群的负载均衡研究 协议进行传送。 - 实时流协议f 1 ( r t s p ，r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 定义了一对梦隋况卜 如何有效地通过网络传送多媒体数据多用r t s p 协议建一客广端和服务器 端的连接然后使用r t p r t c p 完成数据传输： 带宽预留协议1 ( r s v p ) 用来保留网络部分带宽以使多媒体应用在保证服 务质量的同时可以和其他应用共存。 1 1 33 t n e t 中的流媒体视频点播服务 在3 t 网络环境下研究宽带信息应用，包括特别是基于流媒体和多媒体业务 的服务对于充分发挥3 t 的优势，提高我国高性能网络应用技术的水平具有重 要意义，它也为未来3 t 的运行提供了基础应用平台。宽带流媒体应用是高速刚 络应用的一个主要炎型，它通过在网络上传递流式的音频和视频，为用户提供多 种类型的服务。宽带流媒体应用的优势包括：1 ) 多种应用类型。例如，远程教 学、视频会议和h d t v 等；2 ) 可以和许多其它高速网络应用结合，例如需要流 媒体传输的网络协作应用等：3 ) 商业应用前景比较广泛，用户容易接受：4 ) 划 网络宵较高的要求，能充分利用网络的资源。因此，宽带流媒体廊用的研究对于 构建完整的、多业务、可运营的高速信息网络具有重要的意义。 3 t n e t 作为高性能宽带网网络平台和支撑环境，“j 以提供充分的信息资源共 事和服务共享，3 t n e t 市颈之初即提出要从宽一凇流媒体等典型_ k 务入手，建市 个能适应i n t e r n e tt v 等媒体流实时传输的高性能、广域( 城域) 宽带演示验证 i 叫络。利用3 t n e t 带宽的优势，在多媒体和流媒体方面提供优质的服务，以下仅 简毕介绍与本文相关的两项服务内容： 1 视频流传输及网络电视功能。在基1 ：3 t n e t 高性能宽带网支撑环境下的 i n t e r n e t t v 应用巾，利用跨区域的t 比特级骨t 网，在重点骨干地区将本地电视 节i ：t 以i p 方式传送至3 t n e t 骨干网上，井在与3 t n e t 骨t 网相连的城域网内 利用高性能宽带冈特网进行电视、实时视频等节日的网络搔放，既可集中各地的 优秀节h ，参考目前电视业务模式，同时结合因特网的特点，通过一定的业务模 式实现媒体内容的网络传送及运营，使业务信息系统成为更多元、更强大的数宁 化信息服务平台。同时i n t e m e tt v 需要提供6 m b p s 的标清电视和高达2 5 m b p s 十国科学技术太学硕士学位论文 流媒体服务器榘群的负载均衡研究 j 的高清电视节h 。 2 点播服务。基于3 t n e t 系统统一的内容甲台驻地网的州，、不再受限于 过七由各运营商白行准备的少景节目，n j 以访问到各地制作的丰富多彩的节目素 材，存素材的类别、质量、选择空间上有本质的飞跃，而利用3 t n e t 高性能宽带 网作为运行史撑环境提供的高可靠性连接可以确保用户所扶得服务的q o s ，不会 再出现过去在流媒体访问中经常遇到的停顿、意外终止等现象，同时，3 t n e t 系 统化输、管理的高度适应能力，使得由3 t n e t 提供的双向高带宽、快速响应的网 络服务也会令用户产生更强烈的参与感。基1 j3 t n e t 的v o d 点播至少需要提供 2 m b p s 的m p e g 4 压缩标准的节目。 图1 2 高性能宽t 带信息j ：范网3 t n e t 系统小葱图 罔1 2 表明了为提供多媒体和流媒体服务业务的整个系统的硬件架构。通过 中间的a s o n 环网( 即剀中标明了3 t n e t 部分所示) ，将整个系统分解为前端系 统和接入端系统。前端系统主要提供数据源，比如t v 源和v o d 节日源，接入 端系统则在用广边卜，r 般在小区或者超大型小区内川j 置，直接l 匈用户提供服务。 流媒体点播和普通的多媒体点播的刁i 同之处在于：普通的多媒体点播相当于 直接读取存放在本地硬盘上多媒体文件，如粜将这种文件放在互联网上，供客户 点播，就需要客户将文件完全下载到本地才能播放；而流媒体则采用特殊的r t s p 协议、s d p 协议、r t p r t c p 协议等实现了存放在网络中的媒体文件可以一边下 中国科学技术土学鳆士学位论文流媒体服务器集群的负载均衡研究 载一边向客户服务，虽人限度地节约了用户等待时问，而且可以满足不同网络带 宽的要求，使得j 】户可以在变换的网络环境卜不中断地收看节目。 3 t n e t 项目中的视频点播系统有别于其他_ 已有系统的重要特点在于：目前包 括m i c r o s o f t 公司的m e d i as e r v e r 、r e a ln e t w o r k 公司的h e l i x 和a p p l e 公司的 q u i c k t i m es e r v e r 在内的各种主流的流媒体服务器，其实现方法均为将所有影片 全部存储在木地服务器上，从而只能对用户提供本地服务器上的影j ，为了提供 更加丰富的节目往往采取加大服务器磁盘容量或者采用集群服务器的方式，但是 这种传统的实现方式没有充分利用网络的功能，本课题组认为随着网络速度的飞 跃，不仪可以使用户做到在线收看，流媒体服务器也没有必要、更没有可能将所 有的节f i 都保存在本地存储设备上。为此，在本系统巾，采取对一些影片只在本 地存储一个片头，另一部分存储在上级服务器( 称为内窬分发平台，c d p ) 上的 方式( 称为异地存储) ，当州广请求的数据不在本地时，实时地向自己的卜级服 务器请求数据，边利用a s o n 网络提供的b u r s ta s o n ，通过链路层的突发传 送利接收数据一边向用户提供服务。这种实现方式既能够降低系统实现的成本， 安装布置复杂程度，义能提高系统的利用率，提升系统的可靠性和可运营性。但 同时对流媒体服务器的实现和管理提出了更高的技术要求。这一架构特点也是本 文中工作需要特别考虑的基本出发点。 1 1 43 t n e t 中的流媒体服务器集群 随着i n t e r n e t i n t r a n e t 带宽的快速增长，逐渐使远距离提供数字视频服务成 为可能，而视频服务器作为数字视频服务系统的核心部件，其性能与成木直接影 响到总体的性能价格比。s y n l e a d 的i x j e ts t r e a m i n gv o ds y s t e m 抻】，只用译 服务器方式，最多只能支持3 0 0 个并发用户；n c u b e 公司的m e d i a c u b e 4 1 2 0 1 采用 昂贵的并行多处理机作为v o d 服务器，最多可支持数万个并发客户，但其一个 流的许可证就高达数百美元，不是一般用户和运营商所能接受的。因此日前 v o d 研究的个重点就是如i 何用较为廉价的设备，来提供大规模的、高质量的、 适合广域范围内用广的视频服务。考虑到视频服务属于数据密集型服务，而且各 客广之问几乎没有数据交：h ，因此口j 以利用通用的中低端服务器来构建基于多服 务器群的分布式视频服务系统，亦即利用高速网络将多个服务器连接起来，它 4 中国科学杖术太营硕士学位论文流媒体服务器集群的负载均衡研究 们互相合作，可以平行工作，也可以构成层次型、环型等结构，作为个整体向 客户提供视频服务。这样构成| 1 句分布式的多服务器群有若较大的内存和磁盘空 间，口j 以有多个对外的网络接口，通过适当的负载平衡就n ，以有较强的服务能力， 而且n j 扩展性好，有着较高的性能价格比，并且适用于广域范围或凶特网这样的 场合 1 8 , 2 1j 。因此，集群就成为了大规模视频服务系统的首选结构。 尤升璜八 5 b o b o o 4 b p s v o dl 0 5 6 1 3 2 0 m b p s 缸氍牺 闰i 一3 流媒体视频服务器集群i 恿圈 本文中设讣的流媒体服务器( s t r e a m i n g m e d i as e r v e r ，以下简称m s ) 是用 j ：为驻地网用户提供视频点播服务的最后环节的服务器。从3 t n e t 网络拓扑结构 来看，流媒体业务服务器处于驻地网内部、总网的边缘，能够完成部分的用户接 入认证管理的功能、节h 内容的本地化存储和缓冲机制的建立、内容传送过程的 启动和完成、节耳内容的播放。流媒体业务服务器能够采片jm p e g t ，m p e g - 2 t s ，m p e g 一4 技术对、l k 务进行编码及传输，支持6 4 k b p s 、1 4 4 k b p s 、3 8 4 k b p s 、 1 5 m b p s 、2 m b p s 、4 m b p s 和6 m b p s 等多种传输速率以分级编码技术实现的 m p e g 一4 格式的媒体流。 如图1 3 所示，m s 从逻辑上可以分为流媒体服务器( m s v o d ) ，管理服 务器( m s m a n a g e r ) 两个部分：m s v o d 负责存储视频节目并向用户提供流式 视频节目；m s m a n a g e r 是系统的核心。负责整个系统的对外消息通信和管理维 护工作，包括对若- t 台m s v o d 的管理维护、对用户信息的许可认证、对点播 负载的均衡以及与内容提供商和其他认证计费部门的交互。在这种结构下m s 可 中国科学杖术土学硕士学位论文流媒体服务器集群的负载均衡研究 以平行扩展为由一台管理服务器和多台m s v o d 流媒体服务器组成的机群机 群，以提供可扩展的点播服务能力。管理服务器选用足够稳定的服务器流媒体 服务器选用i o 能力强的服务器，配以足够的内存并外接磁盘阵列以提供强大的 磁盘数据吞吐能力。管理服务器对流媒体服务器进乱：监控、管理、负载均衡和节 点失效处理，同时负责整个m s 集群对外的通信等。这个流媒体服务集群提供了 用户管理，对话管理、数字权力管理及运行管理等一系列功能。 采用集群式结构的流媒体服务器具有咀下优点： - 系统具备非常好的伸缩性、可扩展性，能适应不同规模的点播和存储需 求。 一将t v 直播功能分布到各节点上去，充分利用了网# 对磁盘的带宽优势， 并且还能提供额外的容错能力。 _ 能够有效的进行故障处理和恢复，提高了服务的可靠性。 1 1 5m s 主要功能 a 媒体数据文件的存储管理功能 b 存储内容管理 c 文件存储均衡 d v o d 点播方面功能 一v o d 点播认证许可功能：m s 对b m g ( b r o a dm e d i ag a t e ，宽t 特媒 体嘲笑) 的v o d 请求与c d p 发送过来的用户请求进行认证决定 是否许可该请求，也就是本文将研究的接入许可控制功能。 _ 内部负载均衡功能：根据内部各服务器的负载情况，为用户的点播 请求选择合适的服务器进行响应，也就是本文将研究的负载调度功 能。 _ 从c d p 获取数据功能：对于非完全存储在m s 的数据文什，在v o d 点播服务时，m s 将从c d p 获取后继内容，缓存在本地。 - 媒体文件存储调整功能：根据用户点播的行为统计，对m s 中存储 的节目数据进行存储状况调整：对于热播影片，将其存储的数据从 部分存储或片头存储状态转换到完全存储状态；对于不再热播或非 中田科学技术土学磺士学值论文流媒体服务器集群的负载均衡研究 热播节h ，则相应地将其存储状念从完全存储状态和部分存储状态 转换到片头存储状态。这就是本文所研究的存储调度管理和冷，热播 转换功能。 v o d 流化功能：m s 利用r t s p 协议对存储存本地磁盘或缓存中的 文件进行流化，将m p e g 4 音视频数据封装在r t p 包中。 e i n t e r n e tt v 直播功能 f 日志功能 g 提供业务网管代理功能 m s m a n a g e r 上运行数据库系统和调度软什，负责： 一监测各流媒体服务器：包括它们拥有的缓存文件、当前负载和健康状态； - 进行负载均衡：在多台完成丰日| 一功能的m s v o d 之间下衡负载。 - 对外通信：所有与流媒体服务器进行通信的3 t n e t 各个部分，均苗先和 m s m a n a g e r 服务器通信 _ 失效处理：当某m s v o d 死 后发出警告并不再向它分配新的任务： 当某台m s v o d 硬盘出现故障后，就发出警告并隔离之，该服务器完成 剩余点播请求晤自动关机，等待更换硬盘。 1 1 6m s 中v o d 相关流程 3 t n e t 系统中涉及到v o d 功能的各个主要部分之间的交互过程可用图1 二4 农示，图1 4l j 的数字是消息之问的顺序，描述了整个系统的完整的v o d 点播 流程，这里只对和本文内容相关的部分作作一简要描述，其他部分不做赘述。 l l 1 5 是b m g 、s r 和b o s s 之间的请求和认证过程。b m g 通过认证后才 能继续。 2 6 是b m g 浏览门户网站发出点播请求，经s m s 认证后，请求经c d p 转发至m s 的过程。 7 是m s 与b m g 交互的过程，m s 查询用，广l 点播请求的影片在本地是番有存 储，如果在本地m s - - v o d 中有存储则是个本地点播服务，m s 直接从本地硬 盘上读取数据，传送给b m g ( 1 2 ) 。如粜所需影片存本地m s v o d 上没有存 t p 国科学杖术史学硕士学位论文流媒体服务器集群的负载均衡研究 储。则是一个异地点播服务。继续8 4 1 l ，m s 通过c d p 向c s 发m 使用a s o n 传送数据的请求，获得许可后，由c d p 通过a s o n 向m s 发送数据。m s 一边 从a s o nr 接收数据，将数据放在缓存中。边向b m g 传送数据( 1 2 ) 。后续交 互过程4 i 再赘述。 可见m s 提供的服务类型有本地点播服务和异地点播服务两种。这两种服务 的处理过程和对系统资源的占用情况是很不相同的。因此，在本文论述的负载均 衡系统中将对这两种服务采用不同的处理策略。 一_ _ 瓦 - n c d r 咄。 | |卜i il a j 撼掣佃卜 | |fl ，i 一：j 、h f h r b 廿 甘一 | 蒯筹删、。 。、j 朋l 轧? ， 网i - 43 t n e tq v o d 点播流程 图中，x m l 为| j 户网站；b m g ：b r o a dm e d i a g a t e ，宽 纾媒体网关；c d p ：c o n t e n t d i s t r i b u t i o np l a t 内容分发平台；s r ：s e r v i c er o u t e r 业务路由器；b o s s ： b u s i n e s s & o p e r a t i o ns u p p o r ts y s t e m ，运营支撑系统：s m s ：s e r v i c em a n a g e s y s t e m ，服务管理系统；c s ：c o n t e n ts t o r a g e ，内容存储：m s ：m e d i as e r v e r ， 媒体服务器。 中国科学技术土学珏士学位论文流媒体服务器集群的负载均衡研究 1 2 本课题的研究成果和本文的工作 木文钊对国家“8 6 3 ”汁划重大专项高性能宽带信息刚“3 t n e t ”中流媒体服 务器集群中的负载均衡需求，探讨了负载均衡技术发展的现状，结台本系统特殊 的架构特点和对负载均衡系统的要求，在没有现成可用的服务策略的情况下，提 出了将许可准入控制、负载分配和存储调度管理三者有机结合的负载均衡算法， 并针对项f = ：i 特点进行了优化。为本项日提供了负载均衡方而的完整解决方案，并 结合a c e 技术开发卅了高质量的软件，在实际运行测试中取得了很好的均衡效 果。 本系统所采用的负载均衡技术的先进性体现在 - 采用动态监视系统负载的办法，从而熊够止确反映服务器当前的运行状 态； _ 不依赖于特定协议，从而实现了协议无关性； 能够应用优化的负载分配策略，策略定制灵活： 能够区分不同类型服务请求的负载差昴，采用了区分服务类别的不公平 接入许可控制算法： 一 引入q o s 协商与资源预约机制，提高了系统资源利用率： -采剧了一种新的排名最优服务器选抒算法： 将节目的存储调度环节纳入负载均衡考虑的范畴，实现了视频节目的冷 热播自动识别、智能化存储调度管理等，从而更好的平衡了数据流晕。 1 3 本文的内容安排 本文针+ 坩国家高技术研究发展计划( 8 6 3 计划) 重人专项高性能宽带信 息网( 3 t n e t ) 项h 中的流媒体视频服务器集群为研究背景，着重研究了其中的 负载均衡技术。本文的内容安排如卜： 第章为综述性的内容。丰要介绍了课题的背景知识包括：3 t n e t 和3 t n e t 中的视频点播服务和流媒体传输协议；流媒体服务器集群的结构，特点，主要功 能：最后介绍了本文所做工作和课题成果。 第二章总体描述m s 中的负载均衡技术，首先介绍了当前负载均衡技术发展 9 中国科学杖术_ 大学硕士学位论文流媒体服务器集群的负载均衡研究 的状况，重点介绍了静态负载均衡技术和动态负载均衡技术：其次为了更好的理 解本文的项目背景和后续内容叙述方便。给出了m s 的系统设计，架构特点和工 作流程：然后捕述了本文中的负载均衡系统结构设计和客户请求的处理流程。 第三章描述许口j 控制算法，首先介绍了许可控制算法的概念和发展现状，针 对系统服务特点，提出了一种区分服务类别的不公平许可控制算法同时引入 q o s 的概念，将q o s 协商与资源预约机制和许可控制算法相结合，提出了一种 新的基丁q o s 协商的、不公平许可准入控制算注。 第四章描述负载分酉己算法。首先介绍了负载指标的概念，指出负载指标的合 理确定是决定动态负载均衡算法能否取得良好效果的前提；随后描述了目前负载 指标研究的现状，提出了一种采用基于资源利用率的负载指标计算法；描述了负 载获取机制和为了确保负载信息正确性而提m 的负载信息获取的自适应算法和 负载信息一致性保证算法后在几种常制的服务器选择算法的基础卜，提m 了一 种最优排名服务器选择算法；最后捕述了存储调度管理策略，这也是本负载均衡 系统l 的重要组成部分，提出了可 j ：的存储调度管理策略和一种智能化的冷热 播自动识别技术，从而帮助负载均衡系统更加良好地分散数据流量，达到更好的