（计算机软件与理论专业论文）基于web的分布式互动交流系统的设计与实现.pdf

东北大学硕士学位论文 摘要 基于w e b 的分布式互动交流系统的设计与实现 摘要 目前，一些门户和娱乐网站、电视台等机构开展了大量的网络互动服务，服务内容 包括嘉宾访谈、网络教育讲座以及一些娱乐节目。而这种网络互动服务，通常是少数人 对成千上万人的交互，迫切需要一个互动交流的平台。随着互联网用户并发访问量的增 加，单台w e b 服务器处理能力有限，已成为网络访问的瓶颈。建立w e b 服务器集群系 统正是解决这一问题的最佳方案。 本论文围绕如何建立一个高效、稳定的基于w e b 的分布式互动交流系统为主题， 深入分析了系统建设背景与发展现状，详细剖析了存在的问题，针对大规模用户并发访 问的特点，分析建立w e b 服务器集群系统的必然性，对现有w e b 服务器集群系统的技 术进行了分析比较，重点研究了w e b 服务器集群系统的关键技术负载均衡技术， 并且给出了适合于w e b 访问的负载均衡算法。由于采用集群系统，必须解决分布式服 务器之间的数据一致性问题，本课题深入研究了在分布式服务器集群系统中基于x m l 的数据交换与整合过程，以保证多服务器之间的数据一致性。在此基础上，提出了基于 b s 模式的多层体系架构，有效降低了互动交流系统的耦合度和设计复杂度，并对其业 务流程、功能设计做了详细的研究。对于负载均衡技术，本论文给出了解决方案和具体 实现。在系统性能测试中，本课题采用的加权最少连接数调度算法比现在常用的负载调 度算法有明显的优势，并且本系统已经投入实际运行中，取得了高效、稳定、满意的效 果，达到了预期研究的目的。 关键词：互动交流系统；w e b 服务器集群系统；负载均衡；x m l 一一 东北大学硕士学位论文 a b s t m e t d e s i g na n di m p l e m e n t a t i o no ft h ed i s t r i b u t e di n t e r a c t i v es y s t e m b a s e do nw e b a b s t r a c t a tp r e s e n t , al o to fi n t e r a c t i v es e r v i c ep r o g r a m sb a s e do nw e ba r eh e l d b ys o m e o p e n - d o o ra n da m u s e m e n tw e b t h ec o n t e n t so ft h ep r o g r a m si n c l u d et h ei n t e r v i e wo ft h e f a m o u sp e r s o n , t h ee d u c a t i o n a lc a t h e d r aa n ds o m ea m u s e m e n tp r o g r a m s m o r e o v e rt h e c h a r a c t e r i s t i co ft h e s ep r o g r a m si st h a ts o m ef e wp e o p l ec o r a r a u n i c a t ew i t ht h o u s a n d so f a c t o r so f t h ep r o g r a m sb a s e do nw e b ，s oi tc r yf o rai n t e r a c t i v es y s t e m n o w , w i t hm o r ea n d m o r en e t w o r ku s e 娼，t h ea b i l i t yo fas i n g l ew e bs e r v e ri sl i m i t e d ，i tw i l lb et h eb o t t l e - n e c ko f i n t c r n c tv i s i t t os e tu paw e bs e r v i c ec l u s t e rs y s t e mi st h eb e t t e rs c e w l a r l o t h et h e m eo ft h et h e s i si sh o wt 0d e s i g naa v a i l a b i l i t y , s t e a d yd i s t r i b u t e di n t e r a c t i v e s y g e mb a s e do nw e b ，a n a l y z ea n dr e s e a r c hd e e p l yt h eb a c k g r o u n do fc o n s t r a c t i o na n dt h e s t a t u so fd e v e l o p m e n t , a n a l y z ed e t a i l e d l yt h ee x i s t e n tp r o b l e m , a i m 缸t h ec h a r a c t e r i s t i co f i n t e r c u r r e n ti n t e r v i e wo nal a r g es c a l e ，a n a l y z et h ei n e v i t a b i l i t yo f f o u n do nt h ec l u s t e rs y s t e m , c o m p a r ea n dr e s e a r c ht h ec u r r e n tt e c h n i q u eo ft h ew e bs e r v e rc l u s t e rs y s t e m , e m p h a s e s r e s e a r c ht h e k e yt e c h n i q u eo ft h e c l u s t e r s y s t e m - t h el o a db a l a n c i n gt e c h n o l o g y a s a d o p t i o nt h ec l u s t e rs y s t e m ，i tm u s tl e a dt od a t ac o n s i s t e n c yb e l w e c ns c t v e i s ，i te x p a t i a t e d e t a i l e d l yt h a tt h ed a t ab a s e do nx m li n t e g r a t ea n dm a n a g ei nd i s t r i b u t e ds e r v e rc l u s t e r s y s t e m ，o nt h i sc o n d i t i o n , a d v a n c et h e4 - t i e rs y s t e mc o n s t r u c t i o n ，r e d u c ee f f i c i e n c yt h e c o u p l i n gd e g r e ea n dt h ec o m p l e x i t yo f t h i ss y s t e m a n dr e s e a r c ho p e r a t i o nf l o wa n de o n d i t i o n d e s i g nd e t a i l e d l y f o rt h ek e yt e c h n i q u eo f t h i ss y s t e m , t h et h e s i sa d v a n c e dt h es c e n a r i oa n d m a t e r i a li m p l e m e n t a t i o n i nt h et e s t t h el o a db a l a n c i n ga r i t h m e t i co ft h et h e s i sa d v a n c e di s s u p e r i o r i t yi ne v i d e n c e n o wt h ed i s t r i b u t e di n t e r a c t i v es y s t e mi sr u n n i n g ，i tt a k eo u t e f f e c t i v e l y , s t e a d i l ya n ds a f i s f a c t o r i l y , i ta c h i e v et h ea n t i c i p a t et a r g e t k e y w o r d s ：t h ei n t e r a c t i v es y s t e m ；w e bs e r v e rc l u s t e rs y s t e m ；l o a db a l a n c i n g ；x m l 一i 一 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：王娟 签字日期：刀叼辱j 俘i 忸 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ” ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：姚a 导师签名：薷鬯 签字日期：如q 耳i 趴午日签字日期：叫年i ri 峰日 东北大学硕士学位论文 第一章绪论 第一章绪论帚一早三：百t 匕 1 1 课题的研究背景和意义 随着社会信息化水平的提高，城市化进程的加快，人们生活大大改善。对知识、信 息，以及人们之间的交流内容与形式有着越来越多的需求。人们的交流方式，已经突破 了时空的限制，发生了巨大的变化。传统的交流方式已经远远不能满足人们的需求。 传统面对面的交流，在社会信息化快速发展的过程中，无论在时间上还是空间上都 受到限制；电视、报纸只是单向的信息接收，没有互动；而电话的交流费用目前仍是比 较高昂。随着科学技术的发展，互联网的迅速普及，基于w e b 的交流方式渗入到人们 生活的方方面面。 2 0 0 6 年1 月1 7 日，c n n i c ( q a 国互联网络信息中心) 第十七次互联网统计报告出炉。 根据调查结果，浏览新闻、搜索引擎、收发邮件这三大网络服务是网民最常使用的信息 交流的方式，三者的使用率分别为6 7 9 、6 5 7 、6 4 7 。即时通讯未能进入第一阵营， 占据第二阵营的首位，使用率为4 1 9 0 , 6 ，其余的为论坛和b b s 等使用率分别为4 1 6 和 3 9 8 。网上校友录、网上购物、网络聊天室等组成了网民经常使用的网络服务第三阵 营，使用率都在3 0 0 4 左右。另外，网民上网时间也创下了历史新高。调查显示，网民平 均每周上网1 5 9 个小时。与上年同期相比，每周上网小时数增加2 7 小时，增幅2 0 5 附”。 2 0 0 6 年9 月1 日消息，据最近一份市场调查报告，中国互联网用户，是世界范围最 爱聊天的用户群体，据悉平均每个人拥有七个聊天室帐号。此份研究报告由四家机构共 同提供，包括c n n i c 、a n a l y s y s ( 英国市场研究机构) 以及i r e s e a r c h ( 基于互联网经济的市 场咨询机构) 和c c w ( 计世资讯) 口j 。 可见，现代人的交流方式已经逐渐转移到基于网络的交流，主要通过三种形式：其 一，即时通讯。如国内的腾讯q q 、网易泡泡、搜狐搜q 等即时通信软件，国外的有微 软的m s n 、雅虎的雅虎通、美国在线i c q 等。即时通讯软件能让你迅速地在网上找到 你的朋友或工作伙伴，可以实时交谈和互传信息；其二，论坛和b b s 。包括的种类繁多， 涉及到政治、文化、经济、情感等各个方面，是人们进行文化信息发布和交流的主要场 所：其三，网络聊天室。网络聊天室是网民实时地发布信息，自由发表言论的虚拟空间， 提供给网民一个交流与娱乐的场所，在聊天室里网民可选择自己的聊天对象，进行对话 东北大学硕士学位论文第一章绪论 交流。既可以一对一，又可以一对多，还可以形成小组进行多对多讨论。聊天室的另一 个优势就是互动性强，在虚拟世界，网民们可以毫无顾忌地畅所欲言，因而聊天室具有 相当强的黏度，可以延长网民在网站上的逗留时间。于是，聊天室也同样跃升为门户网 站和娱乐网站聚敛人气的“杀手级”应用。仅在3 7 2 1 注册网络实名的聊天室就有1 5 9 个， 国内的几大门户，如碧聊、网易、新浪和t o m ，以及娱乐网站的聊天室都很火爆。 目前，一些门户和娱乐网站、电视台等机构开展了大量的网络互动服务，服务内容 包括嘉宾访谈、网络教育讲座以及一些娱乐节目。而这种网络互动服务，在短时间内会 有大规模的客户访问，是一种少数人对成千上万人以及成千上万人之间的互动交流活 动。在此背景下，开发一个功能完善的网络互动交流平台有其广泛的应用前景和需求。 北京宽带n ( h t t p ：w w w b b n c o m c i l ) 作为中国网通( 集团) 有限公司北京分公司的 门户网站之一，承载着中国网通( 集团) 有限公司北京分公司大量的业务、应用、服务等 内容。北京网通在已有的门户网站和流媒体平台的基础上，迫切需要建立一个网络互动 平台，用以满足宽带用户对网络互动服务的应用需求。通过举办实时访谈互动节目，探 讨社会热点问题。逐步增加互动应用业务和互动娱乐业务，不断摸索互动网络应用的特 点，增加宽带网络的运营利润。本课题就来源于北京网通“分布式互动交流系统”。 1 2 现存问题和课题的提出 随着科学技术的发展，现在的交流方式在不同的方面满足人们需要。但也存在一些 问题。如e m a i l 实时性差，无法进行良好的互动。q q 、m s n 等些即时通信工具必须 下载客户端，通常是c s 模式的，有着c s 模式自身存在的弊端，对客户端的内存，c p u 等硬件设施都有较高的要求。并且这些交流通常是一对一的交流，最甚者也只是在一个 群内的多人之间进行交流。无法满足少数人对成千上万人的、有组织性的交流活动。目 前各个网站的聊天室也存在各种各样的问题，主要表现在以下四个方面： ( 1 ) 以单纯的文字交流为主，缺少互动性； ( 2 ) 有些聊天室的软件实时性不高、可靠性不强、功能不完善； ( 3 ) 缺乏管理，对交流的内容是不可控制的( 至少是可控制性不强) ，从而造成很多 文字交流系统思想不健康，消极思想泛滥，对于社会的发展产生负面影响； ( 4 ) 软件功能雷同、缺乏特色、界面不友好。 本课题开发的网络互动交流系统，依赖于现有的计算机网络，交流费用低；有组织 性的进行互动交流，交流面广泛，形成少数人对成千上万人以及成千上万人之间互动交 一2 一 东北大学硕士学位论文第一章绪论 流，是大规模用户同时在线的网络服务；以文字交流为主，多种交流方式同时接入，如 视频、语音、短信、电话等多种方式，互动性强。随着网络在社会生活中作用加强，网 络互动交流作为一种快捷、方便、有效的交流方式，将成为网络交流的发展趋势。 针对当前网络交流方式存在的问题，本论文将根据以下几个存在问题的方面提出新 的改进方案，进一步提高网络互动交流系统的作用与功能。 首先是可管理性，现在很多文字交流系统缺乏管理性，交流思想不健康，消极思想 泛滥。本系统主要应用于有组织的大规模活动，在大规模人数交流过程中，一定要保证 交流内容的健康性。因此对交流内容在一定程度上要进行控制。系统采用了多种措施， 如限制非法用户的登录；设置了多级管理员，对用户交流内容多层次的过虑；对不同级 别的用户赋予不同的访问权限等。 其次是互动性，文字交流系统作为因特网应用工具之一，发展最早，沿用时间最长， 随着互联网技术发展，单纯的文字交流已经不能满足用户需求。本论文开发的系统所谓 互动，即指将视频、语音、短信、电话多种交流方式集成到互动交流平台中。对于视频、 语音的接入，是通过插件方式集成到系统中的；对于短信、电话是通过特定接口集成到 系统中的。这样系统真正做到了互动，广大用户群可以通过多种方式参与活动。 再次是可靠性，作为一种网络交流方式，可靠性一直是所有基于网络的应用程序所 重视的问题，排除硬件设备、网络不通等故障，从系统架构上，技术上采用适合本系统 的方案，有效的保障交流过程的可靠性。 最后是实时性，多人之间的海量交流中，对系统实时性要求很高。如果服务器响应 时间长，延迟大，会使用户感觉到服务几乎处于停滞状态。服务器的响应速度直接影响 着系统的客户量，如果不能保证系统的实时性就必然会丢失大量的客户。那么如何保证 系统的实时性也是网络互动交流系统所关注和解决的问题。 ：。， 本文将针对以上提出的四个方面对网络互动交流系统提出新的方案，以满足人们的 互动交流的需求。 1 3 课题研究的主要内容 上一节已叙述了现存文字交流系统的问题，以下将重点明确本论文所要研究的主要 内容 如何有效完成大规模并发用户访问的基于w e b 的分布式互动交流系统? 本文就围 绕这一问题进行深入的讨论，并开发出切实可行的分布式网络互动交流系统，该软件依 一3 一 东北大学硕士学位论文第一章绪论 托i n t e r n c t ，以w 曲为表现形式，合理有效地利用网络资源，为实施全方位的互动交流 提供服务。需要重点解决的问题如下： 本系统需要满足大规模用户的并发访问，单台w e b 服务器即使硬件配置一再提高， 其性能也不能承载大规模用户，需要多w e b 服务器组成集群共同提供服务。那么必然 要解决w e b 服务器集群系统负载均衡的问题，即有效的分配负载，防止大量用户并发 访问系统时，负载分配不均匀，也有效地避免了服务器单点故障问题。本论文实现的系 统也采用w e b 服务器集群系统，以保证大规模用户并发访问时，不受系统负载能力的 限制，并且不同的用户可以相对均匀的分配到不同的服务器上，从而保证整个系统的稳 定性和可靠性。本论文重点研究采用何种架构和技术，采用何种负载均衡算法，可以有 效的实现w 曲服务器集群系统的负载均衡。 针对实时性问题的解决。服务器的响应速度往往决定着一个系统的好坏，除去一些 不可避免的因素，如网络延迟、物理延迟、管理员处理操作等，数据的存储技术和数据 的存储结构是决定系统响应快慢的关键。以往的文字交流系统通常将交流数据存入数据 库，并从数据库中读取数据并显示。而针对大规模用户并发访问，如果将海量级的交流 数据存入数据库，会频繁的与数据库建立连接，并频繁的进行数据存取操作。性能再好 的数据库也无法有效的完成如此重荷，将会成为整个系统性能的瓶颈。本论文也将重点 研究，此种情况下采用何种数据存储技术和数据存储结构，会有效完成任务，使系统有 良好的性能，而且实时性高。本系统在服务器内存上开辟了一段缓存区，将交流数据存 储在缓存区中。这样大大减少数据库操作，并可快速的将数据存入与读取，高效的完成 了数据的存入与读取操作。 由于w e b 服务器集群系统共同提供服务，不同的用户可能被分配到不同的服务器 上，对于登录同一台w e b 服务器的用户可以从缓存区中读取并显示一致的数据。但是 不同的w e b 服务器内存是不能共享的，登录不同的w e b 服务器上的用户就读取并显示 不一致的数据。因此，需要解决集群系统中服务器之间数据通信的问题，以保证不同 w e b 服务器之间的数据是一致性的。即用户无论登录到哪个w e b 服务器，总可以得到 一致的数据。本系统采用x m l 技术解决不同w e b 服务器之间数据交换与整合问题。本 论文将重点研究如何采用x m l 技术，实现分布式w e b 服务器集群系统数据通信的问题。 面对日益增加的互联网用户，用多机模式代替单机模式己逐渐成为趋势，w e b 服务 器集群系统负载均衡问题的研究具有广泛的现实意义和社会价值。同时，服务器集群的 数据交换与整合也是必然导致的问题。所以，本论文通过基于w e b 的分布式互动交流 一4 一 东北大学硕士学位论文第一章绪论 系统的设计与实现，重点研究了w e b 服务器集群系统负载均衡的技术和采用x m l 技术 实现w e b 服务器集群系统数据一致性问题，具有广泛的推广性，也具有深刻的社会价 值和实用价值。 本论文各个章节内容安排如下： 第一章：绪论，首先研究分析了现在人们的交流方式和发展趋势，分析了现在基于 网络的交流方式的使用范围和应用特点，分析了现在一些文字交流系统的发展现状。其 次，针对现在文字交流系统存在的问题，本论文提出了新的解决方案。最后，阐述了本 论文的研究内容。 第二章：针对互联网用户并发访问数量的日益增加，需要采用多w e b 服务器组成 服务器集群方案。本章节讲述了单服务器优缺点，多w e b 服务器组成集群的优缺点； 并分析比较了现在流行的w e b 服务器集群系统，并给出了适合本应用的w e b 服务器集 群方案。 第三章：重点研究了w e b 服务器集群系统最重要的技术负载均衡技术。从负 载均衡的结构、负载均衡的技术、负载均衡的算法三个方面进行研究与分析。 第四章：多w 曲服务器组成集群系统共同提供服务，涉及到多w e b 服务器之间数 据交换、整合的问题。本章重点分析并研究了基于) a 订l 技术实现分布式的w e b 服务器 对w e b 服务器数据的交换和整合等问题。 第五章：互动交流系统的设计与实现，首先分析了多层架构在w e b 应用程序中的 应用，给出了本系统的基于b s 模式的多层架构体系，然后详细研究了系统业务流程和 功能设计，最后重点研究并且解决了系统的关键问题，提出了改进的负载均衡调度算法， 给出了具体方案；重点分析并研究了基于x m l 技术实现分布式的w 曲服务器对w e b 服务器数据的交换和整合等问题，给出了解决的方案， 第六章：系统负载均衡算法的性能测试。 第七章：结论与展望。 一5 一 东北大学硕士学位论文第二章w e b 服务器集群方案 第二章w e b 服务器集群方案 随着i n t e m e t 的迅猛发展，互联网用户数目迅速增加，网上形形色色的信息站点和 信息服务也层出不穷，互联网用户数量和流量呈几何级数增长。许多网站站点的服务访 问量日益增大。由于并发访问人数不断增加，w e b 服务器的负载越来越重，造成超负 荷运转情况的发生。 目前，超负荷的服务器在提供服务时暴露出以下方面的问题： ( 1 ) 服务器的服务能力远远不能满足实际需求； ( 2 ) 服务器的服务可靠性不能保证； ( 3 ) 服务响应时间长，延迟大，无法满足用户需求； ( 4 ) 存在w e b 服务器的单点故障。 虽然各个厂家的服务器性能逐步提高，处理器芯片不断升级，内存和硬盘的存储量 越来越大，但是仍然不能满足急剧膨胀的用户访问需求。随着客户数量和密集性任务的 增加，服务器处理能力的限制，必然成为网络访问的瓶颈。如何建立可伸缩的网络服务 以满足不断增长的负载需求己成为迫在眉睫的问题。 以下两节分别研究单服务器和服务器集群的工作模式，比较其优缺点。 2 1 单机思想 最典型的网站有一个单一的响应h r t p 请求的网络服务器 3 1 ，这个服务器动态地产 生h t r p 或者简单地提供静态内容，这个服务器也可能连接到本地或远程的数据库上， 其工作模式如图2 1 所示： i n t e r n e t w e b 服务器数据库服务器 图2 1 单机的工作模式 f i g 2 1w o r km o d e lo f as i n g l ew e bs e r v e r 随着用户数量的增加，性能开始下降。如何解决这个问题。w e b 服务器可以通过增 加c p u 、额外的r a m 和更快的硬盘驱动器增强其性能。然而，最终可能无法再通过改 一 东北大学硕士学位论文第二章w e b 服务器集群方案 进系统的性能使其达到可接受的水平。只考虑升级单个w e b 服务器的方法并不能彻底 解决问题。一般而言升级w e b 服务器的软硬件配置，经济上是比较昂贵的，升级的代 价比较高。而且，仅仅升级一台服务器并不能充分保障系统的可靠性，一旦这台服务器 发生故障，整个系统也就不能提供服务了。 2 2w 曲服务器集群思想 w e b 服务器集群系统是指2 台或2 台以上w e b 服务器联合向客户提供w e b 服务的 一种计算机系统1 4 j ，其工作模式如图2 2 所示： w e b 服务器n 图2 2w e b 服务器集群系统的工作模式 f i g 2 2w o r km o d e lo f w e bs e r v e rc l u s t e rs y s t e m 使用多台w e b 服务器提供服务，通过负载均衡策略使他们共同分担系统负载，对 单一的w e b 服务器没有太高的性能要求，当w e b 服务器集群不能满足访问需要时，在 集群中加入一个或数个普通的w e b 服务器即可，经济可行。当集群中的某个服务器发 生故障时，其他服务器也可以提供服务，保证了整个集群系统提供不间断的可靠服务。 w e b 服务器集群系统在一组计算机上运行相同的软件并虚拟成一台主机系统为客 户端与应用程序提供服务。对用户而言，整个系统仿佛是一台w e b 服务器。为了做到 这点，集群系统必须具有以下特性1 5 】； ( 1 ) 可扩展性集群的性能不限于单一的w e b 服务器，新的服务器可以动态地加 入到集群，从而增强集群的性能。 ( 2 ) 高可用性在集群中每台服务器都具备等价的地位，都可以单独对外提供服 务，而无须其他服务器的辅助。如果一台w e b 服务器出现故障，系统会对客户端屏蔽 一8 一 东北大学硕士学位论文 第二章w e b 服务器集群方案 掉出故障的服务器，用户将自动访问运行正常的服务器。 ( 3 ) 负载均衡负载均衡能把浏览任务均衡地分布到集群中的每个w e b 服务器， 使得每个w e b 服务器上的负荷大致相等。从而以较低成本消除系统瓶颈，增加了吞吐 量，加强系统数据处理能力，提高系统的灵活性和可用性。 为了实现上述的特性，首先w e b 服务器集群必须使用多服务器的分布式结构【6 1 。 w e b 服务器集群中，每个结点运行若干个服务器程序的独立拷贝。其中的某些服务，在 每个节点上都有程序的一个拷贝运行，网络负载均衡则将工作负载在这些主机间进行分 配。而另一些其他服务程序，则只在一台主机上运行程序。如果该主机发生故障，系统 指定另一个主机接替它的工作。 其次，集群系统必须具备一个统一的集群地址【7 1 。这个地址可以是一个虚拟的p 地 址，用户通过虚拟m 地址( v m u a li pa d d r e s s ) 访问服务时，访问请求的报文会到达负载 均衡器，由它进行负载均衡调度，从一组真实服务器选出一个，将报文的目标地址改写 成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将报文发送 给选定的服务器。这个地址也可以是一个统一的域名，当用户按照这个域名访问时， r r - d n s ( r o u n d - r o b i nd o m a i nn a m es y s t c m ) 服务器会把域名轮流解析到这组服务器的 不同坤地址，从而将访问负载分到各台服务器上。这个地址也可以是负载均衡器的真 实碑地址，用户浏览请求首先到达负载均衡器，负载均衡器根据整个集群系统的负荷 状况对请求做相应的处理。 最后，集群内部必须保持良好的通信状况。为了能协同工作，实现负载均衡和故障 恢复，集群系统的每个w e b 服务器节点与负载均衡必须进行周期性的通信，每隔一段 时间，w e b 服务器需要将自身的工作状况和负载等信息传递给负载均衡器。 、 当然w e b 服务器集群系统在有效解决网络负载的问题的同时，也有其不足之处【射。 明显的缺点是增加了系统的复杂性，当请求通过多服务器时，需要某些模式来分配请求 给这些服务器。最具有代表性的是需要增加网络硬件或软件组件。这不仅增加了相关的 开发和管理工作，而且也增加了测试工作。 另一个缺点是这种变化可能影响系统结构。状态管理、用户管理和资源管理等模式， 移植到多服务器系统时都需要进行改变。需要对多台机器进行追踪，监控每台机器的配 置、内容、代码、补丁等等必须写入到每台服务器。此外，测试环境必须真实地( 最大 程度地) 反映工作环境，也就是要测试更多机器。 一9 一 东北大学硕士学位论文 第二章w e b 服务器集群方案 2 3 典型集群系统 近年来，随着w e b 服务器集群的应用日益广泛，国内外公司纷纷推出商业化的集 群产品，同时，一些学术机构也推出了集群实现方案。下面介绍三种具有典型代表意义 的集群系统。 2 3 1m i c r o s o f t 集群系统 m i c r o s o f t 公司最初在它的操作系统产品w i n d o w s2 0 0 0 中增加了集群功能1 9 1 。该高 可用性集群叫做m i c r o s o rc l u s t e rs e r v e r ( m c s ) 。它为基于w i n d o w sn t 服务器的应用程 序提供可用性和可升级性。在w i n d o w s2 0 0 3s e r v e r 中，集群技术得到了进一步的发展。 m i c r o s o f t 服务器提供了三种支持集群的技术：网络负载均衡( n l b ) 、组件负载均衡 ( c l b ) 和m i c r o s o f t 集群服务( m s c s ) 。 网络负载均衡( n l b ) 的主要功能是均衡在同一个n l b 集群内的多个w e b 服务器上 的负载，最多可以将3 2 个运行w i n d o w ss e r v e r2 0 0 3 系统产品的计算机连接在一起共享 一个虚拟口地址。n l b 通过在集群内的多个服务器之间分配其客户端请求来增强可伸 缩性。随着流量的增加，可向集群添加更多服务器，最多可容纳3 2 个服务器。n l b 在 为用户提供连续服务的同时还提供高可用性，即可自动检测服务器故障。组件负载平衡 ( c l b ) g 以在多个运行站点业务逻辑的服务器之间分配负载，它在最多包含八个等同服 务器的服务器集群中实现了c o m + 组件的动态平衡。在c l b 中，c o m + 组件位于单独 的c o m + 集群中的服务器上。激活c o m + 组件的调用是平衡到c o m + 集群中的不同服务 器的负载。c l b 通过作用于多层集群网络的中间层与n l b 集群服务配合工作。群集服 务充当后端群集、可为数据库、消息传递以及文件和打印服务等应用程序提供高可用性。 m i c r o s o f t 的集群服务具备易于安装，资源配置简便，支持“位服务，支持虚拟集 群，支持i g m p 协议等特性。缺点是只能在w i n d o w s 操作系统平台下使用，支持的节 点数量较少。m c s 通常应用于中小型企业的服务器集群中。 2 3 2w 曲s p h e r e w e b s p h e r e 是i b m 公司推出的一套功能强大的w e b 应用服务器【1 0 1 。它为企业级 w e b 应用程序的创建提供了一个可靠的、致的框架。它支持的平台和标准非常多： 在操作系统方面，涵盖了从p c 机到大型机的各类操作系统；支持j 2 e e 、c o r b a 、 a c t i v e x 接口；支持多种关系对象层次数据库；w e b s p h e r e 提供了负载均衡、失效恢 复、集群等功能，任何对应用程序或其配置的修改，包括j a v a 组件的更新，将会在多 一1 0 东北大学硕士学位论文第二章w e b 服务器集群方案 个服务器上自动备份复制。w e b s p h e r e 中有多层次的可调整的缓存技术，w e b s p h e r e 的 操作环境较好，包括了a d m i n i s t r a t i v ec o n s o l e ( 操作管理) 、l o ga n a l y z e r ( 日志分析) 、 r e s o t j 峨a n a l y z e r ( 性能数据的测量和报告) 、p e r f o r m a n c em o n i t o r i n ga p i ( w e b s p h e m 组 件所提供的a p i 接1 2 1 ，可以实时地获取性能数据) 、t u n e r w i z a r d ( 性能调整工具) 等一整 套工具，用于应用服务器的配置、监控和管理。w e b s p h e r e 具有很强的系统集成能力， m m 提供了其产品线上的一系列产品来支持w e b s p h e r e 。 w e b s p h e r e 提供了集群解决方案。该方案能够提供带宽管理、缓存、文件管理与复 制，以及卓越的负载均衡功能。这些特性能够使多个服务器像一个服务器一样的工作， 从而可大大增加访问频繁的网站的容量。而系统性能的增强有望进一步提高向终端用户 发送信息的速度。该方案的安全性由i b m 电子网络防火墙提供保证。两者之间强有力 的联合可使单个或分布的网站在降低带宽资源占用、提高安全性的同时，保证终端用户 响应的质量以及站点规模的持续增长。 2 3 3l i n u xv i r t u a ls e r v e r l i n u xv i r t u a ls e r v e r ( l v s ) 是章文嵩博士等人开发的l i n u x 服务器集群自由软件项目 1 1 1 。该项目提出了基于i p 层和基于内容请求分发的负载均衡调度解决方法，并在、 l i n u x 内核中实现了这些方法，将一组服务器构成一个具有可伸缩性的、提供高可用网 络服务的虚拟服务器。 l v s 集群采用了i p 负载均衡技术。l v s 中实现负载均衡的技术有三种：基于n a t 的负载均衡( v s n a t ) ，使用坤隧道的负载均衡( v s f f u n ) ，使用直接路由的负载均衡 f v s d r ) 。l v s 中的调度器实现了八种负载调度算法：轮转调度，加权轮转调度，最少 链接调度，加权最少链接调度，基于局部性的最少链接调度，带复制的基于局部性最少 链接调度，目标地址散列调度，源地址散列调度。l v s 中实现了基于内容请求分发的内 核l a y e r - 7 交换机k t c p v s 。l v s 使用相关的集群管理软件对资源进行监测，能及时 将故障屏蔽，实现系统的高可用性。l s 配备了主从调度器，当主调度器出故障时， 从调度器可以接替工作，进一步地保证了系统的高可用性。 l v s 的应用很广泛，它支持可伸缩的w e b 、可伸缩媒体服务、可伸缩c a c h e 服务、 可伸缩邮件服务。l 、，s 服务器集群系统具有良好的伸缩性，可支持几百万个并发连接。 实践证明，l v s 服务器具有优良的可靠性。， 由于l v s 集群软件是可以免费得到源代码的自由软件，它得到了较大范围的应 东北大学硕士学位论文第二章w e b 服务器集群方案 用。很多重负载的站点利用l v s 组成高性能的w e b 服务集群。而r e d h a t ，t u r b o l i n u x ， 红旗l i n u x ，中软等公司推出了基于l v s 的集群产品。同时，国内外的许多学术机构也 在对l v s 进行进一步的研究开发。 2 4 本课题中w 曲服务器集群的应用 近年来，针对w e b 服务器集群系统的设计和实现，国内外的许多公司和学术机构 给出了不同的解决方案。这些软硬件解决方案以不同的方式实现了w e b 集群系统的各 种功能和特性。但是，这些方案也有各自的局限性。如m c s 只能在w i n d o w s 操作系统 平台下使用，支持的节点比较少，l v s 一般使用于l i n u x 操作系统平台下。而且商业化 的w 曲服务器集群产品配备的软件和硬件价格都比较高，一般的用户难以承受。对于 普通的w e b 应用，上述的方案可以满足一般的需求。但是，实际应用中的w e b 服务器 类型很多，对这些不同的服务而言，通用的方案不一定能取得良好的效果。比如，这几 种方案中大量m 数据包地址的改写工作，增加了负载均衡器的负荷，负载均衡器往往 成为新的系统瓶颈，降低了整个系统的性能。 针对分布式网络互动交流系统的服务特点和应用范围，要满足大规模用户并发访 问，单台w e b 服务器承载能力有限，必然要采用w e b 服务器集群系统。本课题提出了 一种在局域网内用纯软件实现w e b 服务器集群系统的方案。这种方案可以在 w i n d o w s u n i x 。l i n u x 操作系统下构建集群系统，不需要附加使用磁盘阵列等高昂的设 备。这种构建集群的方案实现了系统的高可用性和动态负载均衡，运行效果稳定，能够 较好地满足服务需求。本论文对这种系统的工作原理，在5 6 1 节中会给出较为详细的 解决方案。w e b 服务器集群系统最关键的是解决集群系统的负载均衡的问题，下一章就 主要研究负载均衡的结构、技术以及负载均衡的算法。 一1 2 东北大学硕士学位论文第三章负载均衡解决方案 第三章负载均衡解决方案 采用w e b 服务器集群的解决方案，必然要涉及到多服务器之间如何有效分配负载 的问题。本章节就深入地研究负载均衡的相关技术，重点分析比较不同的负载均衡调度 算法的适用范围和优缺点，最后给出改进之后的负载均衡算法。 3 1 负载均衡的结构 3 1 1 两层结构负载均衡系统 由用户浏览器、w e b 服务器组成两层结构w e b 系统【1 2 l ，如图3 1 所示，实际是基 于客户端的负载均衡。在服务器上运行一个特定的程序，该程序相当一个客户端，它定 期的收集服务器相关性能参数，如c p u 、i o 、内存等动态信息，根据某种策略，确定 提供最佳服务的服务器，将应用请求转发给它。如果采集负载信息程序发现服务器失效， 则找其他服务器作为服务选择。这是一种动态负载均衡技术，但是每台服务器上必须安 装特定的客户端程序，同时，为保证应用程序的透明性，需要对每一个应用进行修改， 能够将访问请求通过该客户端程序转发到其他服务器上，重定向方式进行，修改每一个 应用程序，工作量十分大。 交 ，一一w e b 服务器 换 i 客户i n 机 1w c b 服务器 或 l 集 线 、j 器 、1w e b 服务器 i 图3 1 两层结构负载均衡系统的结构 f i g 3 1t h es t r u c t u r eo f 2 - t i e r l o a db a l a n c i n gs y s t e m 3 1 2 三层结构负载均衡系统 由用户浏览器、负载均衡和w e b 服务器组成三层结构w e b 系到1 3 】，如图3 2 所示。 实际是基于服务器的负载均衡。 如果将基于客户端的负载均衡中客户端的负载均衡部分移植到一个中间平台，形成 一个应用服务器，构成请求、负载均衡和服务器的三层结构，客户端应用不需要做特殊 修改，透明的中间层将请求均衡的分布到不同的服务器。 一1 3 一 东北大学硕士学位论文第三章负载均衡解决方案 交 w e b 服务器 换 li n t e m e t 负载均衡分机 i 配器 或 ! = ：竺：! 集 线 巨 器 图3 2 三层结构负载均衡系统的结构 f i g 3 2t h es t r u c t u r eo f 3 - i i e r l o a db a l a n c i n gs y s t e m 3 2 负载均衡的技术 目前，对w e b 服务器进行负载处理，可行的解决办法就是对w e b 服务器进行负载 均衡，即w e b 负载均衡技术。从实现范围分为局部负载均衡和全局负载均衡，从实现 手段上分为硬件负载均衡和软件负载均甜1 4 1 。 ( 1 ) 局部全局负载均衡技术【1 5 】 负载均衡技术从应用的地理区域上分为局部负载均衡和全局负载均衡，局部负载均 衡是指对本地服务器群做负载均衡，全局负载均衡是指对分别放置在不同的地理位置， 有不同网络结构的服务器群作负载均衡。 由于负载均衡技术的起始阶段就只是在解决局部负载均衡问题，所以局部负载均衡 技术已经是一项比较成熟的技术。局部负载均衡技术有以下几个显著优点：其一，有效 的解决了数据流量过大、网络负荷过重的问题；其二，不需要花费昂贵开支购置性能卓 越的服务器，充分利用现有设备；其三，将故障的服务器的工作做无缝的接替，用户不 会感觉到服务器的意外宕机，从最大程度上确保网站的业务不受影响；其四，良好的扩 展性，需要几台服务器就添加几台服务器，而不需要改变现有网络结构、停止现有的服 务。但是局部负载均衡技术中有其先天不足，通常网站的最后一段连接会造成整个系统 的瓶颈。而这种问题，对于局部负载均衡的技术来讲是不可避免的，从而才引起负载均 衡技术的进一步发展全局负载均衡技术。 全局负载均衡技术能更有效的解决网站在大范围内的负载均衡问题，同时避免网站 的大量的数据的拥塞。通常的情况是一个网站逐级进行负载均衡，首先进行全局的负载 均衡，然后再进行局部的负载均衡。全局负载均衡具有对等性和分布性特点，对等性是 处理的对象都是具有相同内容的网站的镜像，分布性是需要解决的对象在地理上和拓扑 上的距离都是很远的。 一1 4 东北大学硕士学位论文 第三章负载均衡解决方案 全局负载均衡技术有以下优点： ( a ) 实现地理位置无关性，能够远距离为用户提供完全透明的服务。 不仅能够避免服务器、数据中心等的单点故障，也能够避免由于i s p 专线故障 引起的单点故障。 ( c ) 有效的解决了网络拥塞问题，提高服务器响应速度，服务就近提供，达到更好 的访问质量。 ( 2 ) 软件硬件负载均衡技术