（计算机软件与理论专业论文）大冬会计算机信息查询系统关键技术的研究与实现.pdf

哈尔滨下程大学硕士学位论文 j il l i i - - i i i i i i i i i i i i i i i i i 摘要 随着社会经济的发展，体育运动和体育产业在全世界范围内蓬勃发展起 来，世界各国对大型体育赛事的关注度越来越大。为了保证体育比赛的公平 公正及体育赛事报道的准确性和转播的时效性，计算机技术已经不断融入体 育领域。但是，如何才能最大限度的利用现有资源以保证大数量级用户对系 统的同时访问，也是亟待解决的问题。 本课题的目的是通过对集群和负载均衡技术的研究，将传统的加权最小 连接算法进行了改进以提升负载分配的均衡性及服务器资源的利用率并将其 应用于大冬会计算机信息查询系统服务器集群中，使信息查询系统能够在大 冬会期间提供高可靠、高质量的服务，保证大冬会的顺利进行。 本文对大冬会计算机软件系统进行了总体阐述，重点对大冬会计算机信 息查询系统进行了需求分析及相关模块的设计，给出了信息查询系统的网络 拓扑结构；对大冬会计算机信息查询系统中所用到的负载均衡集群所涉及的 关键技术进行了深入的研究，提出了解决方案。将改进的文件同步技术、双 机热备份技术和动态负载均衡技术应用于信息查询系统当中。在为期十天的 大冬会期间，通过实际运行的考证，表现出良好的效果，证明了对动态负载 均衡技术改进的有效性。 关键词：集群；负载均衡；改进加权最小连接算法；文件同步 哈尔滨t 稗大学硕十学伊论文 a bs t r a c t a st h ed e v e l o p i n go fs o c i e t ye c o n o m y , s p o r t sa n ds p o r t si n d u s t r i e sa r e f l o u r i s h i n ga l lo v e rt h ew o r l d m o r ea n dm o r ea t t e n t i o ni sa t t r a c t e de i t h e r i no r d e r t o k e e pt h ej u s t i c e i nc o m p e t i t i o na n dk e e pt h ea c c u r a c ya n dt i m e l i n e s si n s p o r t s e v e n tb r o a d c a s t i n g ，c o m p u t e rt e c h n o l o g yh a sb e e nu s e di nt h es p o r t sf i e l d b u ti t sb e e na nu r g e n tc h a l l e n g et h a th o wt og u a r a n t e eal a r g en u m b e ro f a c c e s s i n gt ot h es y s t e mi nn ot i m eb yf u l l yu s i n gt h ee x i s t i n gr e s o u r c e s t oi m p r o v et h et r a d i t i o n a lw e i g h t e dl e a s tc o n n e c t i o n sa l g o r i t h ma n dt h e b a l a n c eo ft h el o a dd i s t r i b u t i o n ，t h i sp a p e ri m p r o v et h eu t i l i z a t i o no fs e r v e r r e s o u r c e sw h i c hw a su s e di nt h ew e bs e r v e rc l u s t e ro fw i n t e ru n i v e r s i a d e i n f o r m a t i o ni n q u i r ys y s t e m b ys t u d y i n gt h ec l u s t e ra n dl o a db a l a n c et e c h n o l o g y w u i i sw a si n t r o d u c e di na l la n dt h ei m p o r t a n tp a r tw a st h i sp a p e rg a v ea m a j o ra n a l y s i sa b o u tt h es y s t e ma n dr e q u e s ta n a l y s i sa n dw h a t sm o r eas y s t e m n e t w o r k t o p o l o g yw a sg i v e nt o o t os t u d yt h ek e yt e c h n o l o g i e so ft h e l o a d b a l a n c ec l u s t e ro ft h i ss y s t e m ，p r o v i d et h es o l u t i o n s t h et e c h n o l o g i e so ff i l e s y n c h r o n i z a t i o nt e c h n o l o g y , d u p l i c a t eh o ts t a n d b yt e c h n o l o g ya n dd y n a m i c l o a d b a l a n c ew e r ea p p l i e di nt h i si n f o r m a t i o ns y s t e mr e q u i r e m e n t d u r i n gt h e10 d a y s w i n t e ru n i v e r s i a d e ，a f t e rt h et e s to fr e a lo p e r a t i o n ，t h es y s t e mp e r f o r m e d v e r yw e l l ，w h i c hp r o v e dt h ee f f e c t i v e n e s so fi m p r o v e dd y n a m i cl o a d b a l a n c i n g t e c h n o l o g y k e yw o r d s ：c l u s t e r ；b a db a l a n c e ；i m p r o v e dw e i g h e dl e a s tc o n n e c t i o n s ； f i l es y n c h r o n i z a t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中己注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。a 作者( 签字) ：桶屁 日期：汐孕年3 月严日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：揭屋导师( 签字) ：圃赢 日期： 卯年j 月肚日p ? 年- 3 月1 伞日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 课题研究背景及意义 在过去的几十年中，以计算机网络技术、数据库技术、多媒体技术和人 工智能技术为代表的计算机应用技术获得了突飞猛进的发展，各种新的计算 机技术不断涌现，计算机硬件的处理能力越来越强，使计算机应用越来越广 泛和深入地渗透到社会生活的各个方面。随着社会经济的发展，体育运动和 体育产业也在全世界范围内蓬勃发展起来，体育运动会呈现出比赛项目和参 加人数越来越多的趋势，因此，信息技术在大型体育运动会中的应用也逐渐 被人们所重视，它已经成为大型体育运动会顺利进行的重要保障。 计算机技术在奥运会中的历史：东京奥运会开始引入电子计算机，东京 奥组委首次将比赛结果存入了计算机中，这也标志着奥运会进入了“电子计 算机时代”【1 】；1 9 8 4 年洛杉矶奥运会，首次采用大型电子信息服务系统，首 次使用计算机完成对赛事的组织编排、数据处理、资料存储、报表打印等工 作，开创了电子信息技术服务应用于奥运会的先河，此后，信息系统和通信 系统的应用成为国际奥委会对奥运会举办国的规定要求，计算机信息系统成 为奥运会的神经中枢；汉城奥运会将当时世界上最先进的电脑系统安装在新 闻中心和各赛场及奥运村，实现了比赛资料及成绩的即时查询；巴塞罗那奥 运会上首次使用了比赛组织管理系统，功能强大的信息网络系统a m i c 为 7 5 0 0 0 人提供了信息查询服务；亚特兰大奥运会首次出现了网络计算机系统 的组织管理系统，在万维网( w w w ) 短暂的历史发展中，亚特兰大奥运会是 发生在电子空间范围内的首届奥林匹克盛事，它的意义非同一般。奥运会网 站由于面对互联网有史以来最高的流通量，不得不使用i b m 的专用多处理计 算机来处理每天数以百万计访问者的浏览【2 】；悉尼奥运会可称为现代大型赛 事信息化的典范，其特点：一是将各类用于奥运会的信息基础设施综合集成 哈尔滨工程大学硕士学位论文 _fi i i i i i i i i i 暑 使用，建设综合指挥决策信息共享平台，实现各类信息系统互联互通、信息 资源共享；二是建设项目管理信息系统，提高奥运项目的管理水平。随时掌 握、收集、处理项目的进度、质量、费用及突发事件的信息，并提供决策支 持手段，实现了比赛现场实时动态成绩信息i n t e 鼢姬t i n t r a n e t 的页面 公开发布；三是开发场馆运行支持信息系统，提高场馆智能化水平，建设场 馆综合监视系统，对场馆内关键设施进行集中、可视化的协同监管；北京奥 运会以科技奥运为口号，在悉尼奥运会的基础上更是利用更加先进的计算机 技术将赛会管理信息系统带到了一个新的高度。 运动会信息系统p j ，是体育信息化的一个重要领域。伴随着信息技术的 发展，运动会信息系统也获得了飞速的发展，在技术上，从最初的主机终端 系统发展到客户机服务器系统( c t s ) ，再到浏览器明艮务器( b s ) 系统；在功能 上，从封闭的、局域的、功能较为单一的简单信息处理系统发展到以i n t e r a c t 网为基础，对所有赛事参与者和观众开放的，具有较强的信息处理功能，适 合大数据量运动会信息处理的运动会信息综合处理系统。可以毫不夸张地说， 现代体育运动会的内涵就是运动会信息系统。 运动会信息系统是现代综合性运动会的重要的组成部分，是一个以计算 机为核心的要求具有高可靠性和实时性的信息系统，它可以有效地利用当代 的信息技术，并将其与各竞赛项目的竞赛管理和技术特点完美地结合起来， 将运动会的竞赛信息，有条不紊地向不同用户发布，最大限度地满足各层次 受众的需求。 本课题来源于第2 4 届大学生冬季运动会的信息处理系统，作为一项政治 任务，确保信息安全、大容量、系统稳定成为最基本的要求。本文主要针对 该信息查询系统设计和实现过程中涉及到的一些关键技术的研究和具体实 现，应用当前先进的计算机技术以保证大冬会信息处理系统开发工作的顺利 进行并能安全、可靠地投入使用。 2 哈尔滨工程大学硕士学位论文 1 2 国内外研究现状 信息网络化使赛事组织管理走向科学化，优化了资源配置，提高了管理 效率。目前国际大型运动会普遍采用了计算机进行赛事管理，并逐渐成为运 动会的管理核心。其特点为：一是信息采集与传输模式满足赛事管理，为电 视与网上直播提供详尽的数据资料；二是将人员注册系统、现场成绩处理系 统、计时评分系统、综合成绩处理系统、信息发布和网上信息查询系统连接 在一起；三是信息流走向分为三层：单项计时评分系统与现场成绩处理系统， 各赛区局域网，赛事综合成绩处理中心与网站发布，由各个赛场局域网通过 光纤线路和专线双通道连接形成广域网。 随着计算机网络技术的飞速发展，计算机网络技术已经融入了体育领域。 目前国际国内很多大型体育赛事都采用计算机网络技术来完善管理过程。现 在体育运动会，由于参赛人员多、比赛项目多、时间安排紧凑，而人们对比 赛结果的准确性、实时性要求也越来越高，同时要尽量减少人为因素的干扰， 减少赛场作弊事件的发生。还要能够为各代表队教练员、运动员快速准确地 提供竞赛的相关信息。 目前在国外，由于计算机技术在体育领域的应用比较早，技术比较成熟， 可靠性高。而且很早就受到国际权威的一致认可，基本垄断了国际大型体育 赛事。所以目前国际国内绝大多数大型体育赛事的竞赛信息系统都是由国外 的公司提供，主要有下面几个公司： a t o so r i g i n ( 源讯) 公司为世界级体育赛事提供一系列服务与解决方案， 包括赛事管理系统、信息传播系统、赛事服务系统和咨询服务。运动会管理 系统( g m s ) 是基于微软平台上的客户一服务器架构建立的，它为大赛组委会 提供了一系列必需的工具系统来管理赛事中特殊而高标准的需求。信息传播 系统包括为体育评论员提供运动赛事进行过程中的实时信息的评论员解说系 统和管理着赛事进程中比赛结果、比赛日程、新闻、奖牌榜、天气、运动员 简历、历史成绩、赛会记录、交通等基本信息与数字资料的显示和打印的媒 3 哈尔滨工程大学硕士学位论文 宣i i i i i i i i i i iii i i i i i i i i i i i i i i i i i 宣i i i i 体信息系统。赛事服务系统( e s s ) 是一个完全基于网络的多层级应用系统。 它用来管理所有参与赛事活动的人员，其核心是一个强大的制证及志愿者管 理系统。咨询服务主要是为各竞标委员会、主办国家及组委会在各类重大活 动中提供技术支持，2 0 年来为世界上几乎所有的重大赛事提供过服务。 欧米茄【4 】公司主要为世界级体育赛事提供计时设备。欧米茄公司除担任 国际业余游泳联合会官方合作商以外，也是欧洲游泳联盟( l e n ) ( 欧洲游泳 锦标赛) 的官方定对器，另外欧米茄曾为众多国际知名游泳赛事提供计时， 包括泛太平洋游泳锦标赛，奥运会当然也在其内。在2 0 0 8 年北京奥运会中， 作为高级计时赞助商，欧米茄将提供比赛场上所有的计时系统，包括终点摄 像装置上的精确计时器、用于游泳比赛触摸板上的计时系统、精确度高于 1 1 0 0 0 秒的径赛电子计时系统。欧米茄还参与了柏林、布鲁塞尔、摩纳哥、 奥斯陆、巴黎、罗马和苏黎世黄金联赛，担当官方计时的重任。温哥华冬奥 会欧米茄公司将继续提供相关产品和服务。 在国内，随着计算机技术的飞速发展，从事体育赛事的竞赛信息系统设 计的公司也越来越多，使得国内体育竞赛信息系统软件也飞速发展，功能也 逐渐由简单到复杂，逐渐达到国际权威机构要求的功能，但是由于很多竞赛 项目已被国外公司所垄断，所以国内公司的竞赛信息系统在国际大型赛事上 还很难有一席之地。就冬季比赛项目，国内很多公司的软件产品具有和国外 知名体育软件相同的功能，但在国际大型比赛中还没有被采纳。但国内中小 型体育赛事已经逐渐开始采用国内公司设计的竞赛信息系统软件。如上海极 品光电有限公司为全国运动会体育比赛时所提供的电脑信息管理系统可进行 全运会全部规定比赛项目的裁判、计时、数据处理、信息管理、现场及远程 大屏幕实时显示等电脑信息处理。 目前大型体育赛事信息查询系统为了保证能够支持大量的并发访问，同 时仍能提供可靠的、高质量的服务，普遍采用负载均衡集群技术。通过负载 均衡算法将大量的访问请求合理分配给集群中的各台服务器，使得各个服务 器协同工作，使系统资源的利用率达到最大。 4 哈尔滨工程大学硕士学位论文 j i i _ f ii i i i i i i i i 宣i i i i i i i i i i i i i i 1 3 论文研究内容 哈尔滨第2 4 届大学生冬季运动会是我国举办的规模最大的冬季体育赛 事，倍受世界瞩目。作为大冬会计算机软件系统对外的窗口，计算机信息查 询系统将向全世界提供全面、高效的服务。因此，系统能否承受大数量级用 户的瞬时访问，对信息查询系统将是严重的考验。本文对大冬会信息查询系 统中的关键技术进行了研究，将目前流行的集群技术应用于信息查询系统当 中，解决潜在的问题。 作者通过对文件同步技术的研究，利用f t p 技术提高各个服务器与负载 均衡器之间的文件同步的效率，确保服务器集群对外所提供的赛事信息的一 致性；将r a i d 技术应用于负载均衡器和各个服务器的文件存储系统中，提 升了众多服务器中本地数据的可靠性；通过改进h e a r t b e a t 软件的相关算法， 弥补其在单一性监控方面功能性的不足，实现负载均衡器和备份负载均衡器 之间双机热备份间监督机制，免除负载均衡器成为集群系统中单一故障点的 隐患，提高了集群系统的可靠性；在改进加权最小连接算法的基础上利用测 试页获得各个服务器的响应时间，通过算法分析机器实时性能，动态调整权 值，使负载在各个服务器之间分配得更加合理，从而提高了服务器资源的利 用率。 1 4 本文的组织结构 第一章主要分析了当前大冬会计算机信息查询系统存在的问题，介绍论 文研究的背景和意义、运动会信息管理系统的国内外研究现状以及论文的结 构安排。 第二章主要阐述了集群和负载均衡技术。集群技术中介绍了集群的特点 和集群的分类。负载均衡技术中介绍了负载均衡集群、负载均衡原理和特点、 负载均衡关键技术以及常用的负载均衡算法。 第三章主要阐述大冬会计算机信息查询系统的总体需求分析。首先对大 5 哈尔滨工程大学硕士学位论文 冬会计算机软件系统进行简要概述，然后详细介绍大冬会信息查询系统的各 个部分的功能及查询系统服务器集群的关键问题。 第四章阐述了大冬会计算机信息查询系统中所用到的关键技术的研究与 应用。包括文件同步技术、数据存储技术、集群系统可靠性技术、动态负载 均衡算法。 6 哈尔滨工程大学硕十学位论文 第2 章集群技术和负载均衡技术 2 1 集群技术 计算机集群5 1 简称集群是一种计算机系统，目前关于集群还没有一个严 格统一的概念。可以通过集群的工作原理来理解集群的概念：集群系统是通 过高性能网络( l a n 或w a n ) 进行物理连接的计算机集合，这些计算机高 度紧密地协作完成共同的任务，同时为用户和应用程序提供单一的系统映像。 集群系统的结构如图2 1 所示。 编程环境和应用程序 么、 己多 拿审卓 商用或专用互联 图2 1 集群系统的典型结构 对于一个集群系统，是由至少两台节点组成计算机的集合。它的每个节 点都是一个完整的计算机。此外，在每一个节点上都驻留着一个完整的、标 准的操作系统。每一个节点上允许有一个或者多个处理器。但是它们只能有 一个操作系统的映像。每一个节点是由性能尽可能高的网络来连接，如 e t h e r n e t 、f d d i 和a t m 交换网等。当使用不同的网络连接时，必须提供 标准的协议来实现节点之间的平滑通信。对于整个集群系统，就是一个单一 的计算处理资源，作为一个整体向用户提供一组网络资源。在这一点上集群 7 哈尔滨工程大学硕士学位论文 _ _ii - i i i i i i i i i i 系统和分布式系统有区别。集群系统是通过s s i ( s i n g l e s y s t e mi m a g e ) 技术来 实现单一资源的特征。s s i 技术实现了集群的有效管理和简单使用。尽管到 现在为止，大多数的集群产品还不能提供完整的s s i 服务，但是s s i 却是集 群系统的重要特征。 2 1 1 计算机集群的特点 集群可看作是一组通过网络连接起来的工作站、p c 机或服务器所组成的 集合，它们作为一个整体对外提供透明的服务，从而发挥整体优势以提高服 务质量。典型的集群系统具有如下特征：网 ( 1 ) 高可用性【7 】( h i g ha v a i l a b i l i t y ) - 单- - j r 务器的解决方案并不是一 个健壮方式，因为可能出现单点失效。像银行，电子商务等这样一些场合的 关键应用程序是不能容忍哪怕几分钟的死机。而集群方案，就是通过集群技 术，使得在其中一台服务器出现故障时只有这一台服务器停止工作，而仍能 够让其它服务器继续提供服务，从而获得高可用性。 ( 2 ) 可易用性( u s a b i l i t y ) ：因为集群系统的单个节点仍旧是传统的平 台，所以用户可以在他们平时就很熟悉的环境下面开发和运行应用程序。同 时，这也可以让许多现有的程序可以不加以修改地运行在处理能力更强大的 集群系统平台上，非常有利于保护用户已有的软件投资。 ( 3 ) 可伸缩性( s c a l a b i l i t y ) 一个集群系统的处理能力可以简单地通过 增加节点来加强。同时，集群的可伸缩性是多面的。包括资源的可伸缩性、 应用的可伸缩性和技术的可伸缩性等。s m p 提供了处理器的可伸缩性，在集 群系统中的可伸缩性可以是计算机的各个组件，如处理器、硬盘、内存或者 i o 设备以及软件组件等。 ( 4 ) 高性能价格比( c o s t e f f e c t i v e n e s s ) ：集群系统良好的性能价格比是 它受到人们青睐的重要因素，它可以把一些廉价系统组合在一起协同工作。 在总体上的性能却可以超过大型机甚至巨型机。同时，集群技术可以保护用 户在原有设备上的硬件投资，用户可以用新旧设备组合起来成为一个集群， 8 哈尔滨工程大学硕士学位论文 达到提供更高的性能的目的，而且不需要丢弃原有旧设备。 2 1 2 计算机集群的分类 研究集群技术，需要从多个方面着手，多角度的考虑集群系统。所采取 的角度不同，分类也就不同。 从功能角度看，可以把集群系统分为三大类：高可用性集群、高性能计 算集群、负载均衡集群。 ( 1 ) 高可用性( h i g ha v a i l a b i l i t y ) 集群【8 1 ，简称h a 集群。目的是为了 使集群的整体服务尽可能可用，即在系统出现故障时，仍能继续对外提供服 务。高可用性集群的设计思想就是要最大限度地减少服务中断时间。这类集 群致力予提供高度可靠的服务，是以减少服务中断( 宕机) 时间为目的的服 务器集群技术。计算机系统的可用性( a v a i l a b i l i t y ) 是通过系统的可靠性 ( r e l i a b i l i t y ) 和可维护性( m a i n t a i n a b i l i t y ) 来度量的。工程上通常用平均无 故障时间( m t t f ) 来度量系统的可靠性，用平均维修时间( m 1 限) 来度量 系统的可维护性。于是可用性被定义为：m t t f ( m t 陌+ m t t r ) * 1 0 0 。 高可用性的目标就是使宕机时间以及故障恢复时间最小化。 高可用集群就是采用集群技术来实现计算机系统的高可用性，它通常分 为容错系统和负载均衡系统两种。容错系统通常是主从服务器方式。从服务 器检测主服务器的状态，当主服务工作正常时；从服务器并不提供服务j 但 是一旦主服务器失效，从服务器就开始代替主服务器向客户提供服务。负载 均衡系统中所有的节点都处于活动状态，它们分摊系统的工作负载。一般 w e b 服务器集群【9 】、数据库集群和应用服务器集群都属于这种类型。 ( 2 ) 高性能计算集群【l o 】( h i g hp e r f o r m a n c ec o m p u t i n gc l u s t e r ，简称h p c c l u s t e r ) 又称科学计算集群。是指以提高科学计算能力为目的计算机集群技 术。这种集群主要是为解决复杂的科学问题。h p cc l u s t e r 是一种并行计算集 群的实现方法。并行计算是指熄一个应用程序分割成多块可以并行执行的部 分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持s m p 9 哈尔滨1 = 稃大学硕士学何论文 ( 对称多处理器) 架构并通过进程调度机制进行并行处理，但是s m p 技术的 可扩展性是十分有限的，比如在目前的i n t e l 架构上最多只可以扩展到8 个 c p u 。这远远无法满足某些“计算能力饥渴 的科学计算任务，所以并行计 算集群的方法被引入到计算机界。它不使用昂贵的并行超级计算机，而是通 过高速链接来连接一组单处理器或多处理器p c 来达到超级计算机的性能。 著名的“深蓝 计算机就是并行计算集群的一种具体实现。 ( 3 ) 负载均衡集群【i l 】就是带负载均衡算法的服务器集群。它的目的是 提供和节点个数成正比的负载能力，通过在系统节点间合理分配工作负载来 减少系统中因某些服务器节点相对空闲而另一些服务器节点过载而造成的资 源使用不平衡情况，从而提高系统的整体性能，如减少系统处理一项任务的 平均时间。这类集群很适合提供大访问量的网络服务。负载均衡集群在多节 点之间按照一定的策略( 算法) 分发网络或计算处理负载。负载均衡建立在 现有网络结构之上，它提供了一种廉价有效的方法来扩展服务器带宽，增加 吞吐量，提高数据处理能力，同时又可以避免单节点故障。因此，负载均衡 集群往往也具有一定的高可用性特点。以w e b 访问为例，后台的多个w e b 服务器上面有相同的w e b 内容，i n t e m e t 客户端的访问请求首先进入一台服 务器，由它根据负载均衡算法合理地分配给其它的某个w e b 服务器。每个 w e b 服务器有相同的内容做起来不难，所以负载均衡算法的选择是关键问题。 2 2 负载均衡技术 负载均衡有两方面的含义：首先，大量的并发访问或数据流量被分配到 多台节点设备上分别处理，从而减少用户等待响应的时间；其次，单个重负 载的运算被分配到多台节点设备上做并行处理，每个节点设备处理结束后， 将结果汇总，返回给用户，使得系统处理能力得以大幅度提高。 负载均衡( l o a db a l a n c e ) 是集群系统中的一个重要技术。集群的最大 特征是多个节点的并行和共同工作来完成任务。为了让系统体现出较好的可 靠性，如何让所有硬件承受的负荷平均分配，是负载平衡的重要目的。 1 0 哈尔滨t 程大学硕士学位论文 负载均衡的目标是：提供最短的平均任务响应时间：提供能适于变化负 载的可靠的负载均衡机制。 221 负载均衡集群 负载均衡( s e r v e r l o a d b a l a n c e ) 集群是由多台服务器以对称方式组成一 个服务器集群，该服务器集群中的每台服务器都具有等价的地位都可以单独 对外提供服务而无须其他服务器的辅助。通过特定的负载均衡技术，将外部 请求根据服务器集群中各服务器上的负载状况合理分配到各台服务器上，籍 此大幅提高获取数据的速度，提高服务器的整体处理能力，解决海量并发访 问问题，并提高可靠性、可用性、可维护性，最终日的是加快服务器的响应 速度，从而提高用户的体验度。此种集群技术可以用最少的投资获得接近于 大型主机的性能“，其结构如图2 2 所示。 幽2 2 负载均衡集群结构 负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展 服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可 靠性。负载均衡技术不仅可以保护原有的硬件投资，而且可以明显提高系统 反应速度和性能，增强系统的扩展性和可靠性。具体来说，在分布式应用需 求急剧增长的今天，负载均衡首先可以分流用户的执行请求，保证多个服务 器均等的处理请求，而当服务器负载超过系统正常运转的门限值时，可通过 1 1 哈尔滨工程大学硕士学位论文 增加新的事务处理服务器来满足更多的需求，以此保证系统扩展性。同样， 当系统出现软硬件故障时，负载均衡可以保证系统动态适应配置变化，从而 保证系统可靠性【1 3 】。 负载均衡主要完成以下任务：解决网络拥塞问题，服务就近提供，实现 地理位置无关性；为用户提供更好的访问质量；提高服务器响应速度：提高 服务器及其他资源的利用效率；避免网络关键部位出现单点失效h 4 】。 对一个网络的负载均衡应用，可以从网络的不同层次入手，具体情况要 看对网络瓶颈所在之处的具体分析，大体上从传输链路聚合、采用更高层网 络交换技术和设置服务器集群策略三个角度实现f 1 5 】。 2 2 2 负载均衡原理 在t c p 口( t r a n s f e rc o n t r o lp r o t o c o l i n t e m e tp r o t o c 0 1 ) 协议中，数据包 含有必要的网络信息，因而在网络缓存或网络均衡的具体实现算法里，数据 包的信息很重要。但由于数据包是面向分组的和面向连接的，且经常被分片， 没有与应用有关的完整信息，特别是和连接会话相关的状态信息。因此必须 从连接的角度看待数据包，即从源地址的端口建立到目的地址端口的连接 1 6 1 o 负载均衡考虑的一个要素是节点的资源使用状态。由于负载均衡是这类 系统的最终目的，那么及时、准确地把握节点负载状况，并根据各个节点当 前的资源使用状态动态调整负载均衡的任务分布，是网络动态负载均衡集群 系统考虑的一个关键问趔1 7 】。 一般情况下，集群的服务节点可以提供诸如处理器负载、应用系统负载、 活跃用户数、可用的网络协议缓存以及其他的资源信息。信息通过高效的消 息机制传给均衡器，均衡器监视所有处理节点的状态，主动决定将下一个任 务传给谁。均衡器可以是单个设备，也可以是一组平行或树状分布的设备【墙】。 本质上讲，负载均衡是分布式作业调度系统的一种实现。负载均衡控制 器作为网络请求分配的控制者，要根据集群节点的当前处理能力，采用集中 1 2 哈尔滨工程大学硕士学位论文 或分布策略对网络服务请求进行调配，并且在每个服务请求的生命周期里监 控各个节点的有效状态。一般的说，负载均衡控制器对请求的调度具备以下 的特征： ( 1 ) 服务请求必须是可管理的。 ( 2 ) 请求的分配对用户是透明的。 ( 3 ) 最好能够提供异构系统的支持。 ( 4 ) 能够依据集群节点的资源情况进行动态分配和调整。 负载均衡控制器在集群的各个服务节点中分配工作负载或网络流量。可 以静态预先设置或根据当前的网络状态来决定负载分发到哪个特定的服务节 点，服务节点在集群内部可以互相连接也可以不连接，但它们必须与负载均 衡控制器直接或间接相连【1 9 1 。 2 2 3 负载均衡的特点 ( 1 ) 平衡系统负载 负载均衡设备提供简单有效且科学合理的负载均衡算法( 对个别服务器 配置最大连接数阈值或加权值) 以及基于实际响应时间的智能流量分配算法， 在性能不同的服务器之间进行负载平衡，充分利用服务器群中的每一台服务 器，保护现有投资，既保证性能差的服务器不成为系统的瓶颈也保证性能高 的服务器资源得到充分利用【2 0 】。 一 ( 2 ) 增强系统可靠性 负载均衡器能定时监测服务器的可用性，包括物理连接、服务器运行状 况。当发现某台服务器不能提供内容访问时，负载均衡器自动把用户请求分 配到其他健康的服务器上，从而保证了用户的访问服务：同时负载均衡器还 可通过设置每台服务器能承受最大的会话数、设置溢出服务器、备份服务器 等手段来进一步保证系统连接的可靠性【2 1 1 。 ( 3 ) 支持分布处理 专门提供静态网页内容和专门从事功能计算的服务器的分离势在必行。 1 3 哈尔滨工程大学硕士学位论文 例如动态网站内容最好存于经过优化后适合运行s c r i p t 和j a v a a p p l e t 的高性 能服务器上；为节省成本，可将图片、样板文件、视频剪辑文件之类的静态 内容则可存放于具有较大存储容量的低档服务器上，同样专用于流媒体视频 文件、移动设备用压缩图片的专门服务器也已日渐普及。服务器负载均衡服 务支持将用户请求分流指引到正确的内容服务器上【2 2 】【2 3 1 。 2 2 4 负载均衡关键技术 w e b 集群系统中，负载均衡的效果如何决定于两个关键因素：负载均衡 技术和负载调度算法。以下分析几种重要的负载均衡技术和负载调度算法。 1 、基于d n s 技术的负载均衡 d n s 负载均衡技术是最早出现的负载均衡解决方案，它是通过改进d n s 服务中的域名解析功能来实现的。这种方式的基本思想是：多个内容完全镜 像的服务器被分配一个相同的域名，但每台服务器拥有各自不同的i p 地址。 对于用户而言，面对的是由这些服务器组成的集群的一个唯一的域名，当客 户端应用程序向d n s 域名服务器【2 4 】发起域名解析请求时，域名服务器一般 会以轮转的方式将该域名解析为集群服务器中某一台真实服务器的i p 地址 并将解析结果返回给客户端。客户端利用所获得的i p 地址来发送服务请求， 获得服务器所提供的服务。从而达到负载均衡的目的。 基于d n s 请求调度的体系结构如图2 3 所示，图中的集群d n s 服务器 负责域名的动态解析，而后端服务器1 到服务器n 则是执行服务请求的真实 服务器，执行的服务有w e b 、m a i l 、f t p 等网络服务。 1 4 竺銎垒垒丝丝篓兰兰 倒2 3 d n s 转发体系结构 d n s 负载均衡的优点是实现简单、实施容易、成本低、适用于大多数 t c p i p 应用，并且可以位于i n t e r a c t 上的任意位置，当前使用该技术的网站 很多。但是，其缺点也非常明显，首先这种方案不是真正意义上的负载均衡， d n s 服务器将h t t p 请求平均地分配到后台的w e b 服务器上，而不考虑每个 w e b 服务器当前的负载情况；如果后台的w 曲服务器的配置和处理能力不同， 最慢的w e b 服务器将成为系统的瓶颈，使得处理能力强的服务器不能充分发 挥其功能；其次未考虑容错，如果后台的某台w e b 服务器出现故障，d n s 服务器仍然会把d n s 请求分配到这台故障服务器上，导致不能响应客户端。 最后一点是致命的，有可能造成相当一部分客户不能享受w e b 服务，并且由 于d n s 缓存的原因，所造成的后果要持续相当长一段时间f 一般d n s 的刷新 周期约为2 4 小时) 。所以在国外最新的建设中心w e b 站点方案中，已经很少 采用这种方案了。 总之，这种请求调度方式存在如下不足： ”d n s 域名系统是按层次机构组织的。客户端、本地d n s 服务器和中 间的d n s 服务器都会缓存i p 地址到域名的映射，这会妨碍轮转域名解析方 法在客户端生效，从而造成各服务器负载的不均衡。 2 ) 域名到i p 地址映射的生存时间t r l ( t i m et ol i v e ) 难以选择。若 丌l 太大，则在此期间很多访问请求被发送到同一台真实服务器之上，会造 1 5 哈尔滨工程大学硕士学位论文 成集群中各服务器负载的不均衡，而且使本地d n s 服务器和其他d n s 服务 器无法及时交互，从而无法保证d n s 数据及时更新；若t t l 太小，则会导 致本地d n s 服务器频繁地提交域名解析请求，这不仅增加了域名解析的网络 流量，还使得集群d n s 服务器容易成为系统的瓶颈所在；即使将t t l 设置 为0 ，用户访问模式的不同( 一些用户可能会访问某个站点的很多页面，而 另一些用户可能访问一两页就离开) 也会导致各个服务器负载的不均衡。 3 ) 整个系统的可靠性和可维护性差。当某台真实服务器失效时，会导致 域名被解析到该服务器p 的用户看到服务中断，不能正常访问服务器。另外， 系统管理员也不能随时将一台真实服务器切出进行系统维护。当服务器失效 时，需要修改集群d n s 服务器中的i p 地址列表，把失效服务器的i p 地址划 掉，然后需要等待一段时间，直到所有的d n s 服务器刷新了映射记录为止。 4 ) 这种请求调度方式不能区分服务器硬件性能的差异，也不能反映服务 器的当前运行状态。对于异构服务器集群系统来说，采用这种请求调度方式 的效率往往非常低。 2 、基于n a t 的负载均衡 n a t 2 5 1 ( n e t w o r k a d d r e s st r a n s l a t i o n ) 网络地址转换为i n t e m e t 网关的重 要功能，它主要是实现局域网的内部地址和外部地址之间的转换，以便具备 内部地址的计算机能访问外部网络，同样外部网络中的计算机访问网关拥有 的某一个外部地址时，地址转换网关将其转发到该地址映射的内部地址，使 其能够访问网关内部的计算机。通过n a t 技术实现负载均衡主要是当n a t 服务器受到客户端请求后根据一些不同的策略修改请求报文中的目的地址， 重定向给“隐藏 在n a t 服务器后面的具有不同i p 地址的服务器，服务器 返回的响应也经由n a t 服务器将源i p 地址恢复原样后传给客户端。n a t 技 术既可通过软件方式来实现，也可通过硬件方式( 即交换) 来实现。 通过n a t 实现报文转发的工作原理是：将报文头( 源目的地址、源目 的端口、校验和) 正确改写后，使客户端相信它们连接的是一台高性能的服 务器( 因为对外只有一个虚拟i p 地址v i p ) ，而拥有不同i p 地址的真实服务 1 6 哈尔滨工程大学硕士学位论文 器也认为自己是与用户直接相连的。因此，可以使用n a t 将不同i p 地址的 并行网络服务变成为一个v i p 上的虚拟服务。 通过n a t 实现报文转发的体系结构如图2 4 所示，一组服务器前有一个 调度器，它们是通过s w i t c h 相连接的。后端服务器拥有私有或公有i p 地址， 调度器拥有集群对外的v i p 。对后端服务器而言，调度器就是网关。在通常 网络设置情况下，用户到集群服务器的上、下行网络流量都会经过调度器。 1 调度器s w l t c i i 1 氇墅垂 服豢 图24 n a t 报文转发体系结构 服务器集群系统不仅对客户端而言是透明的，对后端服务器来说也是透 明的，即真实服务器的操作系统和应用层软件( 如w e b 服务、f t p 服务等) 都不需要为了适应集群系统而做任何的修改。 n a t 负载均衡是一种比较完善的负载均衡技术，得到了较为普遍的应 用。但是需要注意：由于n a t 负载均衡中请求和响应的数据报文都需要通过 负载均衡调度器，当实际服务器的数量超过2 0 时，负载均衡调度器将成为整 个w e b 集群系统的新瓶颈，在设计w e b 集群系统时应当小心处理避免这种 情况的出现。 通过n a t 实现报文转发的体系结构具有如下的优点仁6 】： 1 ) 节省i p 地址资源。集群系统仅需要一个公有地址( 公有地址分配给 前端调度器，真实服务器可以使用私有地址) ； 2 ) 透明性好。集群系统对于客户端和真实服务器来说都是透明的，所以 1 7 哈尔滨工程大学硕士学位论文 不用对客户端软件做任何的改动，后端服务器可运行任何支持t c p i p 标准 协议的操作系统； 3 ) 安全性高。由于客户端到集群服务器的上、下行网络流量都经过调度 器，所以调度器能够对进出的数据包进行相关的过滤操作，从而能起到一定 程度的防火墙作用。 但是，这种结构存在如下的不足 2 6 1 ： 1 ) 在一些网络服务中，它们将m 地址和端口放在报文的数据部分中传 送，若调度器仅仅转换报文头中的i p 地址和端口，这样就会出现不一致性， 服务会中断。所以，针对这类服务，需要编写相应的应用模块来转换报文数 据部分中的i p 地址和端口号； 2 ) 由于客户端到集群服务器的上、下行网络流量都经过调度器，所以调 度器容易成为系统的瓶颈所在，进而影响到服务器集群的伸缩性； 3 ) 后端服务器局限于一个l a n 中。 3 、反向代理负载均衡 普通代理方式是被代理的内部网络用户访问i n t e m e t 上服务器的连接请 求时，客户端必须指定代理服务器，并将本来要直接发送到i n t e m e t 上服务器 的连接请求发送给代理服务器处理。反向代理方式是指以代理服务器来接受 i n t e m e t 上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务 器上得到的结果返回给i n t e m e t 上请求连接的客户端j 此时代理服务器对外 就表现为一个服务器。反向代理负载均衡将来自外部i n t e m e t 上的连接请求 均匀地转发给内部网络上的各个服务器进行处理，从而达到负载均衡的目的。 反向代理的工作原理与n a t 报文转发方式的工作原理类似，它们的区别 在于：前者对报文的转发操作完成在操作系统的用户态，而后者是完成在操 作系统的核心态。 使用反向代理可以将负载均衡和代理服务器的高速缓存技术结合在一 起，提升静态网页的访问速度。由于外部客户不能直接访问内部的服务器， 保证了系统的安全性。并且可以将负载非常均衡地分给内部服务器，不会出 1 8 哈尔滨工程大学硕士学位论文 现负载集中到某个服务器的偶然现象。 反向代理方式的优点： 1 ) 访问速度快将负载均衡调度策略和代理服务器的高速缓存技术结合 在一起，提高了静态网页的访问速度； 2 ) 安全性高由于网络上的用户不能直接访问真实服务器，所以这种方 式具有较高的安全性。 使用反向代理负载均衡也有一些问题：第一，反向代理是处于o s i 参考 模型第七层应用层，所以必须为每一种应用服务专门开发一个反向代理服务 器；第二，每一次代理，代理服务器需要打开对外和对内两个连接，在并发 连接请求数量较大的时候，代理服务器的负载相应地比较大，在最坏的情况 下代理服务器会成为服务的瓶颈。 4 、基于i p 隧道的负载均衡 在采用口隧道【2 刀负载均衡技术的w e b