（控制理论与控制工程专业论文）服务器集群系统请求调度与高可用性研究.pdf

摘要 摘要 随着多媒体技术和计算机网络的迅猛发展，对服务器的请求也大量增加。 这迫切需要高性能、高可用性和高性价比的w e b 服务器系统。服务器集群技术 正是目前解决服务器超载和提供高服务器性能的一种有效手段。服务器集群就 是由多台计算机通过高速网络连接而成的系统，集群系统性价比高，具有良好 的扩展性和容错性等，因此获得了广泛的应用。 本文在介绍了服务器集群系统的概念、分类、数据共享方式和各种服务器 集群的特点后，对集群系统负载均衡和高可用性问题进行了研究。首先将负载 均衡与w e bq o s 控制结合，对已有的启发式算法进行改进和优化，提出了新的 基于q o s 控制的负载均衡启发式算法。接着建立基于目标规划的异构服务器集 群系统请求调度模型。对请求按其自身性质进行分类，再将服务器本身的性能 作为约束条件，并把请求丢失率最小和具有不同能力的服务器处理不同数目的 请求作为目标，建立目标规划模型，通过模型求解来解决请求调度问题。仿真 结果验证了模型的有效性，模型算法既能让服务器处理能力得到较好发挥，又 满足了请求响应时间的要求，使整个服务器集群的处理能力得到较大提高。 本文还对主从和主主双机热备系统的高可用性问题进行了研究，提出了一 种服务器集群系统状态管理模型，并建立了基于m a r k o v 过程的双机热备服务 器集群系统可用性模型，得到了由单台服务器的可用性推算双机热备服务器集 群系统可用性的量化关系。最后用仿真实验验证了模型的有效性。 关键字：服务器集群负载均衡高可用性q o s 控制目标规划m a r k o v 过程 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n di n t e r n e t ，r e q u e s t st ot h e s e r v e ri n c r e a s e t h e r e f o r e ，w e bs e r v e rs y s t e m sw h i c hh a v eh i g hp e r f o r m a n c e ，h i g h a v a i l a b i l i t ya n dh i g hc o s t e f f e c t i v e ，a r eu r g e n t l yn e e d e d t e c h n o l o g yo fs e r v e r c l u s t e r i n gi st h ee f f e c t i v em e a r l so fs l o v i n gt h ep r o b l e mt h a ts e r v e r sa r eo v e r l o a d i n g a n dp r o v i d i n gh i g h p e r f o r m a n c es e r v e r as e r v e rc l u s t e rs y s t e mi sm a d eu po fa n u m b e ro fc o m p u t e r st h a ta r ec o n n e c t e dt h r o u g hh i g h s p e e dn e t w o r k c l u s t e rs y s t e m s h a v ea d v a n t a g e ss u c ha sc o s tp e r f o r m a n c e ，g o o ds c a l a b i l i t ya n df a u l tt o l e r a n c ea n ds o o n ，s ot h e yh a v eb e e nw i d e l yu s e d t h ec o n c e p t ，c l a s s i f i c a t i o n ，a n dd a t as h a r i n gm e t h o d so ft h es e r v e rc l u s t e rs y s t e m a r ei n t r o d u c e di nt h i sp a p e r t h ec h a r a c t e r i s t i c so fe v e r yk i n ds e r v e rc l u s t e ra r ea l s o s t a t e d a f t e rt h a t ，l o a db a l a n c i n ga n dh i g h l ya v a l i a b l i t yo fs e r v e rc l u s t e r sa r ed e e p l y r e s e a r c h e d l o a db a l a n c i n ga n dw e bq o sc o n t r o la r ec o m b i n e da tf i r s t t h ee x i s t i n g h e u r i s t i ca l g o r i t h ma r ei m p r o v e da n do p t i m i z e d ，a n dan e wl o a db a l a n c i n gh e u r i s t i c a l g o r i t h mb a s e do nw e bq o sc o n t r o li sp r e s e n t e d t h e nar e q u e s td s p a t c h i n gm o d e l o fas e r v e rc l u s t e rw i t hh e t e r o g e n e i t yb a s e do ng o a lp r o g r a m m i n gi sd e v e l o p e d t h e r e q u e s t sa r ec l a s s i f i e da c c o r d i n gt ot h e i rn a t u r e t h ec a p a c i t i e so ft h es e r v e r sa r et h e c o n s t r a i n t s ，a n dm i n i m a z i n gt h e l o s sr a t eo fr e q u e s t si sa s s u m e dt ob eag o a l t h e p r o b l e mo ft h er e q u e s t sd i s p a t c h i n go fas e r v e rc l u s t e ri sr e s l o v e db ys l o v i n gt h eg o a l p r o g r a m m i n gm o d e l t h r o u g ht h es i m u l a t i o na n a l y s i s ，t h er e s u l t sv e r i f yt h ev a l i d i t y o ft h ea l g o r i t h r n t h e yn o to n l ya l l o wt h es e r v e r st op e r f o r mb e t t e r , b u ta l s om e e tt h e r e q u i r e m e n t so fr e s p o n s et i m eo fr e q u e s t s t h u sp e r f o r m a n c eo ft h es e r v e rc l u s t e ri s i m p r o v e d f o rt w o n o d e h o t - s t a n d b y s e r v e rc l u s t e r s y s t e m s i n a c t i v e s t a n d b ya n d a c t i v e a c t i v em o d e ，s t a t em a n a g e m e n tm o d e l so fh i g h a v a i l a b i l i t ys e r v e rc l u s t e r s y s t e m sa r ed e v e l o p e d t h e na na v a i l a b i l i t ym o d e lo ft w o n o d eh o t s t a n d b ys e r v e r c l u s t e rs y s t e mb a s e do i lm a r k o vp r o c e s si se s t a b l i s h e d t h eq u a n t i t a t i v er e l a t i o n s h i p b e t w e e nt h e a v a i l a b i l i t yp r o b a b i l i t yo fas i n g l es e r v e ra n dt h eh o t - s t a n d b ys e r v e r c l u s t e rs y s t e mi so b t a i n e da c c o r d i n gt ot h em o d e l f i n a l l y , s i m u l a t i o nr e s u l t sv e r i f y t h ev a l i d i t yo ft h em o d e l k e yw o r d s ：s e r v e rc l u s t e r , l o a db a l a n c i n g ，h i g ha v a i l a b i l i t y ，q o sc o n t r o l ， g o a lp r o g r a m m i n g ，m a r k o vp r o c e s s i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：必 签字日期：兰! ! ! 年羔日多【日 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 d r 从开 口保密( 年) 作者签名：望：! 耋盈 导师签名： 签字日期：2 幛民l 毋签字日期： 塑丝：丕l 第1 章绪论 第1 章绪论 本章首先从总体上介绍服务器集群系统研究背景和意义，随后介绍服务器集 群系统的负载均衡问题和高可用性问题的研究现状，最后说明本文的主要研究工 作与本文的结构。 1 1 研究背景和意义 随着计算机网络的飞速发展和普及，互联网的用户数量和网络的流量正以几 何级数快速增长。越来越多的公司与客户之间的交易被放到互联网上操作完成。 w e b 服务的商业应用一方面给w e b 应用的发展提供了很好的机会，另一方面也 对w e b 服务器的处理能力提出越来越高的要求。随着网站访问数量和访问频率 的逐渐增加，越来越多的任务向服务器发出请求，系统的负载量不断增大，同时 响应时间也就越来越长( t r e v o rs c h r o e d e r ，2 0 0 0 ) 。为保证能够对用户的请求进行 及时处理，使网络的吞吐能力增加，并且使服务质量得到提高，必须不断升级服 务器的软、硬件。这时有两种方案可供选择，一种方案是提高单台服务节点的配 置，通过不断地进行软件和硬件资源的升级，逐渐提高服务器的性能来满足需要。 g l a s s m a n ( 1 9 9 4 ) 通过研究w e b 缓存( c a c h i n g ) 技术来使系统的整体性能得到提高； l o u i se ta 1 ( 1 9 9 6 ) 对w e b 服务器的一般性能建立了一种简单开放式的排队模型， 分析和研究了w e b 服务器的处理速度、带宽的多少和文件的大小对系统响应时 间的影响；h o l m e d a h le ta 1 ( 1 9 9 8 ) 开发了一种基于合作缓存的分发网络服务器来 减小系统响应时间。但这样做也面临着很多问题( 陈旭生，2 0 0 8 ) ：繁琐的升级过 程和服务节点的切换会暂时中断请求服务，并对原有资源造成浪费；越高端的服 务器，需要花费越大的成本；服务器会发生“单点故障；还有单台服务器硬件 性能也是有极限的。 由此可见单台服务器性能的提高根本无法彻底解决问题，于是另一种方案被 更多地考虑，即利用多台服务器组成一个集群系统，以对大容量数据存储和大用 户量并发访问的问题进行处理，这种即被称为服务器集群( s e r v e rc l u s t e r ) 技术。 服务器集群( c h e r k a s o v a e ta 1 2 0 0 1 ) 是指将多台服务器进行集中，通过网络连接相 互连接起来，一同向外界提供服务。从客户端看去，就像是只有一个服务节点， 这样也做到了对用户透明。在负载均衡的策略下，以对称方式连接多台服务器， 各服务器都有同等地位，可以单独服务外界用户，而不需要其它节点的帮助。利 用不同的负载均衡算法( 孔大伟等，2 0 0 7 ；熊智等，2 0 0 9 ) ，把外界发送来的请求 第1 章绪论 任务“相对均匀”地调度到集群内的某一服务节点上，而接收到请求任务的节点都 能独立地对客户的请求进行回应。服务器集群有着比单台服务器更好的特点，即 更高的性价比、更强的可扩展性、更好的系统可用性和更高的处理能力。 按照用途的不同，集群系统主要分为三种：负载均衡集群( l o a db a l a n c e c l u s t e r ) 、高可用性集群( h i 曲a v a i l a b i l i t yc l u s t e r ) 和高性能计算集群( h i g h p e r f e r m a n c ec o m p u t i n gc l u s t e r ) 。负载均衡集群( e a g e re ta 1 1 9 8 6 ) 是使各个节点尽 可能“均衡”地处理负载，充分利用各服务器的处理能力，使任务处理的效率得到 提高，尽可能地达到“均衡”的目的。高可用集群( r a j l a m a a r ，2 0 0 1 ) 是指当集群 系统中的一台服务器出现故障时，相应的管理软件快速地做出应对，将该服务器 的任务切换到其它正常运行的服务器上执行，保证系统持续可用。它的主要功能 就是向外界用户提供尽可能连续不断的服务。高性能计算集群( i r ae ta 1 2 0 0 1 ) 是以 提高科学计算性能为目的服务器集群系统。主要用以处理大规模的科学计算问 题，如天气预报、油藏模拟与石油勘探、基因测序等。综合运用三种集群的不同 特性与优势，构建高负载处理能力、高性能与高可用的集群系统逐渐受到了业界 的高度重视。 1 2 服务器集群系统研究现状 将多台同构或异构的服务器连接起来，共同对外界用户请求任务进行服务， 就构成了服务器集群系统，它所采用的操作系统主要有v m s ( v i r t u a lm e m o r y s y s t e m ) 、u n i x 、w i n d o w s n t 和l i n u x ( 曾碧卿等，2 0 0 4 ) 。美国d e c 公司( d i g i t a l e q u i p m e n tc o r p o r a t i o n ) 的v m sc l u s t e r 是最早开发的服务器集群系统( e r i ee ta 1 1 9 9 4 ：t h o m a se ta 1 1 9 9 5 ) ，技术也已经相当成熟，但由于v m s 只能够运行在d e c 公司的a l p h a 系列和v a x 系列服务器上，所以它的应用受到较大限制。服务器 或工作站上广泛采用的是u n i x 操作系统，它可以稳定运行，并且有良好的安全 性，许多大公司都采用了基于u n i x 系统的集群系统解决方案，如d e c ，h p ， i b m ，s u n ，d g 和n c r 等公司。其中d e c 公司采用由4 台d i g i t a la l p h as e r v e r 组成的t r u c l u s t e r 集群系统，统一了高可用性、高计算性能和易管理性，是关键 业务系统一个较完善的解决方案。m i r c r o s o f t 和d e c 公司等也开发了基于 w i n d o w s n t 的集群系统解决方案。m i c r o s o f t 公司于二十世纪末就开始了对集群 系统的研究开发。w i n d o w s2 0 0 0 系统中已经增加了集群功能，该高可用性集群 叫做w o i f p a c k 系统。由于l i n u x 系统开放源代码，所以自2 0 世纪9 0 年代末基 于l i n u x 系统的集群迅速发展，并且不断走向成熟，它提供了标准化的 p v m ( p a r a l l e lv i r t u a lm a c h i n e ) ，m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 消息传递机制，在 第1 章绪论 普通p c 机上提供了对高性能网络的支持，因此得到很快的发展。现在已经出现 了各种各样的l i n u x 集群解决方案，如t u r b o l i n u x 公司推出的t u r b o c l u s t e 、r e d h a t 推出的p i r a n h a ，它们是基于l v s ( l i n u xv i r t u a ls e r v e r ) 思想构建的高可用集 群。e r i c s s o n 软件工程研究中心开发的高可用集群e d d i e 是能够提供较好服务质 量的w e b 服务器集群解决方案。而在h p c 集群方面，基于l i n u x 的m o s 是 一个高性能计算的集群。 国内也已经有一些公司和机构在服务器集群领域进行了研发，如联想集团公 司在1 9 9 9 年9 月推出的用于高性能计算的n s l 0 0 0 0 高性能服务器集群；朗新公 司推出的l o n g s n n ec l u s t e r s e r v e r 高可用集群系统；1 9 9 9 年9 月，国内首例l i n u x 安全集群系统正式通过公安部认证；2 0 0 6 年3 月，由国防科技大学计算机学院 研制的主动式自调度集群服务系统通过技术鉴定。在我国的科研院所中，中国科 学研究院、清华大学、武汉大学、南京大学、国防科学技术大学等在集群系统、 网络计算及分布式处理等方面研究较多。 1 2 1 负载均衡研究现状 负载均衡服务器集群是由多台服务器以对称方式通过网络连接组成一个集 群系统，每台服务节电都具有同等地位，都能单独对外界用户提供服务。通过不 同的负载均衡策略，根据集群中各服务节点上的负载状况，将用户的请求任务合 理调度到某台服务节点上，以此大幅度提高数据存取的速度，提高服务器整体的 处理能力，解决海量的并发请求问题，并提高系统的可用性，最终目的是加快系 统整体的吞吐能力和响应速度。 目前，人们研究了许多负载均衡算法( l ie ta 1 2 0 0 5 ；g u oe ta 1 2 0 0 4 ) ，用于实 现w e b 服务器集群系统的负载均衡。这些算法主要可分为静态和动态调度两类 算法。所谓静态调度算法是指算法在请求调度时不对后台服务器当前的负载状态 进行考虑，而是依据特殊的原则，在调度前选择一种均衡分配规则来进行服务请 求的调度。该类算法已有很多种，典型的有轮转调度算法、加权轮转调度算法、 最小连接数调度算法、加权最小连接数调度算法、源地址哈希散列调度算法、目 标地址哈希散列调度算法和随机调度算法等。所谓动态调度算法( 张前进等， 2 0 0 7 ) ，是指算法在进行服务请求的调度前，需要考虑后台服务器的一些动态的 负载状态指标，根据这些负载状态来决定请求任务的调度。 1 2 2 高可用性研究现状 高可用性集群，是指以减少服务中断( 故障或宕机) 时间为目的的服务器集群 第1 章绪论 系统。随着全球经济的发展，世界各地各组织都越来越依赖计算机系统，电子信 息业务使得贸易可以在一天2 4 小时不间断地服务。但是任何业务的中断和关键 性的数据丢失都会造成重大的商业损失，这对w e b 服务系统的可用性提出了越 来越高的要求。随着i n t e m e t 的发展以及服务器性能的不断提高，越来越多的人 开始用低价的网络连接把相对便宜的服务器工作站连起来，组成服务器集群 ( s u ne ta 1 2 0 0 3 ) 进行使用，以便获得较高的处理能力。目前的高可用集群系统， 按照组成结构可以分为：双机热备高可用集群和多机高可用服务器集群等。双机 热备高可用集群( k o u t r a se ta 1 2 0 0 6 ) 是目前使用最多、最简单可行的高可用集群 解决方案。两台服务器利用以太网和串口相连接，分别运行各自的应用，通过网 络心跳机制和串口心跳机制互相侦测对方的状态；同时两台服务器通过数据镜像 技术或共享磁盘阵列的方式实现数据一致性存取。当其中一台服务器发生故障 时，可由另一台服务器继续接替其服务任务，从而在不需要人为干预的情况下， 自动地保证系统能不间断地对外提供服务。多机高可用扩展了双机热备高可用的 节点，现有的多机高可用集群主要指n + i 模式( 张晶，2 0 0 7 ) 。n + l 模式就是指多 台主机同时由一台备份服务器备份，n 台主机分别运行各自的应用，一台备份机 处于准备状态，随时准备与任意一台发生故障的主机进行切换，接替其工作，提 供相应的服务，这可以看成n 个不同的主备模式的双机热备高可用性集群。 1 3 本文的研究工作 本文工作主要包括两个部分：服务器集群系统负载均衡的研究和高可用性的 研究。 1 3 1 负载均衡研究 w e b 服务器集群q o s 控制是在服务器实现基于请求优先级的调度策略等时， 来实现q o s 的区分。集群请求调度策略主要利用各服务器的负载信息等来实现 请求任务的均衡分配，从而提供高性能的服务。一个请求向服务器集群发出服务 要求，这个请求任务有不多个不同方面的q o s 服务要求，而在服务器集群系统 中存在多台真实的服务器，服务器都包含一定的系统资源，如带宽、存储容量等， 处理一个请求任务需要消耗一定的系统资源。w e b 集群基于q o s 控制的负载均 衡策略就是就是将这个请求按一定的策略分配到某一服务器上，使服务器的负载 均衡度达到最小，并且使达到q o s 要求后获得的收益最大。本文将负载均衡与 w e bq o s 控制结合，对已有的启发式算法进行改进和优化，提出新的基于q o s 的负载均衡启发式算法。 4 第1 章绪论 基于分配器的w e b 服务器集群由一台特殊的计算机，一般称为请求分配器， 集中接收所有的h t t p 请求任务，然后依据一定的规则把它们分配到集群中的 各台服务器上去处理。请求分配的主要目的是使各台服务器的负载分布较均衡， 从而在整体上获得较高的吞吐能力和较快的响应速度。请求调度算法是研究如何 将请求流分配到各台服务器，使得各台服务器尽可能地达到负载均衡的算法。本 文通过建立基于目标规划的异构服务器集群系统请求调度模型，将请求调度问题 转化为目标规划的问题，通过求解目标规划模型来得出相应的请求调度策略。这 样既能让服务器性能得到充分的发挥，又满足了请求响应时间等方面的要求，使 整个服务器集群系统的性能得到较大提高。数值算例较好地说明了模型的有效 性。 1 3 2 高可用性研究 随着电子信息化建设的不断发展，各个机构组织的活动越来越多地依赖于其 关键的业务电子信息系统，这些业务信息系统对整个机构的运营和发展起着非常 重要的作用。所以一旦信息系统发生故障甚至停机，将会给机构带来巨大的经济 损失。高可用集群的出现就是为了使整个服务系统尽可能保持可用，减少由服务 器硬件或软件故障所带来的损失。它通过保护用户的业务程序，对外提供不问断 的服务，把因为软件、硬件或人为造成的故障对业务的损失降低到最小程度。如 果系统中某台服务器失效，它的备用机将在极短的时间内接管它的任务。高可用 集群系统利用两台( 或多台) 有相同服务能力的服务器，实现集群服务的高冗余 度，对外提供不间断的服务。在这种环境下，若有某台服务器发生故障导致服务 中断，则预先设定的备用服务器会自动接管相关应用程序，并继续对用户提供服 务，这具有更高的可管理性、可用性和更优异的可伸缩性。 本文分别对主从和主主双机热备系统，首先提出了高可用性服务器集群系 统状态管理模型，然后建立了基于m a r k o v 过程的双机热备服务器集群系统可用 性模型，得到由单台服务器的可用性推算双机热备服务器集群系统可用性的量化 关系，最后用仿真实验验证了模型的有效性。 1 4 本文的结构 本文第一章对服务器集群系统作概要介绍，并分析服务器集群系统负载均衡 问题和高可用问题的研究现状和不足，最后介绍本文的研究工作。 第二章对服务器集群系统进行较为深入的介绍，对服务器集群系统的概念、 分类和数据共享方式等进行阐述，并具体地对负载均衡服务器集群、高可用性集 第1 章绪论 群和高性能计算服务器集群这三类系统分别作了介绍。 第三章在阐述了q o s 控制和目标规划等相关工作后，提出了基于q o s 的负 载均衡启发式算法，研究了基于目标规划的服务器集群系统请求调度模型，并用 数值算例验证了模型的有效性。 第四章在介绍了高可用集群工作方式等相关内容后，研究了双机热备集群系 统状态管理模型，提出了基于m a r k o v 过程的双机热备服务器集群系统可用性模 型，并用仿真实验验证了模型的有效性。 第五章总结本文的工作，并提出对未来工作的展望。 6 第2 章服务器集群系统 第2 章服务器集群系统 本章主要介绍服务器集群系统的概念、分类和三种数据共享方式等，并分别 对负载均衡集群、高可用性集群和高性能计算集群这三类服务器集群系统进行具 体的介绍。 2 1 集群系统相关概念与分类 随着互联网和计算机技术的飞速发展，对服务器系统的请求数量成几何级数 地增长，服务过载和网络拥塞等逐渐成为网络及其服务器必须面对的严峻问题。 服务器集群基于并行分布式计算技术提供了一种集较强的处理能力、易于管理和 良好扩展性于一体的服务器解决方案，以其高性价比、高可用性和高性能等优点 受到了国内外研究机构和厂商的广泛关注。 2 1 1 集群系统的概念与优点 早在二十世纪七十年代，许多计算机厂商和研究机构就开始研发集群系统。 但由于它们主要用于工程科学计算，所以这些系统并没有广泛应用于各个领域。 集群的概念得以广泛传播主要归功于l i n u x 服务器集群的出现。集群就是一组相 互独立的、通过网络相联、并以对称方式加以管理的计算机系统。它们作为一个 整体向外界用户提供网络服务。这些集群内部每个单独的服务器称为集群的一个 节点。较理想的集群系统是，外界用户感受不到集群内部的节点，而在他们看来， 集群就只是一个服务系统，而非多台服务器组成的系统。集群系统的结构如图 2 1 所示。 由于集群系统良好的性能可扩展一 生( s c a l a b i l i t y ) ，人们开始对集群系统进行研 究。最初提高计算机处理能力的主要方法是提高c p u 的主频和总线带宽。但是 这一方法对系统性能的提升是有限的。随后人们通过增加c p u 数量和内存的容 量来对系统性能进行提高，于是又出现了向量机和对称多处理机( s m p ， s y m m e t r i c a lm u l t i p r o c e s s i n g ) 等。但是当c p u 的个数达到某一阈值，s m p 系统 的扩展性就变得非常差。c p u 访问内存的带宽并不随着其个数的增多而有效地 增长，这是它的主要瓶颈。与s m p 系统不同，集群系统的性能随着c p u 数量的 增加几乎是呈线性增长的。集群系统的主要优点表现在以下几个方面。 ( 1 ) 高可扩展性：集群系统的节点可由系统管理者任意增加和删改； 7 第2 章服务器集群系统 ( 2 ) 高可用性：集群内的一台服务器宕机，系统可以进行切换，任务可以由 其他节点所接替，这可以有效防止单点故障； ( 3 ) 高性能：集群系统允许同时接入多个用户请求，并对其进行并行处理； ( 4 ) 高性价比：高性能的集群系统可由廉价的、符合工业标准的硬件来构建。 操作系统 节点 i 商崩或专用互联 2 1 2 集群系统的分类 图2 1 集群系统的典型结构 一般根据集群系统功能侧重点的不同，把集群系统分为三类： ( 1 ) 负载均衡集群( l o a db a l a n c ec l u s t e r ) ：简称l bc l u s t e r 或者l b 高扩展集 群，是指在维持较高性能的情况下，以均衡分担系统工作负载为目标的服务器集 群系统； ( 2 ) 高可用集群( h i g ha v a i l a b i l i t yc l u s t e r ) ：简称h a 集群。这类集群致力于 提供不问断的服务，防止单点故障，获得良好的系统可用性： ( 3 ) 高性能计算集群( h i g hp e r f e r m a n c ec o m p u t i n g ) ：简称h p c 集群。它是以 提供强大的高性能科学计算能力为目标的系统。 2 2 集群数据共享方式 运行在主服务器上的应用程序要响应各种清求任务，需要对数据进行存取。 而在主服务器宕机后，该程序要切换到备份节点上运行。这要求备份节点仍可对 8 第2 章服务器集群系统 这些数据继续访问以提供服务。所以集群系统需要对数据进行共享( 惠普公司信 息产品事业部，1 9 9 9 ) 。主要有三种形式实现数据的共享：镜像( m i n o o 、无共享 f s h a r e n o t h i n 曲、全共享( s h a r e a l l ) 。 2 2 1 镜像方式 每个服务节点都有各自独立的磁盘和存储系统。当应用程序对某一服务器的 磁盘数据进行存取时，这些数据会同时拷贝到其他服务器的磁盘它的结构图如 图22 所示。即可以将一个服务节点的每一次写入操作“镜像”到至少一个其它服 务节点当中。这样备份节点的磁盘对主节点数据进行实时备份。因此当主服务器 宕机时，备份节点上的应用仍可对这些数据继续访问。这是一项对于需要与主节 点的数据保持同步的灾难恢复站点的应用程序来说非常关键的技术。因为镜像方 式不需要额外的增加存储设备所以它成本相对较低。在空间上服务节点可以是 分散的，通过广域网甚至可以使服务节点分布在几十公里的范围内。 诈刁 现在很多厂商都研发了磁盘镜像解决方案，例如对于w i n d o w s n t s e f c g r 环 境，n e t w o r ks p e c i a l i s t ( n s i ) 、v e f i t a s 、v i n c a 和o o t o p u s 均可以提供其上的解决 方案。而且许多镜像磁盘厂商提供的扩展方案还可类似于集群的高可用性，它们 可以使用镜像数据在不同的服务节点之间对转移的工作负载进行复制。但实时镜 像数据同时也加重了服务器及网络的负荷，会对系统性能造成严重的影响；而且 发生故障时，主、备服务节点的数据有可能不完全一致，这是因为各个服务器之 问存在网络延迟。镜像磁盘故障恢复解决方案并不能拥有集群的可伸缩性优势。 对于它们是否永远也无法提供与共享磁盘解决方案相同的高可用性和可管理性 尚存在争议，因为在进行数据镜像操作时，总是舍有段有限的、两台服务器上 的数据并不是完全相同的时间。 第2 章服务器集群系统 2 22 无共享方式 服务器集群中的每个服务节点不仅内部有独立的磁盘，还可连接到外部的磁 盘阵列上它的结构图如图2 3 所示。磁盘阵列中存在应用程序所要存取的数据， 在e 常状态下，只有这个应用的主服务节点爿能访问这部分数据。当主服务节点 宕机后，主服务节点上的应用将被终止，各份服务节点上的应用被启动后就可访 问磁盘阵列来访问这部分数据。磁盘阵列被引入后，主服务节点不再需要将数据 复制到备份服务节点上，这样大大降低了网络的负荷。但同时整个系统的成本会 因加八磁盘阵列而增加。无共享方式数据共享提供了与共享磁盘集群相同的高可 用性，以及潜在的高可伸缩性，因为它并不存在固有的分布式锁定管理器( d l m ， d i s t r i b u t e d l o c k m a n a g e r ) 瓶颈。最为重要的是，由于不存在特殊的磁盘访问需求， 它能够完全支持标准应用。非共享方式解决方案的例子有：m i c r o s o t = rc l u s t e r s e r v e 、t a n d e m n o n s t o d 和i n f o r m i x o n l i n e x p s 等。 2 23 全共享方式 瞄域蚪 图2 3 无共享方式结构图 在“无共享”的数据共享方式中，对某一个应用程序仅有一个主服务节点。 而在全共享方式中。可以为一个应用程序设置多个主服务节点，这些主服务节点 都有权访问磁盘，它的结构图如图2 4 所示。为防止数据冲突，必须由分布式锁 定管理软件d l m 来保证在同一时刻仅有一个服务器读写数据。全共享方式能够 使同一个应用程序在多台服务器上并行运行，从而使系统的处理能力大大提高。 但是这需要较复杂的锁定管理软件，而且应用程序必须具有“并行”处理能力。分 布式锁定管理软件可以同步和序列化多个服务节点访问共享数据。如果一个数据 资源被一个以上的节点同时存取时，d l m 会识别并解决这一潜在的冲突。d l m 可以序列化多个系统访问这一调整工作会带来额外的消息通讯量，使系统的性 第2 章服务器集群系统 能降低。目前，昂贵线缆和交换机的需求己被像小型计算机系统接1 2 ( s c s i ， s m a l l c o m p u t e rs y s t e m i n t e r f a c e ) 这样的标准消除了。但是，共享磁盘集群仍需要 使用经过专门改造的应用程序，这些应用程序被部署在了每年销售量达数百万计 的服务器之上。当集群中增加服务器时，d l m 访问冲突将会以几何级数增长， 所| 三【这就限制了集群服务器系统的可仲缩性。共享磁盘解决方案的范例包括： d i g i t a lv a x 集群系统和o r a c l e 并行服务器等。 局墟州 图2 4 全共享方式结构围 2 3 负载均衡服务器集群系统 2 31 负载均衡技术的概念与分类 负载均衡的含义包括两个方面：一是将大量的并发访问请求或数据流量分担 到多台服务器上分别处理以减少用户等待响应的时间；另一方面是，单个重负 载的运算程序分担到其它多台服务器上进行并行处理，在各个节点设备处理完 后，将结果进行汇总，再返回给用户，这样较大幅度地提高了系统的处理能力。 负载均衡技术面临的三个问题是怎样定义节点的负载状况、如何获取工作负载以 及如何处理获取后的负载。负载均衡的机制很像轮流值日制度，把任务分担给大 家来完成，以免让一个人过度的劳累。但是与轮流值日制度不相同的是，负载均 衡是一种动态的均衡，它通过一些工具来实时地分析数据包，从而掌握隔络中数 据流量的状况，再把任务适当地分配出去。不同的负载均衡策略往往用在不同的 应用环境中，比如电子商务网站，它要消耗较大的计算负荷：网络数据库的应用， 它需要较频繁地读写，这给服务节点的存储子系统造成很大的压力；再如视频点 播服务应用，具有较大的数据传输流量给网络接口造成很大负担。所以负载均 衡算法也就有了各种各样的形式，广义上的负载均衡既可设置专门的负载均衡 器，也可以通过一些专用软件来实现。根据方法的不同，负载均衡技术可分为如 第2 章服务器集群系统 下六类。 ( 】) 基于轮转瑚名系统( r r d n s ) 解决方案； ( 2 ) 基于客户端的负载均衡解决方案； ( 3 ) 基于应用层负载均衡调度的负载均衡解决方案 ( 4 ) 基于i p 层负载均衡调度的负载均衡解决方案； ( 5 ) 基于内容的w e b 集群负载均衡解决方案： ( 6 ) 基于t c p 层的负载均衡解决方案。 2 32 负载均衡集群概念与结构 负载均衡集群主要应用在w e b 服务器和中问件应用服务器当中，用以提高 系统的高性能、高可扩展性和高可用性。在集群系统中增加服务器个数能够使集 群的处理能力得到提升但并不要求服务器的配置完全相同。一个负载均衡集群 系统是由多台服务器构成，对外部用户而言，整个集群系统就像一台高性能的服 务器，系统对外的网络i p 地址只有一个，所有对集群的请求任务都发送到这个 地址上。系统中具有专门的请求调度机制，能够按照一定策略较均衡地将这些请 求分发到集群内各个服务节点上，让它们各自分别承担一部分负载。负载均衡集 群具有良好的可扩展性，很容易扩大系统规模只需将新的服务器增加到集群系 统中即可。在各押商业应用领域中，负载均衡集群占有非常重要的地位。负载均 衡集群系统中，由于各个服务节点之间是相对独立的，所以采用一些简便的技术 就能使集群系统达到根高的性能和可用性。 负载均衡集群就是带有均衡策略的服务器集群系统。它在多节点之间按照一 定的算法分发请求任务。负载均衡集群建立在网络结构之上，提供一种高性价比 的方法来扩展服务器带宽，增加整体吞吐量，提高数据的处理能力，同时又可以 避免单点故障等问题。负载均衡集群一般的框架结构如图2 5 所示。例如w e b ，一 _ 因特阿届域l q ! 篓錾l 叠谴叼衙器 j 譬务器i服务器2 图2 5 负载均衡集群框架结构图 第2 章服务器集群系统 访问，同样的w e b 内容部署在多个w e b 服务器节点内，首先由负载均衡器接收 i n t e m e t 客户端的访问请求，然后由负载均衡器根据适当的算法均衡地将请求任 务分配给集群中各个w e b 服务器。 2 3 - 3 请求调度负载均衡算法 请求分配的负载均衡是并行w e b 服务器集群中所采用的一种典型的技术。 它的主要原理是由一台被称为请求分配器的特殊的计算机，对所有的h t t p 请求 任务集中接收，然后依据一定的策略把它们分配到集群中的各台服务器上去进行 处理。服务器集群系统请求分配模型如下图2 6 所示。分配的主要目的是使各节 点的负载分布比较均衡，从而获得较高的整体吞吐能力和较快的响应速度。负载 均衡算法是研究如何将请求流调度到各台服务器上，使得各服务器尽可能地保持 负载均衡的算法。 真实服务器 图2 6 服务器集群系统请求分配模型图 负载均衡算法可以分成动态和静态两种。动态负载均衡算法需要使用服务节 点上工作负载状态信息，进行负载分配决策。它在任务不确定的情况下，基于服 务节点负载的动态变化，根据系统当前的负载状态信息有针对性地进行请求调 度，分配各个请求任务的执行过程；静态算法则不使用负载信息，而是使用预先 已知的系统资源参数，在任务确定的情况下，基于各个节点的处理能力，调度一 个任务集合，合理而有效地分配任务。 2 3 3 1 负载均衡评价标准 评价网络负载均衡算法基本性能的标准主要可分为如下四类。 ( 1 ) 负载均衡度：通常用一段时间内，请求调度器给每个节点上分配的请求 数目的均方差来计算。它对在各个节点上分配的工作负载的均衡程度进行了较好 的反映。但当负载大小有较大差异时，请求数目并不能真实地反映当前服务器的 负载状况，因此有时采用缓冲区队列长度作为衡量的标准； ( 2 ) 请求乱序率：通常用一段时间内，乱序的请求数目与总请求数目的比值 来表示。它反映了负载分配模型对网络传输协议流保序特性的影响程度。请求乱 第2 章服务器集群系统 序率越低，花费在网络重传上的各种开销就会越小，这样对缓冲区的压力也越小； ( 3 ) 请求丢失率：通常用一段时间内，丢失的请求数目与总请求数目的比值 来表示。它反映了负载分配模型对请求处理的影响程度。请求的丢失将会导致重 传，重传显然降低了系统资源利用率，网络拥塞也会增大，所以应尽可能地减小 请求丢失率； ( 4 ) 系统吞吐率：通常用一段时间内，请求流流出系统的速度与进入系统的 速度的比值来表示。系统吞吐率也是衡量网络负载均衡算法的一个重要指标。 2 3 3 2 各种负载均衡算法 目前，负载均衡的基本算法主要有：轮转调度( r o u n d r o b i ns c h e d u l i n g ) ：加 权轮转调度( w e i g h t e dr o t m d r o b i ns c h e d u l i n g ) ；最小连接调度( l e a s t c o n n e c t i o n s c h e d u l i n g ) ；加权最小连接调度( w e i g h t e dl e a s t c o n n e c t i o ns c h e d u l i n g ) ；目标地 址散列调度( d e s t i n a t i o nh a s h i n gs c h e d u l i n g ) ；源地址散列调度( s o u r c eh a s h i n g s c h e d u l i n g ) 等。下面分别介绍各种负载均衡调度算法。 ( 1 ) 轮转调度算法 该算法是将请求任务以轮转的方式依次调度到不同节点上，即每次调度执行 j = ( j +