（通信与信息系统专业论文）基于obs的san结构web集群系统研究.pdf

重庆邮电学院硕士论文 摘要 目前，s a n ( s t o r a g ea r e an e t w o r k ) 技术成为人们解决带宽、容量和管理 问题的首选方案。由于对计算机性能、存储容量和网络连通性的要求越来越高， s a n 应用于w e b 集系统群可以发挥出巨大的优势，这就是s a n 结构的w e b 集 群系统。典型的w 曲服务器集群模式和s a n 结构的w e b 集群系统是当前应用 最广泛的w e b 集群模式，在这两种模式中，用户对磁盘阵列数据的读取都要经 过服务器，加重了服务器的负担，造成资源极大的浪费。 论文相对于典型的w e b 集群系统及s a n 结构的w e b 集群系统，在系统结 构上进行了改进，提出了基于o b s ( 0 b j e c tb a s e ds t r o a g e ) 的s a n 结构的w e b 集 群系统，对w e b 集群系统进行了优化，提高了系统的性能。并在改进后的系统 模型上提出了相应的两级负载均衡策略，该策略将系统分为前端网和后端网， 在前端只需要对新的用户请求进行判别并对前端w e b 服务器进行均衡，之后的 均衡主要集中在后端网的磁盘阵列上，大大减轻了前端服务器的压力。而后端 的磁盘阵列与典型的w e b 集群下的磁盘阵列相比也没有加重负担，通过这种方 式大大减轻了系统在前端所承受的压力，再次提高了系统的整体性能。 论文通过仿真比较得出：在相同的服务强度情况下，基于o b s 的s a n 结 构w e b 集群系统在吞吐量上有了比较大的提高，服务响应时州有了较大的减少， 说明该模型具有实际意义。 关键词：w e b 集群，s a n ，o b s ，负载均衡，磁盘阵列 i 一 重庆邮电学院硕士论文 a b s t r a c t n o ws a n ( s t o r a g ea r e an e t w o r k ) t e c n o l o g yb e c o m e st h ep r e f e r r e ds c h e m et o s o l v en e t w o r kb a n d w i d t h ，c a p a b i l i t y , a n dm a n a g e m e n tp r o b l e m b e c a u s er e q u i r e m e n t o nc o m p u t e rp e r f o r m a n c e ，s t o r a g ec a p a b i l i t ya n dn e t w o r kc o n n e c t i v i t yb e c o m e s m o r ea n dm o r es t r i c t e r , s a na p p l y i n gt ow e bc l u s t e rs y s t e mc a ne x e ag r e a t a d v a n t a g e ，a n dt h i si st h ew e b c l u s t e rs y s t e mb a s e do nw e bs a ns t r u c t u r e t y p i c a l w e bs e r v e rc l u s t e rs y s t e ma n ds a ns t r u c t u r ew e bc l u s t e rs y s t e ma r et h em o s t p o p u l a rw e b c l u s t e rm o d e ，i nt h eb o t hm o d e s ，u s e r sh a v et or e a da n dw r i t ed a t af r o m t h es e r v e r , s ow h i c ha d d st h es e r v e r sl o a dg r e a t e l y , a n dm a k et h ew a s t eo f r e s o u r c e t h i sp a p e rc o m p a r i n gt y p i c a lw e bs e r v e rc l u s t e rs y s t e ma n ds a ns t r u c t u r e w e bc l u s t e rs y s t e m ，i m p r o v e so nt h es y s t e ms t r u c t u r e ，p r e s e n t ss a ns t r u c t u r ew e b c l u s t e rs y s t e mb a s e do nt h eo b s ( o b j e c tb a s e ds t r o a g e ) i to p t i m i z e st h et y p i c a l w e bc l u s t e rs y s t e m ，i m p r o v e st h es y s t e mp e r f o r m a n c e a n dp r e s e n t sc o r r e s p o n d i n g t w ol e v e l sl o a db a l a n c ep o l i c y , w h i c hp o l i c yd i v i d e st h es y s t e mi n t ot h ef r o n tn e ta n d t h eb a c kn e t ，i nt h ef r o n to n l yj u d g et h eu s e r sn e wr e q u i r e m e n ta n db a l a n c et h ef r o n t w e bs e r v e r s ，t h e nl e f tb a l a n c em o s t l yf o c u so nt h eb a c kn e t w o r kd i s ka r r a y , s o l i g h t e nt h ef r o n ts e r v e r sp r e s s u r eg r e a t e l y b u tt h eb a c kd i s ka r r a yc o m p a r e sw i t h t h et y p i c a lw e bc l u s t e rh a v e n ta g g r a v a t e e dt h el o a d a n dt h i sp a p e ra n a l y z e st h et h i s s c h e m e sm e t h o da n dt h e o r yi nd e t a i l u s i n gt h i sm o d el i g h t e n st h ef r o n ts e r v e r s p r e s s u r eg r e a t e l y , i m p r o v e st h es y s t e mu n i t a r yp e r f o r m a n c e f r o me m l u a t o r , t h i sp a p e rc o m p a r e st h er e s u l t sa n dg e t st h i sc o n c l u s i o n ：i nt h e c o n d i t i o no ft h es f l l t l es e r v ei n t e n s i t y , s a ns t r u c t u r ew e bc l u s t e rs y s t e mb a s e do f tt h e o b si m p r o v e st h et h r o u g h p u td i s t i n c t e r , r e d u c e st h es e r v er e s p o n s et i m eg r e a t l y ， a n dt h e s er e s u l t sp r o v et h a tt h em o d eh a st h ep r a c t i c a lv a l u e k e y w o r d s ：w e b s e r v e rc l u s t e r ，s a n to b s ，l o a db a l a n c e ，d i s k a r r a y 重庆邮电学院f 1 6 1 论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得重瘥虹电堂隧或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：知咿堆 签字日期：如。牛年；月如日 学位论文版权使用授权书 本学位论文作者完全了解重迭鲤鱼堂医有关保留、使用学 位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件 和磁盘，允许论文被查阅和借阅。本人授权重废蜜电堂瞳可以 将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：钇丑7 狍 签字日期：矶。牛年厂月劢日 重庆邮电学院硕士论文 第1 章绪论 本文研究的内容是基于o b s ( o b j e c tb a s e ds t o r a g e ，面向对象存储技术) 的 s a n ( s t o r a g ea r e an e t w o r k ，存储区域网) 结构w e b 集群系统，在开始讨论这 个问题之前，让我们先了解一下s a n 技术，包括它的的产生、发展、结构及其 应用。 1 1s a n 技术的发展状；r t 4 7 】 在多数企业和信息网络中，文件服务器都居于数据访问的核心位置。数据本 身以各种各样的形式存在着，例如e m a i l 、字处理文档、电子数据表、工程图表、 数字视频等等。它们一般都存储在磁盘或光盘介质中。服务器受终端用户请求的 驱动，不断向磁盘上读写数据文件，并且按照合适的网络协议对数据进行组装并 传送给用户。 传统的数据访问模式要求每次数据请求都传递给文件服务器。而文件服务器 实际上将所有的数据都放在它所连接的磁盘上。从网络的观点来看，服务器是网 络产生数据请求的焦点：从存储的观点来看，服务器是所有响应这些请求的磁盘 活动的焦点。 典型的w e b 集群系统模型是建立在s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ， 小型计算机系统接e 1 ) 并行结构之上，可以参考图1 1 。这种模型使用固定的 专用连接把服务器和存储阵列联系在一起。在某一特定磁盘的数据一般只能被一 个服务器通过s c s i 总线访问。该服务器能够获得的有效数据量受到总线支持的 磁盘数目和服务器支持的总线数目的限制。 重庆邮电学院硕士论文 窖户钒 服势器 图1 1典型的服务器集群系统结构 如果服务器或者任何一个到磁盘的s c s i 连接失败了，那么对数据的访问就 会丢失。对于那些肩负关键任务的网络，这种潜在的灾难性后果是不能接受的。 对于企业来说，对数据的访闻就像使用电话一样是避免不了的，访问的丢失会直 接导致商业机会的丧失。以服务器为中心的模型已经无法适应企业网络对高可靠 性和高容量的要求，这就自然要促使服务器存储器关系的改变。 存储区域网正是适应这种变化应运而生的。s a n 通过消除服务器和磁盘之 间的专用连接，扩展了以数据为中心的服务领域，为服务器和存储引入了网络的 灵活性。s a n 的速度、容量和网络适应性基本上是建立在f i b r ec h a n n e l 的结构 之上的。f i b r ec h a n n e l 提供了可扩展的带宽、冗余的数据通路和长距离的连接 ( 1 0 k m ) ，并且支持的设备数目也很大。下图给出了一个在w e b 集群下的一个 s a n 结构图( 图1 - - 2 ) 可供参考： 客，o 帆 b 攫务器 硅髓阵列磁盘阵列避i i ；= 瞎刊 图1 - - 2s a n 结构w e b 集群系统 重庆邮电学院硕士论文 正如所有新兴的基础技术一样，存储区域网的概念已经有了个很长的发育 期。在这段时期内，这项技术仅仅以提议、标准草案和几种早期的市场产品等形 式存在着。例如，f i b r ec h a n n e l 的概念最初形成于2 0 世纪8 0 年代晚期，自1 9 9 5 年瞳来才提升为一种a n s i ( a m e r i c a nn a t i o n a ls t a n d a r d si n s t i t u t e ，美国国家标准 学会) 标准。第一种f i b r ec h a n n e l 产品在1 9 9 6 年才开始批量生产。现在许许多 多的厂商都在生产s a n 市场专用的适配器卡、收发器、h u b 和交换机。到1 9 9 9 年春天，所有在文件服务器以及磁盘磁带存储领域的厂商都推出了支持s a n 的 产品。 许多公司和信息网络仅仅通过选择某一厂商的服务器和存储产品，就在不知 不觉中完成了s a n 的解决方案。例如s u nm i c r o s y s t e m s 公司就推出了基于 2 6 6 m p sf i b r ec h a n n e l 连接的数千种s p a r c ( s c a l a b l ep r o c e s s o ra r c h i t e c t u r e ，可扩 展处理器体系结构) 配置。后来，s u n 的p h o t o n 子公司的服务器存储产品融合了 全速的f i b r ec h a n n e l ( 1 0 6 2 5 g b p s ) 和仲裁环技术。但是，s u nm i c r o s y s t e m s 并不生产s a n 产品。s u n 过去一盎致力于服务器和存储领域的市场，为了增加 其存储访问能力和吞吐量，很有必要整合s a n 的组件。因此，在s a n 的概念在 业界广为人知之前，存储区域网的许多基本结构已经存在了许多年了。 s a n 问世之后，服务器和存储器之间的连接问题才得意摆脱网络豆联带给 其余数据通信的冲击。路由器、交换机、路由协议、点到点连接、网络拓扑等等 在传统的服务器存储器领域都是不同的概念。如果用户网络请求数据的速度比 服务器检索并向磁盘存储数据的速度要慢，那就不需要重新设计服务器到存储器 的连接。 但是，当用户的网络变得十分拥挤和高速，并且对服务器的资源提出了更高 的要求的时候，问题就出现了。目前，更高性能服务器技术都致力于解决大量繁 琐的i 0 事务、万亿字节的数据存储量和每秒数亿字节速率的服务器存储器数 据请求事务。在一个合理的时间范围内向磁带或者其他存储介质中备份大量的数 据已经变得越来越困难。多媒体应用也对存储和带宽提出了新的要求。市场对 s a n 概念和产品越来越青睐，这不但反应了上述的这些问题e 在逐渐渗透到企 业网络之中，而且表明f i b r ec h a n n e ls a n 提供了切实可行的解决方案。 企业存储技术发展到今天。s a n 架构已经渐渐成为众多企业的共识。据预 重庆邮电学院硕士论文 测，2 0 0 5 年s a n 将占全球存储市场的5 2 、中国市场的4 2 。究其原因，还是 因为s a n 自基够实现独立于服务器网络系统之夕 的高速存储和强存储能力，这使 它在大型数据仓库的应用、大型c a d 设计、在线事务处理以及对图形图像的多 媒体处理等应用中得心应手、广得好评。但是，对于中小企业来说，性能出众的 s a n 价格也同样昂贵，而且针对中小企业的应用也少得可怜，s a n 似乎是为“贵 族”准备的。面对中小企业的庞大需求，近来，s a n 逐渐放下架子，开始走平 民化的道路。当然，平民化不是指性能的下降，而是体现在针对中小企业的价格 和方寰的改进上。 技术的发展使s a n 的价格不再让人“可望而不可及”。2 0 0 2 年是存储技术 快速发展的一年，技术发展了，产品价格也随之下调，产品的性能价格比显著上 丹。以光纤通道技术为铡，作为存储技术领域的重要组成部分，光纤通道技术在 性能、连接性和扩展性等方面具有绝对的优势，但其动辄数百万元、甚至上千力 元的价格让资金有限的中小型用户只能望而却步。如今，随着光纤技术的日益成 熟，这种情况已经有了很大改观。现在再搭建一个s a n 系统，只要有几十万元 的预算投入，市场上就可以有相当多的产品供选择，而且其中不乏知名品牌的产 品。 针对中小企业应用的s a n 解决方案也已经成为很多存储厂商的市场重点， 各厂商纷纷建立s a n 方案演示中心和推出s a n 解决方案。由于企业存储的重要 性，只选用好的存储产品而没有针对用户需求做专业的网络规划与设计，会让存 储系统的效率大打折招，尤其是对中离端用户丽言，一个适合自己的存储网络集 成方案不仅可以降低组网成本、保证存储网络的利用率，而且对以后存储网络的 扩容、管理、维护等都具有十分重要的意义。这使得s a n 的竞争不仅仅体现在 价格上，产品的易用性、方寨的完整性和后期的服务也都成为厂商争取客户的重 要砝码。 重庆邮电学院硕士论文 1 2 问题的提出 一方面，典型的w e b 集群及基于s a n 结构的w e b 集群在系统结构方面存 在不足。从图1 1 可以看出，在典型的w e b 集群系统中，存储设备通过总线适 配器与服务器相连，服务器通过网络适配器接入网络，客户机同样通过网络适配 器上网，本地存储设备也以相同的方式挂接在客户机上。当客户机需下载服务器 上的文件时，由客户机向服务器发出请求。服务器响应后，通过文件和i o 系统、 调用设备、驱动程序对磁盘驱动器进行读操作。读得的数据经原路径进入客户机， 此服务便告结束。图l 一2 所示的s a n 结构w e b 集群虽对存储部分有所改进， 但数据仍然要通过原路径即通过服务器进入客户机，这种服务器客户机工作模 式，存在两个显著的缺点： 一、命令和数据都要经过同一i 0 路径，当有多个用户请求时，容易造成拥 塞，即使单个用户也延长了服务等待时间； 二、在数据读取和传输过程中，即使采用d m a ( d i r e c t m e m e r y a c c e s s ) 方 式，也需要经过多次存储转发，增加了系统的开销。降低了数传率。 所以需要给出一种方法对系统进行改进，让用户读得的数据在返回时可以绕 过服务器，缩短i o 路径，提高系统的数传率。 另一方面，当系统改进后，服务器各参数对用户请求的任务的影响也要产生 一定的变化，负载均衡策略也要产生改变，所以也需要相应的负载均衡策略对系 统的进行优化。 针对以上问题，本文在第四章给出了解决的方案。 1 3 论文结构安排 论文的第一章序论部分在介绍了典型的w e b 集群系统的基础上，介绍了 s a n 的产生、结构、发展，分析了目前常用的w e b 集群系统的缺点，提出了需 要改进的思路。 第二章介绍了s a n 与网络存储及集群相关知识，包括s a n 与网络存储的关 系，集群的产生、作用及分类。 第三章详细介绍了负载均衡技术，包括负载均衡的概念，分类，实现的原理。 重庆邮电学院硕士论文 分析了部分负载均衡算法的优缺点及其适用情况，并重点以l v s ( l i n u xv i r t u a l s e r v e r ) 为例，介绍了动态反馈负载均衡算法，通过此例可以比较清楚地了解动 态反馈实现豹机制。 第四章在分析当前广泛应用的典型的w e b 集群系统及s a n 结构的w e b 集 群系统的基础上，提出了基于o b s 的s a n 结构w e b 集群系统，对w e b 集群系 统在结构上进行了优化，并给出了相应的负载均衡算法，对系统的性能进行了再 次优化。 第五章对典型的w e b 集群系统的性能和基于o b s 的s a n 结构w e b 集群系 统进行了实验仿真，通过对仿真结果的分析，得到了改进后的系统在吞吐量上有 所提升，在服务响应时间上有所减少，并分析了原因。 第六章总结了本文的工作，并对后期的工作提出了展望。 重庆邮电学院硕士论义 第2 章s a n 与集群 2 1 网络存储与s a n 正如大量国内外专家所指出的那样当代信息系统的基础是数据库系统， 数据是现代信息系统的核心。在数十年的研究与实践中，这一理念已经作为信息 系统开发、应用与管理领域的核心思想之一而被学术界和业界广泛接受。 i t 的进步催生了全球电子商务，而商务应用的发展反过来又对i t 提出了新 的要求和新的挑战。可以预见，在信息世界的下一轮浪潮中，数据的存储、利用 与管理将成为一个举足轻重的发展热点。 随着用户工作协同性的提升，数据需求呈指数增长，同时寻砰据应用的范围 也不再仅限于部门或是工作组之内，而是扩展到了全国甚至全球范围内的数据共 享。作为企业的核心能力，数据存储已变得极为复杂。 各方面的要求推动了网络存储技术的出现。在新新的环境中，数据存储不再 仅仅扮演附加设备的角色，而以独立的网络的形式存在。网络连接存储( n e t w o r k a r a c h e ds t o r a g e ，n a s ) 和存储区域网络( s t o r a g ea r e an e t w o r k ，s a n ) 是最为重 要的技术，不但可以进行跨平台处理数据，还可以在多种存储设备和服务器以及 其他网络设备之间通信。以s a n 为代表的网络存储具有现代数据存储所需要的 高速度、高可用性、高可扩展性、跨平台、远程虚拟存储等特性，并通过两个网 络的分离充分保证了应用系统的效率。其未来发展的目标是可将系统监控、资源 管理、系统培植、安全策略、高可靠性、容量计划及冗余管理等众多功能集于一 身的集成式数据分发与检索架构解决方案。在全球范围内存储区域网络( s t o r a e a r e an e t w o r k ，s a n ) 正成为i t 体系架构的一个重要组成部分。 s a n 是一种专用的多服务器配置环境这些服务器通过高速光纤以及专用的 路由器、交换机和集线器于外围存储设备相连，s a n 将企业各种服务器上的数 据统一到一个集中管理的存储网络上，在全企业范围内建立牢固的数据基础。与 传统的文件服务以及n a s ( 网络连接存储) 相比，s a n 具有相当突出的优势， 它提高了数据的共享能力，实现了良好的可扩展性。 重庆邮电学院硕士论文 2 2集群技术 2 2 1 “集群”的由来 集群的出现已有一段历史，早在二十世纪七八十年代，美国d e c 公司和 t a n d e m 计算机公司就开始了集群的研究工作，开发了基于v m s 操作系统的 v m s e l u s t e r 集群系统，但它仅限于在d e c 的v a x 系列与a l p h a 系列服务器上使 用。随着互联网络技术的发展与应用，各种不同构架的集群相继出现，并得到了 广泛的应用。截止到2 0 0 3 年6 月2 4 日，最新发布的世界最快的( l i n p a c k 值) 前 5 0 0 名计算机排名( t o p 5 0 0 ) 中，有很多集群系统( 1 2 9 台，占总数的大约3 0 ) ， 如排名第二的是h p 公司基于a l p h a 系统的集群，第三名是l i n u xn e t w o r x 的基 于i n t e lx e o n 的l i n u x 集群。 集群是当今计算机界比较热门的话题之一，随着计算机的发展，计算机应用 的增长以及信息数据的快速增长要求计算机系统能够在较短的时间里处理较多 的数据，如果开发的应用程序在单系统环境下运行，则意味着如果系统发生了问 题，应用程序及其数据则可能变成不可用，于是，集群的概念被提出并用于实际， 在一个集群系统中，应用如果在一个系统中发生了问题，这个应用可以在另一个 系统中继续运行。 集群技术是一项优秀的技术，它基于这样的思想：一个含有多个处理机的集 群，是能够比一个处理机更快地完成工作。因而，集群具有很好的可扩展性并能 够把p c 系统的应用范围扩展到高端应用，集群技术的出现可以让p c 系统完成 原来需要中型或者大型系统才能完成的工作。 在激烈的竞争下，许多网络的服务器( 例如i t e r n e t 上的w e b 服务器) 对于 可用性的要求是很高的，很多情况下要求服务器运行在2 4 x 7 的环境下，这个环 境对支撑它运行的系统和存储设备提出了极高的要求，特别是在i t e r n e t 的基础 设施中，集群计算是很普遍的。 务须质疑，集群系统将越来越多地应用于网络系统中，但集群同时又是令人 困惑的话题之一，因为对这一领域有太多不同的研究方法和观点，很难给集群下 一个精确的定义，集群是什么和应该怎么做并没有形成一致的观点。作为一项复 杂的技术，集群在不同的情况下处理不同的问题，因此现在存在许多不同的集群 _ 8 - 重庆邮电学院硕士论文 系统。 按照当前对集群的理解，可以对集群傲些假设，首先，假定集群是一些共 享存储及数据同构机器的集合，它能够检测出参与的系统是否出现异常；另一假 设是集群到l a n 的连接采用了当前的l a n 技术，但集群系统之间的通信采用 了专用的集群网络；另外，也假定集群中的系统均在本地，这不是一个必须的假 定，如果通信设备足够快，系统之间的距离也可以相隔数里。作这样的假定只是 为了研究时的方便。 2 2 2 “集群”的概念 近几年，人们越来越多的使用到集群( c l u s t e r ) ，通俗地讲，集群是指一组计 算机以某种方式联结起来并协商完成特定任务的系统。在这个系统中，计算机可 以是同构的( 如目前最常使用的基于x 8 6 构架的p c 服务器) ，也可以是不同构的 f 如混合采用p c 服务器及r s c ( r e d u c e di n s t r u c t i o ns e tc o m p u t i n g ) 服务器) ； 而系统内各计算机之间可采用以太网或专用网络连接。一组计算机要成为集群的 一个必要条件是它们要协同工作完成特定任务。 从用户的角度，集群就像是一台具有强大处理能力的服务器。在集群内部， 各服务器可能承担不同的任务，但可以把它们统称为节点机。 2 2 3 集群的作用 随着计算机的广泛应用，需要处理的信息量越来越大，人们对于计算机的要 求也越来越高，各种性能更高的计算机不断的被研制及应用，如s m p ( 对称多处 理器) 计算机、m p p ( 大规模并行处理) 计算机等。这些计算机有很高的配置( 如大 内存、海量存储、可多达上千个的处理器等) ，具有很高的处理能力。但与这些 计算机的高性t i ) f i 对应的是它们高昂的价格。 当一台服务器在使用过程中已不能通过增加处理器、扩充内存等方法满足用 户的需求时，传统的方法是使用一台新的服务器来替换原服务器，新服务器比原 服务器有更好的处理能力。然而这种升级方式存在着多方面的缺点。 l 、当服务器不能满足服务的要求时，就需要系统升级，使用性能更强大的 服务器。服务的效能最终取决于这台服务器的性能。在升级过程中，服务可能不 重庆邮电学院硕士论文 得不中断。 2 、升级后，服务完全由新服务器承担，原服务器不会再参与服务，这就造 成了资源浪费。当然也可以用旧服务器承担其它服务。 3 、对服务器的可靠性有很高要求。由于服务是由一台服务器提供，所以当 这台服务器发生故障时，对外服务就会中断，即存在着单点失效问题。 4 、使用更多的处理器可以提高计算机的性能，但随着处理器数目的增加， 计算机的复杂程度急剧增加，计算机的价格也会迅速提高。高端服务器的价格是 多数用户难以承受的。 所以，随网络技术的进步以及处理器性能的提高，越来越多的人开始用相对 廉价的以太网等通用网络系统，把相对便宜的服务器工作站连接起来组成集群 使用，从而以较少的代价获得较高的性能。 2 2 4 集群的分类 根据所要完成任务的不同，通常把集群分为三种基本类型，包括高可用 口i g h a v a i l a b i l i t y ) 集群、负载均衡( l o a db a l a n c e ) 集群及高+ 僦( h i g hp e r f o r m a n c e ) 集群。 i 、高可用集群 有许多应用程序都必须是一天2 4 小时不停地运转，如各大网站的w 曲服务 器、数据中心、远程通讯转接器、医学与军事监测仪以及股票处理机等，对这些 应用程序而言，暂时的停机都会导致数据的丢失和灾难性的后果。高可用集群正 适用于这种情况：它利用两台( 或更多) 有相同服务的服务器，实现集群服务的高 冗余度，对外提供不间断的服务。 集群系统的每个服务都有主服务器与( 一台或多台) 备用服务器，服务由主服 务器处理，而备用服务器处于等待状态：集群内各服务器部运行h e a r t b e a t 程序， 使用以太网、串口、共享存储等方式相互发送信息，以检测其它服务器的运行状 况；当备用服务器发现主服务器不能正常工作对，它会自动接管主服务器的服务 继续对外服务：当主服务器恢复正常时，备用服务器又可把服务自动交还主服务 器处理：集群的服务仅会在服务器切换过程中可能有短暂中断。 任一时刻，高可用集群的任- - n 务只能由一台服务器提供，但可以有多个备 重庆邮电学院硕士论文 用服务器，更多的备用服务器意味着更高的冗余度。高可用集群的不同服务器可 以是不同服务的主服务器，并同时也可以是其它多个服务器的各用服务器。集群 对某一服务的处理能力相当于单台服务器的处理能力。 2 、负载均衡集群 负载均衡集群可使负载在集群中尽可能平均地分摊处理，充分利用集群内各 节点机的处理能力，提高对任务的处理效率。这种集群非常适合于需要运行同一 组应用程序的大量用户，每个节点都可以处理一部分负载，并且可以在节点之间 动态分配负载以实现平衡。 在这种集群中，同一任务或服务由多个节点共同承担，集群的处理能力是这 些节点机处理能力之和。由于集群内有多个节点可完成同一任务，当某一节点发 生故障时，其它节点仍可继续工作，从丽保证了服务的连续性，所以这种集群也 有一定的高可用性。 根据所承担任务的不同，负载均衡集群又可进一步分为面向作业处理的批处 理型负载均衡集群及面向网络服务的网络流量型负载均衡集群。 批处理负载均衡集群一般利用批处理作业管理系统，如l s f 、p b s 等。它们 不断监测集群内各节点机的负载情况，把作业分配到负载较轻的结点进行处理， 船决处理速度，提高集群的使用效率。 网络流量负载均衡集群主要面向网络服务，如w e b 、m a i l 等。集群中的服 务器分为两类d i r e e t o r ( 网络流量负载均衡服务器) 与r e a l s e r v e r ( 实际服务器) 。 d i r e c t o r 是集群的核心，它接收来自用户的网络请求，根据集群内各服务器的负 载情况把这些请求转发给适当的服务器处理。r e a l s e r v e r 是集群内负责提供真实 服务的服务器，完成实际的处理工作。通过把网络流量在集群内较均衡的分配， 加快了对用户请求的响应速度。 负载均衡集群也是本文所要讨论的集群类型。 3 、高性能集群 高性自2 集群主要用于处理复杂的计算问题，应用在需要大规模科学计算的环 境中，如天气预报、石油勘探与油藏模拟、分子模拟、基因测序等。高性能集群 上运行的应用程序一般使用并行算法，把一个大的普通问题根据一定的规则分为 许多小的子问题，在集群内的不同节点上进行计算。丽这些小问题的处理结果， 重庆邮电学院硕士论文 经过处理可合并为原问题的最终结果。由于这些小问题的计算一般是可以并行完 成的，从而可以缩短问题的处理时间。 高性能集群在计算过程中，各节点是协同工作的，它们分别处理大问题的一 部分，并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的一 部分。高性能集群的处理能力与集群的规模成正比，是集群内各节点处理能力之 和，但这种集群一般没有高可用性。 重庆邮电学院硕士论文 3 1 概述 第3 章负载均衡算法 i n t e m e t 的规模每一百天就会增长一倍，客户希望获得7 天2 4 小时的不问断 可用性及较快的系统反应时间，而不愿屡次看到某个站点“s e r v e rt o ob u s y ”及频 繁的系统故障。 网络的各个核心部分随着业务量的提高、访问量和数据流量的快速增长，其 处理能力和计算强度也相应增大，使得单设备根本无法承担。在此情况下，如 果扔掉现有设备去做大量的硬件升级，这样将造成现有资源的浪费，而且如果再 面临下一次业务量的提升，这又将导致再次硬件升级的高额成本投入，甚至性 能再卓越的设备也不能满足当前业务量的需求。于是，负载均衡机制应运而生。 负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展 网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵 活性和可用性。 负载均衡有两方面的含义：首先，大量的并发访问或数据流量分担到多台节 点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到 多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用 户，系统处理能力得到大幅度提高。 本节所要介绍的负载均衡技术主要是指在均衡服务器群中所有服务器和应 用程序之间流量负载的应用，目前负载均衡技术大多数是用于提高诸如在w e b 服务器、f t p 服务器和其它关键任务服务器上的i n t e r n e t 服务器程序的可用性和 可伸缩性。 重庆邮电学院顼七论文 3 2 负载均衡技术分类 3 2 1 软件负载均衡与硬件负载均衡 负载均衡技术分类按照实现方式可以分为软件负载均衡和硬件负载均衡。 软件负载均衡解决方案是指在一台或多台服务器相应的操作系统上安装一 个或多个附加软件来实现负载均衡，如d n sl o a db a h n c e ，c h e c k p o i n t f ir e w a l l lc o n n e c t c o n t r o l 等，它的优点是基于特定环境，配置简单，使用灵 活，成本低廉，可以满足一般的负载均衡需求。 软件解决方案缺点也较多，因为每台服务器上安装额外的软件运行会消耗系 统不定量的资源，越是功能强大的模块，消耗得越多，所以当连接请求特别大的 时候，软件本身会成为服务器工作成败的一个关键；软件可扩展性并不是很好， 受到操作系统的限制；由于操作系统本身的漏洞，往往会引起安全问题。 硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备，这 种设备通常称之为负载均衡器，由于专门的设备完成专门的任务，独立于操作系 统，整体性能得到大量提高，加上多样化的负载均衡策略，智能化的流量管理， 可达到最佳的负载均衡需求。 负载均衡器有多种多样的形式，除了作为独立意义上的负载均衡器外，有些 负载均衡器集成在交换设备中，置于服务器与i n t e r n e t 链接之间，有些则以两 块网络适配器将这一功集成到p c 中，一块连接到i n t e r n e t 上，一块连接到后 端服务器群的内部网络上。 一般而言，硬件负载均衡在功能、性能上优于软件方式，不过成本昂贵。 3 。2 2 本鳓全局负载均衡 负载均衡从其应用的地理结构上分为本地负载均衡( l o c a ll o a db a l a n c e ) 和全局负载均衡( g l o b a ll o a db a l a n c e ，也叫地域负载均衡9 ，本地负载均衡是 指对本地的服务器群做负载均衡，全局负载均衡是指对分别放置在不同的地理位 置、有不同网络结构的服务器群间作负载均衡。 本地负载均衡能有效地解决数据流量过大、网络负荷过重的问题，并且不需 花费昂贵开支购置性能卓越的服务器，充分利用现有设备，避免服务器单点故障 造成数据流量的损失。其有灵活多样的均衡策略把数据流量合理地分配给服务器 群内的服务器共同负担。即使是再给现有服务器扩充升级，也只是简单地增加 个新的服务器到服务群中，而不需改变现有网络结构、停止现有的服务。 全局负载均衡主要用于在个多区域拥有自己服务器的站点，为了使全球用 重庆邮电学院硕士论文 户只以一个i p 地址或域名就能访问到离自己最近的服务器，从而获得最快的访 问速度，也可用于子公司分散站点分布广的大公司通过i n t r a n e t ( 企业内部互 联网) 来达到资源统一合理分配的目的。 全局负载均衡有以下的特点： 1 实现地理位置无关性，能够远距离为用户提供完全的透明服务。 2 除了能避免服务器、数据中心等的单点失效，也能避免由于i s p 专线故 障引起的单点失效。 3 解决网络拥塞问题，提高服务器响应速度，服务就近提供，达到更好的访 问质量。 3 2 3 网络层次上的负载均衡 针对网络上负载过重的不同瓶颈所在，从网络的不同层次入手，可以采用相 应的负载均衡技术来解决现有问题。 随着带宽增加，数据流量不断增大，网络核心部分的数据接1 ：3 将面临瓶颈问 题，原有的单一线路将很难满足需求，而且线路的升级又过于昂贵甚至难以实现， 这时就可以考虑采用链路聚合( t r u n k i n g ) 技术。 链路聚合技术( 第二层负载均衡) 将多条物理链路当作一条单一的聚合逻辑 链路使用，网络数据流量由聚合逻辑链路中所有物理链路共同承担，由此在逻辑 上增大了链路的容量，使其能满足带宽增加的需求。 现代负载均衡技术通常操作于网络的第四层或第七层。第四层负载均衡将一 个i n t e r n e t 上合法注册的i p 地址映射为多个内部服务器的i p 地址，对每次t c p 连接请求动态使用其中一个内部i p 地址，达到负载均衡的目的。在第四层交换 机中，此种均衡技术得到广泛的应用，一个目标地址是服务器群v i p ( 虚拟i p ， v i r t u a li pa d d r e s s ) 连接请求的数据包流经交换机，交换机根据源端和目的 i p 地址、t c p 或u d p 端口号和一定的负载均衡策略，在服务器i p 和v i p 间进行 映射，选取服务器群中最好的服务器来处理连接请求。 第七层负载均衡控制应用层服务的内容，提供了一种对访问流量的高层控制 方式，适合对h t t p 服务器群的应用。第七层负载均衡技术通过检查流经的h t t p 报头，根据报头内的信息来执行负载均衡任务。 第七层负载均衡优点表现在如下几个方面： 重庆邮电学院硕士论文 1 通过对h t t p 报头的检查，可以检测出h t t p 4 0 0 、5 0 0 和6 0 0 系列的错 误信息，因而能透明地将连接请求重薪定向到另一台服务器，避免应用层 故障。 2 可根据流经的数据类型( 如判断数据包是图像文件、压缩文件或多媒体文 件格式等) ，把数据流量引向相应内容的服务器来处理，增加系绕洼能。 3 能根据连接请求的类型，如是普通文本、图象等静态文档请求，还是a s p 、 c g i 等的动态文档请求，把相应的请求引向相应的服务器来处理，提高系 统的性能及安全性。 第七层负载均衡受到其所支持的协议限制( 一般只有h t t p ) ，这样就限制了 它应用的广泛性，并且检查h t t p 报头会占用大量的系统资源，势必会影响到系 统的性能，在大量连接请求的情况下，负载均衡设备自身容易成为网络整体性能 的瓶颈。 3 3 典型负载均衡算法及分析n 2 】 在实际应用中，可能不想仅仅是把客户端的服务请求平均地分配给内部服务 器，而不管服务器是否宕机。而是想使高性能服务器比低性能服务器能接受更多 的服务请求，一台处理服务请求较少的服务器能分配到更多的服务请求，出现故 障的服务器将不再接受服务请求直至故障恢复等等。 选择合适的负载均衡策略，使多个设备能很好的共同完成任务，消除或避免 现有网络负载分布不均、数据流量拥挤反应时间长的瓶颈。在各负载均衡方式中， 针对不同的应用需求，在o s i 参考模型的第二、三、四、七层的负载均衡都有相 应的负载均衡策略。 负载均衡策略的优劣及其实现的难易程度有两个关键因素：一、负载均衡算 法；二、对网络系统状况的检测方式和能力。 考虑到服务请求的不同类型、服务器的不同处理能力以及随机选择造成的负 载分配不均匀等问题，为了更加合理的把负载分配给内部的多个服务器，就需要 应用相应的能够正确反映各个服务器处理能力及网络状态的负载均衡算法，下面 介绍三种比较常用的负载均衡策略： 3 3 1 轮询调度 轮询调度( r o u n dr o b i ns c h e d u l i n g ) 算法就是以轮询的方式依次将请求调 重庆邮电学院硕士论文 度不同的服务器，即每次调度执行i = ( i + 1 ) n o dn ，并选出第i 台服务器。 算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态 调度。 在系统实现时，引入了一个额外条件，当服务器的权值为零时，表示该服务 器不可用而不被调度。这样做的目的是将服务器切出服务( 如屏蔽服务器故障和 系统维护) ，同时与其他如权算法保持一致。所以，算法要作相应的改动，它的 算法流程如下： 轮询调度算法流程： 假设有一组服务器s = ( s o ，s 1 ，s n l ，一个指示变量i 表示上一次 选择的服务器，w ( s i ) 表示服务器s i 的权值。变量i 被初始化为n 一1 ，其中n 0 。 j = i ： d of j = ( j + 1 ) m c dn ： i f ( w ( s j ) 0 ) ( i = j ： r e t u r ns i ： ) w h i l e ( j ! - i ) ： r e t u r nn u l l ： 轮询调度算法假设所有服务器处理性能均相同，不管服务器的当前连接数和 响应速度。该算法相对简单，不适用于服务器组中处理性能不一的情况，而且当 请求服务时间变化比较大时，轮询调度算法容易导致服