（计算机应用技术专业论文）主动式集群中执行服务器控制机制的研究与实现.pdf

主动式集群中执行服务器控制机制的研究与实现主动式集群中执行服务器控制机制的研究与实现中文摘要随着互联网的飞速发展和网络应用的广泛开展，人们对互联网服务提出了更高的要求，不仅要求网络服务具有高可伸缩性、高可用性、易管理性和高性价比，还要求提供q o s 控制等对关键应用非常有价值的功能特性。这些都对互联网服务平台网络服务器提出了更高的挑战。利用集群很容易就能达到高可用、高性能的目的，而且性价比高，有着无可比拟的优势。当前集群方案的调度方式都是采用以统一的负载评估结点为基本特征的集中式被动调度，带来的问题主要是服务器负载评估不尽准确。在系统高负载下容易出现执行服务器“活锁”现象，降低了系统的使用效益。由国防科大计算机学院金士尧教授发明的主动自调度集群( a s a s ：a u t o m a t i cs e l f a l l o c a t i n gs e r v e r ) 改变了以前的架构，改被动为主动，将负载评估分布到各执行服务器，大大减轻了集中器的负载，提高了评估的准确性，防止了“活锁”现象的出现，从而使得集群的整体性能得到了很大的提高。本文的工作是基于a s a s 系统进行研究并开发执行服务器端的容量分析软件，文章首先介绍了主动式自调度集群服务器体系结构( a s a s ) ；然后根据a s a s 研究设计了容量规划与分析算法，对执行服务器端的各服务进行了容量规划控制，有效地利用了网络流量、c p u 利用率、内存利用率等资源占用信息，在充分利用系统资源的同时又极大的保证了服务质量，排除了服务质量不保证、资源利用不平衡甚至出现活锁的现象，也为集中器的q o s 机制提供了良好的基础；接着文章应用了d m c 自控算法和模糊算法对网络流量、c p u 利用率等波动大且对服务质量影响大的资源进行跟踪处理，设计了集成d m c 自控算法和模糊算法的容量规划与分析算法；最后设计并实现了执行服务器端容量分析软件c a s ( c a p a c i t ya n a l y s iss o f t w a r e ) ，并针对集群的功能特点，设计了两个测试方案，经过压力测试可以发现，c a s 能够根据本地资源的利用状况正确分析出执行服务器端配置的各服务的服务能力，再根据分析的结果向集中器索取适量的服务请求，使得执行服务器端能够充分利用资源但不出现资源短缺，从而使得a s a s 不但在服务性能和服务质量上有所突破，而且为q o s 提供了保障基础。关键词：集群服务器，集中器，执行服务器，容量规划与分析，d m c作者：江浩导师：钱培德英文摘要主动式集群中执行服务器控制机制的研究与实现t h er e s e a r c ha n di m p l e m e n t a t i o no nt h ec o n t r o lm e c h a n i s mo fe x e c u t i v es e r v e ri nt h ea e t i v ec l u s t e rs y s t e ma d s t r a c tw i t ht h er a p i dd e v e l o p m e n to fi n t e r a c ta n dt h ew i d eu s eo fw e ba p p l i c a t i o n ，p e o p l en e e dh i g h e rd e m a n dt oi n t e m e ts e r v i c et h a nb e f o r e t h ew e bs e r v i c ei sr e q u i r e dn o to n l yt ob eh i g hs c a l e a b l e ，h i g hu s a b l e ，e a s ym a n a g e m e n ta n dm g hp e r f o r m a n c e p r i c er a t i o b u ta l s ot op r o v i d ew i t hv a ! u a b l ef i m c t i o n a lf e a t u r e sf o rs o m ei m p o r t a n ta p p l i c a t i o n s s u c ha sq o sc o n 订0 1 舢lo ft h e s ec o m eu d 、i t hh i g h e rc h a l l e n g e st ow e bs e r v e r si nt h ei n t e r a c ts e r v i c ep l a t f o r m 阢曲t h eu s eo f c l u s t e r s i ti se a s yt oa c h i e v et h eg o a lo f h i g hu s a h i l i t ya n dh i 吐p e r f o r m a n c e i na d d i t i o n ，t h ep e r f o r m a n c e p r i c er a t i oo fc l u s t e r si sv e r y1 1 i 曲i th a s t h eu n p a r a l l e l e da d v a n t a g e s a tp r e s e n t , m o s to fc l u s t e r s s c h e d u l e rp o l i c e sa d o p tt h ec e n t r a l i z e dp a s s i v es c h e d u l e rw i t ht h eb a s i cc h a r a c t e r i s t i co fc e n t r a l i z e dl o a de v a l u a t i o n , w h i c hm a i n l yr e s u l t si nt h ei n a c c u r a t ee v a l u a t i o no f s e r v e rl o a d i nt h ec a s eo f h i g hs y s t e m1 c a d , i ti sq u i t ee a s yt oh a v et h e l i v el o c k p h e n o m e n o nf o re x e c u t i v es e r v e r , a n dt h u sr e d u c e st h es y s t e m se 伍c i e n c y a s a s ( a u t o m a t i cs e l f - a l l o c a t i n gs e r v e r ) i n v e n t e db ys h i y a oj i nw h oi sap r o f e s s o ro fc o m p u t e rs c i e n c ed e p a r t r n e n ti nn a t i o n a lu n i v e r s i t yo fd e l e n s et e c h n o l o g y , c h a n g e st h ef o r m e ra r c h i t e c t u r eb yc h a n g i n gt h ep a s s i v em o d ei n t oa c f i v em o d e i td i s t r i b u t e st h el o a de v a l u a t i o no n t oa 1 1e x e c u t i v es e r v e r , w h i c hg r e a t l yd e c r e a s i n gt h el o a do fd i s p a t c h e r , i m p r o v i n gt h ea c c u r a t eo fe v a l u a t i o na n dp r e v e n t i n gt h eo c c u r r e n c eo f l i v el o c k ，t h u sm a k i n gt h eh u g ei m p r o v e m e n to fc l u s t e r s o v e r a l lp e r f o r m a n c e t m st h e s i sm a i n l yf o c u s e so nt h er e s e a r c ho fa n dd e v e l o p m e n tf o rc a p a c i t ya n a l y s i ss o f t w a r ef o re x e c u t i v es e r v e rb a s eo na s a s f i r s t l y , t h et h e s i si n t r o d u c e st h ea s a s t h e na l g o r i t h r nf o rc a p a c i t yp l a na n da n a l y s i si sd e s i g n e db a s e do na s a s t h ea l g o r i t h mc o n t r o l st h ec a p a c i t yo fa l lk i n d so fs e r v i c e so ne x e c u t i v es e r v e r , e f f e c t i v e l ym a k e su s eo ft h ed i f f e r e n tk i n d so fr e s o u r c eu s a g ei n f o r m a t i o n ，s u c ha sn e t w o r kt h r o u g h p u t ，u s a g eo fc p u ，u s a g eo fm e m o r ya n ds oo n i tg u a r a n t e e st h eq u a l i 西o fs e r v i c ea sw e l l a sm a k i n gb e s tu s eo ft h es y s t e mr e s o u r c e ，e l i m i n a t i n gt h ep h e n o m e n ao fu n c e r t a i n t yo fq u a l i t yo fs e r v i c e ，u n b a l a l i c eo fr e s o u r c eu s a g e ，a n dt h eo c c u r r e n c eo fl i v el o c k 耵1 e s eo f f e rag o o df o u n d a t i o nf o rq o so fd i s p a t c h e r t h ef o l l o w i n gs e c t i o ni nt h et h e s i si n t r o d u c e sh o wt ot r a c et h e - r e s o u r c e sw h i c hf l u c t u a t e so b v i o u s l ya n di n f l u e n c e st h eq u a l i t yo fs e r v i c ec l e a r l y , s u c ha sn e t w o r kt h r o u g h p u t ，c p uu s er a t i oa n ds oo n t h e ni tp r o p o s e st h ec a p a c i t yp l a na n da n a l y s i sa l g o r i t h mw h i c hi n t e g r a t et h ed m ca u t oc o n t r o la l g o r i t h ma n df u z z yi i主动式集群中执行服务器控制机制的研究与实现英文摘要a l g o f i t h m a t1 a s t ，t h ec a p a c i t ya n a l y s i ss o f t w a r ec a sf o re x e c u t i v es e r v e rh a sb e e nd e s i g n e da n di m p l e m e n t e d a tt h ee n do ft h et h e s i s ，i td e s c r i b e st h et w ot e s ts c h e m e sw h i c ha i ma tt e s t i n gt h ea d v a n t a g e s o fc a si nt h ea c t i v ec l u s t e rs y s t e m a f t e rp r e s s u r et e s ti ti sf o u n dt h a tc a sc a na n a l y z et h ec a p a c i t yo fe v e r ys e r v i c ea c c u r a t e l yb yt h ed i f f e r e n tk i n d so fr e s o u r c eu s a g ei n f o r m a t i o n ，a n dc a sc a l lg e tr e q u e s t sf r o mt h ed i s p a t c h e rt om a k ee x e c u t i v es e r v e r sr e s o u r c e sa tah i g hu s a g eb u ti sn o ts c a r c e t h e r e b ya s a sc a ns e r v eb e t t e ra n di m p l e m e n tq o se a s i l y k e y w o r d s ：c l u s t e r ss e r v e r ，d i s p a t c h e rs e r v e r , e x e c u t i v es e r v e r , c a p a c i t yp l a na n da n a l y s i s ，d m c1 i iw r i t t e nb yj i a n gh a os u p e r v i s e db yq i a np e i d ey9 5 7 1 7 6苏州大学学位论文独创性声明及使用授权声明学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。、一研究生签名：坦毖日期：塑：塾学位论文使用授权声明苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。研究生签名：导师签名：期：坦! ：期：型堕：! 汐主动式集群中执行服务器控制机制的研究与实现第1 章绪论1 1 研究背景第1 章绪论随着计算机技术的迅速发展、互联网的日益普遍，计算机技术研究和应用的趋势也转向了以网络为中心的研究。以国际互联网为媒介，集成了全球近乎海量的信息与计算资源。c l i e n t s e r v e r 模式作为当今网络信息交流最为流行的一种样式，具有简单、易管理、易维护的特性，并且符合人们的日常交流方式。用户在网络上定位并获取想要的资源，企业、政府等机构通过相对固定的网络接入点网络服务器提供丰富多样的服务。w w w 服务作为c l i e n t s e r v e r 模式的典型应用，成为用户与服务提供者之间的首选交互平台。随着表现形式的不断丰富以及交互作用的不断增强，w w w 不仅仅是一种内容发布平台，而且是一种服务平台。随着技术和应用环境的不断发展，已有的服务和应用正逐步延伸到因特网上，以w w w 的方式提供。电子商务、电子政务已从以前的梦想成为了事实，并以雨后春笋般的速度发展着。据2 0 0 5 年7 月中国互联网络信息中- t j , ( c n n i c ) 公布的第十六次中国互联网络发展状况统计报告 1 数据显示，截止至u 2 0 0 5 年6 月3 0 日，我国的上网计算机总数已达4 5 6 0 万台，和上年同期相比增长2 5 6 ；我国上网用户总数突破1 亿，为1 0 3 亿人，和上年同期相比增长1 8 4 ，宽带用户首次超过了拨号上网用户人数。我国网民数和宽带上网人数均仅次于美国，位居世界第二。我国网站总数已达6 7 7 5 0 0 个，其中约6 6 3 注册为商业类型网站( c o m c o m c n ) ，发展趋势如图1 1 、图1 - 2 和图1 3 所示。广阔的应用领域及日益增长的需求对因特网的基石网络服务器提出了更加严峻的挑战。在因特网的发展中，网络带宽增长的速度远高于网络服务器处理性能的增长，百兆以太网、a t m 、千兆以太网万兆以太网已相继投入使用，容量达数百个g i g ab i t 的宽带主干网已在我国不少地区建成，随之而来的是宽带用户的不断增加，使得今后网络应用的性能瓶颈越来越多的出现在服务器端。新的应用需求不断出现，也对服务器的处理性能提出了更高的要求。特别是电子商务、电子政务类等比较特殊的应用，对服务器的可靠性、可用性、可伸缩性、响应时间等性能指标提出了很高的要求，这类应用有时还需要网络服务器的某些特殊支持，如区分服务、资源预留以保证服务质量等。因此，研究满足上述应用需求的网络服务器系统已经成为一项急迫的任务。第1 章绪论主动式集群中执行服务器控制机制的研究与实现，a、1 5 0 0 0 0 05 5 0 0 0 05 0 o o4 5 0 0 0 04 c 0 0 0 03 如o 3 蝴o2 5 0 0 0 02 o1 5 n日i i_ 日日目l舡：l o o o5 0 0 0 0褂。ik恺刳靛l 一_ 一_ or mt 训珈0 n 1 22 1 0 6瑚1 止3 啦0 62 魁1 2抛2 0 q 3 1 22 0 积蹦2嬲饼口a c c n鼬6 6 7m6 铊1 7 篮7 0 2粥6 7 9啦哪日m 斟9 6 丑l鲐嫩跏2 3端8 筘1 3 3 7 9 61 2 0 9 钉1 4 0 7 7 9l 蠲2 粥1 7 3 鲫粼9 5口) u 嚣1 1 2 71 2 3 91 3 馨1 4 鸵1 6 2 91 7 8 71 9 1 52 0 7 ；拙2 3 5 8口o o v 4 6 1 55 1 8 1船6 鳓俐9 3 姐“碗1 3 9 岛1 6 3 2 61 9 口曩n e r 麟1 3 2 9 1i 嬲1 4 0 4 5l 硝2 0 当1 3 蝴1 6 1 静l s 3 7 42 0 l 盯驾3 西口o r g 笛粥2 8 6 嬲3 0 3 lp 5 5 7戳27 3 傍8 强l9 4 1 51 2 1 撕口盯政区域c n3 5 订3 4 3 43 3 1 73 l 恐4 7 7 43 l 3 3 赫3 ，d 2l s 7 6 5鸫s 5 9a 脒9 j 4 国1 5 了2l 两7 8 31 9 3 8 毋期5 蛇台汁1 翌0 9 91 2 宕3 晓1 2 7 3 1 9i m l 4 61 7 9 5 “翌叼甾l3 | 蝴3 8 2 2 1 64 3 2 0 7 7融5 3 4l数据来源- 中国王联网络信息中心( c ：l 旺f f c ) 。图1 3 历次调查c n 下注册域名数2主动式集群中执行服务器控制机制的研究与实现第1 章绪论当今集群服务器方案大都采用专用负载均衡器( 基于硬件或者软件饷实现) 来接受用户请求，负载均衡器根据所有服务节点的处理能力和现状来决定将这个请求分发给某个服务节点，以n a t 、i p 隧道、直接路由等方式将请求分发到后端各执行服务器。国防科大研究的a s a s 集群系统是目前市场上唯一采用分布式负载均衡技术的产品，通过将以往专用负载均衡器的负载均衡工作分解、融入到后端各个执行服务器，减轻了前端节点的工作负载，提高了负载均衡的工作效率；分布式的调度机制很好的解决了集群系统负载均衡的问题，同时又不局限于负载均衡的工作，而是以保证各个执行节点服务质量( 响应时间、吞吐率) 为首要目标，解决了已有产品不同程度存在的两大阿题：一是活锁问题，确保执行节点不会出现超载甚至死机的现象；二是异构集群的调度问题，对于系统中存在的不同类型、不同处理能力的机器，确保其处理能力的充分发挥，有效保护用户投资。负载调度策略和算法是集群技术的关键技术之一，在a s a s 体系架构下显的更为重要，调度算法的好坏将直接影响到集群的性能指标。调度策略的不同正是a s a s 集群的优势所在。从本质上说，对于集群负载，以前的思想都是停留在负载平衡这一观念上，而a s a s 集群打破常规的思维，不仅考虑到负载平衡，更注重到后端执行服务器的负载容量。1 2 集群服务器调度算法研究现状负载平衡的目的是通过了解系统中各个结点的负载状况、计算能力、内存状况等，合理地分配任务到执行结点，必要时迁移现有的任务到其他结点，从而达到提高系统吞吐量的作用。在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：1 ) 解决网络拥塞问题，服务就近提供，实现地理位置无关性。2 ) 为用户提供更好的访问质量。3 ) 提高服务器响应速度。4 ) 提高服务器及其他资源的利用效率。5 ) 避免网络关键部位出现单点失效。负载均衡是一种策略，它能让多台服务器或多条链路共同承担一些繁重的计算或i o 任务，从而以较低成本消除网络瓶颈，提高网络的灵活性和可靠性负载平衡技术根据调度过程中是否考虑到后端服务器运行时的负载动态变化可以简单的分为两种：静态负载平衡调度算法和动态负载平衡调度算法。静态调度主要是通过预先划分任务，减小节点间的通信开销，第1 章绪论主动式集群中执行服务器控制机制的研究与实现以达到提升系统性能的作用；而动态的负载平衡则是充分利用运行时节点与节点的通信，交互必要的系统信息，以提高整个系统的吞吐量。对于静态调度，通常在程序编译阶段预测程序的执行时间与通信延时，并将小的任务汇集为较粗粒度( c o a r s e r - g r a i n ) 的任务。这种调度主要分为完全优化( o p t i m a l ) 和部分优化( s u b o p t i m a l ) 两大类。其中完全优化方案一般属于n p 问题，只有当给定某些限制时才能进行完全优化的求解。由于完全优化方案的复杂性问题，大部分研究工作都是集中在部分优化方案上，即求得一个“较优”解( 或可以接受的解) 。部分优化方案的求解主要由近似式( a p p r o x i m a t e ) 和启发式( h e u r i s t i c ) 两种方法构成，其中包括模拟退火、线性或非线性规划、状态空间搜索等技术。不过它也存在很多缺点，如缺乏对任务执行和通信延时的有效预测，忽略对异地数据存取时带来的通信延时。动态负载平衡技术在编译阶段不需要知道程序在运行时的任何信息，相反，它主要依靠系统运行时各处理节点的信息做出相应的决策。负载平衡将任务以动态启发式的方式在处理节点问分布，以达到减小总的执行时间、最大化系统吞吐量或最大化系统利用率等为目标。负载平衡强调适量的信息在节点间的有效通信，主要分为静态( s t a t i c ) 和自适应( a d a p t i v e ) 两大类。通常认为随机放置( - r a n d o m ) 和节点轮询( r o u n dr o b i n ) 策略属于典型的静态负载平衡。而自适应性负载平衡通过集中的或分布式的通信，使用一个或多个阈值( t h r e s h o l d ) ，即在系统参数到达阈值前后使用不同的策略。下面是当前常用的一些负载平衡调度算法【2 】：常用静态调度算法：轮转调度：不考虑任务的差异，不考虑服务器的差异，以轮叫的方式依次将任务调度到不同的服务器。加权轮转调度：考虑服务器性能差异，给每个服务器分配一个权值，按照权值进行轮转调度。比如两台服务器a ，b ，服务器a 的权值为1 ，b 的权值为2 ，那么每分配1 个任务到a 上，就分配2 个任务到b 上。目标地址散列调度【3 】：该算法是针对目标i p 地址的负载均衡，但它是一种静态映射算法，通过一个散列函数将一个目标i p 地址映射到一台服务器。其的主要目的是为了解决动态应用( 如会话状态) 问题。源地址散列调度【3 ：算法正好与目标地址散列调度算法相反，它根据请求的源i p 地址，作为散列键，从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。其算法同目标地址散列调度相似，目的相同。常用动态调度算法：最少等待队列调度：比较服务器资源等待队列的大小，把任务分配到等待队列最少的服务器上。其中主要有最少c p u 等待队列调度、最主动式集群中执行服务器控制机制的研究与实现第l 章绪论少i o 请求等待队列调度、最少连接等待队列调度、最少连接队列等待时间调度等等。最少利用率调度：比较服务器各资源利用率的大小，把任务分配到资源利用率最少的服务器上。其中主要有最少c p u 利用率调度、最少内存利用率调度等。当今研究更多的是结合基于内容的调度，此时不能简单的对所有节点进行统一调度来进行负载平衡，而是需要结合各节点提供的服务类型、负载信息、各节点各服务类型的负载信息等等进行基于内容的调度【4 】【5 】【6 1 ，这使得调度方法更为复杂、重要。1 3 本文的主要工作及其意义a s a s 集群系统将以往专用负载均衡器的负载均衡工作分解、融入到后端各个执行服务器，集中器对服务器的调度使用的唯一指标是执行服务器发送的容量信息，服务器调度的主要工作在事实上已转移到各执行服务器，这种分布式的调度机制不仅大大减轻了前端节点的工作负载，提高了负载均衡的工作效率，而且很好的解决了集群系统负载均衡的问题，同时又不局限于负载均衡的工作，而是以保证各个执行节点服务质量( 响应时间、吞吐率) 为首要目标，且可以非常自然的为集中器端的q o s 控制提供支持m 。本文通过对本地执行服务器资源的搜集 8 】，通过d m c 自控算法对波动很大的资源( c p u 、服务流量) 进行平滑跟踪，使得处理后的资源值即能够及时反映实测值，又使得资源值的变化幅度尽量的小，然后用模糊算法来得出各资源利用的高低程度，然后通过容量规划与控制算法，实现了对不同服务的容量规划和控制的目标，很好保证了服务质量( 响应时间、吞吐率) 。1 4 本文组织结构本文首先对a s a s 系统框架和基于执行服务器的分布式调度机制作了概要的介绍，并和传统集群的体系结构做了初步的比较。接着给出了在a s a s 体系结构下执行服务器的控制机制，并对控制机制中使用到的d m c 算法、模糊算法和容量分析算法做了详细说明，为第4 章算法在程序中的使用作好了理论上的铺垫。接着给出了基于a s a s 系统的执行服务器控制软件c a s 软件框架、多平台下本地资源信息获取方法、d m c 算法的具体应用、模糊算法的具体应用，并对c a s 软件做了理论分析和执行效率的测试。第1 章绪论主动式集群中执行服务器控制机制的研究与实现最后，将c a s 安装到实际的测试环境中，使用专业测试软件l o a d r u n n e r 进行了压力测试，给出了测试结果和分析。主动式集群中执行服务器控制机制的研究与实现第2 章主动式自调度集群服务器( a s a s ) 体系结构第2 章主动式自调度集群服务器( a s a s ) 体系结构2 1 系统框架主动式自调度集群服务器( a s a s ) 是由国防科技大学计算机学院并行与分布处理国家重点实验室针对现有网络服务结构存在的不足推出的一种w e b 服务器体系结构，在该体系结构中，取消了传统的负载均衡机制和心跳机制，系统基本部分曲前端的集中器和后端的执行服务器( s e r v e r )及相应的数据存储设备组成，集群控制平台、内容发布平台作为集群的配套支持系统提供。系统的基本框架如图2 1 所示。从集中器主集中器、叫节点图2 1 a s a s 体系结构本文仍采用了单一入口点的结构，使用统一的d 地址，保证集群系统对用户在口地址一级的透明。集群系统前端的主集中器配置了集群唯一对外公布的p 地址及相应的域名，用户向集中器发出请求获取服务。与现有的体系结构不同，前端节点不再担负集群负载均衡的工作，而只负责接收并分发用户连接请求，同时维护用户与执行服务器之间已经建立的连接信息并直接转发已建立连接上的报文( 图中的1 和3 号线) 。集中器对用户连接请求的分发直接受后端执行服务器控制。执行服务器运行各种网络服务应用。在服务容量规划、控制机制的作用下，执行服务器从集中器获取用户的连接请求( 图中的2 号线) 进行处理，并将结果直接返回给用户( 图中的4 号线) ，从而实现了由执行服务器驱动的分布式调度机篓! 兰圭垫苎皂塑堕叁登里墨型! ! ! 翌竺墨苎塑圭垫塞叁登垫堡堡墨堡塑型! ! 型塑翌窒兰壅里制。单个的集中器是集群系统的单一故障点，采用备份集中器监控并实时切换发生故障的主集中器，保证系统的高可用性。由于用户连接请求在集中器上等候分发，集中器就可以很方便的实施各种灵活的管理、控制策略，实现q o s 控制等功能。这样也充分利用了传统的负载均衡机制下前端节点富余的处理能力。由执行服务器主动向集中器索取用户连接请求，很自然地取消了传统集群体系结构中负载均衡器对执行服务器的心跳监测机制，使执行服务器失效时的自动屏蔽、恢复后的自动加入以及集群扩展变得更加方便自然。执行服务器端的容量规划、控制机制保证了可定制的服务质量( 如平均响应时间) ，同时保证本服务器资源的有效利用。在系统基本框架的基础上，可以实现多种变化，如为了增大系统入口的容量或进一步提高系统可用性，可以配置多个集中器，成为多入口的主动式集群网络服务器：与r r - d n s ( r o u n d r o b i n d o m a i n n a m es y s t e m ) 等机制结合，可以实现地理分布的主动式集群网络服务器。2 2 基于执行服务器的分布式调度机制新的网络集群服务器体系结构的核心在于其分布式调度机制。在传统的体系结构中，围绕负载均衡的目标，集群前端节点负载均衡器集成了负载均衡与报文分发的双重功能，完全控制着报文分发的时机与执行服务器的选择。执行服务器以竭尽全力的方式工作，即使当前的响应时间已经长得不能满足用户与服务提供者的需要，还要分出系统资源来处理不断到来的请求，导致本来可以避免的性能损失和资源浪费。前后端节点之间功能的划分方法是导致这种情况的根本原因。通过重新分配网络集群服务器系统当中前后端节点的功能，改变前端节点在调度中的主导地位，通过容量规划和控制机制，使后端节点执行服务器在分发什么类型的用户连接请求报文以及用户连接请求报文的分发时机、分发数量方面拥有决定权，可以有效地解决上述的问题，本文称之为基于执行服务器的分布式调度机制。图2 2 为调度框架的示意图。主动式集群中执行服务器控制机制的研究与实现第2 章主动式自调度集群服务( a s a s ) 体系结构图2 2 调度框架s e r v e r 上实施服务容量控制，向集中器发出承担任务请求的实体称为s c h e d u l e r ，s e r v e r 上的服务进程为用户在一次连接里提供的服务称为任务。调度过程( 标号见上图) ：用户发出的连接请求由集中器接收并放入任务等待池( i ) ；s c h e d u l e r 向集中器请求任务( 2 ) ，请求信息中包含任务类型、任务数量；集中器接收s c h e d u l e r 的请求，将任务分发到相应的s e r v e r ，并在任务连接池中建立对应的状态记录项( 3 ) ；新的任务到达服务器，交由服务进程进行处理( 4 ) 之前可能需要先经过s c h e d u l e r 的预处理；s e r v e r 的处理结果直接返回给用户( 5 ) ；同一连接的用户的后继请求报文通过查询任务连接池相应的记录项转发到相应的s e r v e r ( 6 、7 ) 。集中器上的任务等待池用于对尚未分发用户连接请求进行组织与管理，它是实现集群q o s 控制的基础。任务连接池用于维护已经建立起连接的用户与执行服务器之间的对应关系，在用户通过同一连接发来的后继请求报文到来时，直接转发到同一执行服务器。特点：消除了“活锁”现象，s e r v e r 在服务容量规划下工作，既保证了s e r v e r 资源的充分利用又考虑了用户对服务质量的需求；简化了集中器的任务，提高了工作效率。对s e r v e r 的心跳检测和负载评估、连接请求的分发决策等传统的负载均衡工作不再需要；通过对任务等待池的管理，可以按照服务提供者定制的策略进行第2 章主动式自调度集群服务器( a s a s ) 体系结构主动式集群中执行服务器控制机制的研究与实现q o s 控制，为服务者实现灵活的服务策略提供了基础；不需要监测s e r v e r 存活情况的心跳机制，失效的s e r v e r 自动被屏蔽，消除了传统体系结构下平衡器( b a l a n c e r ) 对s e r v e r 心跳监测间隔内某一s e e r 发生故障时的不可用状态，提高了系统可用性js e r v e r 的动态加入与退出得到了自然的实现，不会干扰集中器的工作。2 3 与传统集群体系结构的比较从排队论的观点来看，基于分布式调度机制的集群网络服务器体系结构与传统的基于负载均衡器的体系结构体现了不同的排队论模型。通过排队论模型的比较，可以对两种体系结构的性能做一个大致的分析，说明新体系结构具有什么样的性能潜力。在新体系结构中，用户请求都在分发器处等候分发，执行服务器根据实际的处理能力从分发器获取请求，实际上是单队列( 分发器处) ，多服务台( 各执行服务器) 的排队系统。在传统体系结构中，用户请求在负载均衡器处直接转发，在执行服务器处形成等待队列，实际上是由多个单队列、单服务台的简单排队系统组合而成的复合排队系统。假设用户请求到达速率服从泊松分布，服务器处理单个请求时间服从指数分布，采用分布式调度机制的集群系统可用多服务台m 心d c 的排队系统近似表示，采用传统调度机制的集群系统可用多个单服务台m b v l 1 的排队系统近似表示，如图2 3 和图2 4 所示( 三台服务器的例子) 。1图2 3 传统调度模型( 3 个m m 1 )图2 4 分布式调度模型( m m 3 )其中，3 入表示用户请求平均到达速率，u 表示服务器平均处理速率。假设每台服务器处理能力相同，并且在两种不同的调度机制下，用户请求都能均匀地分发到各个服务器。从排队论的理论分析可知，在上两图所示的条件下，单队比多队有显著的优越性 9 | 。2 4 本章小结本章给出了基于执行服务器主动调度行为的主动式集群网络服务器圭垫苎叁壁! 垫堑堡箜矍叁型垫型堕里塞兰壅翌苎! 里圭垫塞皇塑堕堡登墨墨墨! ! 坠望苎至苎塑体系结构的总体框架和调度机制，进行了详细地描述，并从排队论模型的角度对新体系结构和传统体系结构进行了比较，指出，在主动式集群体系结构下，取消了传统的负载均衡机制，通过集群中执行服务器端的容量规划与控制机制，可以减少集中器对执行服务器不必要的干扰，提高执行服务器资源的有效利用率，从而保证执行服务器端在高负载下仍能为用户提供可以接受的响应时间，维持整个集群系统的高吞吐率。在这种体系结构下，传统的保证系统高可用性的心跳方案也变得没有必要，执行服务器中故障节点的屏蔽透明化，进一步提高了集群系统的可用性，系统开销也随之减小。通过结合基于内容的调度技术，主动式集群体系结构为区分服务等q o s 控制功能提供了自然的支持。第3 章执行服务器的控制机制主动式集群中执行服务器控制机制的研究与实现第3 章执行服务器的控制机制3 1 基于本地资源的容量分析通过分析网络服务对资源的消耗，本文利用本地c p u ，物理内存消耗量，网络流量三类资源来对服务器容量进行分析，以连接数量为粒度，容量分析的结果为服务器可以接受的连接数。由于c p u ，网络流量的突变性非常强，无法直接将采集到的状态用于容量分析，所以必须得寻找一种方法能够使处理后的状态值变化平缓且能非常好的跟踪状态值的变化趋势，通过翻阅各方面资料，本文决定采用d m c 算法。又由于网络的复杂性，服务连接的复杂性，像一c p u 利用率、网络流量或高或低，本身是一个模糊的概念，因此在考虑负载高低这一模糊概念时，考虑到模糊数学在描述不确定性问题上的优势，本文采用模糊数学的知识来解决此问题。下面首先介绍d m c 算法和模糊算法，然后给出容量分析算法。3 1 1 d m c 算法控制论是研究各类系统的调节和控制规律的科学。它是自动控制、通讯技术、计算机科学、数理逻辑、神经生理学、统计力学、行为科学等多种科学技术相互渗透形成的一门综合性学科。它研究生物体和机器以及各种不同基质系统的通讯和控制的过程，探讨它们共同具有的信息交换、反馈调节、自组织、自适应的原理和改善系统行为、使系统稳定运行的机制，从而形成了一大套适用于各门科学的概念、模型、原理和方法r l o 1 1 12 | 。动态矩阵控制( d m c ) 是近年来自动控制领域发展起来的一种新型预测控制算法，是基于非参数模型，滚动优化实施并结合反馈校正的优化控制算法。它具有对模型要求低，在线计算方便，控制综合质量好等优点，因而得到了广泛应用 1 3 1 4 1 5 1 6 1 7 1 8 。d m c 算法是基于过程单位阶跃响应的多步预测控制算法，在本系统中经过合适的输入输出变量的定义( 在4 2 2 中给出) ，可以用来对c p u 网络流量等变化波动大的资源值做预测跟踪处理，以起到使资源占用曲线即能够真实反映资源实际占用情况又能够尽量平滑的作用。以下是对d m c算法的推导过程，以详细的说明其原理：假设k 时刻输入为u ( k ) ，输出为y ( k ) ，根据线性系统离散卷积定理：y ( k + 1 ) = h i “( 七) + h 2 u ( k 1 ) + + 而u ( k - 4 - 1 一) - ( 3 1 )主动式集群中执行服务器控制机制的研究与实现第3 章执行服务嚣的控制机制y ( k + 1 ) 为( k + 1 ) 时刻预测输出；u ( k ) 为k 时刻系统的输入；h 1 ，h 2 ，h n 一被控系统的脉冲响应序列值；n 为建模时域，脉冲响应序列长度，即可认为u ( k n ) 不会对歹( 尼+ 1 ) 产生影响；对( 3 1 ) 进行差分运算即得增量模型：y ( k + 1 ) 一歹( 七) = | i 2 l ( 甜( 尼) 一u ( k 1 ) ) + + r ( “( 七+ 1 一 r ) 一材( 七一) ) ( 3 - 2 )歹( 七+ 1 ) = 歹( 七) + h l “( 七) + + h x “( 七+ 1 一) ( 3 3 )y ( k + i ) = y - ( k + i 一1 ) + h ，a ”( | i + i 一_ ，) ( 3 4 )= l式中u ( k + l i ) = u ( k + l i ) 一u ( k - i )设p 为预测时域( 即对未来p 个输出进行预测) ，y o ( 七+ f ) 表示k 时刻a u ( k + f ) = 0 情况下的预测值。设y o ( 七+ 1 ) = ( y o ( k + 1 ) ，y o ( 七+ 2 ) ，死( k + p ) ) 7u ( 女一1 ) = ( u ( k 一1 ) ，u ( k 一2 ) ，x u ( k + 1 一) ) 2i = ( 1 ，1 ，1 ) 7k ( 七+ 1 ) = a o u ( k 1 ) + y ( k ) i ( 3 5 )4 =忽鬼蚰i吃+ 忽忍+ 喙l 2 + 荪hli4 3 一回plkl设：g ( k + 1 ) = ( 歹( 尼+ 1 ) ，y ( k + 2 ) ，y ( k + p ) ) 7u ( k ) = ( x u ( k ) ，x u ( k + 1 ) ，a u ( k + m 1 ) ) 7y ( k + 1 ) = a ku ( k ) + y o ( 后+ 1 ) ( 3 7 )其中a _a l000a 2a l00乏乏：二，j ，。a i = 嘭；j = lm 表示控制域。所谓控制时域m 是指：在m 个连续的控制增量第3 章执行服务器的控制机制主动式集群中执行服务器控制机制的研究与实现u 0 0 ，u 儆 m 1 ) 的作用下，得到未来p 个时刻的输出预测值。设w ( 后) = ( w ( 后+ 1 ) ，w ( k + 2 ) ，w ( k + p ) ) 7 ，w ( 1 ( + i ) 表示l 【+ i 时刻的期望值霉 + 1 ) = y 0 + 1 ) + 灭一歹，y ( k ) 是当前实际测得的输出。给出二次型性台时旨标j = ( w ( k + 1 ) 喝( k + 1 ) ) 1 q ( w ( k + 1 ) 喝( k + 1 ) ) + 扩( 幼兄矾p ，从性能指标可以看出，此算法的目的是使得在实施值u 变化尽量小的情况下预测输出能快速跟踪期望值。其中扩( k ) r a u ( k ) 是使得实施值u 变化尽量小，而( w ( k + 1 ) 一y p ( k + 1 ) ) 1 q ( w ( k + 1 ) - y , ( k + 1 ) ) 是保证预测输出值能尽量接近期望值。从本文的目的来看，这样不仅可以保证算得的值能够比较真实的反映系统，又能够避免值的过度波动对分析造成不利影响。由性能指标可