（计算机科学与技术专业论文）基于性能分析模型的apache自主管理系统研究与设计.pdf

国防科学技术大学研究生院1 ：学硕十学t 寺论文 摘要 目| j 通用的w e b 服务器尚未支持w e bq o s 机制，无法为w e b 应用提供服务 区分和性能保证。为满足不断增长的w e b 性能需求，本文提出将自主管理技术应 用到w e b 服务器中，实现了q o s 的控制机制与策略。并对以往w e b 服务器自主 管理模型进行扩充和改进，设计和实现了a p a c h e 自主管理系统( a p a c h e s e l f - m a n a g i n gs y s t e m ) ，简称a s m s 。该系统通过在线监控方式，分析服务器工作 状态，依照性能分析模型为a p a c h e 服务器提供q o s 控制策略，根据策略实时的调 整服务器的资源配置，使a p a c h e 服务器的q o s 一直保持较佳水平。 a s m s 系统同时实现了请求接纳控制以及服务状态监控等机制，使a p a c h e 服 务器初步实现自我配置，自我修复，自我优化及自我保护等自主管理功能。 本文在深入研究了a s m s 系统的性能分析模型以及相关算法的基础上。针对 以往控制间隔定长无法满足负载变化特性的问题，设计了基于等比数列的控制间 隔自适应算法，采用该算法的a s m s 系统能够更好的适应负载变化特性。 论文最后还对a s m s 系统进行了实验测试，测试结果表明：a s m s 系统能够 有效的控制a p a c h e 服务器的服务质量，使其一直保持较佳水平，控制间隔自适应 算法能使a s m s 系统实现更加平滑的q o s 控制。 关键词：w e b o o s 机制，a p a c h e 服务器。自主管理，性能分析模型，服务质量， s m s 系统 第i 页 国防科学技术人学研究生院l 学硕十学伊论文 a b s t r a c t d u et oc u r r e n tw e bs e r v e r sw h i c ha r el a c ki nw c bq o sm e c h a n i s mc a n ts u p p o r t w e ba p p l i c a t i o n sw i t hs e r v i c ed i f f e r e n t i a t i o no rq o sg u a r a n t e e s t om e e tt h eg r o w i n g d e m a n df o rp e r f o r m a n c er e q u i r e m e n to fw e bs e v i c e s 。t h i sp a p e ri l s e ss e l f - m a n a g i n g t e c h n o l o g y t o p r o v i d eq o sg u a r a n t e e so fw e bs e r v i c e s s o m ee x p a n s i o na n d i m p r o v e m e n ta r em a d ei n t ot h ep r e v i o u ss e l f - m a n a g i n gm o d e lo fw e bs e r v e r ，d e s i g na n d i m p l e m e n tan e wa p a c h es e l f - m a n a g i n gs y s t e m c a l l e da s m s t l l i ss y s t e ma n a l y z e s a p a c h ew e b $ c r v e rs t a t u st h r o u g ho n l i n em o n i t o r i n g ，a n da d j u s t st h ea l l o c a t i o no fs e r v e r r e s o u r c ea c c o r d i n gt ot h es t r a t e g yw h i c hi sp r o v i d e db yp e r f o r m a n c ea n a l y t i cm o d e l s w h e ni sn e e d e d s ot h a tt h eq o sr e q u i r e m e n t so fa p a c h es e r v e ra r ec o n s t a n t l ym e t a s m sa l s oc o n t a i n sa d m i s s i o nc o n t r o la n ds e r v i c es t a t u sm o n i t o rm e c h a n i s m s i t c a nm a k et h ea p a c h es e r v e rt ob es e l f - c o n f i g u r a t i o n ，s e l f - h e a l i n g , s e l f - o p t i m i z a t i o na n d s e l f - p r o t e c t i o nw h i c ha r ef u n c t i o n sb e l o n g st os e l f - m a n a g i n gs y s t e m w es t u d i e dt h ep e r f o r m a n c ea n a l y t i cm o d e l sa n da r i t h m e t i c si nt h ea s m s a c o n t r o li m e r v a ls e l f - a d a p t e da r t t h m e t i cb a s e do ng e o m e t r i cp r o p o r t i o nw h i c hi su s e dt o d y n a m i c a l l yv a r yt h el e n g t ho ft h ec o n t r o li n t e r v a li si n v e n t e dt oo v e l c o m et h e s h o r t c o m i n go ff i xc o n t r o li n t e r v a l i tc a nm a k ea s m sm e e tt h ed e m a n do ft h e v a r i a b i l i t yo f t h ew o r k l o a d f i n a l l y e x p e r i m e n t sa r ec o n d u c t e df o re v a l u a t i n gt h ee 衔c i e n c yo ft h ea s m s t h e r e s u l t ss h o w e dt h a tt h ea s m sc a ni m p r o v et h ep e r f o r m a n c ea n dt h eq o so fa p a c h e s e r v e rc o n s t a n t l y t h ec o n t r o li n t e r v a ls e l f - a d a p t e da r i t h m e t i cc a nh e l pt h ea s m st o c o n t r o lq o so f 印a c h em o r es m o o t h l y k e yw o r d s ：w e bo o s ，a p a c h es l l v e r ，s e l f - m a n a g i n g ，a n a l y t i cp e r f o r m a n c e m o d e l s ，q u a i l t yo fs e r v i c e ，a s m s 第i i 页 国防科学技术大学研究生院f ：学硕十学位论文 表目录 表2 1 当自口计算模式现状及与自主管理的关联l o 表5 1 p r o c 文件系统输出信息4 6 表5 , 2a p a c h e 日志记录格式符字符串4 7 表6 1 服务器硬件信息5 8 表6 2 客户端硬件信息5 8 第l v 页 国防科学技术人学研究生院i 学硕十学位论文 图目录 图1 1h pw e bq o s 服务器工作原理5 图2 1 自主管理四个核心功能一9 图2 2 自主管理组件体系结构1 5 图2 3q o s 控制系统结构图。1 8 图3 1f l t t p 服务器系统结构及其工作环境1 9 图3 2h t t p 服务器请求应答循环2 0 图3 3a p a c h e 运行时系统结构2 1 图3 4a p a c h e 服务器工作行为及其组件2 2 图3 5a s m s 系统逻辑框架结构图2 5 图3 6 控制i 日j 隔2 7 图3 7a s m s 系统工作流程2 7 图4 1 维爬山搜索示意图3 3 图4 2k = 2 的b e a m 搜索示意图3 3 图4 - 3 资源及其队列3 7 图4 4 服务需求3 7 图4 。5 系统部件的服务需求3 8 图4 6 系统部件的服务需求3 8 图4 7 响应时间3 8 图4 8c p u 与d i s k 构成的q n 模型3 9 图4 9l i t t l e 法则一3 9 图4 1 0l i t t l e 法则等待队列长度4 0 图4 1 1l i t t l e 法则队列长度4 0 图4 1 2 l i t t l e 法则资源剥用率4 0 图4 1 3a p a c h e 服务器队列模型一4 2 图4 1 4m a r k o v 链模型4 2 图5 1 性能模型处理模块实现4 9 图5 2 配置控制模块实现一5 0 图5 3 接收控制模块实现5 1 图5 4 服务状念监控模块的实现5 2 图5 5 本地图形化配置管理界面5 3 图5 6a s m s 主界面系统结构5 3 图5 7a s m s 主界面运行图示5 4 第v 页 国防科学技术人学研究生院t 学硕士学位论文 图5 8 配置界面5 5 图5 9 配置界面进程控制界面5 5 图5 1 0 异地管理客户端5 6 图5 1 1 远程管理服务端进程。5 7 图6 1 系统测试环境5 9 图6 2 定长控制间隔测试结果6 0 图6 3 控制日j 隔自适应算法功能测试结果6 2 图6 4 控制间隔自适应算法效果测试结果6 3 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目： 基王性丝金堑搓型鲍世也! 自圭篁堡丞统硒窥当遮j 土 学位论文作者签名：盖王 日z o v 多期：z o - o 年。月廊 学位论文作者签名：鑫 日 年7 月5 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王性能金堑搓型鳗i 鳇! 鲢自圭笪望丕统婴窒皇遮进 学位论文作者签名：基：色 日期：加年月胪日 作者指导教师签名：5 歪 日期：扩w6 年，f 月，日 国防科学技术大学研究生院 学硕+ 学伊论文 第一章绪论 1 1 研究背景与意义 1 1 1w e b 服务器q o s 控制需求 由于i n t e m e t 上w e b 应用的爆炸性增长，目前w e b 流量在i n t e m e t 总流量中 的比例已经超过了6 0 。h t t p 请求的指数性增长使得许多热门w e b 站点都经常面 临服务器超载问题，通常w e b 站点的理想响应时日j 为l s ，这与人类的响应时间相 当，研究发现一般w e b 用户不会忍受超过8 1 0 s 的等待时日j 。统计表明一个电子 商务网站必须保证用户在7 s 内得到响应，否则将损失3 0 或者更多的客户旧。 w e b 请求的响应时间由两个因素决定：网络传输质量和w e b 服务器的性能。目前 对网络传输质量控制研究已经十分活跃，包括通过i n t s e r v 来提供端到端的q o s 保 证，通过d i f f s e r v 来提供可选择的区分服务等。但是如果w e b 服务器不支持任何 q o s 控制，则仅靠网络q o s 控制是不足以为用户提供满意的服务性能。郎在w e b 服务器超载情况下，高级请求流会遭到服务拒绝，或者服务响应时闯比期望值高 出多个量级，造成事实上的“服务拒绝”。据估计，仅在美国的电子商务市场， 慢的通信速度、延迟的晌应时间、频繁的连接中断等问题已经导致了每年大约4 0 0 亿美元的销售损失i l ”。由此可见，由于服务器的超载闯题，w e b 服务器已经在某 种程度上成为实现端到端q o s 的瓶颈。 更重要的是，伴随着电子商务应用的发展，i n t e m e t 的服务模式正出传统的数 据通信与信息浏览向电子交易与服务转变，这种变化使w e b 服务器以及w e b 服务 器系统成为支持电子商务的核心设施。然而，目前通用的w e b 服务器尚未支持 w e bq o s 机制，无法为w e b 应用提供服务区分和性能保证。如何在w e b 服务器 及其系统中引入和实现q o s 控制的机制与策略，从而满足不断增长的w e b 性能需 求，为不同类型的用户或请求提供服务区分和性能保证，这是目前w e b 发展迫切 需要解决的问题，也是实现下一代网络q o s 控制技术不可或缺的关键环节。 1 1 2 自主管理技术发展 自主管理的概念由i b m 于2 0 0 1 年提出，目的在于利用计算机系统本身的运算 能力对其资源分配使用进行管理和控制，以解决目l ； 高可变的工作负载情况下， 同益复杂的计算机系统在性能管理上的需求，克服人为管理的缺陷。所谓的自主 管理，就是使计算机系统能够在人工干预最小的情况下实现资源的最优分配和使 用，使计算机系统能够实现自我配冒，自我修复，自我优化，自我保护等功能， 第1 页 国防科学：技术人学研究生院r 宁硕十学何论文 提高服务质量。 近凡年柬，自主管理技术和应用自主管理技术的计算机系统模型直在不断 发展和完善中，其中具有代表性的有m me l i z a 和a b l e 计划，s u n 自恢复方法， h p 高端u n i x 服务器等，但这些研究主要集中在计算机系统硬件和操作系统设计 层次上，缺乏对a p a c h e 等w e b 服务器应用软件自主管理技术的研究。 1 1 3a p a c h e 自主管理技术的意义 a p a c h e 自从1 9 9 6 年4 月以后就成为互联网最流行的w e b 服务器软件，根据 n e t c r a f tw e b s e r v e r 于2 0 0 0 年3 月份的调查显示，有6 0 的站点都采用了a p a c h e 服务器，目前，该比例虽有降低，但仍保持在5 0 以上。目静a p a c h e 服务器是根 据i n t e r a c t 尽力而为( b e s t - e f f o r t ) 的服务模型平等地处理所有到来的请求，采用 f i f o ( f i r s t - l n f i r s t o u t ) 豹调度策略，在超载的情况下不加区别地丢弃高优先级 的请求分组，使通过i n t s e r v 和d i f f s e l - v 等i n t e r a c tq o s 机制实现的性能改进受到 严重损害，仅靠网络q o s 机制并不能完全解决a p a c h e 服务器端到端的q o s 控制 问题，必须在a p a c h e 软件中加入支持q o s 的机制与策略。 以a p a c h e 软件为基础的w e b 服务器应用软件的q o s 支持技术和w e bq o s 控 制策略和算法的性能分折与评价技术是目前研究的热点。研究主要集中在将新式 的控制策略和算法应用于w e b 服务器应用软件的q o s 支持上，并在其上添加控制 策略和算法，实现q o s 支持及其他特性。但将自主管理技术应用于w e b 服务器应 用软件实现q o s 控制策略，缺乏完善的模型和深入的研究。 将自主管理技术应用于a p a c h e 服务器系统中，使a p a c h e 服务器系统能够在 人工干预最小的情况下实现资源的最优分配和使用，为w e b 应用提供服务区分和 性能保证，控制服务质量( q o s ) ，意义巨大。 1 2 研究现状 w e b 服务器的服务质量控制技术作为下一代网络的核心技术之一，近年来一 直是计算机网络研究与丌发的热点【1 l 【2 】。下面讨论一些典型的基于服务器应用软件 提供w e bq o s 控制的研究工作。 1 2 1 基于服务器应用软件的w e bo o s 控制研究现状 1 服务器的优先调度 w e b 服务器中的优先化调度机制是一种最基本的w e bq o s 控制方法，可以有效 地改善高优先级请求的延迟性能，同时对低优先级请求的影响相当小。a l m e i d a 等 第2 页 国防科学技术人宁研究生院i 学硕十学何论文 人实现了在用户级和内核级分别通过基于优先级的请求调度柬提供区分的w e b q o s v 。其中，用户级的方法是对a p a c h ew e b 服务器软件进行修改，增加一个调 度器进程，由它决定对请求服务的顺序，并且此调度器进程限制了每类优先级进 程的最大并发数目：内核级的方法需要对a p a c h e 服务器软件和l i n u x 内核同时进 行修改，增加了两个系统调用以实现请求优先级到进程优先级的映射机制和记录 各请求所对应的活动进程的优先级别。c r o v e l l a 等人研究了w c b 服务器的连接调 度问题，针对处理静态文件的w e b 服务器提出了一种优先处理短连接的策略 最短连接优先( s h o r t e s tc o n n e c t i o nf i r s t ) t ”。在此基础上，h a r c h 0 1 b a l t e r 等人对“最 短剩余处理时阍”( s h o r t e s tr e m a i n i n gp r o c e s s i n gt i m e ，s r p t ) i 16 】调度策略进行 了研究与实现，证明s r p t 对于最小化平均响应时间而言是最优的连接调度策略。 2 选择性的资源分配 在w e b 服务器不能为所有的请求提供满意的服务时，选择性的资源分配机制 可以为重要的请求提供q o s 保证，这是一项很有前景的技术。现代w e b 服务器 不允许对服务器资源进行选择性分配，所以当服务器繁忙时，检索普通页面的请 求通常会淹没检索重要页面的请求。为此，p e n d e y 等人提出了一个w e b 服务器的 q o s 模型1 7j ，允许一个w e b 站点对h t t p 服务器如何昀应外部请求进行定制，其 方法是为不同的( 或不同组的) 页面请求设置不同的优先级并相应地分配服务器资 源。该模型支持对服务器资源的预订，预订量可以是全部服务器系统资源的一个 固定比例，或者是一个速率带宽的保证。“和j a m i n 提出了一种为w e b 客户按 比例分配网络带宽的服务器模型捧】。该模型使用基于测量的方法为系统中不同的 服务类提供带宽估计值。当某个服务类的带宽估计值低于其目标值时，则对过度 分配带宽的服务类进行节流，适当地延迟处理这类请求，从而实现各请求服务类 之间按比例的网络带宽分配。e g g e r th e i d e m a n n 提出了三种简单的、服务器端的、 仅是应用层的机制来提供两类不同级别( 常规优先级和低优先级) 的w e b 服务 9 1 ，主 要包括限制进程池的大小、区分进程的优先级以及限制传输速率。这些机制均可 以获得明显的性能改进且易实现。 3 有效的接纳控制 在过载的情况下，有效的接纳控制机制对实现w e bq o s 控制十分关键，它能 够保证丢弃速率和任务的延迟界限。c h e r k a s o v a 和p h a a l 提出了基于用户的会话 ( s e s s i o n ) 而非每个请求的接纳控制机制【1 0 】。一个会话是指出某一用户在一预先规 定的时问段内发出的一系列请求。由于目前许多w e b 服务本质上都是事务性的， 包含许多申请w e b 服务的请求，因此基于会话的接纳控制具有重要的意义。例 如，对于一次银行的交易结算，用户需要登录银行的主页、注册、检查帐户余额、 付帐、最终退出登录。在过载的情况下，基于会话的接纳控制方案允许现有的用 第3 页 国防科学技术人学研究生院l 学颂十学何论文 户会话继续进行，而新到的会话或者被重定向给其它的w e b 站点或者被拒绝服 务。 4 w e b 内容自适应 w e b 内容自适应( a d a p t a t i o n ) 是一种比接纳控制更加灵活的机制，它可以在服 务器重载的情况下自适应地提供连续的内容降级服务而不是简单的拒绝服务，从 而更好地提供w e bq o s 支持。a b d e l z a h e r 和b h a t t i 提出了一种依靠w c b 内容自 适应机制来实现服务区分的q o s 管理体系结构【】。其策略是在每个服务器上存储 多份不同质量的w e b 内容，在服务器超载的情况下，可使服务器选择性地为客户 提供某种质量的w e b 内容，以体面的方式为低优先级客户提供平滑的服务降级， 而保证高优先级客户的性能不受影响。这种q o s 管理方法可以通过直接修改服务 器软件来实现( 也可以使用对服务器透明的中问件) ，缺点是需要同时维护多份w e b 内容，因此存储的费用较大。 5 基于控制理论的方法 使用控制理论的方法实现w e bq o s 控制是一个比较新颖的思路。美国 v i r g i n i a 大学的w e bq o s 研究小组提出了基于控制理论的方法在w e b 服务器中 实现相对的延迟保证【1 2 】。他们通过离线系统辨识建立一个w e b 服务器模型( 实验 表明可以用一个二阶差分方程来对w e b 服务器进行建模) ，使用基于控制理论的 性能规范( 如稳定性、调节时l 日j 、稳态误差等) 来描述w e b 服务器的性能需求，使 用根轨迹( r o o tl o c u s ) 方法设计一个反馈控制器以满足w e b 服务器的性能要求。 他们通过修改a p a c h ew e b 服务器软件实现了这种自适应的体系结构。 实验显示 即使在工作负载剧烈变化的情况下，该自适应w e b 服务器仍然可以实现鲁棒的相 对延迟保证。但是由于该方法采用离线系统辨识建模，因此模型的准确性不高， 影响了q o s 控制的效果；而且，该方法仅适用于单一的w e b 服务器，未扩展到 服务器集群。进一步的工作可以考虑采用在线系统辨识束调节控制器的参数，实 现w e bq o s 的自适应控制，并且可以研究将这种控制方法从单一的w e b 服务器 扩展到集群系统。总之，这种控制方法的有效性、复杂性、可扩展性仍有待进一 步的研究。 6 典型软件产品实现 应该指出的是，目前已经出现了一些利用上述某些w e bq o s 机制与策略的商 用w e b 服务器产品，比较典型的有h p 的w e bq o s 服务器软件和i b m 的 w e b s p h e r e 软件平台等。h p 实验室的研究人员提出了一种支持w e bq o s 控制的服 务器软件体系结构，并对a p a c h ew e b 服务器应用软件进行了修改，实现了支持 w e bq o s 控制的服务器原型系统，其工作原理如图1 1 所示。 第4 页 国防科学技术犬学研究生院l 学硕+ 学付论文 请求队列 h t t p 响应 幽1 1h p w e b q o s 服务器i ：作原理 具体而言，该服务器软件包含以下5 种重要的w e bq o s 控制组件： ( 1 ) 连接管理器 连接管理器负责截取所有到来的h t t p 请求，并将其分为不同的q o s 类。然 后将分类后的请求放入相应的q o s 分级队列中等待服务。a p a c h e 工作进程是从这 些多级队列中接收请求，而不是矗接从h r r p 套接口接收。工作进程基于请求调 度策略选择下一个进行服务的请求。工作进程使用u n i x 系统中的共享存储器设 施共享这些请求队列。 ( 2 ) 请求分类 请求分类采用基于客户或基于目标的请求分类机制。 ( 3 ) 接纳控制 接纳控制目的是保证低优先级的高速率请求不会影响高优先级请求的服务性 能，使得即使在超载的情况下，服务器仍能维持现有会话的w e bq o s 。在此系统 中，接纳控制方案根掘队列的阈值来决定是否接收新到的请求，如果排队等待的 请求达到队列的闽值，则丢弃新到的请求。 ( 4 ) 请求调度 请求经过分类和接纳控制后进入请求队列，工作进程使用请求调度策略从中 选择请求进行服务。可用的调度策略有：绝对优先级( s t r i c t p r i o r i t y ) 、加权优先级 ( w e i g h t e dp r i o r i t y ) 、共享容量( s h a r e dc a p a c i t y ) 、固定容量( f i x e dc a p a c i t y ) 、最早 截止优先( e a r l i e s td e a d l i n ef i r s t l 等。使用何种策略可以通过一个包含网络构造 a p i 的策略管理接口进行配置。 ( 5 ) 资源调度 第5 页 国防科学技术大学研究生院i 。学硕十学位论文 资源调度保证主机操作系统将高优先级的请求通过高优先级的进程来进行处 理。i i p b e 务器为工作进程设置的优先级应与其所处理的请求的优先级相匹配。 通过改进服务器软件来支持w e b q o s 是目自f 研究与开发的热点，类似的研究 和实现还有许多【l 五1 4 1 。这些研究对于w c b q o s 控制问题本身是有效的，但是目 前许多控制方法尚未完全成熟和统一。 1 2 2 目前存在的问题及改进方案 目前w e b 服务器软件的q o s 控制主要是通过接纳控制、请求调度、连接调度、 资源调度与分配、w e b 内容自适应控制和基于控制理论的延迟保证等来实现的， 是在w c b 服务器中实现服务区分和性能保证的最直接的一类方法，但是需要对 w e b 服务器应用软件进行修改，而且存在许多问题： 1 服务器的优先调度实现方法在用户级需要对a p a c h ew e b 服务器软件进行 修改，增加调度器，内核级实现则需要对操作系统内核进行修改，同时也需要修 改应用软件。这种实现方法缺乏通用性，只是实现了请求优先级到进程优先级的 映射，不能解决服务器超载，请求接纳控制等问题，而且缺乏完善的系统模型。 2 选择性的资源分配实现方法只能对重要请求提供q o s 保证且请求优先级 是根掘被请求的页面优先级设定的，不能满足基于用户优先级的q o s 保证，不能 解决服务器超载问题，同时也缺乏完善的系统模型。 3 基于接纳控制的实现方法无完善的系统模型，只能提供基于事务的请求接 纳控制，不能实现对服务器工作状态的预测和对服务器资源的优化调整。 4 w e b 内容自适应方法【7 4 】解决了服务器超载的问题，保证了优先级高的用户 性能不受影响，但是对w e b 内容却置有一定的要求，需要保存不同质量的w e b 内 容，无请求接纳控制机制。 5 基于控制理论的方法能够将控制理论的模型应用到w e bq o s 控制中去，但 是目前缺乏完善的模型，且当丽模型缺乏准确性，影响了q o s 的控制效果。 6 h p 实现的支持w e bq o s 控制的服务器原型系统虽然集成了5 种重要的w e b q o s 组件，但是系统仍然不支持自我修复等机制，而且对工作负载变化没有预测功 能，也不能避免服务器出现超载，系统模型还有待完善。 针对上述问题，可以总结出以下结论： 1 实现w e bq o s 不能单独依靠某种w e bq o s 控制机制，或将多种w e bq o s 机制简单的组合或叠加。必须将多种w e bq o s 控制机制有机的结合起来。 2 缺乏一个完善的可扩展的w e b 服务器q o s 控制的系统模型。 3 需要研究更加有效的w e b 服务器q o s 控制机制与策略。 因此，本文提出应用自主管理技术设计a p a c h e 服务器w e bq o s 控制原型系 第6 页 国防科学技术大学研究生院i + 宁硕十学忙论文 统，称作a s m s ，a s m s 有效的集成以往的w e bq o s 控制机制，同时依照自主管 理技术对q o s 控制模型进行了扩充，支持服务器资源动态调整与分配，支持服务 器的状态监控及故障恢复，在a p a c h e 服务器中实现监控一 分析一 策略一 执行 的智能控制循环能够根据工作负载变化以及系统的状态实时的制定服务器的控制 策略，并自动的完成服务器系统的资源分配，防止服务器出现超载状态，实现服 务器的自主管理，使服务器具有自我配置，自我修复，自我优化以及自我保护的 功能。 1 3 论文的主要工作 为解决目自口通用的w e b 服务器尚未支持w e bq o s 机制，无法为w e b 应用提 供服务区分和性能保证的问题。本文提出将自主管理技术应用到w e b 服务器中， 实现了q o s 的控制机制与策略。并对以往w e b 服务器自主管理模型进行扩充和改 进，设计和实现了a p a c h e 自主管理系统，简称a s m s 系统。 本文的主要工作如下： 1 分析了w e b q o s 控制的需求和自主管理技术的发展，指出7 利用自主管理 技术实现a p a c h ew e b 服务器q o s 控制的意义 2 。论述了自主管理技术的概念和自主管理系统所具有的自我配置、自我修复、 自我优化和自我保护的功能，介绍了目前自主管理技术在w e bq o s 控制中的应用。 3 对目酊a p a c h e 服务器的工作方式及存在问题进行了分析，提出了利用自主 管理技术应用到a p a c h e 服务器系统的q o s 控制的设计目标。设计了基于性能分析 模型的a p a c h e 自主管理系统( a s m s ) 的原型。论述了a s m s 系统的系统结构， 工作流程及其模块功能。对a s m s 系统的负载监控模块、性能监控模块、服务质 量监控模块、配置控制模块、接收控制模块、服务状态监控模块和图形化配罱管 理界面，共八个系统模块进行了设计。 4 对实现a s m s 系统中的相关算法和性能分析模型进行了设计和实现。包括 服务质量计算方法，配置更新搜索算法和工作负载预测算法。同时为了解决定长 控制问隔难以适应工作负载特性，造成q o s 控制出现波动的问题，设计并实现了 基于等比数列的控制间隔自适应算法，该算法可以使a s m s 系统能够适应工作负 载的特性，实现更加平滑的q o s 控制。最后论述了由m a r k o v 链和排队网络( q n ) 模型组合而成性能分卡厅模型，该模型能够根掘a p a c h e 服务器的工作负载预测值， 计算出相应的优化配置。应用该模型提供服务器优化配置策略，能够指导a p a c h e 服务器进行重新配置，实现资源的最优分配，保证q o s 一直保持较佳的水平。 5 对a s m s 系统的八个系统模块的实现进行了论述。对实现中的相关技术及 方式进行了讨论，包括通过获得a p a c h e 软件的请求到达信息，请求数据结构调整， 第7 页 国防科学技术人学研究生院1 ：学硕十宁何论文 r 志记录格式调整，操作系统硬件信息获得方法，以及系统性能数据提取技术等， 最后介绍了界面实现的技术。 6 文章最后对a s m s 系统的功能和控制间隔自适应算法的效果进行了测试， 首先进行分别采用定长控制间隔和自适应控制间隔的a s m s 系统与a p a c h e 系统进 行对比测试，验证了a s m s 系统的功能，之后进行定长控制间隔和自适应控制间 隔的a s m s 系统对比测试，验证了控制间隔自适应算法的有效性。最后对本文的 研究工作进行了总结，指出了进一步工作。 1 4 论文的组织结构 本文组织结构如下： 第一章绪论。 第二章论述自主管理技术的概念和功能，自主管理组件的结构以及自主管理 技术在w e bq o s 控制中应用，应用自主管理技术进行q o s 控制的系统模型存在的 问题分析及改进思想。 第三章a p a c h e 现有工作模式及其局限性分析，a s m s 系统的设计目标介绍， a s m s 系统构架及工作流程研究，系统中各个模块的工作方式及相互之问的关联 介绍。 第四章本章是论文的重点，研究a s m s 系统中q o s 值计算方法，配臂更新搜 索算法，工作负载预测算法，详细分析a s m s 系统中应用的性能分析模型原理。 提出采用等比数列的控制1 日j 隔自适应算法，该算法有效的解决了以往定长控制问 隔的缺陷和不足。 第五章a s m s 系统中各个模块的实现，对系统中模块实现进行了研究。 第六章对a s m s 系统进行了实验测试，对结果数据进行了分析。 最后对本文作了总结，并指出了存在的问题，提出了进一步研究方向。 第8 页 国防科学技术大学研究生院r 学硕十学付论文 第二章自主管理技术及其在w e bq o s 控制中的应用 2 1 自主管理概念 计算机系统已经被广泛应用于商业、会融、运输、控制、军事等重要领域中， 由于系统中包含大量的异构的硬件和软件组件，多层体系结构设计。及不可预测 的工作负载变化，使得系统的规模与复杂性也在逐渐的增加，人为进行性能管理 变得越来越复杂且代价高昂，因此自主管理技术被应用到计算机系统设计中。自 主管理技术为计算机系统提供一种能够自主调节系统参量来提高服务质量的机 制。所谓的自主管理，就是使计算机系统能够在人工干预最小的情况下实现资源 的最优分配和使用，提高服务质量( q o s ) 。 自主管理是自主计算的重要组成部分，自主计算的模型是人体神经系统，并 由此得名。自主计算系统可以控制计算机应用程序和系统的功能，而不需用户干 预，人体神经系统也是以同样的方式调节人体系统，而不需要人的意识参与。但 它们的重要差异在于，人体做出的很多自主决定是不自觉的，而计算机系统的自 主计算组件则遵循人所下达的命令。自主计算也不同于人工智能，虽然后者在某 些方面对其有借鉴意义。自主计算并不将模仿人类思维作为主要目标，而是具有 适应动念变化环境自我管理能力，创建自我运行的系统，具有高级功能，并使得 用户感觉不到系统的复杂性。 自主管理系统一般都具有如下四个核心功能：自我配置( s e l f - c o n f i g u r a t i o n ) 、自 我修复( s e l f - h e a l i n g ) 、自我优化( s e l f - o p t i m i z a t i o n ) 、自我保护( s e l f - p r o t e c t i o n ) 。如 图2 1 所示： 适应动态改变 的环境一 i 蝴误修复 自我配置 f ( 台畿保护一 幽2 1 白土管理四个核心功能 第9 页 国防科学技术大学研究生院r 学硕十学位论文 2 2 自主管理系统功能 上一节我们提出了具有自主管理能力的系统所应具有的四个核心功能，下面 对这四个核心功能进行进一步的讨论。 自主管理四个核心功能的当前计算模式现状及与自主管理的关联如表2 1 所 示： 表2 1 当前计算模式现状及与臼土管理的芙联 概念 当前计算模式 自主管理模式 自我配置服务器的提供商有多家，相应根据系统高级指令自动配 ( s e l f - c o n f i g u r a t i o n )具有多种平台，整个系统的安置组件和系统。系统的其 装、配置和集成是一个既耗时余部分可以自动、无缝的 又易出错的过程完成调节操作 自我优化系统有成百上千个需要手工组件和系统不断寻求机会 ( s e l f - o p t i m i z a t i o n )设詈的选项和非线性参数，而以提高其性能和效率 且随着新版本的发布，这些选 项和参数都会递增 自我修复当一个大型复杂的系统产生系统自动检测、诊断和修 ( s e l f - h e a l i n g )问题时，单单是问题的确定就复本地软件和硬件错误 需要工作组花费几个星期 自我保护检测攻击、从攻击和级联系统自动防御恶意攻击或 ( s e l f - p r o t e c t i o n )错误中恢复过来都需要人为级联错误。利用早期错误 参与( 手工进行)警告信息防止系统级错误 产生 变的环境；自我修复( s e l f - h e a l i n g ) ，发现和诊断破坏，并对其进行反应；自我优化 ( s e l f - o p t i m i z a t i o n ) ，自动地监控和调整资源；自我保护( s e l f - p r o t e c t i o n ) ，对各种发 起的攻击进行预测、检测、识别和保护。 2 2 1 自我配置 自我配置是根掘r t 专家提供的策略对i t 系统的动态改变进行自动调整。i t 系统的改变包括：新成分的采用、现有成分的删除、负载的急速增长或下降等。也 就是当i t 系统发生改变的时候，自主的系统能够自动的进行配置以达到目标，而 不需要人为的干预。动态调整有助于确保i t 基础设施的持续稳定运行，也有助于 确保商业发展和灵活性。 第1 0 页 国防科学技术人学研究生院l 学硕十学何论文 2 r 2 2 自我修复 自我修复成分能够检测到系统故障，并启动基于策略的纠正措施，而无需干 扰i t 环境。纠正措施包括产生一个对自身状态情况的警报信息，或者是对环境中 的其它成分产生影响的行动。因此系统操作的错误开渐减少，l t 系统作为一个整 体其恢复能力也越来越强。 修复的手段也是多种多样的。比如回溯测试，即利用与系统配置相关的信息， 错误诊断组件( 如基于贝叶斯网络的测试组件) 能够根据f 1 志文件和从监控器传送 过来的数据对错误进行估计和分析。然后系统会根据错误诊断寻找合适的软件补 丁( 如果没有相应的软件补丁，那么系统将向管理人员报警) ，安装相应的补丁并继 续测试。 2 ，2 ，3 自我优化 自我优化成分能够调整自身以满足终端用户或商业的需求。调整措施也就是 对资源进行重新分配，以改善整体可用性或确保特定的商业目的能够及时的完成。 这包括适应动念改变的负载等。自我优化有助于为系统终端用户和他们的客户提 供更高标准的服务。 自我优化成分将通过检测和试验，不断调节系统参数以便在功能保持和提供 服务方面做出萨确的判断。就和肌肉通过锻炼变得越来越强壮，大脑通过学习调 整思维方式一样。 2 2 4 自我保护 自我保护成分的任务是当恶意行为出现时能够对其及时检测，随后采取纠正 措施使自身更加不易受到攻击。恶意行为包括：非授权访问和使用、病毒感染和扩 散、以及拒绝服务攻击等。 自主系统的自我保护有两层意义：一是对整体进行防御，主要是防范自愈措施 没有解决的问题，包括由恶意攻击或级联错误导致的大规模关联错误问题；二是 根据早期的检