开题报告-Web应用服务器自适应集群管理系统的设计与实现.doc

软件研究所硕士研究生开题报告暨中期考核表研究生姓名章辉导师姓名黄涛学 号200728015029009学科专业计算机软件与理论所在部门软件工程技术中心拟定学位论文题目Web应用服务器自适应集群管理系统的设计与实现已完成总学分： 33 分，其中：公共学位课 7 分，专业学位课 12 分，非学位课 14 分。一、 选题的依据和意义Web应用服务器是Web计算环境下为事务性Web应用提供一系列运行时服务的中间件系统。它自产生以来就得到了工业界和学术界的普遍关注。国际上许多著名的开源组织和计算机公司都进行了大量的研发工作，推出了各自的产品和系统，如Tomcat、JBoss、Glassfish、Websphere、Weblogic等。随着计算机的普及和网络技术的发展，Internet上的Web应用和HTTP请求的爆炸性增长，使得Web应用服务器经常面临超载的问题。集群技术被认为是解决这一问题的有效手段 。集群是一种并行或分布式处理系统，由很多连接在一起的独立计算机组成，像一个单独集成的计算资源一样协同工作 。将系统组成集群，通过提供负载均衡、失效恢复等功能，能使系统具备高性能、高可用性和高可扩展性。由于集群系统的性价比较高，可扩展性较好，越来越多的集群系统取代了传统超级并行计算机来完成大规模计算任务，如分析金融模式，模拟物理过程，分析大规模数据。目前，拥有上百个节点的集群已经很常见了，不少公司还构建了超过10,000个节点的集群，如Google，Microsoft，Yahoo以及许多国防实验室 。有人预计，在不久的将来，拥有100,000甚至更多节点的集群将会出现。与单台计算机不一样，集群的配置和管理会涉及到每个节点，过程繁琐、复杂而且容易出错。因此，可伸缩管理能力和自我组织能力已成为构建大规模动态分布式应用的一个迫切需求。本论文主要研究Web应用服务器自适应集群管理系统，以简化集群系统的配置、管理和维护。二、 国内外研究状况分析 集群管理是集群技术研究的一个热点。集群管理主要涉及队列管理、主机管理、资源管理、作业管理以及策略管理1 。其中，策略又分为资源利用策略和调度策略。由于本论文主要关注Web应用服务器用于处理HTTP请求的场景，因此，我们不关注作业管理。另外，资源管理已由以系统为中心（system-centric）的管理方式逐渐向以用户为中心（user-centric）的管理方式方向发展，而基于策略的资源管理只是资源管理的一种。因此，根据被管理的对象，我们将Web应用服务器集群管理分为三类：节点管理、资源管理和调度策略管理。1. 节点管理Web应用服务器集群管理系统主要提供了两种重要的不同类型的服务：计算服务和管理服务。前一种服务主要是处理HTTP请求，后一种服务涉及集群监控、配置、调度等任务。在集群中，一个节点可能既运行计算服务，又运行管理服务。此外，节点的异构性以及计算能力的差异性也增加了集群管理的复杂度。因此，如何有效的管理集群节点是集群管理的一个重要内容。根据管理者的数目及其相互关系，集群系统节点的管理模式主要有以下三种，如所示：1)集中式模式即由一个单独的管理者节点来管理整个系统。它使系统管理方便，且易于实现，但是，可扩展性较差，不适合于大规模集群。Weblogic Application Server Cluster即采用了集中式模式进行管理。2)分散式模式即将系统分成若干个管理域，每个域有一个管理者，且各域的管理者地位等同。当需要另一个域的信息时，管理者通过与同级的系统通信来获取相应信息，可扩展性好。Cooperation-Oriented Hierarchical Autonomic Architecture（CHAA）2 使用了分布式模式进行管理。3)分层式模式即将节点组织成一个层次结构。与分布式模式的区别在于，当需要另一个域的信息时，管理者是通过与管理者的管理者通信来获取相应信息，可扩展性较好。Adaptation-Oriented Cluster Monitoring System（AOCMS）3 使用了分层式模式进行管理。2. 资源管理资源通常是指完成任务所需要的CPU、存储器、外部设备、线程池、数据库连接等。合理的利用资源是发挥集群性能的重要保证。Condor4 ，LoadLeveler5 ，Load Sharing Facility（LSF）6 ，Portable Batch System（PBS）7 以及Sun Grid Engine（SGE）8 等集群资源管理系统都是采用以系统为中心的方式来管理集群资源，其目的在于提高系统的整体性能，如提高系统吞吐率和资源利用率，降低系统响应时间。这些系统大都采用一个主控节点来协调管理所有的资源，无法避免单点失效问题。此外，这些系统基本上没有考虑用户QoS需求。随着集群计算和网格计算技术的发展，以用户为中心，满足用户QoS需求已成为资源管理的一个研究热点。9 ，10 ，11 采用基于动作策略（Action Policy）的方式来管理资源。这种方式要求系统管理员对系统底层比较熟悉，不利于管理。12 ，13 采用基于目标策略（Goal Policy）的方式来管理资源。这种方式只需要系统管理员指定目标，系统能自主的决定如何采取动作满足目标，因此，可以降低系统管理员的管理负担。但是，解决多个目标策略组合引起的冲突仍然比较困难。14 ，15 ，16 ，17 采用基于效用函数（Utility Function）的方式来管理资源。效用函数即实体（自主元素）的每个可能状态（系统性能）映射为一个实数值，用于指示与系统性能（如响应时间、吞吐量等）对应的价值。基于效用函数的管理方式，依据系统性能模型，通过效用最大化，得到期望的系统状态和相应的可调系统参数的取值情况，然后调整系统参数，是系统达到期望的状态。其难点在于系统性能模型和效用函数的建立。总之，这三种管理方法各有优缺点。基于动作策略和基于目标策略的管理依赖于知识模型，能对系统进行定性的判断与调整，可以较好的支持系统的自配置、自修复和自保护；而基于效用函数的管理依赖于数学模型，能对系统进行定量的判断和调整，能较好的满足系统的自优化要求。3. 调度策略管理负载均衡算法是调度策略的一个重要研究内容，它在很大程度上决定了集群是否能有效的利用其计算能力以及提供稳定的性能表现。下面从两个角度来介绍负载均衡算法的研究现状。3.1静态与动态调度根据负载分发所使用的信息，可以将负载均衡算法分为两类：静态负载均衡算法和动态负载均衡算法18 。常见的静态负载均衡算法有轮转法（Round-Robin）、随机选择法19 等。它们没有考虑后台服务器节点的处理能力以及负载状况，只适用于以相同软硬件配置服务器组成的集群。而动态负载均衡算法能监控、评估节点负载状态，并根据这些信息动态调整转发策略，例如Multiplicative Decrease in Critical area（MDC）20 ，Workload-Aware Load Balancing21 ，Intelligent Queue-based Request Dispatcher（IQRD）22 。与静态负载均衡算法相比，动态负载均衡算法能较好的实现负载均衡，但是，节点性能评估模型仍是一个难点。3.2Layer-4与Layer-7调度根据负载分发执行所在的网络层次，可以将负载均衡算法分为两类：Layer-4负载均衡算法和Layer-7负载均衡算法。Layer-4负载均衡算法主要根据传输层信息来转发请求，典型的代表有最少连接法23 。这类算法是在与客户端建立TCP连接、尚未发出HTTP请求时选择服务节点，通常是内容无关（content-blind）的。而Layer-7负载均衡算法主要根据应用层信息，如Session、Cookies、URL等，来转发请求，因此，这类算法通常是内容敏感的（content-aware），典型的代表有Locality-aware Request Distribution（LARD）24 ，Client-Aware Policy（CAP）25 。Layer-7负载均衡算法可以充分利用访问的局部性，提高Cache利用率，从而提高系统系能。此外，它还允许后端服务器运行不同类型的服务，如文档服务，图片服务，数据库服务等。由于涉及应用层数据的解析，这类算法的性能问题一直是研究的重点。此外，如果事先知道请求文档的分布信息，Priori，Size-Based Policy算法，如EQUILOAD26 ，ADAPTLOAD27 ， 也能有效的实现静态页面的负载均衡。对于大部分电子商务应用，这种前提条件通常是无法满足的。4. 参考文献 1.Buyya, R., 高性能集群计算：结构与系统（第一卷）. 2001, 北京: 电子工业出版社. 2.Xue, Z., X. Dong, and S. Fan, A Novel management architecture for large-scale server cluster. Computer and Information Technology, 2008. CIT 2008. 8th IEEE International Conference on, 2008. : p. 273-278. 3.Xue, Z., X. Dong, and W. Wu, AOCMS: An Adaptive and Scalable Monitoring System for Large-Scale Clusters. Services Computing, 2007. APSCC 06. IEEE Asia-Pacific Conference on, 2007. : p. 466-472.4.Condor version 6.7.1 manual. 2004, University of Wisconsin-Madison.5.Tivoli Workload Scheduler LoadLeveler V3.4 Using and Administering. 2007, IBM.6.Administering Platform LSF. 2007, Platform Computing Corporation.7.Portable Batch System Administrator Guide. 2005, Altair Grid Technologies.8.N1 Grid Engine 6 Administration Guide. 2004, Sun Microsystems, Inc.9.Lutfiyya, H., et al. Issues in Managing Soft QoS Requirements in Distributed Systems Using a Policy-Based Framework. 2001. London, UK: Springer-Verlag.10.Lymberopoulos, L., E. Lupu, and M. Sloman. An Adaptive Policy Based Management Framework for Differentiated Services Networks. 2002. Washington, DC, USA: IEEE Computer Society.11.Ponnappan, A., et al. A Policy Based QoS Management System for the IntServ/DiffServ Based Internet. 2002. Washington, DC, USA: IEEE Computer Society.12.Doyle, R.P., Model-based adaptive resource provisioning in a web service utility. 2003: Durham, NC, USA.13.Chandra, A., W. Gong, and P. Shenoy. Dynamic resource allocation for shared data centers using online measurements. 2003. New York, NY, USA: ACM.14.Cooper, B.F. and K. Schwan. Distributed Stream Management using Utility-Driven Self-Adaptive Middleware. 2005. Washington, DC, USA: IEEE Computer Society.15.Das, R., I. Whalley, and J.O. Kephart. Utility-based collaboration among autonomous agents for resource allocation in data centers. 2007. New York, NY, USA: ACM.16.Yeo, C.S. and R. Buyya, Pricing for Utility-Driven Resource Management and Allocation in Clusters. Int. J. High Perform. Comput. Appl., 2007. 21(4): p. 405-418.17.Kephart, J.O. and R. Das, Achieving Self-Management via Utility Functions. Internet Computing, IEEE, 2007. 11(1): p. 40-48.18.Casalicchio, E. and S. Tucci, Static and dynamic scheduling algorithms for scalable Web server farm. Parallel and Distributed Processing, 2001. Proceedings. Ninth Euromicro Workshop on, 2001. (): p. 369-376.19.Cardellini, V., et al. , The state of the art in locally distributed Web-server systems. ACM Comput. Surv., 2002. 34(2): p. 263-311.20.郭成城，晏蒲柳, 一种异构Web服务器集群动态负载均衡算法. 计算机学报, 2005. 28(2): p. 179-184.21.Zhang, Q. and W. Sun, Workload-Aware Load Balancing for Clustered Web Servers. IEEE Trans. Parallel Distrib. Syst., 2005. 16(3): p. 219-233.22.Sharifian, S., S.A. Motamedi, and M.K. Akbari, A content-based load balancing algorithm with admission control for cluster web servers. Future Gener. Comput. Syst., 2008. 24(8): p. 775-787.23.Yong Meng Teo, R.A., Comparison of load balancing strategies on cluster-based web servers. Transactions of the Society for Modeling and Simulation, 2001.24.Pai, V.S., et al , Locality-aware request distribution in cluster-based network servers. SIGPLAN Not., 1998. 33(11): p. 205-216.25.Casalicchio, E. and M. Colajanni. A client-aware dispatching algorithm for web clusters providing multiple services. 2001. New York, NY, USA: ACM.26.Ciardo, G., A. Riska, and E. Smirni, EQUILOAD: a load balancing policy for clustered web servers. Perform. Eval, 2001. 46(2-3): p. 101-124.27.Riska, A., et al. ADAPTLOAD: Effective Balancing in Custered Web Servers Under Transient Load Conditions. 2002. Washington, DC, USA: IEEE Computer Society.三、 研究内容和研究方案由于现有Web应用服务器集群管理功能相对薄弱，缺乏动态性，因此，本论文主要研究Web应用服务器自适应集群管理系统，以简化集群系统的配置、管理和维护。具体研究内容包括：1) 组通信服务扩展本论文将基于开源组通信框架Shoal实现组通信服务的扩展。每个组由一个group name（逻辑名）标识，组里的每个成员由一个member name（逻辑名）标识。当一个成员向另一个成员发送消息时，只需指定成员的member name和消息即可。此外，通过提供虚拟广播通道以解决IP多播不可达问题。2) 集群管理的可扩展性问题本论文采用分散式管理方式。Cluster里有若干个Group，每个Group含有若干节点。Group是管理的基本单元，每个Group中有一个master节点，以运行集群管理服务。Group与Group之间的通信通过相应的master节点来实现。3) 集群管理的单点失效问题本论文基于HA服务来实现各种集群管理服务。HA服务即在任意时刻集群中至多只有一个节点运行该服务，当服务运行的节点失效时，该服务会在一个新的节点启动。4) 集群管理框架及管理服务的实现首先，实现一个自适应集群管理框架。该框架封装了底层通信细节，并将底层通信细节和管理服务逻辑分离，以简化集群管理服务的实现。然后，基于该框架，实现如下集群管理服务：l 拓扑结构管理服务现有Web集群主要支持All-to-All和Primary-Slave备份模