云计算数据中心调度算法研究.doc

云计算数据中心资源调度关键技术研究1 项目背景：云计算是建立在计算机界长期的技术积累基础之上，包括软件和平台作为一种服务，虚拟化技术和大规模的数据中心技术等关键技术。数据中心（可能是分布在不同地理位置的多个系统）是容纳计算设备资源的集中之地同时负责对计算设备的能源提供和空调维护等。数据中心可以是单独建设也可以置于其他建筑之内。动态分配管理虚拟和共享资源在新的应用环境-云计算数据中心里面临新的挑战，因为云计算应用平台的资源可能分布广泛而且种类多样，加之用户需求的实时动态变化很难准确预测，以及需要考虑系统性能和成本等因素使得问题非常复杂。需要设计高效的云计算数据中心调度算法以适应不同的业务需求和满足不同的商业目标。目前的数据中心调度算法依据具体的应用（计算资源，存储，搜索，海量信息处理等）不同采用不同策略和算法。提高系统的响应速度和服务质量是数据中心的关键技术指标，然而随着数据中心规模的不断扩大，能源消耗成为日益严重和备受关注的问题，因为能源消耗对成本和环境的影响都极大。 总的发展趋势是从简单的粗旷的满足功能/性能需求的方式向精细的优化节能的方向发展。图一.多数据中心调度算法的参考体系结构2 云计算数据中心资源调度方案分析2.1 Google解决方案Google 也许是业界最早使用和发起云计算的厂家之一。因商业保密，其大部分技术实现内容并未被外界了解。从其公开发表的文献可及了解到其关于云数据中心，搜索引擎网络设计, 分布式文件系统以及并行处理模式MapReduce的概要设计。Google云计算平台架构，其基础平台是建立在MapReduce结构之上。 利用了类似Hadoop的资源调度管理方法。不过Google自己设计了文件系统（GFS hunkserver）, 数据库系统（BigTable）以及其它相关系统。2.2 Amazon解决方案Amazon目前被认为推广云计算应用最为成功的厂家之一。 它成功地推出了EC2(弹性云计算)，SQS (简单消息存储服务)，S3(简单存储服务)， SimpleDB(简单数据库)等近十种云服务。Amazon 的云计算平台体系结构，其中（EBS: Elastic Block Service, Providing the Block Interface, Storing Virtual Machine Images）。2.3 IBM解决方案IBM 云计算调度是建立在虚拟计算资源之上, 图-10所示 IBM 云计算基础平台建立在开源Xen虚拟linux 平台和 Hadoop集群平台之上，采用了IBM Tivoli 网络资源监控和WebSphere 网络服务。由此可见其核心的调度是建立在Hadoop MapReduce 框架之上。2.4 HP解决方案HP 很早就开始数据中心的研究工作.下式描述了其数据中心基于成本考虑的各要素：建筑空间占用成本，供电，制冷，维护成本等。Cotst_total=Cost_space+Cost_power+Cost_cooling+Cost_operations (1)2.5 VMWARE解决方案VMWare成为服务器虚拟化的主要提高商。虚拟化是提高资源利用效率的有效手段，被众多云计算提供商采用。其数据中心虚拟机的动态分配管理主要使用使用 VMware Infrastructure 3 实现，主要特点是体现在虚拟共享，容灾备份等。将虚拟化优势 扩展到远程和分支机构，从而在单一控制点中即可实现以下目标：更加灵活地远程管理每个站点的虚拟机；在中央数据中心托管可远程访问的虚拟机；同时使用分布式虚拟机和集中式虚拟机。目前VMWare公司数据中心的工作还侧重在资源虚拟化，容灾备份等方面。对于资源的动态调度管理方面考虑较少，主要考虑通过虚拟化提高资源利用率（原则）和动态迁移虚拟机以及容灾备份等。Vmware通过建立远端服务器群，可实现双中心互备的虚拟化IT架构，在运营端和远端之间启用vReplicator服务，可以实现运营端虚拟机应用实时复制到远端ESX主机存储，达到异地容灾的目的。vReplicator针对虚拟机操作，实时监控虚拟机磁盘文件的数据变化，在完整磁盘数据复制操作完成后，每隔5分钟，自动将两地磁盘数据间的差异数据复制到容灾端，当运营端服务器出现异常中断，服务中断，vReplicator自动将容灾端处于待机状态的备份虚拟机进行Failover操作，备份机数据及设置与源虚拟机完全相同，因此启动后即刻可以接管应用，重新开始对最终用户提供服务。2.6 其它厂家解决方案以上厂家提供的方案多是建立在私有云上，不开源。开源的适用于海量信息处理的Hadoop MapReduce和小型云计算平台Eucalyptus是两类值得了解的解决方案。实际上很多前面介绍的厂家包括Google, IBM等都在基础架构上采用了MapReduce设计思想. 对于小型云计算平台Eucalyptus的资源调度分配管理目前业界是用监测负载平衡器日志和检测响应时间要求来进行的。资源调度管理算法读取实时的负载平衡器日志和计算在每个虚拟机每60秒在集群中的平均响应时间。当它检测到有任何虚拟机的平均响应时间超过需要的反应时间，它将开启一个新的虚拟机实例或更多新的虚拟机实例来满足需求，相应的也可在系统负载较低时减少虚拟机实例。3 项目研究目标项目主要针对云数据中心资源调度关键技术进行研究，研究内容包括以下几个方面：1) 调度策略(Scheduling policies)： 是资源调度管理的最上层策略，需要数据中心所有者和管理者界定。主要是确定当资源不足以满足所有立即需求时的处理策略；2) 优化目标(Objective functions)：调度中心需要确定不同的目标函数以判断调度的优劣。根据调研结果，项目拟以性能（响应速度），服务质量，总成本控制（耗能低）等优化目标函数；3) 调度算法:好的调度算法需要按照目标函数产生优化的结果，并且在极短的时间之内，同时自身不能消耗太多资源。一般来讲调度算法基本都是NP-Hard问题，需要极大的计算量而且不能通用。项目主要研究满足项目优化目标条件下的近似优化的调度算法；4) 调度算法的系统架构：与数据中心的基础架构密切相关，目前多是考虑如图-一所示的多级分布式体系结构；5) 数据中心资源界定及其相互制约关系：分析清楚资源以及其相互制约关系有利于调度算法综合平衡各类因素；6) 数据中心业务流量特征分析：掌握业务流量特征有助于更加优化调度算法。4 4项目研究现状：经过前期的云计算数据中心资源调度系统的调研，目前已经选择开源云计算产品Eucalyptus作为云环境平台。Eucalyptus 项目全称是Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems，由Santa Barbara大学建立的开源项目，是主要实现云计算环境的弓单性需求的软件，通过其在集群或者服务器组上的部署，并且使用常见的Linux工具和基本的基 于web的服务。使用FreeBSD License，意味着可以直接使用在商业软件应用中，当前支持的商业服务只是亚马逊的EC2，今后会增加多种客户端接口。该系统使用和维护十分方便，使 用SOAP安全的内部通信，且把可伸缩型作为主要的设计目标，具有简单易用，扩展方便的特点。这个软件层的工具可以用来通过配置服务器集群来实现私有云， 并且其接口也是与公有云相兼容，可以满足私有云与公有云混合构建扩展的云计算环境。当前已经初步完成了EUCA在实验室服务器IBM X3550服务器上的安装配置，目前进行的工作是对现有云计算调度策略和调度算法的进一步分析，并针设定的数据中心调度优化目标（性能，服务质量，总成本控制）进行调度算法的设计。项目组硬件环境：1、IBM X3550 机架式1U：Xeon EM64T