开题报告虚拟机池化管理和高可用性的设计与实现

研究生学位论文开题报告报告题目 虚拟机池化管理和高可用性的设计与实现学生姓名 刘翔 学号201128015029021指导教师黄涛 职称 研究员 学位类别 工学硕士 学科专业 计算机软件与理论 研究方向 网络分布计算与软件工程 培养单位 软件研究所 填表日期 2011年5月20日 研究生院制填表说明1. 本表内容须真实、完整、准确。2. “学位类别”名称填写：哲学博士、教育学博士、理学博士、工学博士、农学博士、医学博士、管理学博士，哲学硕士、经济学硕士、法学硕士、教育学硕士、文学硕士、理学硕士、工学硕士、农学硕士、医学硕士、管理学硕士等。3. “学科专业”名称填写： “二级学科”全称。1 选题的背景及意义虚拟化1是原本运行在真实环境的计算机系统或组件上的计算元件运行在虚拟的环境中。这些虚拟的资源可以是硬件，如服务器，磁盘，网络资源等，也可以是软件，如操作系统，web应用服务等。虚拟化技术就是通过对资源进行池化的方法，更好的对这些资源进行管理，对于一个服务请求分配合理的资源，节约成本，提高利用率。虚拟化技术源于大型机。早在上世纪60年代，IBM就发明了一中操作系统虚拟机技术3,允许一台主机上运行多个操作系统。随着人们对虚拟化技术的研究，虚拟化技术可以分为不同的层次，有指令令级虚拟化4，硬件级虚拟化，操作系统级虚拟化，编程语言级虚拟化，程序级虚拟化。虚拟化技术按照应用方向不同还可以分为处理器虚拟化，I/O虚拟化，操作系统虚拟化等。本论文要研究的虚拟化池化管理是基于xen10的开源系统，它是属于硬件级的虚拟化，一台物理机上可以虚拟出多个操作系统，多个操作系统互不影响的运行在同一物理机上，复用物理机的硬件资源。在系统虚拟化的基础上，又出现了服务器虚拟化。近几年来，随着云计算的发展，云计算的使用日益增加，而虚拟化技术是云计算的促进因素，成为云计算服务的主要支撑技术，计算能力租赁、调度的云计算服务领域起着非常关键的作用。云计算需要大量的服务计算单元，以保证对外提供高效的计算服务，而服务器虚拟化的直接效果是导致数据中心具有更高的应用密度，在相同物理空间内逻辑服务器(虚拟机)数量比物理服务器大大增加。由此，服务器的总体业务处理量上升，使得服务器对外吞吐流量增大。服务器虚拟化是将系统虚拟化应用在服务器上，使得单一服务器上可以运多个虚拟服务器，可以使具有不同操作系统的多个虚拟服务器在同一个物理服务器上独立运行，能够最大化的利用硬件资源，提高硬件资源的利用率，而且每个虚拟机服务器与其他虚拟服务器隔离保持逻辑的独立性，提高了安全性，并且可以将一个完整的虚拟机环境保存为单个文件，可以备份，复制和迁移。但是单一的服务器上的多个虚拟服务器对外提供服务，倘若物理服务器出现故障，比如物理服务器宕机，那么运行在这个物理服务器上的所有虚拟机服务器就都会失效，不能提供服务。或者运行在物理服务器上的虚拟机过多，虚拟机上跑的应用服务过重，就会造成物理服务器的cpu,内存等资源负载过重，那么提供给其他虚拟机的资源就受到影响，影响其他虚拟机对外服务。上述两个问题牵涉到的是系统的高可用性和服务系统的负载均衡。为了解决上述的问题，利用多台服务器，组成一个集群，组成一个集群的资源池，统一进行集中管理。资源池28是指为项目任务分配有效资源的集合，可以看做是单个主机或集群的计算及内存资源的分区。一个资源池可以仅分配给一个任务应用使用，也可以给几个任务应用共享使用。从程序应用层看有线程池，web容器的request, response对象池，数据库连接池等，从单一物理机硬件层看有，cpu资源池，内存资源池，从一个集群来看，这个集群中每个物理机的硬件资源都是属于整个集群的资源池。把多台物理服务器进行池化管理，利用虚拟机的在线迁移技术，虚拟服务器可以运行在集群中的任何一台物理服务器上。对集群中的虚拟机池化管理，集群中的一个主机监控其他节点的VM活动，可以让负载过重的服务器上的VM虚拟机迁移到其他负载相对小的服务器上。如下图1：图1左边图的主机1运行了6个虚拟机VM，而主机2和主机3分别运行了1个和2个虚拟机VM，主机1的负载过重，资源被过度使用，所以可以把过多的虚拟机VM迁移到主机2和主机3上，如右图所示，这样达到负载的相对平衡。高可靠性、高可用性、高服务性（Reliability, Availability, Serviceability）是三种不同但是相关的测量标准，其对一个系统或一个网络是关键的。高可靠性代表部件，零件和系统执行它们需求的功能在一个期望的时间段对不在特定的环境下产生故障的可能性的信心。高可用性被定义为当它被请求使用时系统被适当操作的可能性。高服务性测度了多长时间或多困难来确定在一个系统或网络中的问题和使它回到正常的操作。对整个集群进行池化管理，可以利用集群高可用技术，保障虚拟服务器的高可用性。一个计算机系统在发生故障前，系统能正常运行一段时间。系统突然出现故障，然后故障被系统修复，接着系统恢复正常工作。系统不断重复这一个周期。所以它的维护运行周期包括了平均无故障时间MTTF(Mean Time To Failure)，它为系统发生故障前能正常运行的平均时间。平均修复时间MTTR(Mean Time To Repair)为修复系统知道系统恢复服务的平均时间。对于一个可修复的系统，其可用性=MTTF/(MTTF+MTTR)56，高可用性的目的就是要使宕机时间和故障恢复时间最小化。为提高整个系统的可用性，集群是一种重要的解决方式。Bulter Lampson 认为系统设计面临的挑战之一就是保持系统总是可用的，而且能自适应环境的改变7。John Hennessy建议研究得目标应用在可用性，可维护性，可扩展性上8。IBM公司提出了自主运算，把计算机系统看作一个可以自我调节，自我管理，自我诊断的生物系统。Dave Patterson, Kathy Kellick, Armando Fox等领导的Recovery-Oriented Computing(ROC)研究项目。他们认为硬件故障，软件的BUG，操作人员的误操作等都是要处理的存在事实。ROC更关注于MTTR而不是MTTF，通过减少系统的恢复时间来提供系统的高可用。同时考虑到管理人员大部分的工作都是在处理系统的失效，因此有助于减小TCO9。高可用冗余技术用在存储系统的重要代表是磁盘阵列(RAID)1516，RAID是由许多台磁盘按一定规则，如分条，分块，交叉存储等，来备份数据，提高存储系统的可靠性和性能17，RADI技术有很多种，通常采用的有RAID0,RAID1,RAID5,RAID10等。计算机系统的高可用性，是指在不需要操作者干预的情况下，能够防止故障或从故障中恢复的计算机系统。高可用的一个重要技术是使用冗余部件。通过对关键部件的备份，当一个重要部件发生故障时，由备用部件继续提供服务。单一失效节点是带来系统不可用的很重要的原因。冗余技术可以很好的解决这一问题。高可用技术主要有以下几种：1) 双机互援(Dual active)(主机/备机 + 主机/备机) 两台主机均为工作服务器，在正常情况下，双机系统对外提供两种不同的服务，并互相监视对方运行的情况。当一台服务器出现异常时，不能对外提供服务时，另一台服务器在继续原有服务的基础上，主动接管发生异常的服务器的工作，对外提供异常服务器上原来运行的服务，从而保证了双机系统对外提供服务的不间断性，达到不停机的功能。但是那个接管服务的正常的服务器负载会增加，所以，要尽快将异常服务器修复，把之前的服务转移过来，缩短接管服务的那个正常服务器的负载持续时间。2) 双机双工(Duplex)(主机 + 主机)系统中两台主机都工作机，同时运行相同的应用，对外提供相同的服务，保证了整体的性能，也实现了负载的均衡和互为备份。它们同时相应外部服务请求，同步处理，在处理的过程中，分不同阶段对处理的中间结果进行对比并给出每个中间结果的评估，最后输出根据所有评估和当前的最终结果表决策得出唯一的输出结果。WEB服务器或FTP服务器等用此方式比较多。3) 双机热备(Hot Standby)(主机 + 备机)一台主机为工作服务器，另一台主机为备份服务器，在系统正常的情况下，工作服务器对外提供服务，备份服务器负载监听工作服务器的运行情况，同时工作服务器也同时监听备份服务器是否正常，当备份服务器出现异常，工作服务器可以通知管理员处理。当工作服务器出现异常，不能对外提供服务时，备份机主动接管工作服务器，对外提供服务，从而保证了服务的不间断的运行。当工作服务器修复恢复正常后，可以将备份服务器的工作切换回工作服务器，也可以把备份服务器的角色转变为工作服务器的角色，而恢复的工作服务器角色则转变为备份服务器的角色负责监听。还有一种备份机制是N-WAY，是很多台活动服务器相互之间备份，例如有3台服务器A,B,C，当服务器B和C上又备份的应用程序时，服务器A可用从服务器B和C备份应用程序。当任意服务器上发生失效时，被保护的应用程序可以从失效的服务器上转移到备份的服务器上18。利用集群的高可用性还有虚拟机的可以迁移的特性，在一个物理服务器失效时，只要有健康的主机有足够的资源，就可以把失效节点上的VM指派的集群中新的主机节点上正常工作。利用在线迁移技术，有服务器上要进行升级，需要停机操作，可以把这台服务器上的VM迁移到其他有空闲的物理服务器上，等操作完成后有可以迁移回来，这样就可以对外提供不间断的服务。除此之外还可以利用集群池化，共享存储区的特点，把一个VM制作成模板，当可以利用这个模板启动新的VM，而这个VM的上面的软件都是模板之前装好的，不需要自己重新安装。虚拟机的池化管理，判断哪台物理服务器负载的状况和每台服务器是否出现异常故障，都需要一个管理角色来不断的监听各个服务主机的状态，这样一个管理者是一个master节点，其他被管理的服务器为slave节点。所以采用的是Master/Slaves2的分布式架构，Master主机对整个资源池中的物理主机和VM的资源使用情况进行监控，当发现某台主机上的负载过重，则负载把这台物理机上的VM迁移到负载相对小的物理机上，当监听到有物理机出现故障时，负载把出现故障的物理机上的VM迁移到可用的物理机上继续运行。但是主节点master出现了故障，那么整个集群管理就会中断，就不能进行负载均衡和故障检测的管理工作。对于xen虚拟机的池化管理的高可用性，最重要的是保障，master物理机宕机后，还能对外提供管理功能。若master物理机坏掉，更换一台物理机，之前master数据没有保存，整个池的slaves的节点信息就丢失了。所以可以采用上述几种方法的结合。采用N-WAY+双机双工的结合如下图2：图 2除了master之外，所有的slaves都作为master的备份机，同时，它们都对外提供服务，master保存了整个资源池其他slaves的一些信息，每次对这个资源池进去管理操作，比如增加一台物理机或删除一台物理机，master记录这个信息，同时其他slaves作为备份机也得被通知记录这个信息。当master宕机后，选举这个资源池里的其中一个有效活动的slave主机作为master，而这个出现故障的master主机恢复后，角色转换为slave备份机。这样就能保证整个资源池对外提供的管理的高可用性。但是这种方法，资源池内的slave节点数量多的话，每做一次更新操作都得通知所有的slave节点，确保每个slave节点都能更新信息。但是由于网络延时，或者slave节点本身的问题，当更新信息来的时候，slave节点正好重启或出现故障，等到故障恢复后，这个更新消息就没被通知到，造成每个slave得到的更新信息的不一致性。解决这个问题的方法可以使用分布式一致性算法里面的经典的paxos19算法，解决数据更新的一致性问题。但是这种算法实现起来难度大，而且很复杂。所以可以采用另外一种热备份+双机双工,如下图3所示：图 3master节点选取这个资源池的其中一个slave节点作为备份节点，同时这个slave节点也对外提供服务，每当通知master做一个更新的操作时，master就同时通知这个备份的slave节点更新信息，同时master每隔一个心跳时间对备份的slave节点进行监控，若这个备份slave节点出现故障，master可以选取这个资源池的其他slave节点作为备份节点，把信息备份到这个选举出来的slave节点，继续进行监听。同时备份的slave节点也每隔一个心跳时间对master节点进行监控，当发现master节点宕机时，这个备份节点转换角色，成为master节点，接管了之前那个master的工作，同时从资源池选取其他slave作为备份节点。这种方法只要管理一个备份节点，不像之前的得管理多个备份节点，两个节点的数据一致性容易保障，所以采用这种方法比较适合，也易于实现。2 国内外本学科领域的发展现状与趋势面对高可用性系统的强劲需求，各大公司都相继推出了自己的高可用集群系统。80年代末期首先出现于基于UNIX的高可用系统。随后，各主要大厂商纷纷推出自己的高可用系统，IBM公司在AIX平台上的HACMP11(可以支持多达32个RS6000服务器或SP节点)、Microsoft的MSCS12(即原Wolfpack项目，目前支持的节点数为4个，其只运行于Windows平台上)、VERITAS公司的VCS(可支持32个异构节点的群集，支持包括Solaris、Windows NT、HP-UX等多种系统平台)、ROSE公司推出的ROSE HA、Legato公司的NetWorker和CoStandByServer、以及WestemMicro公司的SavWareHA等1314，国内的如中科院计算所的CNICHA等。以及一些基于Linux平台的高可用性集群系统：Turbolinux公司的Turbocluster、Red Hat的Piranha等。对于基于xen开源的池化管理方面，开源的有Xen Cloud Platform Project20，它是在xen的基础上增加了池化管理的API接口，把多个物理机管理成一个池，把xen的命令重新封装了，重新定义了一些操作命令。但是没有提供高可用性这样的功能，只是进行了简单的池化管理。另外的是思杰公司推出的Citrix XenServer，它有好几个版本，有免费版，高级版，企业版和白金版。免费版只提供了基本的功能，包括虚拟机的在线迁移，虚拟机磁盘快照和自动恢复，XenCener管理软件和虚拟机转化工具软件。但是没有保证高可用性。虚拟机的高可用性还有内存优化以及性能监控和报告软件一起包含在高级版里。企业版除了上述的功能之外，还提供最大程度上的自动化管理能力，它支持在有限的主机上整合更多的虚拟机，以及自动关闭那些用户不使用的物理服务器主机，实现主机节能降耗。它还有混合资源池和Citrix StorageLink21技术，通过这两个技术完成虚拟机的存储平台的连接。最后是白金版，这一版本是面向那些需要跨多个地点部署虚拟化架构的大型企业。在这一版本中最吸引人的功能就是StorageLink Site Recovery22，它针对XenServer虚拟机提供了自动灾难恢复规划能力。其它的一些功能包括自动生命周期管理、以及动态分配服务，通过这些使得无论在虚拟机还是物理服务器上部署工作负载变得更加简单。另一个功能更加强大的是vmware公司推出的vSphere。vSphere23的集群池化的概念叫做数据中心，如下图4所示。图 4它包括以下几个组件：计算服务器-在祼机上运行ESXI的业界标准x86 服务器。ESXi软件为虚拟机提供资源，并运行虚拟机。每台计算服务器在虚拟环境中均称为独立主机。可以将许多配置相似的x86 服务器组合在一起，并与相同的网络和存储子系统连接，以便提供虚拟环境中的资源集合（称为群集）。存储网络和阵列-光纤通道SAN 阵列、iSCSI SAN 阵列和NAS 阵列是广泛应用的存储技术，VMware vSphere支持这些技术以满足不同数据中心的存储需求。存储阵列通过存储区域网络连接到服务器组并在服务器组之间共享。此安排可实现存储资源的聚合，并在将这些资源置备给虚拟机时使资源存储更具灵活性。IP 网络-每台计算服务器都可以有多个物理网络适配器，为整个VMware vSphere数据中心提供高带宽和可靠的网络连接。vCenter Server-vCenter Server 为数据中心提供一个单一控制点。它提供基本的数据中心服务，如访问控制、性能监控和配置功能。它将各台计算服务器中的资源统一在一起，使这些资源在整个数据中心中的虚拟机之间共享。其原理是：根据系统管理员设置的策略，管理虚拟机到计算服务器的分配，以及资源到给定计算服务器内虚拟机的分配。在vCenter Server 无法访问（例如，网络断开）的情况下（这种情况极少出现），计算服务器仍能继续工作。服务器可单独管理，并根据上次设置的资源分配继续运行分配给它们的虚拟机。在vCenter Server 的连接恢复后，它就能重新管理整个数据中心。管理客户端-VMware vSphere为数据中心管理和虚拟机访问提供多种界面。这些界面包括VMware vSphere Client (vSphere Client)、vSphere Web Client（用于通过Web 浏览器访问）或vSphere命令行界面(vSphere CLI)。除了可以提供负载均衡和集群高可用性外，它还提供了故障容忍(Fault tolerance)24，vSphere Fault Tolerance 通过创建和维护与主虚拟机相同，且可在发生故障切换时随时替换主虚拟机的辅助虚拟机，来确保虚拟机的连续可用性。可以为大多数任务关键虚拟机启用Fault Tolerance。并会创建一个重复虚拟机（称为辅助虚拟机），该虚拟机会以虚拟锁步方式随主虚拟机一起运行。VMware vLockstep可捕获主虚拟机上发生的输入和事件，并将这些输入和事件发送到正在另一主机上运行的辅助虚拟机。使用此信息，辅助虚拟机的执行将等同于主虚拟机的执行。因为辅助虚拟机与主虚拟机一起以虚拟锁步方式运行，所以它可以无中断地接管任何点处的执行，从而提供容错保护。如下图5所示：图 5vSphere的资源池的概念是单个主机或群集的计算及内存资源的分区。资源池可以是分层的，也可以是嵌套的。图 6如上图6所示，整个集群看成是整个资源单位，资源池按所给进行划分。总资源为12GHz 的群集。三个类型均为固定（未选择可扩展预留）的资源池。三个资源池合起来的总预留为11GHz (4+4+3GHz)。总数显示在群集的预留的容量字段中。RP1 资源池是使用4GHz 预留量创建的。两个虚拟机。启动了VM1 和VM7，分别各占2GHz（使用的预留：4GHz）。未剩下资源用于启动额外的虚拟机。VM6 显示为未启动。它不消耗任何预留。RP2资源池是使用4GHz 预留量创建的。启动了两个虚拟机，分别各占1GHz 和2GHz（使用的预留：3GHz）。还剩1GHz 未预留。RP3 资源池是使用3GHz 预留量创建的。启动了一个占用3GHz 的虚拟机。没有资源可于启动额外的虚拟机。253 课题主要研究内容、预期目标3.1 研究内容主要是对虚拟机的池化管理和高可用两方面的研究工作。1. 虚拟机的池化管理鉴于多个服务器，有的服务器上启动多个虚拟机负载过重，而有的服务器上启动的虚拟机的个数少，上面启动的应用消耗的物理资源也小，那么如果不进行这些虚拟机池化管理，要从一台服务器上把虚拟机迁移到另一台服务器，得把虚拟机关闭保存，然后再通过物理存储设备拷贝到另一台服务器上再次启动。这样消耗的时间过多，而且操作麻烦。然而利用虚拟机在线迁移技术，把虚拟机进行池化管理，利用网络NFS技术划分出共享存储区域来保存虚拟机的物理介质。在服务器上运行的VM操作系统都是内存态的数据，物理存储态的数据都放在共享存储区内。如下图7所示：图 7mater主机负责管理监控整个池的服务器的资源状况，客户端只要跟master主机建立连接，就能可以获得整个池的资源信息，要进行在线迁移，只要通知master主机要对哪两台主机上的进行操作，然后master主机通知源主机，源主机把要迁移的vm迁移到目标主机上。池化管理还得支持添加一台物理服务器到这个池和删除这个池中物理服务器的操作。这样有利于动态添加资源。此外还可以监听各个服务器上虚拟机的使用状况，可以进行动态的负载均衡，自动进行负载均衡过高的服务器上的虚拟机迁移到负载相对较小的物理服务器上。2. 虚拟机资源池的高可用性通过上面的分析可知。Master是管理整个资源池，对外提供客户端连接管理的主节点，一旦master主机宕机了，那么整个资源池的管理就会失效，客户端就不能连接对资源池进行有效管理。所以要保障master主机节点的高可用管理，采用双机热备技术，选举一个有效的备份主机节点作为备份master节点。若主节点master宕机后，备份master节点接管那个管理节点的角色，继续对外提供管理服务，和监听整个池的各个主机资源使用状况。为了保障虚拟服务器对外提供的服务的高可用功能，当一台物理服务器宕机后，上面的VM也就都失效了。Master节点监听到这一情况，能够把那些失效的VM重新启动到那些有效负载相对较轻的slave从节点上。继续对外提供服务。3.2 预期目标实现一个对多个装有xen的Host物理机的池化管理，对外提供高可用性管理服务。这些管理服务，包括能够提供各个物理机上的VM进行在线迁移，能够实时监控各个物理机的资源使用状况。整个资源池能够通过动态增加一台物理机来增加物理资源，也能通过动态移除一台物理到资源池外来减少物理资源。Maser主节点是管理整个资源池的重要角色，当master主机宕机后，能够迅速选举一台备份的主机继续充当管理的角色，这样不影响客户端连接管理资源池，也可以继续监听整个资源池的使用状况方便管理。在上面实现的基础上，可以通过负载均衡的一些算法，来实现虚拟机的动态在线迁移的技术功能。当资源池中某个物理节点失效后，能够通过NFS的共享机制和负载均衡计算的方法，把失效节点上的VM在负载相对较小的有效的物理主机节点上重新启动。4 拟采用的研究方法与技术路线1. 分布式数据一致性和单点失效恢复2. NFS存储共享技术和磁盘快照技术3. 负载均衡算法的研究和实现5 已有科研基础与所需的科研条件实验室有大量的刀片机，有了进行池化管理的硬件条件。6 研究工作计划与进度安排1) 深入调研xen虚拟机、高可用性、分布式一致性算法相关文献。2) 调研池化管理方面开源的XCP，参考xenserver和vSphere提供的各种功能，完善各种功能实现。3) 开发相关的辅助管理工具。7 参考文献1/definition/virtualization2Performance Effects of Scheduling Strategies for Master Slave.Gary Shaoand Rich Wolskiyand Fran Bermanz.University of California, San Diego.UCSD CSE Dept. Technical Report #CS98-598, September 19983IBM Virtual Machine/370 Planning Guide.IBMCorporation,19724ISA-95-SeRing the Stage forIntegration of MES and 1CDSystems GaryRathwell. EICS Fluon5John L.Hennessy, David A.Patterson. Computer Architecture: A Quantitative Approach. 北京：机械工业出版社, 2002.5095136黄铠，许志伟.可扩展并行计算-技术，结构与编程.北京:机械工业出版社, 2000.3043077 Butler Lampson. Computer Systems ReasearchPast and Future. 17thSosp. 1999.12.278 John Hennessy.Back to the Future:Time to Return to Longstanding Problems in Computer Systems.FCRC,1999.1119David Patterson, Aron Brown, Pete Broadwell. Recovery Oriented Computing(ROC): Motivation, Definition, Techniques, and Case Studies.UCBekeley Technical Report CSD-02-1175, 2002.3.1. 11310Paul Barham, Boris Dragovic, Keir Fraser, Steven Hand, Tim Harris,Alex Ho, Rolf Neugebauer, Ian Pratt, Andrew Warfield.Xen and the Art of Virtualization.(SOSP03) October 19-22,200311 IBM Readbook. HACMP for AIX 4.4.1 concepts and facilities guide. 2002:11212Werner Vogels. The Design and Archit