第三章资源虚拟化技术

CloudComputingAutumn,2011Chapter3ResourcesVirtualizationTechnologyXuJungang12023/9/27CloudComputing,

GUCAS2提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介Historyofvirtualization1959年：ChristopherStrachey.TimeSharinginLargeFastComputers20世纪60年代:

大型机虚拟化，IBM704420世纪80、90年代：

~基本弃用~1999年：VMware在x86平台上推出了商业虚拟化软件2002年：开源虚拟化软件Xen1.0发布TheoriginofvirtualizationChristopherStracheyABritishcomputerscientistApioneerinprogramminglanguagedesignIntroductionOnWikipediaTimesharingPublishedapapertitled“TimeSharinginLargeFastComputers”intheInternationalConferenceonInformationProcessingatUNESCO,NewYork,inJune,1959.Time-sharingisthesharingofacomputingresourceamongmanyusersbymeansofmultiprogrammingandmulti-tasking.ServervirtualizationonMainframeInthemid1960s,IBMWatsonResearchCenterwashometotheM44/44XProject,thegoalbeingtoevaluatethethenemergingtimesharingsystemconcepts.ThearchitecturewasbasedonvirtualmachinesMainmachinewasanIBM7044(M44)Eachvirtualmachinewasanexperimentalimageofthemainmachine(44X).Theaddressspaceofa44XwasresidentintheM44'smemoryhierarchyImplementedviavirtualmemoryandmulti-programming.RarelyusedServervirtualizationhasexistedforseveraldecadesIBMpioneeredmorethan40yearsagowiththecapabilityto“multitask”Theinceptionwasinspecialized,proprietary,high-endserverandmainframesystemsBy1980/90,servervirtualizationadoptioninitiatedareductionInexpensivex86hardwareplatformsWindows/LinuxadoptedasserverOSsComputinginfrastructure–Nearly20001machine

1OS

severalapplicationsApplicationscanaffecteachotherBigdisadvantage:machineutilizationisverylow,mostofthetimesitisbelowthan25%X86WindowsXPX86Windows2003X86SuseX86RedHat12%HardwareUtilization15%HardwareUtilization18%HardwareUtilization10%HardwareUtilizationAppAppAppAppAppAppAppAppVirtualizationagain…x86serverdeploymentsintroducednewITchallenges:Lowserverinfrastructureutilization(10-18%)Increasingphysicalinfrastructurecosts(facilities,power,cooling,etc)IncreasingITmanagementcosts(configuration,deployment,updates,etc)InsufficientfailoveranddisasterprotectionThesolutionforalltheseproblemswastovirtualizex86platformsVMwarerestartedvirtualizationVMware,Inc.(NYSE:

VMW)isacompanyprovidingvirtualizationsoftwarefoundedin1998andbasedinPaloAlto,California,USA.ItismajorilyownedbyEMCCorporation.In1998,VMwareintroducedvirtualizationintox86VMware'sdesktopsoftwarerunsonMicrosoftWindows,Linux,andMacOSX,whileVMware'senterprisesoftware

hypervisorsforservers,VMwareESXandVMwareESXi,arebare-metalembeddedhypervisorsthatrundirectlyonserverhardwarewithoutrequiringanadditionalunderlyingoperatingsystem.XenXenoriginatedasaresearchprojectattheUniversityofCambridge,ledbyIanPratt,seniorlectureratCambridgeandfounderofXenSource,Inc.ThefirstpublicreleaseofXenoccurredin2003.On22October2007,CitrixSystemscompleteditsacquisitionofXenSourceandtheXenprojectmovedto/.Thismovehadstartedsometimepreviously,andmadepublictheexistenceoftheXenProjectAdvisoryBoard(XenAB),whichhadmembersfromCitrix,IBM,Intel,Hewlett-Packard,Novell,RedHat,SunMicrosystemsandOracle.2023/9/27CloudComputing,

GUCAS11提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介虚拟化的定义简单来说，虚拟化是资源的抽象化：单一物理资源的多个逻辑表示多个物理资源的单一逻辑表示2023/9/27CloudComputing,

GUCAS12虚拟化——各家观点2023/9/27CloudComputing,

GUCAS13“虚拟化是以某种用户和应用程序都可以很容易从中获益的方式来表示计算机资源的过程，而不是根据这些资源的实现、地理位置或物理包装的专有方式来表示它们。换句话说，它为数据、计算能力、存储资源以及其他资源提供了一个逻辑视图，而不是物理视图。”——JonathanEunice,IlluminataInc.虚拟化——各家观点2023/9/27CloudComputing,

GUCAS14“虚拟化：对一组类似资源提供一个通用的抽象接口集，从而隐藏属性和操作之间的差异，并允许通过一种通用的方式来查看并维护资源。”——OpenGridServicesArchitectureGlossaryofTerms“虚拟化是资源的逻辑表示，它不受物理限制的约束。”-IBM公司"在未来的几年中，虚拟机不再局限于进行简单的资源部署和作为机房使用，它们将提供一个基本构造块，以提高台式机的可移动性、安全性和可用性。“——VMwareInc.的首席科学家MendelRosenblum虚拟化的关键特征硬件独立可以在其他服务器上不加修改的运行虚拟机兼容性虚拟机完全兼容标准的操作系统，以及在这些操作系统之上建立的硬件驱动和应用隔离每一个虚拟机都与同在一个服务器上的其他虚拟机相隔离封装虚拟机将整个系统，包括硬件配置、操作系以及应用等封装在文件里…………...………………...………………...……2023/9/27CloudComputing,

GUCAS16提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介关键的IT障碍2023/9/27CloudComputing,

GUCAS17什么在增加？什么在减少？数据中心的利用率不高，效率不高很少的一部分客户开始监控数据中心服务器的利用率非常少的客户会注意数据中心的效率Serverutilizationremainsverylow...Averagedailyutilization(percent)01020304050607080901000102030405090100Upto30%serversaredead* Samplesize–45datacenters Source: UptimeInstitutePeakdailyutilization(percent)传统的数据中心烟囱式架构异构的技术多种操作系统平台支撑高峰时的容量被动的响应式管理庞大的应用体系静态地部署多种软件组合点对点集成独立的应用数据MainframeDASCustomApplicationBigserverDASERPApplicationSalesApplicationClusterDatabaseDataWarehouseNAS/SANORBNAS/SANFilesDatabaseDatabaseSmallserver传统数据中心的IT资源配置模式

--“烟囱式”结构机房设施数据网络和存储网络服务器1服务器2服务器3服务器n。。。。。。。。。。。应用1应用2应用3应用n部门A部门B部门Z传统“烟囱式”数据中心的缺陷缺陷1：据统计,数据中心服务器的平均使用率低于30%，但仍有相当数量的服务器无法满足其服务水平目标缺陷2：一个新应用的部署需要历经预算、采购、安装测试、上线等过程，周期长达数周至数月，难以及时响应业务需求缺陷3：服务器数量和管理成本与应用数量呈线性关系，IT管理和成本压力巨大大量未能利用的处理能力处理能力不足的服务器0%20%40%60%80%100%所有服务器资源利用率低下的原因为应付少量峰值负载而过度配置服务器需要的CPU数量时间“冰山模式”

--传统数据中心的成本支出结构看的见的花费：30%预算用于新基础设施建设和新应用开发看不见的花费：70%预算用于现有设施维护和人员支出问题：如何节省运营性支出从而把预算更多地用于IT基础设施创新？面临的挑战：服务器急剧繁衍2023/9/27CloudComputing,

GUCAS24服务器蔓延高利用率低电能消耗很低的利用率极大的电能消耗每100台服务器每年消耗的兆瓦每台服务器的平均利用率整合服务器增加利用率减少硬件、电力和冷却成本面临的挑战：系统宕机高可用性增加了在线时间简化了容灾服务器故障，应用停止响应86%的停机时间是计划停机13%是非计划的故障停机1%是灾难导致的系统崩溃结果2023/9/27CloudComputing,

GUCAS26虚拟化带来的收益硬件投资减少40到60%，以及操作管理投资减少65到90%云计算与虚拟化虚拟化是云计算的前提云数据中心要求整合的敏捷的高性能高可用性整合架构-动态负载管理烟囱式架构-低效的资源管理整合的要求5%-10%60%-70%提升服务器的利用水平敏捷的要求敏捷地适应应用变化情况根据负载随需扩展高弹性，动态伸缩，selfservice，配置更多的实例在初始投资成本和获得良好的效率之间作出平衡实时地获取业务变化，并以此作出响应ApplicationsA,B,C,D,ENet

WorkloadIfutilizationtoohigh,

increasecapacitySharedInstanceServerAServerBServerCServerDScale-outon-demand联邦式云数据中心Austin,TXColoradoSprings,COSaltLakeCity,UT根据应用要求进行资源分配Austin,TXColoradoSprings,COSaltLakeCity,UTStorage数据复制完全激活故障切换到备点数据的备份和恢复低成本高性能数据保护&归档集群技术保证容错和服务器水平扩展DatabaseDatabaseStorage高可用性的要求自动存储管理保证容错和存储水平扩展保证业务不被中断-每个都是可以水平扩展的,完全激活的,以数据为中心的要求达到最高可用性和最低的成本在线升级硬件和软件高性能的要求——分布式处理能力集中处理层问题：去年上海的GDP是多少？分布式处理层汇总、合并结果Select….From…Where…多个服务器并行处理查询请求构建并发SmartScan请求各服务器返回结果虚拟化带来的转变业务收益及新的价值更高的响应能力增加利用率保持商业连续性安全提升技术转变减少开销2023/9/27CloudComputing,

GUCAS37提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介不同的分类方式根据实现方式不同分类软件虚拟化硬件虚拟化根据抽象层位置不同分类完全虚拟化准虚拟化操作系统虚拟化应用虚拟化上述两种分类方式的组合根据应用领域不同分类不同的分类方式根据实现方式不同分类根据抽象层位置不同分类上述两种分类方式的组合主机型Hypervisor型根据应用领域不同分类网络虚拟化服务器虚拟化存储虚拟化桌面虚拟化根据实现方式不同分类软件虚拟化软件虚拟化解决方案是纯软件的解决方案。一般我们所说的虚拟机就是一种纯软件的解决方案纯软件虚拟化解决方案存在很多限制。“客户”操作系统很多情况下是通过虚拟机监视器（VirtualMachineMonitor，VMM）来与硬件进行通信，由VMM来决定其对系统上所有虚拟机的访问。硬件虚拟化硬件虚拟化，就是用软件来虚拟一台标准电脑的硬件配置，如cpu、内存、硬盘、声显卡、光驱等，成为一台虚拟的裸机，然后就可以在上面安装操作系统了。CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM很容易提高性能。硬件虚拟化实例使用时，先在操作系统里安装一个硬件虚拟化软件，用其虚拟出一台电脑。再安装操作系统，做到操作系统里运行操作系统。并可虚拟出多台电脑，安装多个相同或不同的操作系统。根据抽象层位置不同分类FullVirtualization：完全虚拟化ParaVirtualization：准虚拟化（半虚拟化）OSVirtualization：操作系统虚拟化ApplicationVirtualization：应用程序虚化FullVirtualizationVMM即Hypervisor在客户操作系统和裸硬件之间提供协调。底层硬件并不由操作系统所拥有，而是由操作系统通过Hypervisor共享。完全虚拟化的最大优点是操作系统无需任何修改就可以直接运行。惟一的限制是操作系统必须要支持底层硬件。FullVirtualization代表产品：IBMVM/370微软的VirtualPC/ServerVMware公司的VMwareServer和VMwareESX完全虚拟化结构示意图ParaVirtualization使用了一个Hypervisor来实现对底层硬件的共享访问，还将与虚拟化有关的代码集成到了操作系统本身中。半虚拟化有一个缺点是必须修改客户操作系统，因为半虚拟化为了提高效率，必须要让GuestOS本身意识到自己运行在虚拟机上，在GuestOS的内核中需要有方法来与Hypervisor进行协调，这个缺点很大的影响了半虚拟化技术的普及，因为Linux等系统可以修改，而其它不能修改的系统就不能用了。ParaVirtualization代表产品开源项目XenVMwareESXServerMicrosoftHyper-V

很多由Xen所衍生出来的商业版本，如CitrixXenSourceXen准虚拟化结构示意图OSVirtualization操作系统虚拟化的概念是基于共用操作系统，由于不包含额外的(虚拟化)处理层，所以它提供了一个更瘦的架构体系。这项技术的主要限制在于它不支持在一台物理服务器实现多种操作系统。如果希望在单台Linux、Windows或SunSolaris物理服务器集成或部署多种不同操作系统的虚拟服务器，就不适合选择操作系统虚拟化技术。Parallels的Virutozzo和Sun的SolarisContainer是这种技术的两种实现。SolarisContainers显然只支持Solaris，而Virtuozzo同时支持Linux和Windows。Linux版Virtuozzo服务器支持在虚拟服务器上实现同版本内核的不同Linux发行版。OSVirtualization方案：基于容器的虚拟化技术(COSVirtualization)典型的代表:Oracle(Sun)的SolarisContainerParallels的Virtuozzo容器COS操作系统虚拟化平台结构示意图ApplicationVirtualization产品主要有：微软的SoftGridCitrix的StreamServerThinstallVirtualizationSuiteVmware的ThinApp应用程序虚拟化的思想是将单个应用程序的文件、注册键以及其他相关的配置封装成为一个新的数据结构(通常为一个具有特定格式的文件)，以方便应用程序的安装和删除等上述两种分类方式的组合主机型(软件虚拟化、全虚拟化)完全由软件模拟，虚拟硬件可定制Hypervisor型(硬件虚拟化、半虚拟化)建立在硬件基础上，对硬件有依赖性主流产品主机型Hypervisor型VMwareWorkStationvSphere/ESX/ESXiMicrosoftVirtualPCHyper-VWin7XPmodeSUNVirtualBoxxVMServerCitrixXen(OpenSource)IBMTotalStorage(Vmware)Systemz/PowerVM根据应用领域不同分类网络虚拟化服务器虚拟化（应用的重要领域）存储虚拟化桌面虚拟化：VMwareView：iPad应用展示Citrix：应用展示网络虚拟化网络虚拟化的内容一般指虚拟专用网络(VirtualPrivateNetwork，VPN)。VPN对网络连接的概念进行了抽象，允许远程用户访问组织的内部网络，就像物理上连接到该网络一样。网络虚拟化可以帮助保护IT环境，防止来自Internet的威胁，同时使用户能够快速安全的访问应用程序和数据。两种实现方式：基于互联设备的虚拟化基于路由器的虚拟化网络虚拟化服务器虚拟化将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器。不再受限于物理上的界限，而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”。提高资源的利用率，简化系统管理，实现服务器整合服务器虚拟化服务器虚拟化平台CitrixXenServer5.0微软WindowsServer2008Hyper-VVMwareESXServer存储虚拟化存储虚拟化是一种用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说，虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘、磁带，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。存储虚拟化三者的结合2023/9/27CloudComputing,

GUCAS61提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介虚拟化的变革安全和集成数据保护资源管理可用性系统架构服务虚拟资源池虚拟化改变了传统的架构虚拟化的第一阶段:服务器虚拟化将传统服务器进行虚拟化整合OperatingSystemExchangeOperatingSystem虚拟化层OperatingSystemVPNOperatingSystem虚拟化层OperatingSystemFile/PrintOperatingSystem虚拟化层OperatingSystemCRMOperatingSystem虚拟化层虚拟架构层连接部件池CPU池内存池存储池传统数据中心视图虚拟架构视图虚拟基础架构实现共享资源虚拟架构层连接部件池CPU池内存池存储池虚拟化的第二阶段:虚拟基础架构目标:在通用硬件平台上实现大型机级别的基础架构集合和虚拟化“虚拟的大型机”容量按需供应始终在线基于策略的自动化服务器、存储和网络整合实现虚拟化之前实施虚拟化之后1,000直连3000线缆/端口200机架400电缆线50分层SAN和NAS300线缆/端口10机架20电缆线服务器存储网络设施虚拟基础架构的影响服务器、存储和网络通用虚拟计算能力通用虚拟框架和流程Exchange文件/打印WebCRMBIApp2App3App1

App2

App1

App3CPU池内存池存储资源池网络资源池

BetterAssetUtilizationLowerCapexandOpexMoreApps/ft3IncreasedReturnonAssets

LowPower&CoolingCostsLowerSLASupportCostsLowerAdmin/MgtCostsLowerOperatingCosts容量管理灵活数据中心扩展方便数据中心成本降低服务等级和在线时间提升标准化和自动化水平提高虚拟化技术的体系结构与要素虚拟机虚拟机（VirtualMachine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。虚拟机监视器现有的虚拟机系统是通过在现有平台(裸机或操作系统)上增加一个虚拟层VMM(虚拟机监视器，VirtualMachineMonitor或Hypervisor)来实现的。VMM是一个系统软件，可以维护多个高效的、隔离的程序环境。VMM管理计算机系统的真实资源，为虚拟机提供接口--hostOS。一些VMM是安装在已有操作系统之上的，则原有操作系统为HostOS虚拟化技术的基本要素VMM必须满足的三个条件:等价性(保真性)安全性:物理硬件应完全由VMM管理,VM中的应用程序不得直接接触高效性Devices计算机设备,如CPU,内存,硬盘等DeviceDriver:设备驱动程序,即为了控制计算机设备而添加到操作系统中的一系列代码，其中包含有关硬件设备的信息、通信和控制接口。有了此信息，计算机就可以与设备进行通信。没有驱动程序，计算机中的硬件就无法工作。虚拟化技术基本要素GuestOS:在虚拟机里运行的操作系统叫Guest

OSApplication:应用程序User:终端用户VMM工作模式VMM分类宿主型VMM需要运行在HostOS之上,由其提供驱动程序和与硬件通信独立监控型VMM直接运行于硬件层之上混合型VMMVM的实现CPU虚拟化内存虚拟化I/O虚拟化CPU虚拟化x86处理器响应有4个不同优先级，称为Ring0～Ring3，其中Ring0的优先级最高，Ring3最低。Ring0用于操作系统内核，Ring1和Ring2用于操作系统服务，Ring3用于应用程序。指令集通常可分为非特权指令和特权指令两种。VMM执行非特权指令,可以直接执行,而对特权指令,则需要仿真执行。非特权指令不能改变共享资源的值或状态。共享资源包括处理器、内存、计时器和特殊目的的寄存器等。非特权指令如算术运算指令、逻辑运算指令等。特权指令是所有用来访问共享资源的值或状态的指令，这类指令包括关机、设置计时器、设置程序计数器、改变重定位寄存器的值和I/O相关的指令等。CPU虚拟化CPU虚拟化虚拟化系统下CPU等级划分的困难HostOS运行在Ring0，但为了避免GuestOS破坏HostOS，GuestOS必须运行在低于Ring0的权限上（如Ring1权限）。但是，为了让GuestOS实现完整的系统功能，又必须让它发出的线程是Ring0级的。于是虚拟软件就要不断协调GuestOS和HostOS之线程的优先级，这种转换必然会增加系统的复杂性，会导致软件虚拟化技术的性能低下，CPU和内存的处理能力在这样的协调中被大量耗费了，有数据表明其引起的系统性能下降5%～40%。CPU虚拟化硬件CPU虚拟化为了提高CPU虚拟化的效率,需要用硬件来完成不同层级的切换。在服务器领域,CPU可以把VMM放在Ring1。由此,Intel和AMD各自开发了VT-x和AMD-V技术,用CPU来帮助VMM完成VMM与GuestOS的隔离。内存虚拟化VMM必须对物理内存有最终的控制权，也就是说，它必须控制将客户物理地址空间映射到主机物理地址空间的操作。这样，才可以顺利的实现内存虚拟化内存虚拟化内存虚拟化方法：VMM维护一个虚拟机内存管理数据结构——镜像页表(Shadowpagetable)。VMM通过镜像页表给不同的虚拟机分配机器的内存页，如操作系统虚拟内存一样，VMM能将虚拟机内存换页到磁盘，因此，虚拟机申请的内存可以超过机器的物理内存。VMM也可以根据每个虚拟机的要求,动态地分配相应的内存。操作系统对页表的频繁更改增加了更新镜像页表操作的开销，使用硬件来管理镜像页表将是未来研究的方向。I/O虚拟化宿主型I/O虚拟化用宿主型的体系结构，使用宿主操作系统的I/0设备驱动程序。这种结构的缺点之一是大大增加了虚拟化的性能开销。另一个缺点是现代操作系统如Windows和Linux并没有资源管理的支持为虚拟机提供性能隔离和服务保证，而这是很多服务器环境的基本要求。I/O虚拟化I/O子系统的产业趋势是朝着硬件支持的方向发展。拥有足够的硬件支持，直接传送I/O设备到虚拟机中的软件是完全可能的，这将有效地消除所有I/O虚拟开销。要做到这一点，I/O装置需要了解虚拟机的情况和能够支持多个虚拟接口，以便VMM能安全地映射接口到虚拟机。IntelVT-d是目前硬件I/O虚拟化的代表2023/9/27CloudComputing,

GUCAS83提纲1.虚拟化技术的发展历史2.虚拟化的定义和特征3.为什么要进行虚拟化4.虚拟化技术的分类5.虚拟化实现技术6.虚拟化工具一览7.Xen简介虚拟化厂商概览ApplicationVirtualizationOSVirtualizationHardwareVirtualizationAltirisParallelsAkimbiKidaroScalentAppStreamSunBMCLanamarkSentillionArdenceCiRBALeostreamSkytapCeedoCitrixManageIQStackSafeCitrixConnectixMicrosoftS