支撑云计算的虚拟化技术ppt课件

支撑云计算的虚拟化技术,罗英伟lyw网络与信息系统研究所北京大学信息科学技术学院2011年7月,1,计算机科学技术的发展,计算机技术在人类社会的作用,二十多年来,2010,2,内容提纲,系统虚拟化技术关于云计算系统虚拟化与云计算支撑云计算的虚拟化技术北大网络所在虚拟化方面的一些工作虚拟化数据中心内存资源的预测和管理,3,1、虚拟化是什么？,计算机科学中2个最基本的思想,4,一个虚拟化示例：数据存储,用户,初级,高级,用户,存储单元,OS,存储虚拟化,用户,用户,用户,用户,movdx,0152h,fwrite(fp,973,size),5,到处可见的虚拟化,程序设计语言操作系统Java虚拟机系统虚拟化,6,系统虚拟化的产生,计算能力在快速增长：天河一号，千万亿次，Top2,7,系统虚拟化的产生,计算系统利用率不高！,“多数用户承认，计算系统平均利用率只有25%30%”,DanHeringtonHP虚拟化技术首席科学家,性能测试报告，来自权威性能测试机构MetronsAthene对一个计算系统进行两天监测的数据,8,系统虚拟化的产生,计算系统灵活性不高！,计算中心,浪费时间操作繁琐机器闲置时间较多,原因：应用软件与操作系统、硬件紧耦合,9,什么是系统虚拟化,虚拟机管理器VMM,操作系统,应用程序,多个系统融合在一台服务器上资源利用率高应用系统不再依赖特定的硬件系统维护灵活,硬件发展迅速,系统虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术虚拟化的目标是实现IT资源利用效率和灵活性的最大化,10,三个基本概念,在一台物理主机上虚拟出多个虚拟计算机（虚拟机，VirtualMachine，VM），其上能同时运行多个独立的操作系统，这些客户操作系统（GuestOS）通过虚拟机管理器（VirtualMachineMonitor，VMM，也称作Hypervisor）访问实际的物理资源,11,提高资源利用率,生物计算,虚拟化技术支持下的高效能计算机,信息服务业,军事仿真,先进制造,12,提高系统灵活性,计算系统虚拟化支撑平台(虚拟机管理器VMM),动态二进制翻译和优化硬件辅助虚拟化软硬件协同设计,13,另一种形式的系统虚拟化,多机聚合虚拟化,14,系统虚拟化的应用,虚拟机的特征及应用相互隔离动态构建动态部署在线迁移动态资源调整服务器融合容错支持：在线备份、Checkpoint,虚拟机管理器VMM,15,动态快速部署,虚拟机库,虚拟机管理器,虚拟机管理器,虚拟机管理器,需要Windows操作系统需要DirectX的编程库需要MPI通讯库,银河,神威,16,动态快速部署,虚拟机库,虚拟机管理器,虚拟机管理器,虚拟机管理器,需要Windows操作系统需要DirectX的编程库需要MPI通讯库,RedhatLinux操作系统需要MySQL数据库需要Apache服务器,银河,神威,17,虚拟机在线迁移,18,消除热点一个物理机上的资源不能满足它上面虚拟机的要求，负载过重通过迁移平衡负载节能很多时候资源非常空闲通过迁移减少活动的物理机,30%,30%,40%,20%,10%,服务器融合,19,虚拟机容错,20,系统虚拟化的前景,国际著名科技咨询机构Gartner：近几年公布的Gartner技术发展趋势报告中，计算系统虚拟化技术连续成为十大关键IT技术之首InfoWorld组织预测：近几年值得期待的十一项创新：虚拟化的广泛采用，排名前5IDC预测：虚拟化技术的市场需求正在爆发，以50%的速度增长；典型代表VMware公司的市值更是在2006年超过了220亿美元,21,国家中长期科技发展规划纲要,面向国家重大战略需求的基础研究支撑信息技术发展的科学基础虚拟计算环境的机理虚拟化计算系统的核心机理作为支撑信息技术发展的五大重要科学基础之一优先主题“高效能可信计算机”的基础技术,22,系统如何虚拟化？,与操作系统对进程的管理相类似CPU：分时、调度内存：划分I/O：模拟与调度,23,系统虚拟化方法的分类,动态半虚拟化方法(DynamicParavirtualization),融合半虚拟化和全虚拟化的优点：不修改GuestOS的源代码高虚拟化性能,性能好，但不适用于无法获得源代码的操作系统，如Windows,虚拟化性能差,24,虚拟机管理器的类型,25,嵌套虚拟化：有趣但很困难,26,系统虚拟化技术的研究,国内学术机构973计划项目“计算系统虚拟化基础理论与方法研究”华中科技大学、北京大学、清华大学、国防科技大学、上海交通大学、浙江大学、江南所、航天二院中科院计算所复旦大学,27,国外学术机构,剑桥大学:Xen，采取部分虚拟化的策略，通过修改Linux内核源码，把涉及特权指令调用的部分改写为对虚拟层接口的调用，使运行在Xen上的客户操作系统（GuestOS）表现出接近直接运行在裸机上的性能Stanford：CellularDisco项目在一个NUMA主机上虚拟若干个SMP系统，对虚拟CPU采用“gang-scheduling”调度策略；Collective项目实现了容器化的虚拟隔离服务；VMWare项目的原创工作来自于斯坦福大学；华盛顿大学：Denali项目专注于提供网络服务所需的虚拟机CMU:InternetSuspend/Resume（ISR技术），运行环境挂起、重构的虚拟化化环境MIT:Exokernel操作系统：让应用程序自身构建所需的操作系统，底层核心仅提供隔离和复用的功能；YouOS项目：基于JavaScript与AJAX技术的Web操作系统（WebOS）,28,工业界,IBM：最早的操作系统级别的虚拟机技术，如370虚拟机技术Intel：推出了VT虚拟化技术，包括对指令集虚拟化的支持VT-x和VT-i技术，还包括对I/O设备虚拟化支持的VT-d技术VMWare：VMWare采用全虚拟化路线，将传统的直接执行和快速的动态二进制翻译技术结合起来，二进制翻译器运行不能虚拟化的特权模式，补偿不能虚拟化的x86指令Microsoft：英特尔与微软制订规划推新型管理及虚拟技术，为企业增添新的能力，并节约成本一大批使用、研究虚拟化技术的公司，如AMD、EMC、Novell以及RedHat，都加入到了虚拟计算系统各个层面的研究中来联想、浪潮、华为、中兴，,29,虚拟化技术推动软硬件的变革,硬件辅助虚拟化CPU、存储、网络操作系统的适配JeOS、VirtualAppliance感知虚拟环境的OS、编译、程序设计语言,30,系统虚拟化技术的产品,VMwareXen/CitrixKVM/LinuxMicrosoftHyper-V973VMM,31,2、什么是云计算,32,什么是云计算,维基百科的定义Cloudcomputingreferstotheon-demandprovisionofcomputationalresourcesviaacomputernetwork,ratherthanfromalocalcomputer.,33,什么是云计算,34,一种商业模式，角色不同，看法不同,普通用户应用在“云里跑”（例如，GoogleDoc）应用开发者实现以浏览器为中心的用户界面（特殊的界面一般不受欢迎）及服务器方相关功能接口应用部署者快速部署和配置（例如10分钟里在一千台服务器上部署一个应用，或者调整该应用的配置）设施拥有者针对不同应用负载的动态需求，实现设备的高“可动员性”（rapidelasticity）,35,云计算的不同层次,XaaSManagementasaServiceStorageasaService,36,云计算的关键,网络云的提供者数据中心服务中心问题中心的维护成本中心的服务质量支撑技术虚拟化,37,3、虚拟化与云计算,虚拟化带来的好处与挑战虚拟机的快速部署与便捷的系统管理、资源利用率的提高管理和控制虚拟机蔓延的成本和复杂性也将爆炸式增长可信？不同的声音虚拟化就是云计算的基石IaaS虚拟化和云计算并无必然联系：Google,38,3、虚拟化与云计算,AmazonEC2XenbasedVMwareVMwareVDC-OSVMwarevSphere4forCloudsHPIBMMicrosoft,39,虚拟化技术是云计算的基本支撑IaaS虚拟机的快速部署与便捷的系统管理、资源利用率的提高但性能问题仍不容忽视！单物理机上的性能、多物理机环境中的综合性能管理和控制虚拟机蔓延的成本和复杂性也将爆炸式增长！可信？,4、支撑云计算的虚拟化技术,40,4、支撑云计算的虚拟化技术,首先，分析虚拟环境下应用程序的特征，提供面向应用的、高效的资源虚拟化方法。其次，从虚拟机资源管理着手，根据应用程序的特征，解决虚拟机动态部署与调度过程中多层面的动态资源管理问题，保证虚拟机的服务质量，提高资源利用效率。第三，可信的虚拟计算环境及其管理。第四，虚拟化的标准。,41,虚拟化环境下应用程序的特征,在虚拟化环境下，需要重新审视或刻画应用程序、操作系统、虚拟机管理器以及硬件的各自行为特征以及相互之间的约束、依赖和协同。应用程序的特征分析应用程序对资源(CPU、Cache、Memory、IO)的需求应用程序对环境的依赖(OS、Lib)应用程序与硬件的结合(多核、EPT/NPT、性能监控)基于特征分析的资源预测资源需求与其性能、能耗等的关系：单机、多机,42,虚拟化环境下应用程序的特征,通过应用程序、客户操作系统(GuestOS)、虚拟机管理器(VirtualMachineMonitor，VMM)、硬件等层间的通讯通道把预测信息传递到虚拟机管理器，就可以支持虚拟机管理器动态调优系统。,资源分配决策,资源分配器,43,面向应用的虚拟化方法,面向应用的操作系统适配虚拟设施：VirtualApplianceJeOS：JustenoughOS面向应用的虚拟化方法不同的应用的运行特征不同，需要根据不同的特征动态调整资源虚拟化方法及资源的配置,Hypervisor,44,基于应用程序特征的虚拟机部署,虚拟机的计算特征：每类应用程序都有其计算的特点，当这些应用程序部署在一个虚拟机上时，就反映为虚拟机的计算特征。相似虚拟机的竞争：对于计算特征相似的虚拟机，当把它们部署在同一台物理主机上时，就会存在对相同计算资源的竞争使用，从而影响总体性能。计算特征相容的虚拟机：如果能尽量把计算特征相容的虚拟机部署在一起，则会提高物理主机计算资源的利用率，提高虚拟机的总体性能。,45,虚拟机资源的静态分配基本满足虚拟机的需求，但仍会造成资源的浪费：纯静态的预测并不能反映虚拟机运行状态的动态变化，在虚拟机运行的不同时刻，其计算特征仍然会有所变化。虚拟机资源的动态调配通过在虚拟机管理器中增加对虚拟机运行时刻的计算特征的动态变化的监测，可以采用相应的机制调整虚拟机间的资源分配,单机环境下虚拟机间的动态资源调整,46,多机环境下虚拟机间的动态资源调整,基于多机资源协调预测，合理实施虚拟机迁移：针对各虚拟机的资源需求以及整个环境的节能需求，设计并实现一套合理诱发虚拟机迁移的机制：一方面，消除热点物理机、满足更大的资源需求；另一方面，虚拟机融合，关闭部分物理主机，节能。虚拟机迁移开销较大：只有在预期虚拟机计算特征明显且将较持久的改变为另一种状态时，进行迁移才是最优的选择。,47,动态虚拟机群,让N台虚拟机“浮动”运行在M台物理机上且N和M动态可变,48,动态虚拟机群,Node1,FromPhysicalclustertoVirtualcluster,Application1,Application2,Node2,Node3,Node4,Node5,VM1.1,VM1.2,VM2.1,VM2.2,VM3.1,VM3.2,VM4.1,VM4.2,VM5.1,VM5.2,49,ReclusteringvirtualclusterUsingVMsuspend/resume,Node4,VM4.2,Application1,Application2,Node1,Node2,VM1.1,VM2.1,Node5,VM5.2,Node3,VM3.2,VM3.1,VM2.2,VM1.2,VM4.1,VM5.1,VM3.2,动态虚拟机群,50,ReclusteringvirtualclusterUsingdynamicresourcereallocationacrossVMs,VM3.1,VM3.2,VM4.1,VM4.2,VM5.1,VM5.2,Node3,Node4,Application1,Application2,Node1,Node2,VM1.1,VM1.2,VM2.1,VM2.2,Node5,动态虚拟机群,51,上传虚拟机,保存虚拟机,黑店！,上传虚拟机,VMM安全?,可信的虚拟计算环境及其管理,PrivateCloud,PublicCloud,52,云端与终端的协同,云计算中的信任问题,第三方云,第三方云,私密信息,私密信息,我的私密信息在我睡觉时真的不会被泄露吗？,还是把私密信息放在自己兜里睡得安心！,53,虚拟化的标准,DMTFSVPCDistributedManagementTaskForce,SystemVirtualization,Partitioning,andClustering面向云计算的基本标准SVP：ServerVirtualizationandPartitioningOVF：OpenVirtualizationFormat,Deployment,Runtime,54,myApp.ovf,import,虚拟化的标准,OVF：Amulti-vendorformat,55,OVFandCloudInteroperability,虚拟化的标准,56,5、北大网络所在虚拟化方面的一些工作,围绕“高效的、可控可调的、自适应的虚拟机管理器(AdaptiveVMM)”展开研究全/半虚拟化、动态半虚拟化虚实融合及动态切换多层协同及特征交互高可用支持,57,存储层次虚拟化及资源原理,58,973VMM集成,973虚拟化项目团队各课题研究成果的集中体现以开源Xen为基础本着效果显著、功能稳定、运行可靠的原则有机整合,59,虚拟化数据中心内存资源的预测和管理,背景与问题解决方案：动态内存需求预测间歇性内存跟踪（IMT）数据中心全局内存调控,60,背景与问题：内存虚拟化,各虚拟机分配机器物理内存（静态分配）每个虚拟机所得内存通常是固定的,4G,2G,2G,61,问题,不能有效利用资源,62,问题,应用程序的内存需求动态变化,473.astarisoneof29SPECCPU2006benchmarkprograms,MemoryDemand,63,理想,按需分配根据虚拟机的实际需求分配内存,64,理想与现实,现实内存需求在系统运行过程中动态变化操作系统只报告系统占用、空闲内存的大小占用的内存不一定在被有效使用系统性能与分配内存大小没有正比关系,65,动态预测内存需求用历史预测未来动态建立MissRatioCurve(MRC)建立系统性能与内存大小的关系挑战开销大精度,解决方案,66,操作系统的内存管理,空间有限,替换算法,67,LeastRecentlyUsed替换表尾页新访问的页移至表首,LRU算法,访问序列：,68,LeastRecentlyUsed替换表尾页新访问的页移至表首,LRU算法,访问序列：,69,LeastRecentlyUsed替换表尾页新访问的页移至表首,LRU算法,访问序列：,70,截取内存访问信息模拟操作系统LRU结构建立内存大小与程序性能的关系,内存预测方法,71,LRUHistogram,每个位置对应一个计数器命中某个页面时，相对应的计数器加一,Page-levelLRUlist,HitCounters(onepernode),9,7,5,2,3,8,72,LRUHistogram,每个位置对应一个计数器命中某个页面时，相对应的计数器加一,Page-levelLRUlist,HitCounters(onepernode),9,5,2,3,8,73,4个页面，200次内存访问,180次命中,LRUMissRatioCurveandHistogram,74,好消息准确预测内存需求坏消息平均开销173%mcf慢了58倍,WSSPrediction:好消息和坏消息,75,截取内存访问次数找到LRU计数器的时间,开销分析及优化,动态热页集间歇式监控,链表结构:O(N)AVL树:O(logN),76,系统整体架构,77,大多数程序具有周期性、阶段性特征IPC、存储访问、Cache命中率等均有周期性在一个阶段内，特征稳定从一个阶段过度到另一个阶段，会有突发性变化,程序的周期性,78,内存需求（工作集）稳定时，暂停监控系统进入一个新周期时，重新开始监控,间歇性内存跟踪（IMT）,79,系统进入一个新阶段时，重新开始监控如何预知?根据系统硬件计数器所采集的实时信息预测系统周期的变化,问题,内存周期变化,TLBmiss、L2miss等硬件事件周期变化,80,内存需求和系统硬件事件相关,81,基本系统架构,WSSTracker,WSS,HardwarePerformanceCounters,PMCvalues,Inastablephase?,Yes,Turnoff,IMTController,PhaseDetector,PhaseDetector,Newphasedetected?,Yes,Turnon,82,计算“移动平均值”来降低噪音k是移动窗口数，vi是第i个采样间隔内得到的监控数据第i个采样间隔的移动平均值：f(i)=(vi+vi-1+.+vi-k+1)/k设vj为当前间隔的采样值，fmean=mean(f(x)|x(j-k,j)errr=f(j)/fmeanerra=|f(j)-fmean|稳定状态检测设定一个阈值T，如果errr=1-T,1+T，认为输入信号处于平稳的状态；否则，认为发现了一个新的周期T为实验性阈值,“周期性”检测,83,2020/5/23,83,内存“周期性”检测固定阈值Twss效果不错，内存需求波动小性能监控计数器“周期性”检测固定阈值TPMC性能监控计数器波动大效果一般太大，检测不到周期变化太小，不必要的监控,“周期性”检测,84,2020/5/23,84,比较两个监控器的结果WSSisstablebutPMCphasedetected:TPMCWSSphasedetectedbutPMCisstable:TPMC“Checkpointing”:periodicallywakeupWSStracker,自适性监控,Turnoff,WSSTracker,WSS,HardwarePerformanceCounters,PMCvalues,Inastablephase?,Yes,IMTController,PhaseDetector,PhaseDetector,Newphasedetected?,Yes,Turnon,Timeon?,85,2020/5/23,85,SoftwareVMM:Xen3.2GuestOS:PVLinux64-bit2.6.18WSSTrackerisimplementedinhypervisorInterceptpageaccessesOneMRC/VMHardwareIntelCorei58GBmemoryIMTConfigurationUseDataTLBmissesforPMCphasedetectionThresholdofWSSphasedetection:0.05,实验系统,86,2020/5/23,86,ASimpleCase,87,2020/5/23,87,MultiplePhases,88,2020/5/23,88,AdaptiveThreshold,89,2020/5/23,89,Checkpointing,90,2020/5/23,90,MetricsMeanRelativeError(MRE):UpRatio(UR):memorytrackingtime/totaltime,IMT的效果,91,2020/5/23,91,开销比较,NoIMT:16%IMT(f)6%(UR26%)IMT(a)2%(UR12%),Regularoptimizations:dynamichotset,AVL-treebaesdLRUlist,92,2020/5/23,92,预测精度,Monotonic(40170MB),Random(40170MB),93,2020/5/23,93,数据中心全局内存调控,本地局部调整,远程内存,在线迁移,94,2020/5/23,94,Ballooning,WorksasadriverorkernelmoduleintheguestOSFromtheguestOSsview:JustallocateorreleasememorypagesTodecreasememoryallocation:ApplyformemorypagesfromguestOSThosepagesarethenreturnedtohypervisorToincreasememoryallocation:FreethoseallocatedpagesTheamounttoincrease/decreaseistypicallyspecifiedmanually,95,2020/5/23,95,本地调整：气球技术（ballooning）,96,2020/5/23,96,REMOCA:HypervisorRemoteDiskCache,MotivationToimprovepagingperformanceformemory-intensiveorI/O-intensiveworkloadsbyutilizingfreememoryresourceonanotherphysicalmachineSolutionTheremotememoryplaystheroleofastoragecachebetweenaVMsvirtualmemoryanditsvirtualdiskdevices.Inmostcases,thenetworklatencyismuchlowerthanthedisklatency(12magnitude),97,2020/5/23,97,Networklatencyislower,Theround-triplatencyofrequestingablockofcontinuousdatafromthedisk(diskreads)andover1GbpsethernetusingTCPconnections.,98,2020/5/23,98,REMOCA:ThedesignofREMOCA,LocalModule:aghostbufferREMOCAisanexclusivecacheRemoteModule:thememoryservice,99,2020/5/23,99,TheRemotePagingModel,RemotememoryservesastoragecachefortheVMLiesbetweenVMsmemanditsvirtualdiskVMMinterceptsalldiskaccessesfromaVMVMMputsadiskblocktothecachewhennecessaryIftheaccesshitstheremotecache,therequestissatisfiedwithoutrealdiskI/ORemotecacheismanagedlocallyinVMMBlockisindexedbydiskaddresses(dev,sec)LowconsultingoverheadTransparenttotheguestOSEasytoenable/disable,100,2020/5/23,100,SummaryofREMOCA,REMOCAcanefficientlyalleviatetheimpactofthrashingbehavior,andalsosignificantlyimprovetheperformanceforreal-worldI/Ointensiveapplications.,Remotecachesize:768MB,101,2020/5/23,101,On-goingWorkWithREMOCA,Extendedclient-servermodelEverymachinecanebeaserverThroughmemorypredictionandlocalbalancingtocreateremotememorypoolCoordinatewithlocalbalancingandmigration,102,2020/5/23,102,虚拟机在线迁移,103,2020/5/23,103,MigrationStrategy,SystemStateMigrationForsharestorageVM,mosttimeonmemorycopyTypicallyusepre-copyalgorithm(NSDI05)Pre-copymemorypagesIterativelycopydirtypagesinthelastiterationStopVMandcopyremainingpagesResumedestinationVM,104,2020/5/23,104,本地调整系统设计,VM1,Mon,Controller,VMM,datastore