虚拟化技术的历史

1、虚拟化技术,agenda,虚拟化技术概述 基本虚拟化技术 硬件对虚拟化的支持 VMware虚拟化技术,认识虚拟化,指令仿真,全虚拟化,半虚拟化,操作系统虚拟化,LIB库仿真,低,高,性能,QEMU,KVM/Vmware,Xen,VServer,Wine,计算机系统,硬件,操作系统,程序库,应用程序,指令集合ISA,系统调用SysCall,应用编程接口API,虚拟化技术的历史,资源池,IBM推出虚拟化技术，提高了昂贵的大型机的利用率；,VMware公司解决了X86虚拟化问题，推出了X86平台的虚拟机软件，使虚拟化技术开始走向普通用户。,开源虚拟化技术Xen推出，使虚拟化技术的研究和应用更加普及；

2、,Intel和AMD推出支持虚拟化技术的处理器和芯片组，实现了硬件辅助虚拟化技术；,1960s,1999,2003,2005,Amazon采用虚拟化技术提供云计算平台，取得了商业上的成功，虚拟化技术成为云计算的基石；,2006,虚拟化技术将物理资源转化为便于切分的资源池，符合云计算的基本条件； 虚拟化给资源以动态调配的能力，符合云计算按需分配的要求；,虚拟化前,虚拟化后,虚拟化将硬件、操作系统和应用程序一同封装一个可迁移的虚拟机档案文件中,软件必须与硬件相结合 每台机器只能 运行单一的操作系统 每个操作系统有一个或多个应用程序负载（通常只有一个）,增加虚拟化层 裸金属架构 每台机器上有多个操作

3、系统和多个应用负载,服务器虚拟化的基础概念,虚拟化计算系统体系结构,虚拟机管理器VMM,单计算系统 虚拟化,多计算系统 虚拟化,操作系统,应用程序,VMM,VMM,VMM,虚拟机,应用系统,传统计算系统 计算模式,虚拟化计算系统 计算模式,虚拟机,应用系统,虚拟机,应用系统,虚拟机,应用系统,操作系统,操作系统,操作系统,操作系统,8,虚拟技术: 四大特性,虚拟化益处：实现资源最优利用,通过虚拟化进行服务器整合优势： 大大提高硬件利用率 增加系统的可管理性 简化服务器安装过程，节约时间50%70% 减少10倍或更多的硬件购买需求，节约一半的购买和维护成本,Hypervisor,Hypervis

4、or,Hypervisor,Hypervisor,虚拟机,虚拟化益处：动态负载均衡资源,当VMM监测到某个计算节点的负载过高时，可以在不中断业务的情况下，将其迁移到其它负载较轻的节点或者在节点内通过重新分配计算资源 执行紧迫计算任务的虚拟机得到更多的计算资源，保证关键任务的响应能力,Hypervisor,Hypervisor,Hypervisor,利用虚拟机与硬件无关的特性的虚拟机迁移技术，按需分配资源,虚拟化益处：系统自愈功能提升可靠性,系统服务器硬件故障时，可自动重启虚拟机 消除在不同硬件上恢复操作系统和应用程序安装所带来的困难，其中任何物理服务器均可作为虚拟服务器的恢复目标 减少硬件成本

5、和维护成本,Hypervisor,Hypervisor,Hypervisor,实现经济高效、独立于硬件和操作系统的应用程序高可用性,虚拟化益处：提升系统节能减排能力,与服务器管理硬件配合实现智能电源管理 优化虚拟机资源的实际运行位置，达到耗电最小化 可为运营商节省大量电力资源，减少供电成本，节能减排,Hypervisor,Hypervisor,Hypervisor,休眠,虚拟化技术的驱动力IT成本的消减,虚拟化技术能够显著提高硬件平台的利用率，节省50%以上的IT投资； 硬件服务器的减少同时能够节省机房电力、空间和制冷方面的投入；,IDC统计的每用户年度花费,虚拟化技术的驱动力管理和可用性的提

6、升,虚拟机与物理服务器的隔离，使物理服务器的变化不波及虚拟机，简化了管理难度； 虚拟机间能够提供对上层透明灾难恢复机制，灾难恢复过程简单灵活，能显著提高系统可用性；,物理设备,虚拟机,OS,App,虚拟机,OS,App,故障,升级,维护,数据中心整合案例,客户示例：领先的北美公共设施公司,VMware 对其产生的影响,硬件成本节省 数据中心空间、电力和制冷成本节省 70-80% 2 年节省 800 万美元 运营效率 服务器重建和应用程序载入时间从 20-40 小时缩短到 15-30 分钟 每年节省 10,000 工时,agenda,虚拟化技术概述 基本虚拟化技术 硬件对虚拟化的支持 VMwar

7、e虚拟化技术,VMM作为一个应用程序运行在主机操作系统上，兼容性好但效率低。,虚拟化技术的关键组件VMM组织架构,Host OS,VMM,APP Guest OS1,App Guest OS2,Service OS,VMM,APP Guest OS1,APP Guest OS2,Hardware,Hardware,OS-Hosted 模式,VMM,APP Guest OS1,APP Guest OS2,Hardware,VMM又称为Hypervisor，负责为虚拟机统一分配CPU、内存和外设，调度虚拟资源；,VMM直接运行在物理硬件上，效率更高，但硬件兼容性差。,Stand-alone Hyp

8、ervisor 模式,前两种方式的综合，VMM直接运行在物理硬件上，但驱动程序由Service OS提供。,Hybrid模式,例如：ESX Server 依赖虚拟层内核 代理和帮助应用的服务控制台,VMM组织架构举例VMware产品虚拟化架构,例如：GSX Server, VMware Server, Workstation 安装和运行应用程序 依赖于主机操作系统对设备的支持和物力资源的管理,寄居架构（Hosted Architecture）,裸金属架构 (“Bare Metal” Architecture),X86平台虚拟化的三种方式,X86平台 Full virtualization虚拟化

9、技术,客户操作系统运行在Ring 1级，VMM运行在Ring 0级，VMM提供给操作系统各种虚拟资源（虚拟BIOS、虚拟设备和虚拟内存管理等）。对于不能虚拟化的特权指令，通过二进制转换方式转换为同等效果的指令序列运行，而用户级指令可直接运行。 客户操作系统与底层硬件资源完全隔离，操作系统不感知运行在虚拟机上，也不需要修改操作系统，虚拟机具有较好的隔离性和安全性。,App,Ring 3,Ring 2,Guest OS,Ring 1,VMM,Ring 0,X86 硬件平台,对特权指令进行二进制转换,用户指令直接执行,X86平台 Paravirtualization虚拟化技术,这种方式需要修改操作系

10、统内核，将不能虚拟化的指令替换为hypercall，hypercall直接与虚拟层通信，虚拟层提供内核操作的关键接口，如内存管理、中断处理和时间管理等。 这样显著减少了虚拟化开销，性能较高，但是由于需要修改操作系统内核，对于非开放的操作系统，如windows 2000/xp，则无法支持。,VMM,App,Ring 3,Ring 2,Ring 1,Guest OS,Ring 0,X86 硬件平台,通过Hypercall调用虚拟层操作,用户指令直接执行,X86平台 硬件辅助虚拟化,在Intel的VT-x技术中，CPU在Ring 0级之下还提供了一个Root Mode，VMM运行在Root Mode

11、下。特权指令自动被VMM捕获，不需要进行二进制转换或调用Hypercall。 Intel还对外设提供了VT-d和VT-c等技术，提供对外设虚拟化的支持。,VMM,App,Ring 3,Ring 2,Ring 1,Guest OS,Ring 0,X86 硬件平台,特权指令被VMM捕获，不需要二进制转换,用户指令直接执行,非Root mode,Root mode,内存虚拟化,VMM 通常采用分块共享的思想来虚拟计算机的物理内存。即将机器内存分配给虚拟机，并维护机器内存和虚拟机所见的“物理内存”的映射关系，使这些内存在虚拟机看来是从地址0开始、连续的物理地址空间,I/O设备虚拟化模式,较高性能 IO

12、设备共享 支持虚拟机迁移 虚拟层过于复杂,I/O设备虚拟化,目前一些常见的VMM系统针对I/O设备虚拟化分别采用了不同的设计思路，比较典型的有：1）全虚拟化，2）半虚拟化，3）软件模拟,全虚拟化,半虚拟化,软件模拟,虚实结合的I/O设备访问技术,直接设备访问 VMM-Bypass I/O 2006年IBM基于Xen实现了InfiniBand设备的直接I/O访问 2006年佐治亚理工提出I/O设备自虚拟化(Self-Virtualization)概念 Intel VT-d，AMD IOMMU，PCI-SIG的IOV规范从硬件层次上试图解决直接设备访问带来的隔离性问题，并支持设备的共享,开源虚拟机

13、Xen,Xen是由剑桥大学计算机实验室发起的开源虚拟机项目； 支持半虚拟化和全虚拟化（需要硬件支持）； Xen Hypervisor 是虚拟机管理器，负责CPU调度和内存分区，不负责网络和设备IO； Domain 0 ，负责管理其他虚拟机，提供管理接口； Domain U Domain U PV Guest ：半虚拟化虚拟机； Domain U HVM Guest ：全虚拟化虚拟机； Xen Hypervisor的管理接口可通过Libxenctrl库调用，来实施管理功能；,基于Linux内核的虚拟机KVM,KVM嵌入到Linux内核中，利用Linux内核的调度和资源管理能力管理虚拟资源； 在K

14、VM下，每个虚拟机都是一个Linux进程，它按正常进程方式调度，内存也由Linux分配，也可以按普通进程进行管理。 正常进程有核心和用户两种模式，KVM增加了guest模式，用于执行非IO的客户操作系统代码 ； KVM主要有两个组件：一个用来管理虚拟硬件的驱动程序，它体现为设备/dev/kvm；一个修改了的qemu进程，运行在用户空间，用来模拟PC硬件。,操作系统适配,减少陷入，提高虚拟化性能 VMware：idle被调度时，可以不切换页表 VMware：通过修改Guest OS安装的网卡驱动，减少I/O指令和中断请求，提高虚拟网卡性能 Xen：通过Hypercall陷入VMM，完成一组特权操

15、作 支持虚拟机管理：Virtual Aware 提供负载信息（The University of Michigan） 提供资源使用信息 虚拟机自管理（University of Copenhagen） Self-migration、Self-Clone Virtual Appliance (VMware) JeOS：Just enough OS,虚拟机系统基本安全隔离,因外界入侵、系统故障等，虚拟机出现安全问题 通过安全隔离机制将“问题”虚拟机限定在特定范围 终止“问题”虚拟机，对其所使用的磁盘、内存等进行安全清理，隔离系统故障,29,VMM,VM,物理内存,虚拟磁盘,虚拟物理内存,VCPU,

16、core,虚拟磁盘,虚拟物理内存,VCPU,物理磁盘,VM,VM,VM,VM,VM,vTPM manager,vTPM instance,vTPM instance,vTPM instance,vTPM instance,Trusted VMM platform,OS,OS,OS,attack,可信VMM隔离来自VM攻击,TPM提供可信的VMM,并通过虚拟化技术为每个VM提供可信功能 可信的VMM可以实现VM与VMM之间的攻击隔离,把VM内攻击的的边界限制在VM之内.实现了VM与VMM以及VM之间的安全隔离 利用虚拟化技术可有效实现硬件的故障隔离技术,failure,硬件的故障对 VMs和OS

17、透明,虚拟机安全隔离实现机制,agenda,虚拟化技术概述 基本虚拟化技术 硬件对虚拟化的支持 VMware虚拟化技术,VMMSoftware,Software-only VMMs Binary translation Paravirtualization IO-Device Emulation,Simpler and more Secure VMMs through foundation of virtualizable ISA,Better I/O and CPU Performance and Robustness vi hardware support,Vector 3:I/O Dev

18、ice Focus,Assists for endpoint I/O device sharing: Support for PCI-SIG Standards Network Virtualization (VMDq),Richer IO-device Functionality and Sharing for legacy and paravirtualized OSes,Vector 1:Processor Focus,Vector 2:Platform Focus,Baseline Infrastructure: DMA Remapping,Enhanced Platform Supp

19、ort: Interrupt Remapping Performance Enhancements PCI-SIG IOV Support,Intel VT-x: Intel Virtualization Technology (Intel VT) for IA-32, Intel 64 and Intel ArchitectureIntel VT-d: Intel Virtualization Technology (Intel VT) for Directed I/O Intel VT-c: Intel Virtualization Technology (Intel VT) for Co

20、nnectivity,Intel VT Development RoadmapVMM software evolution over time with Intel Virtualization Technology hardware support,VT-c,VT-d,VT-x,Intel Virtualization Technology Intel VT refers to all the hardware assists for virtualization that Intel offers across its platform (CPU, Chipset, I/O),Intel

21、VT-x Intel VT refers to all the hardware assists for virtualization in Intel 64 and IA32 processors,Intel VT-i Intel VT refers to all the hardware assists for virtualization in Itanium processors,Intel VT for Directed I/O (Intel VT-d) Intel VT refers to all the hardware assists for virtualization in

22、 Intel chipset,Intel VT for Connectivity (Intel VT-c) Intel VT refers to all the hardware assists for virtualization in Intel networking and I/O devices,Processor,Chipset,Network,Pre and Post Intel VT-x/VT-i,Intel Virtualization Technology Simplifies VMM operation,VMM has its own privileged level wh

23、ere it executes No need to de-privilege the guest OS OSes run directly on the hardware,VMM de-privileges the guest OS into Ring 1, and takes up Ring 0 OS un-aware it is not running in traditional ring 0 privilege Requires compute intensive SW translation to mitigate,Intel VT-d in hardware: Overview,

24、VT-d provides infrastructure for I/O virtualization Defines architecture for DMA remapping Will be supported broadly across Intel chipsets,DRAM,South Bridge,Bus to CPU,PCI Express,PCI, LPC, Legacy devices, ,Integrated Devices,North Bridge,VT-d,PCIe* Root Ports,*Other names and brands may be claimed

25、as the property of others,Intel Virtualization Technology for Directed I/O (VT-d)DMA-Remapping Benefits,Protection: Enhance security and reliability through device isolation (Native OS and VMM) Enable controlled DMA to and from device to the specified physical memory locations only End to end isolat

26、ion (VM to the device) Performance: Allows I/O devices to be directly assigned to specific virtual machines (VMMs) Eliminate Bounce buffer conditions with 32-bit devices (Native OS and VMM),Rxn,Rx1,Rx2,Rx1,Rxn,Rx1,Idle,Tx2,Txn,Txn,Idle,Tx2,Txn,Tx1,MAC/PHY NIC w/VMDq,Virtual Machine Device Queues (VM

27、Dq)More effective NIC sharing by sorting and grouping packets,Layer 2 Software Switch VMM,LAN,Transmit Path: Round-robin servicing Ensures transmit fairness across VMs Prevents head-of-line blocking,Receive Path Data packets for different VMs get sorted at the Ethernet silicon based on MAC address/V

28、LAN tags Sorted data packets get parsed to the respective VMs Data packets being received by respective VMs,Rx1,Rx2,Rx1,Rxn,Rx1,Rxn,Tx1,Txn,Tx2,Tx2,Txn,Txn,*Other names and brands may be claimed as the property of others.,agenda,虚拟化技术概述 基本虚拟化技术 硬件对虚拟化的支持 VMware虚拟化技术,VMware HA：提高系统的可用性,功能 当服务器故障时，自动重

29、新启动虚拟机 优势 经济有效的适用于所有应用的高可用 不需要独占的stand-by 硬件 没有集群软件的成本和复杂性,经济有效的适用于所有应用的高可用解决方案,X,VMotion：减少计划内宕机时间,VMotion,VMotion,VMotion是什么？ 通过VMware VMotion可以实现虚拟机的动态迁移，而服务不中断。 客户优势： 零宕机时间: 进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化 服务器的持续可用性, 完整的交易集成 支持Fibre Channel和iSCSI SAN环境以及NAS,Storage VMotion：减少计划内宕机时间,虚拟机磁盘存储独立迁移 无需

30、虚拟机停机 LUN 独立 支持光纤通道 SAN,无中断： 刷新到新阵列 迁移到不同类别的存储器 升级到新文件系统格式 虚拟机粒度，LUN 独立,VMware分布式资源调度（DRS）：按需自动资源调配,功能 跨资源池动态调整计算资源 基于预定义的规则智能分配资源 优势 使IT和业务优先级对应 动态提高系统管理效率 自动化的硬件维护,动态负载均衡和连续智能优化，保证所有应用需要的的资源,资源池,业务需求,围绕业务进行组织和规划而不是您的硬件!,实现节能的绿色计算：DPM智能化的电源管理,是VMware DRS功能的进一步延伸 与服务器管理硬件配合实现智能化的电源管理 优化虚拟机的实际运行位置，达到耗电最小化的目的 可以为大中型计算中心节省大量的电力资源，显著降低用电成本,资源池,业务需求,下电,These features are representative of feature areas under development. Feature commitments must not be included in contracts, purchase orders, or sales agreements