虚拟机资源动态扩展的预研.ppt

虚拟机资源动态扩展的预研,陈 红 张瑜科,目录,g-cloud平台特点 cpu的动态扩展 内存的动态扩展 硬盘的动态扩展 总结,g-cloud平台的特点,它属于iaas服务模式 centos + eucalyptus 应用部署的形式 专属虚拟机（不同于paas形式） 自动化程度不高 环境搭建、虚拟机网络、应用部署、资源的动态扩展,g-cloud平台的特点,不同的应用对不同资源的消耗和同一资源不同时间段的消耗是不同的。而基于iaas的平台的应用部署是以专属虚拟机的形式部署，当虚拟机的资源不能满足应用的需求时，平台就要实时的增加分配给应用的资源，主要可以通过两种途径： 增加虚拟机的个数 对单台虚拟机进行资源的动态伸缩,g-cloud平台的特点,本文主要探讨对单台虚拟机进行资源的动态伸缩。对虚拟机的资源动态扩容，主要针对如下资源动态扩容 cpu memory 存储进行。 研究方案 采用分析当前主流的虚拟机监控对三种资源扩容的支持及支持技术方法进行预研。,g-cloud平台特点 cpu的动态扩展 xen对cpu动态扩容的支持 virtualbox对cpu动态扩容的支持,cpu的动态扩展-xen,xen xen4.0增加的部分新功能： 更好的性能和可伸缩性，客户机支持64个虚拟cpu，主机支持1 tb ram和128个物理cpu。 用户可以热插拔物理服务器上的cpu和内存。用户可以调整虚拟机的虚拟硬盘的大小，不需要重启或者关闭虚拟机。 内存方面的改进。它采用了transcendent memory的也共享（page sharing）等新算法，以增强虚拟机管理程序在内存操作方面的性能和能力。 能够运行高性能、网络密集型、对延迟敏感的应用程序。,cpu的动态扩展-xen,xen的cpu调度算法 bvt（borrowed virtual time） sedf（simple earlist deadline first） credit调度算法,bvt、sedf、credit,vcpu,调度层,cpu,cpu的动态扩展-xen,bvt调度算法 bvt是一种公平性优先的算法，它允许运行实时交互应用的操作系统借用未来分配给它的时间片。每个vcpu将有一个权值代表获得处理器的份额，vcpu据此值来实现处理器的公平分享。 优点 将物理时间片公平、均匀地分配给各个guest操作系统 能够满足i/o密集型和实时应用的低时延要求 在单cpu和多cpu环境下的调度开销都比较小 缺点 bvt不支持non-working-conserving 分配的物理时间片被确定,cpu的动态扩展-xen,sedf（simple earlist deadline first） 它将vcpu设定的一个最早截止期限作为调度因素。 它的特点是： 优先调度截止时间最早的vcpu 动态优先级调度 每个guest操作系统设置一个三元组(s，p，x) 优点 可以设置guest操作系统的优先级（p越小，优先级越高） 算法效率很高、实现容易 易于推算及计算 支持working-conserving和non-working-conserving 支持实时性较强的应用,cpu的动态扩展-xen,当系统负载较轻时，其处理器的利用率最高可达100% 缺点 调度参数不能随vcpu运行状况修改 只能对单个cpu进行sedf调度，没有多cpu间负载平衡的控制,cpu的动态扩展-xen,credit调度算法 按比例公平共享的非抢占式调度算法 每一个guest操作系统设置二元组(weight，cap) 各个虚拟cpu分为两个队列，under队列和over队列 优点 可以全局管理多个物理cpu 用smp的方式将各个物理cpu分配给务个虚拟cpu，实现负载平衡 通过调节guest操作系统的cap参数很好的实现non-working-conserving(nwc)调度模式 缺点 不能保证实时性 该算法的全局负载平衡策略过于简单，易导致处理器因进程未就绪而空闲的情况,cpu的动态扩展-xen,xen支持的虚拟化环境 半虚拟化 linux 全虚拟化 linux、windows xen提供的vm的cpu动态扩容 xen提供了一套命令，动态的扩展vm的cpu资源，命令格式如下： xm vcpu-set domain(id) number(vcpu),在半虚拟化操作系统和全虚拟化操作系统的环境下进行测试，结果如表：,cpu的动态扩展-xen,cpu的动态扩展-virtualbox,virtualbox支持cpu hot-plugging virtualbox现在支持linux guest和windows server 2008 datacenter editions的热插拔，前者支持hot-add和hot-remove，后者只支持hot-add。 vboxmanage modifyvm “vmname” cpuhotplug on boxmanage controlvm “vmname” plugcpu 3 vboxmanage controlvm “vmname” unplugcpu 3,g-cloud平台特点 cpu的动态扩展 内存的动态扩展 xen内存动态扩展机制 virtualbox内存动态扩展机制 vmware内存扩展机制,内存的动态扩展-xen,xen的内存扩展机制 balloon transcendent memory,内存的动态扩展-xen,balloon balloon机制从客户机回收内存返回给hypervisor，可以实时的减少分配给vm的内存而不需要重新启动虚拟机，再由hypervisor分配给需要内存的vm 特点 所耗时间较长 造成很多的内存碎片 host balloon多少/多快,内存的动态扩展-xen,transcendent memory,内存的动态扩展-xen,内存的动态扩展-xen,具体的流程 reclaim fallow memory/wasted guest collect it all into a pool provide indirect access, strictly controlled by the hypervisor and dom0,内存的动态扩展-virtualbox,virtualbox内存扩展的机制 memory ballooning page fusion,memory ballooning memory balllooning是一种可加可减的内存机制，让用户自行动态地调节虚拟机内存量。这个特性必须在 virtualbox 里安装了guest addition才能用。 vboxmanage controlvm “vm name” guestmemoryballoon n,内存的动态扩展-virtualbox,page fusion page fusion目的是运行多个相同操作系统的guest时减轻内存页面的负担，将内容相同的页面实现共用。 vboxmanage modifyvm “vmname” pagefusion on vboxmanage modifyvm “vmname” pagefusion off,内存的动态扩展-vmware,vmware的内存扩展机制 transparent page sharing ballooning hypervisor swapping memory compression,内存的动态扩展-vmware,transparent page sharing hypervisor周期性扫描内存页，生存hash值，并与hash总表匹配，一旦hash匹配就进行完整的比较，确认内存页完全一样，hypervisor就会删除重复的，以指针代替。,内存的动态扩展-vmware,ballooning 由于hypervisor无法得知虚拟机中哪些内存是空闲的，因此依靠vmware tools在guest os中的气球驱动(balloon driver)来回收内存。,hypervisor swapping 当虚拟机启动时就会创建一个内存swap文件，文件大小为最大内存交换量（虚拟机配置内存-内存预留）。当上面两种回收方式不能满足需求时，hypervisor会进行swapping将虚拟机的物理内存交换到硬盘上。 缺点 hypervisor并不知道将哪些内存交换好，guest os也不知道哪些内存被交换了。,内存的动态扩展-vmware,内存的动态扩展-vmware,memory compression 如果swapping的内存页是可压缩的，则将其压缩后存储在压缩缓存区中，这样再次访问这个被swapping的内存时仅需要解压缩，而不是从硬盘读取，这将快的多。 不能压缩或压缩缓冲区满则会与硬盘进行真正的swapping。在esx(i)的高级设置中可以设置压缩缓存的大小等。,内存的动态扩展-vmware,vmware内存机制使用策略 主机可用内存6% tps(没有设置虚拟机内存限制时） ballooning和swapping（设置了内存限制） 主机内存接近4% ballooning ballooning和swapping 主机内存接近1%时 ballooning和swapping 禁止所有虚拟机申请更多的内存,内存的动态扩展-vmware,vmware内存的分配机制 limit（限制） 限定了分配给虚拟机物理内存的上限 reservation（预留） 保证分配给虚拟机最低物理内存的下限 shares（份额） 是当主机内存过量使用时，虚拟机可获得的物理内存是通过一个公式计算得到的。通过惩罚机制使得更需要内存的虚拟获得比例较高物理内存。,g-cloud平台特点 cpu的动态扩展 内存的动态扩展 硬盘的动态扩展,硬盘的动态扩展,xen xen4.0提供了vm在无需关机的情况下动态扩展硬盘大小。 virtualbox和vmware 它们都支持动态扩展虚拟硬盘。采用的机制是： 用户设定以硬盘上限值 虚拟硬盘慢慢增加，最后达到上限值,硬盘的动态扩展,virtualbox的硬盘动态扩展 除了之前的设定一个很大的上限值外，还可以通过新增虚拟硬盘的方法实现动态扩容。其步骤如下： 在设置-介质-添加虚拟硬盘,硬盘的动态扩展,进入guest系统，我的guest系统是xp.