云计算与虚拟化PPT课件.ppt

云计算与虚拟化 1 2009 5 22 概要 国家战略需求 理论创新 能力服务计算理论 能力服务计算的关键技术 能力服务计算的实现框架与原型系统 能力服务计算理论的应用 总结 2 2009 5 22 2 云计算 面向Internet活动的超级计算环境 3 基础架构 基于Internet的大规模高效能 可信的数据 计算超级环境 例如Google有45万台多核服务器 2009 5 22 面向Internet活动的国家战略需求 2009 5 22 4 面向国家重大需求的超级计算模式 5 基础架构 基于Internet的大规模高效能 可信的数据 计算超级环境 Internet 围绕重大需求的活动 超级计算模式的挑战 计算系统日益膨胀导致的高能耗 软件系统日益复杂导致的高阻尼效应 处理器多核化呼吁软件的强扩展性 2009 5 22 国家战略利益 构建超级计算环境的理论与关键技术 6 信息化的挑战 全球化低成本信息化模式服务网络化 计算能力的共享化 计算能力的流动化 计算能力的虚拟化 2009 5 22 国际研究前沿 Berkeley的金门大桥 7 TheBerkeleyViewontheParallelComputing OpportunitiesandChallengesofMulticore 2009 5 22 核心创新 能力服务计算 虚拟化技术催生新的计算模式 8 2009 5 22 应用 学术发展的源头与归宿 9 2009 5 22 概要 国家战略需求 理论创新 能力服务计算理论 能力服务计算的关键技术 能力服务计算的实现框架与原型系统 能力服务计算理论的应用 总结 10 2009 5 22 核心贡献 能力服务计算理论 2020 3 18 11 1 能力服务计算的应用模式 能力流动 12 隔离 2009 5 22 实体层 虚拟层 能力服务器 13 2009 5 22 3 基于能力计算的新型服务计算模型 LogCM 14 DavidPatterson Berkeley 2009 5 22 3 基于能力计算的新型服务计算模型 LogCM 续 LogCM Latency messagesbetweenrequestorsandserversProcessingCapability computationmflops secondsandstoragembytesOverhead Ittakesbyaunitprocessingcapabilitytohandleataskresultingfromarequest Duringthetime nomorerequestsareaccepted Gap theminimalintervalbetweencontinuousrequestsforservicesMessage theupperboundonthesizeofmessagesbetweenrequestorsandservers 15 2009 5 22 3 基于能力计算的新型服务计算模型 LogCM 续 对datacenter中服务的刻画 SOA serviceorientedarchitectureNetworkservice connectionsNetworkservices computation flowingVMsService Challenges Definitionsofbehaviors order andcompositionofserversandtasksofservices 16 2009 5 22 4 多维空间流式计算模型 研究目标 为大规模 高负载 高并发的复杂服务计算系统发展相应的服务计算理论 提出完整的服务计算系统框架解决基于工作流和请求流来建立服务的形式化空间模型的难题把握虚拟计算技术发展的潮流和趋势 解决服务计算与虚拟计算融合 相互影响和演化的机制和方法 从而 最终为能力服务计算的发展打下坚实的理论和实践基础 17 2009 5 22 研究由服务空间 能力空间 能力计算空间构成的多维空间流式服务计算模型 进而与两个输入构成了完整的面向大规模并发服务的服务计算框架 基金委 可信软件 重大计划的重点课题 基于虚拟机架构的可信计算环境与可信软件设计 2007年 的理论基础 2020 3 18 18 可编辑 达到的研究成果及创新点 提出一种多维空间流式服务计算模型 提出完整的面向大规模并发服务的服务计算体系框架 提出一种服务于能力服务计算框架的长期模糊预测与短期预测相结合的能力需求预测模型 提出基于按需服务系统理论的能力空间模型 提出从服务空间到资源空间纵向三级调度模型 实现能力空间到能力计算空间的动态映射 提出基于虚拟化技术的能力流动机制及算法 建立一种基于服务实现商业活动的从封闭到开放的全方位实现机制 19 2009 5 22 概要 国家战略需求 理论创新 能力服务计算理论 能力服务计算的关键技术 能力服务计算的实现框架与原型系统 能力服务计算理论的应用 总结 20 2009 5 22 能力服务计算的关键技术 21 能力服务流动机制 资源虚拟化及其供给机制 应用的能力 CPU 内存等 需求模型 层次化能力流动模型和流动策略 能力流动与应用能力需求的实时匹配模型和技术 虚拟化数据中心服务与资源整合的效用分析模型 分布式虚拟机机制 IO 网络 内存 新型高效能网络化系统软件架构 网络化的可信系统软件架构 2009 5 22 22 web服务质量与CPU能力间关系 web服务质量与memory间关系 1 能力服务流动机制 典型应用的能力 CPU 内存等 需求模型 难点与挑战 如何在较短时间内实现函数关系的自动生成 即在线自动收集负载与资源间的关系 并动态确定拐点 生成该函数 我们通过大量实验得出典型企业服务中Qit fi Rit Dit 中这三者的关系 根据这些关系 我们进行函数拟合 得出满足q A D B R C关系的分段一次函数 2009 5 22 2 能力服务流动机制 层次化流动模型 23 2009 5 22 24 层次化多级能力调度机制 2009 5 22 局部资源流动算法 25 2009 5 22 全局资源流动算法 利用资源流动模型的解 从宏观的角度优化服务间的能力流动 以及为保证系统在高负载状态下的正常工作 优化应用层调度以实现admissioncontrol 从而进一步优化系统的能力流动 提高系统的稳定性和可用性 26 2009 5 22 27 原型系统RAINBOWvs Padala sworkinEurosys07 Padala的工作仅集中在一个服务器内部的虚拟机间动态分配CPU资源 使用固定经验值作为超载阈值RAINBOW不仅仅在一个服务器内部的虚拟机间且在整个系统的服务间动态分配CPU和memory资源 并且根据服务的负载变化动态的改变超载阈值 我们将它称为服务的活跃度 RAINBOW工作的时间间隔是 CPU流动1s memory流动5s 这远小于Padala的工作 10s 这意味着RAINBOW对于服务需求的改变有更快的响应 而基于Web的服务是带有突发性的交互式服务 快速的响应会导致更好的服务质量 可编辑 发表的相关论文 HiPC08 AService OrientedPriority BasedResourceSchedulingSchemeforVirtualizedUtilityComputing 15 among256 CCGRID09 Multi TieredOn DemandResourceSchedulingforVM BasedDataCenter 12 amongbest32 total271papers 3 XenSummit08 Rainbow CapacityOrientedVirtualizedComputingFrameworkforVirtualizedDataCenter 投稿论文 IEEETransaction1篇 2009 5 22 28 3 能力流动与应用能力需求的实时匹配模型和技术 虚拟化的引入为资源管理带来新的机遇 局部全局目前对于资源动态伸缩环境下的按需请求调度还不成熟 仍没有很好地解决资源利用率和服务质量间的权衡问题 要做到能力流动和应用负载的匹配 就必须要对应用特性和作业请求分布预测 2009 5 22 3 能力流动与应用能力需求的实时匹配模型和技术 续 29 2009 5 22 30 网络服务请求调度管理器 全局权值调整 分析历史15分钟内使用和分配的资源两条曲线的相交区域面积越小 说明从整体上两者最匹配 CPU利用峰谷值的匹配来移动 最佳的移动距离为 2009 5 22 网络服务请求调度管理器 续 31 2009 5 22 能力流动与应用能力需求的实时匹配模型和技术 续 实验结果 32 针对TPC W应用 可获得其最大提升空间的87 计划提交1个专利 2009 5 22 33 33 Input requestdistributions SLAofservices Output M NUtilizationM UtilizationNPowerM PowerN 挑战 虚拟化下应用与资源的关系给定应用需要最少资源 给定资源能服务多少应用 目的 评价 改进调度算法 4 虚拟化数据中心服务与资源整合的效用分析模型 2009 5 22 4 虚拟化数据中心服务与资源整合的效用分析模型 续 图 独占场景下请求到达 等待与完成 图 整合场景下请求到达 等待与完成 理论基础 Erlang损失公式 M NUtilization Uij i ij nij Power 34 2009 5 22 图 8台独占服务器整合到4台共享服务器 整合前后能耗变化 图 8台独占服务器整合到4台共享服务器 整合前后web DB服务性能变化 图 6台独占服务器整合到3台共享服务器 整合前后web DB服务性能变化 图 负载的纯能耗整合前后变化 35 服务整合较之服务独占减少服务器数量50 的同时服务性能基本接近 而且整体能耗降低53 负载的纯能耗降低30 提交论文IEEECluster2009提交IEEETransaction1篇 4 虚拟化数据中心服务与资源整合的效用分析模型 续 2009 5 22 能力服务计算的关键技术 36 能力服务流动机制 资源虚拟化及其供给机制 应用的能力 CPU 内存等 需求模型 层次化能力流动模型和流动策略 能力流动与应用能力需求的实时匹配模型和技术 虚拟化数据中心服务与资源整合的效用分析模型 分布式虚拟机机制 IO 网络 内存 新型高效能网络化系统软件架构 网络化的可信系统软件架构 2009 5 22 DVMM技术 分布式虚拟机监控技术 DistributedVirtualMachineMonitor DVMM DVMM技术把基于单机的虚拟化技术和分布式系统概念结合在一起 构建跨越物理计算机边界的计算资源池 存储资源池 网络资源池等全局可见的虚拟资源空间 虚拟资源按照冯 诺依曼计算机模型原理组合在一起 形成了虚拟计算机 VirtualMachine DVMM提供虚拟资源到物理资源的动态绑定和虚拟计算机资源的在线扩张与收缩机制 从而实现资源的流动 达到资源On Demand的目的 37 2009 5 22 LocalI OScheduler1 1虚拟化环境中的I O性能调度 目标 在多虚拟机环境中 关注对延迟敏感的应用和优先级高的应用 通过优先满足它们的需求 使得在同等计算能力条件下能得到更好的服务关注dom0中的I O调度事件信息收集的优化后端I O请求的统一管理和调度I O请求的优先级调度算法性能隔离未来将继续研究分布式计算环境中多级I O调度机制和算法 线程1 线程2 线程3 I O处理线程 LocalI OScheduler LocalI OScheduler n GlobalI OScheduler VirtualCluster 1 VirtualCluster n 38 2009 5 22 2基于request response服务化IO颗粒和全局IO空间的研究实现架构 39 2009 5 22 3RemoteIOBinding 远程IO通道可信绑定技术 RemoteIOBinding 远程IO通道可信绑定技术 新型网络化OS架构的关键机制面向客体可信保证的基础面向主体可信语义传输的基础 40 2009 5 22 4domain间高速通信通道 Schannel 分布式服务可能会部署在同一物理机的不同虚拟机上Xen平台上inter domain通信需要经过dom0动态页面共享引入额外的hypercall 41 2009 5 22 4domain间高速通信通道 Schannel 续 SChannel对应用和网络协议栈透明利用内核netfilter机制Inter domain直接通信静态页面共享 无需hypervisor参与共享内存大小根据虚拟机内存定制减少接收端一次额外copy 42 2009 5 22 4domain间高速通信通道 Schannel 续 减少接收端的一次额外copy 二次copy 一次copy 43 2009 5 22 4domain间高速通信通道 Schannel 续 性能分析 吞吐率提升近44 5 每个包的处理开销减少3500cycles 提交论文IEEECluster2009提交IEEETransaction1篇 44 2009 5 22 5DVMM之存储虚拟化 EnhancedLVM将远程存储设备添加进LVM可管理的设备列表定制逻辑卷中的逻辑区块与物理区块的映射表可以忽略卷组这一层 因为我们可以直接管理逻辑卷到物理卷的区块映射 从而减少映射层级提存储资源共享和流动两个层次的共享和流动节点内每个虚拟机的虚拟存储设备对应的物理存储单元可以在虚拟机的虚拟存储设备之间共享和流动因为可以对逻辑区块和物理区块的映射进行定制 所以只需要解决逻辑卷容量的在线扩展和收缩即可节点间每个节点的物理存储空间可以共享给其它的节点使用 45 2009 5 22 6内存虚拟化 内存架构和共享模式 构建虚拟化系统中内存层次结构根据延迟划分多级内存系统实现对软件透明的全局内存优化流动 46 2009 5 22 6内存虚拟化 续 基于虚拟化的透明内存技术 47 2009 5 22 6基于虚拟化的透明内存实现 48 2009 5 22 概要 国家战略需求 理论创新 能力服务计算理论 能力服务计算的关键技术 能力服务计算的实现框架与原型系统 能力服务计算理论的应用 总结 49 2009 5 22 能力服务器原型系统I和II 50 2009 5 22 Rainbow1 2 能力服务器原型 系统是思想的归宿与源泉 2008年 51 2009 5 22 概要 国家战略需求 理论创新 能力服务计算理论 能力服务计算的关键技术 能力服务计算的实现框架与原型系统 能力服务计算理论的应用 总结 52 2009 5 22 1 基于能力服务器的桌面虚拟化计算平台 53 新的系统可以明显减小系统