云计算技术与架构前瞻

云计算技术与架构前瞻,云计算的市场前景云计算的现状云计算的技术、架构发展趋势,内容提要,3,1979: CFD Contributions to the 767,4,2005: CFD Contributions to the 787,Gartner View of Private Cloud Market,可升级的,共享,自动化,弹性计算,451 Group View of the Cloud Market,管理,自动化,安全,存储,Forrester View on Cloud Computing Platforms,云计算实现的3 条路径,Time,Scope of sharing,2003,2015,2009,Client/ServerSilos,Public & Private Cloud,9,公共云 - What do we believe?,ESX,Virtual Machine,Virtual Machine,Virtual Machine,Virtual Machine,Virtual Machine,Virtual Machine,物理机,PC cloud,手机移动上网 3G,上网机Internet 接入上网,WorkstationVIP 接入,10,虚拟机,公共云 - What do I believe?,11,PC cloud上网笔记本等终端设备台式电脑、笔记本将会被淘汰虚拟PC服务运营商将会替代MS和google Data Bank解决数据、信息安全的最终解决方案衍生许多种数据服务， 比如医疗健康，个人企业信用征询，个人数据银行Many SPsPC SPStorage SPGame SPMany SAAS SPsMany other SPs,Platform ISF,HPC Apps,Test & Dev,Analytics,LSF, Symphony, ,LSF, Symphony, ,Private cloud management software,私有云,Java,JBoss, Tomcat, ,数据中心体系很复杂， 系统的维护和管理难度大IT成本高，资源占用多，配置峰值资源需求 = 浪费资源系统稳定性、可靠性低。人工服务为主，高成本、低满意度IT传统模式不能适应业务部署速度的需求 （至少2个月）,地理上分布的用户,根据应用静态分配IT资源,Supply and Demand Not Aligned,今天IDC 数据中心的挑战,云计算（虚拟化）带来的好处,资源虚拟化，从而实现全局共享 节省投资SOA 框架使得IT能对业务需求提供快速部署， 时间从原来的几个月缩短到半天 提高了业务支撑能力一体化管理打破了原来IT烟囱式业务系统管理，使得系统维护人员的效率大大提高 运维效率提高消除单点故障造成的稳定、可靠性问题 提高系统稳定性和可靠性帮助IT投资风险和决策 Smart IT节能减排 绿色IT,实现云计算（虚拟化）的困难,没有成熟的产品和方案让运营商有直观的理解。各个厂商都在推、强调自己的云计算概念和产品，像盲人摸象，无法让用户有个全局的认识。现有IT系统的改动成本和风险传统业务系统虚拟化改造少有成功案例可以借鉴组织管理和人们的认识需要提高,Platform在实现云计算方面的优势,Platform已经有了自己的云计算产品ISF - IAASPlatform的云计算产品是建立在许多用户的需求上的， 如 JP Morgen, CityBank, Amazon, Alatum我们帮助用户实现小步快跑的策略， 降低IT系统的改动成本和风险我们本地有近200名研发团队来协助用户的业务系统虚拟化改造Platform已有几个云计算成功案例Platform可提供业务培训和成功用户案例考察,Java Cloud: Fortune 500 FS Companies,App Server,App 1,烟囱式的业务系统导致了系统部署时间长，资源利用率低下，IT管理维护成本高,Virtual Servers,Self-Service Portal,100s Java 应用软件运行在1000s UNIX SMP 服务器,App Server,App 2,App Server,App N,App 1,App 2,App N,挑战,环境,SaaS Cloud: Fetch Technologies,Platform ISF,CUST A,CUST B,CUST C,CUST X,由于手动部署业务系统，无法满足日益增长的业务需求简单的用户系统配置的改变，需要几个小时乃至几天,200 virtual servers in production and test/dev using VMware,环境,挑战,IaaS Cloud: SingTel,在人工操作的方式下， 管理和维护出租的计算机、计算用户使用情况和计费非常的不方便,Xen, VMware, Hyper-V, and physical blades on 2,400 cores providing public cloud services,挑战,环境,HPC Cloud: CERN,系统无法为用户提供灵活的资源配置，需要等待很长的时间,RHEL, KVM, Xen, Hyper-V for widely diverse set of scientific applications on x86 commodity boxes,挑战,利用私有云的技术Platform ISF自动管理和部署系统,在固有的资源上， 开发了更多的服务项目; 对一些应用系统的运行效率提高了一倍多 降低成本， 提高资源利用率 通过自动化管理， 降低了维护费用,解决方案,Benefits,环境,3 个层次的云计算服务,2017/12/21,21,Each level provides a higher level of service abstraction & may use lower level(s),云计算体系架构,服务调度和管理引擎,云计算平台VM中间构建,IAAS 调度分配引擎,资源池,IAAS,服务管理,SAAS,PAAS,服务系统,IAAS 服务平台,服务应用系统,云计算门户,IDC 服务,Placement Engine Policy,12/21/2017,23,PlacementEngine,1) Application Topology,DB,AppServer,AppServer,AppServer,WebServer,WebServer,2) ResourceHierarchy,3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization),DC,RackGroup,RackGroup,RackGroup,Rack,Rack,Tier 1,Tier 2,Tier 3,Rack,Rack,Rack,Rack,Output: Initial Placement- Run-Time Management- Defragmentations& Migration,DC,/,4) Previous reservations committed & Account Quotas,5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_status()vem_policy_info(),基于资源可用状态的分配策略,PTM Framework,Application-Aware 调度,ISF Master,Application Orchestrator,KVM HypervisorResource Group,Deploy &Monitor VMs,Monitor,Get historical usage,Grow/Shrink,Vmware HypervisorResource Group,PhysicalLinux Resource Group,Application PerformanceManager,ICM,PVMO,PTM,Call ISF or sendAlert,1,3,2,需求: 动态的调整业务应用对资源的需求改变，而无须修改应用的中间件输入： 系统负载参数(cpu, mem) 集成的应用软件效率管理系统 需求的调度策略,Add custom attributes about hosts from 3rd party tools via APIAttributes can be used in scheduling & placement policiesUseful to organize hosts by location, energy efficiency, model types, lease datesSupports both static and dynamic attribute updates,资产管理与监控,AssetDB,ResourceUpdater,Monitoring DB,ISF,CMDB,API,资源使用数据用来做计费和能力规划,RateDefinition,Usage Data Reserved Amount & Time On-Demand Amount & Time CPU Usage Mem Usage By Account By Application Def By User By Resource Group,Platform ISF,HPC Application,Reporting App,JBOSS App,External Billing System,Other Data,存储的集成,10G,10TB,Storage Containers,5G,100G,5TB,20TB,2G,10G,StorageAdaptor,ISF Master,25G,50G,适配器来发现存储的内容和生成存储的资源池用户使用存储资源就如同使用一个服务的定义系统可以预约存储资源 系统启动适配器来生成存储的分配空间 工作流和后置配置步骤用来连接存储服务器,Storage Manager APIs (EMC, NetApp),High Performance,Mid-range storage,Low-end storage,网络集成,企业私有云,West CoastData Center,East CoastData Center,EuropeData Center,ISF Market Place Broker,Enterprise Messaging Infrastructure / JMS,Enterprise DB Infrastructure,Remote Proxy,Leverage EGO capabilities to distribute ISF services across multiple nodes and provide centralized monitoring, troubleshooting, and HA,Application,End-User,CloudAdmin,ISF Master Node,P-VMO,Portal,ICM,CES,App Manager,BladeLogic,VMware,Amazon,Tivoli,xCAT,ISF Master Node,P-VMO,Portal,ICM,CES,BladeLogic,VMware,Citrix,RedHat,Opsware,xCAT,VMware,xCAT,Nagios,Remote Proxy,VMware,xCAT,Nagios,Platform Computing, Inc.,The leader in cluster, grid and cloud management software:17 years of profitable growth2,000 of the worlds mos