云计算资源池建设方案天云科技.ppt

1、,北京天云融创科技有限公司 SkyCloud Technology Ltd.,云计算资源池建设方案,目录,3. 天云科技TCLOUD平台,2. 云计算资源池的概述,1. 传统平台的问题,4. 云计算资源池建设方案,基于传统平台部署的IT资源配置模式- “烟囱式”结构,机房设施,数据网络和存储网络,服务器1,服务器2,服务器3,服务器n,。,应用1,应用2,应用3,应用n,部门A,部门B,部门Z,传统“烟囱式” 数据中心的缺陷,资源利用率低下的原因,为应付少量峰值负载而过度配置服务器,用户发展迅速，流量快速增加 用户自定义内容、大规模数据处理迅速增加 业务发展不平衡，资源利用不平衡,6,“冰山模

2、式”- 传统数据中心的成本支出结构,看的见的花费： 30% 预算用于新基础设施建设和新应用开发,看不见的花费： 70% 预算用于现有设施维护和人员支出,问题： 如何节省运营性支出把预算更多地用于IT基础设施创新？,主要成本在向电力冷却与维护转移,Source: The IT Infrastructure of the Future: New Technologies in a Constrained Market, Matt Eastwood, March 2009,电力与管理成本占有超过2/3的IT预算,目录,3. 天云科技TCLOUD平台,2. 云计算资源池的概述,1. 传统平台的问题,4

3、. 云计算资源池建设方案,云计算资源池分类,对海量信息的处理 计算云 对海量信息及计算结果的存储 存储云,0101010101010 10101011010010 0101100101010 10101100101010 0101010010100,原始数据,- - - - - - - - - - - - - - - - - - - - - - - -,计算结果,存储云,计算云,云计算资源池建设的基本需求,私有云,公有云,计算云,存储云,计算云,存储云,公有云: 不用对基础设施进行设置 更少的管理开销 更少的初期费用 只有运营费用,私有云: 高可控 易整合 减低总开销 固定和运营费用,同样提供

4、: 高效 高可用性 弹性能力,云计算资源池技术模型,建设云计算资源池的优势,节能高效 资源更高程度的整合 进一步提高资源的利用率 易于管理维护 客户端的管理需求降至最低 基于统一的管理平台进行管理 可支持远程维护和诊断 可扩展，系统的高可用性 后台资源池的资源动态调度保证系统的高可用性 资源池的资源可按需扩展,资源动态容量规划技术； 虚拟资源的动态分配技术； 虚拟资源的动态分配策略与机制；,实现云计算资源池的五个技术保证,服务器虚拟化整合技术； 云计算资源池技术； 云存储资源池技术； 网络资源池技术；,基础资源共享,资源动态分配,统一的SLA规划； 服务目录与服务清单； 服务计费管理；,监控，

5、运维管理流程与操作流程的标准化和规范化； 监、管、控系统的集成与自动化； SLA管理与自动化的集成，实现面向服务的自动化管理；,管理自动化,服务提供,数据安全； 网络安全； 基础架构安全； 访问安全； 数据合法性审计 应用合法性审计,云计算安全管理,自动化,虚拟化,安全,系统平台和支持 服务,实现云计算资源池的关键因素,传统数据中心,新一代云计算资源池,关键支持因素,高成本 烟囱式IT,低成本共享IT资源池,7x24自动运行,电源和冷却,统一管理,工业标准 高伸缩性 IT支持服务,高能效比的计算方式,内置安全机制和主动式安全防护,资源的池化和优化，容易共享,根据业务需要自动调整资源分配,统一的

6、基础设施管理,云存储 分布式文件系统 分布式数据库,天云专业电源和冷却解决方案,SkyCloud 云计算环境 （ Cloud Computing Environment）,目录,3. 天云科技TCLOUD平台,2. 云计算资源池的概述,1. 传统平台的问题,4. 云计算资源池建设方案,TCloud产品标准的云平台三层架构,IaaS,PaaS,SaaS,TCLOUD平台的功能,20,基础设施即服务： 云存储资源池 云计算资源池,平台即服务： 弹性化计算平台 云应用平台,软件即服务： 海量数据处理分析系统,利用TCloud，可以提供如下功能：,电信级级的云计算操作系统 可以提供IaaS、PaaS服

7、务 基于通用x86平台 提供弹性计算资源和弹性存储资源 高可用性：防止single point of failure，快速灾难恢复 提供高弹性计算能力，满足高峰时段的需求 多语言应用程序运行环境 全面的安全防护，包括主机/网络/数据安全 提供自动部署工具批量安装系统 基于web的API，便于整合和后期开发,TCloud平台主要特性,传统平台 vs. TCloud平台,目录,3. 天云科技TCLOUD平台,2. 云计算资源池的概述,1. 传统平台的问题,4. 云计算资源池建设方案,管理与调度系统,利用TCloud搭建云计算资源池,TCloud 云操作平台,Hosting services 外包软

8、件服务 邮件服务 虚拟桌面服务 面向用户的应用服务 ,PaaS（开放的软件开发平台）,分布式计算,分布式文件系统,计算,存储,网络,SaaS （基于独有的接口开发),虚拟化平台,部署,配置,优化,Provisioning,监控,虚拟化平台：主机虚拟化、存储虚拟化和网络虚拟化，将服务器、存储、网络等资源全面形成一个巨大的资源池，消除资源物理边界，提升资源利用率，统一资源池分配。 分布式文件系统：将文件切片分布在磁盘上存储，通过副本方式备份,数据平均分布,负载均衡,支持标准化的API调用接口 分布式数据库：大容量半结构化数据的分布式存储 分布式计算：海量数据的并行处理,提高系统容量，具备弹性扩展业

9、务的能力 PaaS:开放式编程接口，提供分布式应用开发和运行平台 SaaS:按需定制和快速部署的应用软件,分布式数据库,云 安 全,云计算资源池功能详述,利用TCloud将硬件资源进行整合，可以提供如下功能： 弹性计算 云存储 基于云的应用平台 易升级的弹性计算平台 中央控制台,弹性计算,虚拟化功能,虚拟机生命周期管理 虚拟机负载优化 虚拟机弹性化控制 高可用性 VLAN和虚拟机的网络分割,28,Copyright 2010 TCloud Computing Inc.,基本工作流程,28,29,1,启动 VM,3,分配 hypervisor,Cluster Controller,负载优化引擎,

10、2,检测hypervisor 负载,虚拟机负载优化-启动时,30,虚拟机负载优化-Scale out,Cluster Controller,负载优化引擎,1,监控虚拟机负载情况,2,负载过大，触发Scale out策略,3,从资源池内获取物理资源,4,迁移Vms,实时负载分配,Cluster Controller,负载优化引擎,2,迁移虚拟机到其他 Hypervisor,3,关闭虚拟化设备 退回资源池,1,监控资源负载情况,32,虚拟机弹性化控制,Cluster Controller,负载优化引擎,1,监控虚拟机负载,2,触发弹性策略(avg. CPU 80%),3,启动新虚拟机 分担负载,3

11、3,高可用性,Cluster Controller,负载优化引擎,1,监控Hypervisor状态,2,一个hypervisor 不可用,3,分配新虚拟机用来运行 已崩溃的Hypervisor上的虚拟机,第三方虚拟化软件的支持,TCloud 支持使用第三方虚拟化软件，包括： VMWare vSphere,Cirtix XenServer,Redhat KVM,Microsoft Hyper-v，Xen等。 第三方虚拟化方案以集群的方式集成到TCloud中，接受管理。 用户可以决定使用不同的集群来提供虚拟化服务。,云存储,云操作系统对分布式存储（云存储）的需求,整合异构设备提供统一虚拟存储空间的

12、能力； 满足网管系统可靠性的能力； 优化存储资源的能力；,满足以上能力必备的四大特性,支持异构设备并提供统一接口,提供的虚拟化存储空间不受限于单一服务器和存储设备的容量,通过数据的分布式存储避免集中磁盘和网络读写的瓶颈,可以简单增加X86服务器、存储设备提高存储资源池的大小,传统存储 vs. 云存储,利用TCloud构建云存储系统,基于分布式文件系统，扩展灵活，稳定高效 为TCloud 提供基础数据存储服务 为现有的应用提供存储服务 为用户提供网络存储服务,利用TCloud构建云存储系统（2）,整合异构的存储设备，例如服务器硬盘或NAS,SAN存储设备，以云存储的方式提供的虚拟化共享存储的分布

13、式存储环境，实现虚拟机的自动迁移，备份与负载均衡等功能。 其他虚拟化软件需部署FC SAN或 iSCSI 存储网络。 系统特点如下： 内部存储设备异构，提供标准NAS相关接口 全局域名空间，不受单一服务器和存储设备容量限制 给每位用户动态分配需要的存储空间，充分利用存储资源 将虚拟机镜像文件切片分布在磁盘上存储，通过副本方式备份,数据平均分布 并行读写，高IOPS,负载均衡,天云TCloud云计算平台,分布式共享存储,利用TCloud构建的云存储系统优点,扩展性 PB 级别的分布式文件系统 在线缩放 可靠性 可配置备份级别 服务器自动恢复 无单点故障 负载均衡 文件分块存储于多台服务器之上 添

14、加删除文件服务器后自动平衡 易用性 标准访问接口，多种协议支持 权限控制，容量控制,Classification 9/13/2020,40,TCloud云存储系统架构,Storage Cluster,Meta Server Cluster,NFS,NFS,FTP,SMB,File Server Cluster,HTTP,HTTP,HTTP,S3 API Server Cluster,Clients(enduser or client app),S3 API via HTTP,SMB NFS FTP,AD/LDAP,DNS or L4 load balance,NAS,NAS,HIVE,磁盘阵列

15、,JDBC,文件存储 File Server Cluster提供文件存储服务 支持POSIX/CIFS/NFS/FTP接口 非结构化数据存储 S3 Server Cluster提供对象存储服务，兼容Amazon S3 结构化数据存储 SQL Cluster提供数据库服务 HIVE提供分布式数据库服务,TCloud 云存储系统功能,云存储应用-为平台自身提供存储,TCloud 分布式文件系统,VM Images,VM Images,Hypervisor,VMs,TCloud网络文件系统,TCloud 分布式文件系统,云存储应用-提供通用存储,Hypervisor,VMs,NFS,FTP,SMB,

16、用户,云存储应用-提供对象存储（S3),TCloud对象存储系统,TCloud 分布式文件系统,Hypervisor,VMs,S3,S3,S3,用户,磁盘阵列,云存储应用-提供弹性块存储,TCloud 分布式文件系统,Hypervisor,VMs,用户,云存储操作(1),按照下列步骤添加共享存储: Cloud Management Cluster Share Storage 点击“Add” 按钮打开对话框：Add share folder & Permission” 填入用户，容量以及权限等信息 点击“OK” 按钮，完成共享存储的创建,云存储操作(2),共享存储创建后 用户通过CIFS，NFS

17、或者FTP 协议访问共享存储。,云存储操作(3),共享存储列表 Cloud Management Cluster Share Storage 管理员可以添加、删除共享存储、设置容量以及设置权限,云存储操作(4),云存储认证设置 Cloud Management Cloud Management Authentication Authentication setup,目前支持 Windows AD 和 LDAP 认证,高性能,传统文件系统采用集中式存储，存储系统本身的吞吐量很容易成为系统的瓶颈。分布式存储要求每个文件被分成多个数据块，每个数据块分布在各个服务器和盘阵上，通过并发读写提高系统总体性

18、能。,资源池管理与运营功能,资源池运营管理平台功能需求,服务的交付,应用程序运行需求,虚拟机 管理系统,物理机 部署工具,服务器,资源分配引擎,资源整合,存储,网络,应用程序集成和运行管理,匹配资源的请求和供给,创建一个共享的“资源池”，将虚拟机资源和物理机资源整合，提供统一的分配、管理、使用接口,服务的创建、访问、交付和计费,根据系统当前负载、系统资源的使用情况，有序的运行应用程序。,TCLOUD运营管理平台架构,集中管理、分布服务 资源自治、高度共享,省公司资源,集团资源,省公司资源,资源调度引擎,资源调度引擎,资源调度引擎,资源管理平台,运营服务平台,系统监控平台,资源共享,门户 / 命

19、令行 / 开发接口,资源分配引擎,存储系统,服务管理器,资源池,Virtual Machine,Virtual Machine,用于虚拟机的存储,Virtual Machine,Virtual Machine,Virtual Machine,Virtual Machine,物理机,Physical Server Virtual Appliance,节能,拓扑结构,Tcloud,WebLogic,SAS,外部的服务目录接口,外部的审批接口,资源的统一管理,XenCenter,BladeLogic,Network,Storage,VCenter,资源池管理,资源池管理,资源集中管理： 资源数量、关

20、键属性可查询 CPU、内存、存储、IP等资源的统一分配与回收 自动识别与动态更新,虚拟机管理,虚拟机整个生命周期的管理 图形化的虚拟机管理功能 支持Xen和Vmware，支持X86服务器和刀片机的虚拟化,网络资源管理,IP资源池,提供IP资源池管理： 添加地址段随机分配 与虚拟机名一一对应 提供VPN管理,存储资源管理,支持挂载到虚拟机的存储容量的划分、管理。 支持为多个基于Xen或基于KVM的Hypervisor创建NFS共享存储，用于存放在这些Hypervisor上创建的虚拟机文件和虚拟机模板。 支持从外部存储资源，如SAN，NAS，创建存储区域并在创建虚拟机时，加载至虚拟机。,自动化管理

21、,提供系统级资源调度，支持用户自定义资源调度策略，具通用调度引擎,资源调度,支持用户自定义资源调度策略，资源调度引擎和监控系统联动,动态资源调度,通过定制模板的方式，支持操作系统介质库创建，支持Xen和VMware,裸机操作系统安装,虚拟机创建、IP地址分配、用户名密码设定、系统镜像部署、软件安装与配置,虚拟机自动化部署,通过门户对虚拟服务器进行开机与关机、停止与恢复、重启、删除等操作,虚拟机控制,实现存储层面的自动化功能,存储自动化,自动化的为虚拟机设置IP地址、机器名称、子网掩码、网关以及用户名、密码,网络自动化,软件自动化部署,通过部署工具和应用模板两种方式,监控管理,包括服务器启停状态

22、、服务器名称、CPU利用率、内存利用率、负载、磁盘使用量,服务器监控,包括启停状态、名称、IP地址、CPU利用率、内存利用率、负载、所属物理服务器等,虚拟平台监控,可同时监控服务器、服务器上运行的虚拟机、与虚拟机相关的用户服务实例,多面板视图,发生告警事件时可发送邮件到指定邮箱地址,邮件告警功能,提供管理员，企业用户和终端用户三种界面,管理界面,事件分为DEBUG、INFO、WARN、ERROR四种类型，记录了事件发生的时间和详细信息；性能展现包括服务器和虚拟机的CPU利用率、内存利用率、负载、磁盘使用量；报表包括虚拟机内存使用情况的统计,事件、性能和报表的展现,将运维平台所有事件集中到统一的

23、平台中，与CMDB集成,集中事件平台,容量管理,系统提供容量管理界面，对当前容量以及未来已预约的容量进行统计和显示，容量的计算以内存容量为准。支持以“小时”和“天”为时间粒度统计容量情况； 系统提供按资源池、按用户、按使用时间统计资源的使用情况（包括内存资源，CPU等的使用情况）。,配置管理,系统提供配置云平台系统参数信息的界面 系统提供多面板视图，可从门户上查看虚拟资源与物理资源之间的连接关系 查找虚拟机时，系统提供定制和筛选查看内容 系统按照不同的Hypervisor来设置资源分组，如VMware资源组、Xen资源组、KVM资源组。管理员可向资源组中添加资源，如添加vCenter、XenC

24、enter、添加Xen/KVM主机等 系统支持在创建虚拟机模板时指定资源分组、虚拟机前缀、需要安装的应用系统、调度策略、用户口令 系统支持通过门户查看虚拟机和物理机的配置信息,安全管理,系统从用户的角色、权限和资源访问控制上保证各个用户的虚拟机之间的隔离和安全 系统提供用户账户全身份周期管理，包括用户的创建、修改、删除 系统提供基于用户名/口令的认证 提供用户角色管理功能、用户权限和基于角色的访问控制管理 系统提供三种层次（系统层，账户层，服务实例层）的授权 系统提供三种角色（管理员，账户负责人和普通用户）的管理，并支持基于用户角色的访问控制。可提供所有的操作事件的记录日志用于审计功能 系统和

25、应用安全 Windows服务器防病毒软件 对邮件的SaaS应用提供反垃圾邮件功能,运行支持,支持虚拟机的备份、快照、克隆 支持单独的备份与容灾设备进行备份管理与灾难恢复,备份管理与灾难恢复,系统提供虚拟机内存、CPU使用情况报表 提供监控硬件和软件故障事件的日志 提供服务器内存资源的使用报表,运行支持报表,事件的全程监控 事件识别 记录事件信息 跟踪事件状态 反馈事件进度,ITIL流程服务台,用户管理,支持用户角色与权限 支持与第三方管理工具的集成,用户管理门户,云系统管理员,部门经理 开发经理 应用程序所有者,应用程序用户,开发人员,应用经理,云的客户 选择服务提供给最终用户 负责合同签署

26、资源使用的规划 定义优先级 & 资源的分配策略,将资源转变为服务 成本管理 管理和维护资源的清单 发布可用的服务,请求并使用特定应用的虚拟机或物理机 按照应用经理规定的优先级和资源分配策略使用计算机资源,利用TCLOUD搭建云计算资源池的优势,低总体拥有成本(TCO),物理服务器虚拟化，进行资源整合 可以利旧现有设备 资源充分利用，资源使用的优化 节省机房电力、空间和制冷方面的投入 更少的硬件和维护费用 提升系统的运作效率 提升IT支撑系统性能和响应能力 加快新业务创新、孵化和部署速度，降低投入,高性能,提供高弹性计算能力，满足高峰时段的需求 高效，可靠的数据传输交换和事件(event)处理

27、随系统规模扩大，总吞吐量近线性增加 采用MapReduce并行计算框架,海量数据处理能力 服务等级设定，基于业务策略实现自动化供应 根据节点资源状态对任务进行分发，并动态调整负载均衡,开放式架构，无厂商绑定,基于通用x86平台 基于web的API，便于整合和后期开发 开放式编程接口，提供分布式应用开发和运行平台,高可用性,Classification 9/13/2020,71,自动重定向至新的服务器,天云TCloud云计算平台,共享存储与网络 防止单点故障，虚拟机自动迁移，快速灾难恢复 自动数据备份，完整性检查和错误恢复功能 任务处理的高容错 系统高容错,Classification 9/13/2020,72,企业内部系统管理员,虚拟化平台,可视化的对整个资源池，节点，或某个虚拟机的计算和存储、网络资源的进行管理与监控。 资源池 群组 物理节点 虚拟机 资源不够预警,中央集群管理与监控,全面实时监控系统性能和节点运行状况，简化集中管理，自动化部署配置,快速大规模部署,提供自动部署工具批量安装系统，只需一张DVD安装盘就可以完成所有部署 通过使用镜像创建虚拟机，复制虚拟机，快速部署生产、测试系统,Copyright 2010 TCloud Computing Inc.