XX云计算平台IAAS平台规划方案

1、XX云计算平台IAAS平台规划方案云计算趋势云计算特性云计算自助服务弹性伸缩资源池化广泛的网络接入可计量服务服务提供商需要支持弹性伸缩；服务使用方（应用系统）也要支持此特性；机遇与挑战准实时服务抗浪涌冲击发布灵活应用轻量化海量数据处理部署周期长扩展能力不足应用成本高服务标准化部署自动化管控集中化资源弹性化敏捷开发持续集成灰度发布CLOUDCLOUDIAASPAASSAAS实施策略-云方案的选择兼容性安全性定制与集成成本体验弹性混合云私有云公有云计算资源的考虑行业应用基础设施服务虚拟资源池硬件平台桌面开发管理支持核心应用中间件多渠道云管理IAAS平台Unix CloudServerX86 Clo

2、udServerSAN StorageObject StorageVPCELBElastic BlockAPPSDeployment云服务编排ConvergentServerConvergent ServerVMVMPowerVMRISCServerDataBaseX86ServerHadoopX86ServerSparkX86ServerVMESXiX86ServerX86ServerVMKVM服务目录资源池快速部署容易扩展数据中心管理平台Self Service Portal用户管理性能监控统一报告分析考虑事项：计算资源池按需分类群集（Cluster）与应用匹配通用VS.特制大小：节点数量

3、服务/硬件匹配硬件X86 VS. RISC物理 VS. 虚拟机架式VS.多节点VS.一体化全归云操作系统统一管理存储资源的考虑联机交易服务&数据考虑事项：存储资源按需分类按高可用、性能等清晰定义，匹配应用需求FC-SAN关键应用（延迟、服务质量等）通过层化（SSD、SAS）和虚拟化进一步优化Server-SAN高性价比&高扩展的解决方案来降低FC-SAN压力适合虚拟化环境（Web on VM等）软件定义存储存储分类中间业务产品管理风险管理客户洞察业务分析数据库数据虚机图像数据分享&交换在线图像数仓大数据Hadoop系统备份图像归档媒体/通讯/邮件服务管理和编排存储作为服务数据保护作为服务块文件

4、对象复制备份恢复一体化存储SAN/NASServer SAN分布式文件存储分布式对象存储云计算趋势IT架构演进路径数据中心云化的本质：由“分离”重归“融合”“天下大势，合久必分，分久必合”，云计算时代数据中心IT架构的下个十年，是从分离重归融合的十年合虚拟化1955-1980 大型机/小型机OSOSAPP1APPn.多应用共享封闭的软硬件系统分1980-2010 小型机/服务器+存储+交换设备OS1APP1APPn.应用绑定服务器合虚拟化2010&Later 云基础设施资源池多应用共享，开放的“云计算机”.OS2OSnAPP2.OS1APP1APPn.OS2OSnAPP2实施策略架构演进趋势之

5、一微服务概念：微服务专注于实现单一业务功能；独立于其他（微）服务，或在某些情况下，很少依赖其它服务；通过不依赖语言的API进行沟通；运行于独立的进程中；从底层平台和基础设施解耦。Pre-SOA（monolithic）Tight couplingTraditional SOALeaver couplingMicroservicesDecoupledCoupling内容目录9IAAS发展趋势IAAS技术架构分场景方案混合云方案为什么使用混合云混合云多种方式混合云设计双活方案为什么使用双活双活的多种实现方式双活设计IAAS背景趋势1011IAAS平台架构计算资源池寄居虚拟化架构裸金属虚拟化架构操作系

6、统虚拟化架构混合虚拟化架构优点 简单、易于实现 虚拟机不依赖于操作系统支持多种操作系统，多种应用 简单、易于实现 管理开销非常低 相对于寄居虚拟化架构，没有冗余，性能高 可支持多种操作系统缺点 安装和运行应用程序依赖于主机操作系统对设备的支持 管理开销较大，性能损耗大 虚拟层内核开发难度大 隔离性差，多容器共享同一操作系统 需底层硬件支持虚拟化扩展功能厂家VMware WorkstationVitrual PCVMware ESXServer、Citrix XenServer、Microsoft Hyper-V、FusionSphereVirtuozzoRedhat KVM寄居虚拟化架构宿主操

7、作系统操作系统应用应用虚拟化层裸金属虚拟化架构虚拟化层应用操作系统应用控制台应用操作系统操作系统虚拟化架构宿主操作系统虚拟容器应用系统模板库虚拟容器应用系统模板库混合虚拟化架构宿主操作系统应用操作系统应用操作系统应用操作系统虚拟硬件管理业界主流虚拟化技术都是裸金属架构、硬件辅助虚拟化技术计算资源池统一的业务服务管理支持业务和计算资源的逻辑分离和组合映射，面向业务提供计算服务，对各种服务建立SLA，实现自动化、流程化运维标准集中的资源池化管理建立资源池化管理模型，统一资源的管理、支持源横纵扩展，实现集约化运维，提高系统可靠性动态的调度分配管理实时监控计算资源的使用情况，根据预定策略启动资源的伸缩

8、、调配，提高资源利用率、降低业务等待时间辅助技术运维监控技术 备份技术 容灾技术 安全技术 X86资源池VM热迁移弹性伸缩虚机热备X86独立服务器计算资源池可扩展性高可靠性负载均衡纵向扩展双机横向扩展安全性主机安全网络隔离可管理性统一管理自动化服务能力外围区B类C类管理区C类D类DMZ区A类B类C类核心区A+/A类B类业务分类X86服务器虚拟化(裸金属)存储热迁移计算资源池虚拟机资源弹性伸缩集群资源弹性调度业务资源复用资源池资源管理内存复用CPU QOSCPU热插拔VM休眠VM唤醒GPU 直通磁盘扩容Disk shrinking存储瘦分配网络优先级网络限速网络份额资源池预留资源池扩减容资源池优

9、先级资源池份额计算DRS存储DRS分布式存储DPMvMotion存储热迁ELB业务伸缩业务间分时复用业务内分时复用业务间共享资源VIP业务资源抢占网络软件定义网络业务层业务应用APIAPIAPI网络服务SDN Controller控制-转发通信接口控制层转发层网络设备网络设备网络设备控制转发分离：传统网络设备紧耦合的网络架构，被分拆成控制和转发两个平面。同时，在控制平面，增加集中控制器进行整体调度，将命令和逻辑发送回硬件（路由器或交换机）的数据转发平面。开放API及软件定义：即通过基于SDN技术的对外开放的API进行软件编程，实现整个网络集中的管理能力，而不需要在每个路由器或交换机上分别以设备

10、为中心进行管理。网络软件定义网络存储分布式存储存储分布式存储MDSAPOSSOSSAPAP统一名字空间APOSSOSSMDS物 理逻 辑数据被分 块后存储 在所有的 OSS存储分布式存储特点分布式 存储共享 性易扩 展经济 性通用 性易管 理高可用云管理前端层基础设施服务层桌面云开发测试云生产云统一管理层基础设施服务目录层基础设施云服务IAAS中间件云服务PAAS应用环境服务其他服务交互组件员工桌面接入网关前端缓存统一通信组件即时通信消息短信和邮件时间服务时间服务统一信息发布统一设备驱动输入或输出组件知识库知识管理全文检索模式识别图像识别二维码识别柜面客户中心VTM手机银行ATM业务用户集团商

11、户基础设施资源层接入服务池云部署单元网络资源通用服务层应用服务池云部署单元数据服务池云部署单元管理服务池云部署单元名称服务负载均衡网络接入存储资源文件存储块存储计算资源网卡CPU内存数据库SQL基础设备管理云管理资源池管理IT服务管理集中监控管理监控操作管理运维分析管理配置管理服务流程管理应用项目架构管理资源管理产品管理管控体系运行物理环境数据中心机房机房管理监控核心骨干网络分布存储QOSNOSQL广域网专线互联网云管理规范化自动化标准化将资源进行颗粒化拆解，形成标准模板结合中佳业务类型，划分主机配置模型（如CPU、内存）划分性能模型（如存储IOPS需求）划分业务高可用分级模型（FT、HA、互

12、斥）划分使用期限模型形成统一的标准的几类云主机模型规范主机使用需求减少差异化需求形成资源生命周期管理规范降低管理难度和运维风险提供IT资源服务门户形成服务目录用户通过门户进行资源申请主机生成，无管理员参与，后台通过服务模板自动快速构建服务化以服务导向动态服务管理加速IT资源的供应速度各种服务建立SLA，实现自动化、流程化运维标准云运维集中统一IT资源管理自动响应高频故障事件关联管理知识库管理IT管理可视化IT管理电子化IT管理流程化、标准化量化管理、精细化管理技术层面：管理层面：统计各类报表，为决策提供依据云运维云安全立体安全防护体系立体安全防护体系能够有效处理大流量DDoS、CC、DNS和各

13、种攻击DDoS高防专区支持三网IP，可实现数百G的DDoS防护带宽DNS劫持检测提供域名在Local DNS上的解析监控，及时发现域名指向异常平台监控，秒级响应；全方位监控服务器的安全状态，受到攻击时能够秒级响应资深安全专家提供7*24小时不间断服务硬件防火墙体系软硬紧密结合，提高处理效率和安全防护能力DDoS防御支持HTTP、TCP、UDP协议入侵检测后门木马检测：安全加固组件及时检测暴力破解告警：云服务器密码暴力破解发现及告警漏洞监测：空档期对漏洞增加虚拟补丁，抵挡黑客的攻击为何需要双活数据中心25DevOps应用的连续可用性提高数据中心的效率提高现有IT资源的效率云计算概念，随时随地访问

14、Recovery Point ObjectiveRecovery Time Objective应用24x7不停方便简单的数据迁移利用闲置资源部署应用更加灵活来自运维人员的需求促使观念的改变双活需要考虑因素26网络双活存储双活数据库双活应用双活双活实现方式27种类实现方式1网络采用大二层设计，存储使用vplex等同步技术，数据库采用oracle RAC架构，采用全局应用负载均衡实现双活 2网络采用三层设计，使用vmwareNSX提供网络支持，存储使用vmware VSAN提供延伸群集，数据库使用oracle RAC架构，应用使用全局负载均衡提供3按照地域划分为同城双活和异地双活4按应用分为主备双

15、活、主主同业务双活、主主多业务双活等本次我们重点介绍第二种双活实现方式双活数据中心总体架构双活存储集群站点A站点B延伸的vSphere集群100 km28行为与单个vSphere相同 延伸距离最大100KM通过VMware HA与vMotion实现自动的DR保护需要双活存储集群，如VMware vSAN、EMC的vPlex，NetApp的MetroCluster等计算资源-延伸群集设计群集开启HA、appHA各组件间时间需同步延伸群集横跨两个数据中心计算资源存储资源网络资源需大致一致支持长距离虚拟机跨三层网络在线迁移29VMwarevFabrictcServer计算资源-群集HAPolicy-

16、basedProtect off-the-shelf apps30功能简介网络延时不大于100毫秒标准迁移担保灵活的虚拟机策略优点数据中心间随时迁移灾难避免灾难规避测试多站点负载平衡计算资源-长距离在线迁移vSphere 6.0支持跨三层网络和跨vCenter Server的vMotions31网络资源设计-双活数据中心网络架构物理二层 (裸光纤) 逻辑二层 层叠网络 / VPN二层分段VMVMVM二层分段VMVMVM二层网络扩展的二层网络 (二层内容在 数据中心互连 链路上传递)站点A站点B二层网络15网络资源设计-NSX利用层叠网络实现双活数据中心双活存储vSphere城域存储集群数据存储

17、1数据存储2vCenterServer三层网络站点A站点BVM1VM 2VM3逻辑交换机A/24VM 4VM5逻辑交换机B /24分布式逻辑路由器站点A 边界网关上联网络A站点B边界网关上联网络B17网络资源设计-NSX 多站点单VC实例的延伸群集VMware ESXiVMware ESXiVMware ESXiStretched Workload ClusterVMware ESXiSite ASite BVMware ESXiVMware ESXiVMware ESXiStretched Edge ClusterVMware ESXiSite ASite B群集配置横

18、跨两个物理站点的延伸群集在延伸群集中的NSX中配置管理、Edge和工作负载群集等功能在A站点使用HA保证NSX组件的高可用性VMware ESXiVMware ESXiVMware ESXiStretched Management ClusterVMware ESXiSite ASite BvCenter Server19网络资源设计-NSX 多站点单VC实例的延伸群集NSX 配置 ( 1)传输区域横跨多站点，VXLAN逻辑交换机提供与虚拟机二层连接分布式逻辑路由器用来给虚拟机提供默认网关每个站点的上行链路和Edge网关为本地提供网络出口，A站点主机有分布式逻辑路由的默认网关，通过该网关连接外

19、网.站点B同样。在分布式逻辑路由中关闭动态路由, 使用静态路由连接NSX ManagerNSX Edge 网关有静态路由到分布式逻辑路由器分布式防火墙提供虚拟网卡策略用来相互隔离虚拟机VM1VM2VM3Web Logical Switch /24Site ASite BVM4VM5App Logical Switch /24VM6VM7DB Logical Switch /24Distributed Logical RouterInternal LIFs .1Site A NSX Edge GWSite B NSX Edge GWUplink Net A /29Upli

20、nk A LIF Uplink Net B /29Uplink B LIF 网络资源设计-NSX 多站点单VC实例的延伸群集NSX 配置 ( 2)传输区域横跨两个站点，VXLAN逻辑交换机为虚拟机提供二层连接每个站点都使用相同的内部地址来配置NSX Edge 网关NSX 分布式防火墙二层网络策略用来阻止ARP广播到远端的网关，提供的本地出口仅供本地Edge网关来学习Site ASite BVM1VM2VM3VM3Site A NSX Edge GWSite B NSX Edge GW Logical Switch /24网

21、络资源设计-网络带宽规划23Site ASite BvSphere + VSAN Stretched ClusterHDDSSDHDDSSDHDDSSDHDDSSDHDDSSDHDDSSD10/20/40 gbpsActiveActiveL2 with Multicast200 ms RTT over 100 mbpsL3 no multicastFault Domain AFault Domain CFault Domain B200 ms RTT over 100 mbpsL3 no multicastwitnessvESXiappliance网络资源设计-双活数据中心间网络带宽23带宽

22、Wb(写操作带宽) * md(Data Multiplier) * mr(Resynchronization Multiplier)官方建议值，带宽 Wb * 1.4 * 1.25，也即带宽 Wb * 1.75数据乘数：由VSAN元数据跨站点写开销等相关的操作组成再同步乘数：数据站点之间同步事件所需要的总开销举例：VSAN运行一个IOPS为1万的全写负载业务。写的block为4KB。这需要消耗40MB/s的数据站点间的带宽（4KB*10000），也就是320Mbps。按照上一小节的计算公式： B=320Mbps * 1.4 * 1.25 = 560Mbps ；因此，在这个负载情况下，VSAN数

23、据站点之间需要的带宽至少应为560Mbps。网络资源设计-数据站点与仲裁站点间网络带宽23带宽计算公式：1138 B * NumComp / 5seconds 例如：虚拟机由如下内容组成：VM namespace 1VMKD（小于255GB） 1VM Swap file 1FTT=1Stripe width=1 以上配置的虚拟机数量是166个，那么仲裁站点就需要获取到996个组件信息。996=3*2*1*166. 我们用1000进行计算：B=1138B*8*1000/5s=1820800bps=1.82Mbps； 官方推荐预留10%的额外带宽用于信息双向传输：1.82*1.1=2Mbps。因此

24、，在这个场景下，数据站点与仲裁站点的带宽应为2Mbps。从左侧可得出结论：1000个组件的带宽需求为 2Mbps我们在进行网络带宽设计时可参考该值，进行带宽估算。存储双活-同城双活数据中心解决方案场景描述 站点级双活(可支持应用级双活)，整合距离相对较近的两个数据中 心中的计算、存储和网络资源，实现高度灵活的负载分配，结合数 据中心内部的高可用机制，为业务连续性提供最高级别保障。方案特点 跨数据中心实现高可用性与负载平衡，支持各种应用 管理简便，资源利用率高，成本较低 数据零丢失，无单一故障点，可靠性高，可最大化业务在线时间 可实现城域级别的应用迁移与灾难避免/灾难恢复同城双活40Site A

25、Fault Domain AFault Domain BFault Domain CVirtual SAN ClusterSite CSIte Bvmdkwitness witnessvmdkvmdkvmdk从机架感知升级到站点感知： 1，迷你容错站点专用于witness 2，优先从本地站点读取数据以提升性能41存储双活-同城双活数据中心解决方案同城站点B同城站点A存储双活-同城双活数据中心解决方案16需求条件 数据中心距离小于100公里，具备裸光纤链路 通过二层IP网络连接两个数据中心，BW250M，RTT100ms. 可通过NSX虚拟网络或其它大二层网络技术实现 采用存储虚拟化技术提供数据

26、同步服务(RTT5ms)存储支持FC, iSCSI, NFS等类型如EMC VPLEX、NetApp MetroCluster、HP LeftHand、IBM SVC等 利用VSAN实现存储的跨数据中心镜像 第三站点提供仲裁服务VMware相关产品与服务vSphere Ent+VSAN+NSX SRM(可选，用于实现有计划的业务切换)跨数据中心集群vCenter仲裁站点C控制器控制器vSphere Metro Storage Cluster工作原理vSphere HA ClusterStretched across campus or metro areavMSC Certified Stor

27、ageMetro ClusterPlex1APPOSAPPOSAPPOSPleAxP0POSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArray based synchronous replicationPlex043vSphere Metro Storage Cluster工作原理Standard vMotionof Virtual MachinesvMSC Certified StorageMetro ClusterPlex1OSAPPOSAPPOSvSphere HA ClustervMotionAPPPleAxP0POSAPPOSAPPO

28、SPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArray based synchronous replicationPlex044vSphere Metro Storage Cluster工作原理vSphere HA ClusterStorage takeovervMSC Certified StorageMetro Clusterfor mainPtlen1anceAPPAOSPPAOSPPOSPleAxP0POSOSAPPAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0APPOSAPPOSAPPOSAPPOSAPPOSAP

29、POSSite shutdown45vSphere Metro Storage Cluster工作原理vSphere HA ClustervMSC Certified StorageMetro ClusterPlex1AperformOS ePd,OsS itPe OSPAOSdrestorPeleAxP0PPAOSPPOSOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPAPPAPPPlex1Plex0Automatic resyncMaintenance46vSphere Metro Storage Cluster工作原

30、理vSphere HA ClustervMSC Certified StorageNetApp MetroClusterPlex1APPAOSPPAOSPPOSPleAxP0POSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Standard vMotionto return VMsAccess returned47EMC VPLEXfor Stretched Metro ClustersInstant vMotion Dual Site HA Dual Site DRSvCent

31、erStretched vSphere ClusterSite A (Active)Site B (Active)VPLEX10ms, IP or FC建立 VPLEX Active-Active 方案跨远距离迁移VMware HA 在站点内自动重启虚拟机跨两站点平衡负载支持容错功能 VPLEX Metro 灵活性不一定需要FC直连可选用IP或FC连接两个站点第三个站点 IP可达即可VPLEXSite C (Optional Witness)VPLEX Distributed Virtual Volumes48EMC VPLEXfor Stretched Metro ClustersInsta

32、nt vMotion Dual Site HA Dual Site DRSvCenterStretched vSphere ClusterSite A (Active)Site B (Active)VPLEX10ms, IP or FC建立 VPLEX Active-Active 方案跨远距离迁移VMware HA 在站点内自动重启虚拟机跨两站点平衡负载支持容错功能 VPLEX Metro 灵活性不一定需要FC直连可选用IP或FC连接两个站点第三个站点 IP可达即可VPLEXSite C (Optional Witness)VPLEX Distributed Virtual Volumes49Oracle RAC虚拟机环境设计延伸群集oracle RAC设计故障域故障域活动活动双活方案简化了管理主机仅连接到它们本地的Vsan 群集，无需交叉连接到远程的Vsan群集主机仅发送I/O 到本地的群集消除了宝贵的CPU周期消耗在基于主机的镜像作为一个单元，保护多个数据库和/或 应用程序Vsan 为关键