11 华为商业版OpenStack产品FusionSphere OpenStack介绍

HC13081,云计算,V1R5,1.0,李扶洋,2016-05,fly,新开发,FusionSphereOpenStack概述,学完本课程后，您将能够：描述区分最好不用理解，了解，掌握等无法执行的动词,OpenStack在FusionSphere中的作用FusionSphereOpenStack简介小结与讨论,Openstack在云计算中的位置,What?开放、开源云管理平台When？2010Who?Rackspace+NASA今天200+公司，10000+开发者,OpenStack主页：/OpenStack代码下载：/openstack,OpenStack在FusionSphere云DC架构中的位置,Openstack开源模块,FusionSphere自研模块,上图为OpenStack在FusionSphereDC级架构中的位置，FusionCompute、FusionStorage、FusionNetwork基于OpenStack插件机制与原生OpenStack无逢对接。,分析级联,OpenStack在FusionSphere中的作用FusionSphereOpenStack简介OpenStack商业模式与华为商业策略FusionSphere整体方案华为的OpenStack社区贡献FusionSphereOpenStack的增强与扩展小结与讨论,FusionSphereOpenStack的竞争力策略,保持开放性，以OpenStack为基础构筑企业级云计算解决方案不追求功能差异化，尽可能压缩私有扩展，总体与社区保持一致通过提升工程化能力，在DFx方面打造差异化竞争力与外围组件相集成，共同组成有整体竞争力的解决方案,华为OpenStack企业版基于OpenStack社区版本进行商用加固,商用加固,易部署易运维高可靠安全加固自动化扩展性,FusionSphereOpenStack,OpenStackExtension（Plugin/DriverExtension）,CommonService,Install,upgrade,monitor,Alarm,Log,HA,HuaweiOpenStackDistribution,FusionSphereOpenStackOM,开源,华为,FusionSphereOpenStack商用加固(1),开源,华为,FusionSphereOpenStack商用加固(2),HAFramework,Host1,Host2,HostN,Host3,Host4,OpenStackAPI,Load-balancer,OpenStackcontrollercluster,Databasecluster,Message-queuecluster,Faultdetectionandrecovery,OpenStackagentcluster,CascadedOpenStackwithoutSPOF,CascadedOpenStackwithoutSPOF,CascadingOpenStackwithoutSPOF,Disaster-recoveryFramework,DC1,DC2,VM-levelHAandDR,全局无单点故障点的OpenStack部署方案,WEBUI界面安装，构建云自动化部署能力，提高运维效率(1),OpenStack原生,华为增强的模块,WebUI,WEBUI界面安装，构建云自动化部署能力，提高运维效率(2),对OpenStack安装部署的增强点：提供基于WebUI的安装部署工具，支持全软件栈的一键式向导化安装配置。提供基于标准的操作系统接口的安装部署服务，便于在不同操作系统上部署OpenStack，增强了部署灵活性。支持对Openstack和FusionSphere其它管理模块自动化部署，包括对各任务进程自动化的安装、卸载、启动、停止、重启。提供完整的配置管理功能，支持统一配置框架和配置入口，支持配置变更通知，提高了管理员的配置效率。,亮点和价值：支持一键式向导化安装配置支持同一站点异构硬件支持基于角色的自动化、多节点并发安装一个新的裸硬件加入云所需时间小于15分钟极大改善了开源OpenStack在安装部署方面的能力短板，提升安装配置效率,WEBUI界面安装，构建云自动化部署能力，提高运维效率,WEBUI界面安装，构建云自动化部署能力，提高运维效率(3),提供工具化云平台升级功能（1）,OpenStack原生,华为提供的模块,提供工具化云平台升级功能（2）,升级技术特点和限制：统一升级框架：提供OpenStack和HostOS（含Hypervisor）的统一升级框架，可一次完成整个云平台升级工具化升级流程：管理员可基于升级工具的UI，一键式完成软件上传、升级评估、虚拟机迁移、系统升级、升级确认、升级回退等动作升级限制：升级过程中管理节点业务发放中断30min使用VM热迁移方案，VM不会重启，VM对外网络通信中断5S升级过程中不能发放新的VM,提供工具化云平台升级功能（3）,一键式健康检查和信息收集（1）,健康检查操作流程,信息收集操作流程,一键式健康检查和信息收集（2）,健康检查、信息收集技术特点：WebUI界面：支持一键式向导化进行健康检查、信息收集。健康检查：灵活定制检查周期、检查项，支持自动检查，随时掌握系统健康状态。信息收集：一键式收集系统诊断信息，包括系统运行日志、操作日志、黑匣子、串口日志等，支持远程问题定位。,一键式健康检查和信息收集（3）,关键特性,强大的监控能力支持100+监控指标（社区原生50+指标）全方位监控物理服务器和虚拟机的运行状态故障告警系统软件或者硬件故障的时候会自动发送告警信息协助用户定位系统的故障并给出修复建议黑匣子GuestOS故障能自动保存内核黑匣子信息,精细化监控和故障告警系统方便用户日常运维实现系统状态的可见、可管、可控,精细化监控和故障告警系统方便用户日常运维,管理数据支持备份，保障系统可靠性（1）,关键特性,服务器本地存储双分区服务器主、备分区之间数据实时同步主分区故障备分区即时接管管理系统无单点故障OpenStack采取ZooKeeper/Paxos3节点负荷分担方式高可靠部署任意一个节点故障都不会影响对系统功能自动化的管理数据备份自动备份管理数据并传输(FTP/S3/HTTPS)到第三方存储支持管理员手动备份和自动备份系统故障时可通过备份文件恢复全系统管理数据,管理数据支持备份，保障系统可靠性（2）,OpenStack原生,华为提供的模块,FusionSphere管理服务全系统无单点故障（1）,原生Openstack存在如下可靠性能力缺失：HA框架缺失：所有服务无冗余机制；进程故障无法自动恢复；缺乏脑裂场景处理；缺乏网络平面HA、缺乏进程僵死检测和配置文件破坏检测能力各开源项目独立运作缺乏配合：存在启动顺序依赖、数据一致性、资源保护不足的问题系统可运维能力缺失：缺乏监控告警、审计、健康检查、全局上下电、备份、时间同步能力关键服务存在单点故障：如：LBaaSAgent、L3Agent、Metadata等,FusionSphere管理服务全系统无单点故障（2）,对OpenStack管理模块可靠性的增强点：HA服务框架：提供基于标准的操作系统接口的OpenStackHA功能服务框架，增强了OpenStack部署的可靠性故障监控：监控OpenStack组件的进程健康状态状态恢复：重启故障的OpenStack组件，快速恢复系统正常运行,亮点和价值：整系统无单点故障提供了兼容性强、自动化的OpenStack管理模块HA功能管理进程监控和故障自动恢复提高了OpenStack的整体可靠性，降低了系统维护复杂度,FusionSphere管理服务全系统无单点故障（3）,华为FusionSphere基于OpenStack插件化增强方案（1）,对标准OpenStack的扩展和增强思路：扩展的目的是为了增强标准OpenStack的易用性、可靠性、兼容性和自动化管理程度，最终提供可商用的基于OpenStack的云平台解决方案所有扩展和增强，都是基于OpenStack自带的原的标准插件/驱动机制实现的，不对OpenStack主干代码做任何改动，并且其他厂商的驱动也可以无缝集成华为的商用OpenStack解决方案中，保证了OpenStack的开放性增强的功能可以随着OpenStack版本的升级轻松地迁移到新版本的OpenStack中，华为也会和客户一起，将增强的功能反馈回OpenStack社区,Huawei,HuaweiSAN,华为FusionSphere基于OpenStack插件化增强方案（2）,OpenStack,Nova,Huawei-En(HostA)hancedKVM,Cinder,Neutron,KeyStone,Glance,Swift,Heat,Ceilometer,Nova-Compute,ComputeDriver(FusionComputeDriver),Huawei-EnhancedKVM,VMWAREVirtualizationEngine(HostB),Nova-Compute,ComputeDriver(VMwareVCDriverVirt-Driver),vCenterServer,XENVirtualizationEngine(HostC),Nova-Compute,ComputeDriver(XENVirt-Driver),XEN,MQ/DB,华为FusionSphere基于OpenStack插件化增强方案（以FusionCompute接入OpenStack为例）,HuaweiOpenStack,OpenStackAPI,RedhatOpenStack,Vendor2OpenStack,HuaweiOpenStack,HuaweiOpenStack,HPOpenStack,Domainlevel,DClevel,提供OpenStack级联方案，满足规模管理能力（1）,方案价值:满足公有云规模需求，级联后最大可支持十万主机、百万虚拟机，并且支持跨数据中心分布。基于原生态标准OpenstackAPI和架构，维护了OpenStack生态系统的稳定。支持多厂商OpenStack无缝接入，保证了OpenStack的开放性。真正意义上的故障隔离的高可用(AvailabityZone)。按ScaleOut架构扩展，直至跨多数据中心。,OpenStack级联方案由华为提出，并贡献给社区/wiki/OpenStack_cascading_solution,提供OpenStack级联方案，满足规模管理能力（2）,保存数据多个记录点，在需要时从备份系统中恢复数据，保障数据完整性(1),特性介绍,产生背景人为的操作错误，系统软件或应用软件的缺陷、硬件的损毁、电脑病毒、骇客攻击、自然灾难等等诸多因素都有可能造成计算机中数据的丢失，从而给企业造成无可估量的损失。为了保护业务系统的关键业务数据，必须对这些数据进行有效的保护，并支持快速恢复。方案描述组成部分：DJ-DPS数据保护服务编排；BCManagereBackup备份服务器与备份代理；备份存储。数据备份过程：（1）租户在ManageOne(SC)界面上针对卷设置备份策略。在业务空闲时进行备份，避免数据备份影响业务。备份策略可以根据业务需要进行调整，存储容量和带宽也需要进行相应的调整。（2）DJ-DPS根据备份策略自动调度，与V3存储或FusionStorage存储通信，将卷快照数据备份到备份存储上。数据恢复过程：（1）当某个虚拟机卷数据故障需要恢复时，租户可以通过ManageOne(SC)界面将已备份的数据恢复到原卷中。（2）若某个卷被意外删除时，可以通过ManageOne(SC)界面使用已备份的数据创建新卷。,保存数据多个记录点，在需要时从备份系统中恢复数据，保障数据完整性(2),特性介绍,方案特点无代理备份，不需要在要备份的卷所在虚拟机内安装备份代理软件。支持在线备份，不管卷所在虚拟机是开机还是关机都可进行备份。支持对多种华为生产存储上的卷进行备份和恢复，包括FusionStorage与V3存储支持备份到NAS存储。支持永久增量备份，每次只需备份变化数据块，减少备份数据量，降低了备份虚拟机的成本，并最大限度地缩短了备份窗口。支持多种恢复类型，包括恢复到原卷，以及使用备份数据创建新卷。支持LAN-free备份与恢复，可提升备份恢复性能，减少对生产服务器的性能影响。支持灵活备份策略：支持针对不同卷组设置不同备份策略。提供多种备份类型，包括全量备份和增量备份；支持备份数据重复数据删除和压缩；支持设置备份数据保留副本数以自动清除过期备份数据。,保存数据多个记录点，在需要时从备份系统中恢复数据，保障数据完整性(3),云容灾解决方案在业务站点灾难时进行业务切换，保证业务连续性（1）,FusionSphereOpenStack云平台,业务中心,容灾中心,存储远程复制,华为存储,FusionSphereOpenStack云平台,华为存储,VM1,VM2,VM3,VM1,VM2,VM3,ManageOneSC(主),BC(容灾管理)Manager,ManageOneSC(备),HA,特性介绍,产生背景在相隔较远的异地，建立两套或多套功能相同的系统，系统之间可以相互进行健康状态监视和功能切换，当一处系统因意外(如火灾、洪水、地震、人为蓄意破坏等)停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。保证数据的完整性及业务的连续性，将损失降到最小。技术原理生产站点和容灾站点分别部署独立的FusionSphere云平台。站点间共用一套认证鉴权系统Keystone来实现两个站点资源权限的统一管理。ManageOneServiceCenter负责用户业务发放和容灾虚拟机的发放。生产虚拟机和容灾虚拟机在生产站点和容灾站点使用各自的网络，在虚拟机业务使用DNS等技术实现虚拟机从生产站点切换到容灾站点时可将业务引流到容灾站点。数据复制层采用了华为SAN存储的远程复制技术实现了虚拟机业务数据从生产站点复制到容灾站点，并提供了异步远程复制和同步远程复制模式，满足不同RPO业务容灾需求。虚拟化层FusionCompute实现了华为SAN存储以小LUN方式（虚拟机的一个卷对应存储上的一个LUN）接入，用以保证以虚拟机粒度进行容灾保护。,云容灾解决方案在业务站点灾难时进行业务切换，保证业务连续性（2）,特性介绍,方案特点可以将多个虚拟机添加到一个保护组进行一致性保护。并可以根据虚拟机的相关性制定恢复计划，实现虚拟机按顺序启动在发生灾难时执行容灾恢复计划进行一键式容灾切换在可预知的灾难前可以通过计划性迁移将生产业务迁移到容灾站点，该过程能过保证业务数据0丢失并为了保证容灾业务的可用性提供了容灾演练，该过程不影响生产虚拟机的业务和数据复制灾难切换或者计划性迁移后，可以通过容灾重保护和容灾切回功能将业务且回原生产站点不需要在虚拟机内安装代理软件支持整虚拟机（含系统卷与数据卷）的容灾恢复基于存储的复制，减少计算资源的占用,云容灾解决方案在业务站点灾难时进行业务切换，保证业务连续性（3）,OpenStack在FusionSphere中的作用FusionSphereOpenStack简介OpenStack商业模式与华为商业策略FusionSphere整体方案华为的OpenStack社区贡献FusionSphereOpenStack的增强与扩展小结与讨论,北向提供完整的openstackAPI、模块化部署接口、完善的基础设施硬件管理接口。南向异构兼容能力：计算方面支持IT通用硬件、IT一体机.虚拟化hypervisor兼容当前业界最主流：KVM、vCenter、FusionCompute等。存储方面通过各厂商自己提供的dirver接入，同时支持本地存储、IPSAN、分布式存储等多种模式。网络和安全方面通过各厂商的neutronplugin和driver接入。,开放架构，支持异构虚拟化,模型映射,对接架构,开放架构，支持异构虚拟化（1）(FS6.0支持对接新建VRM、VMware、KVM资源池),OpenStack对对接VRM方案：1、一个Nova-compute进程管理VRM的一个或多个集群，VRM的1个集群映射为OpenStack上的1个Hypervisor。2、VM资源调度：1)扩展nova-schedulefilter插件，在scheduler时根据所有的Hypervisor资源情况及flavor定义选出合适的hypervisor。2)HA功能、DRS功能由VRM提供；VRM集群内调度对OpenStack无影响。,开放架构，支持异构虚拟化（2）(FS6.0支持对接新建VRM、VMware、KVM资源池),开放架构，支持异构虚拟化（3）(FS6.0支持对接新建VRM、VMware、KVM资源池),OpenStack对接VMware方案：1、异构VMware场景下，OpenStack通过VMware驱动连接到vCenter，VMware集群对外呈现为一个”超大”的计算节点，统一由OpenStack北向接口对外提供虚拟资源。2、OpenStack只处理所支持的虚拟机、网络、卷等资源对象的基础操作，虚拟机集群内迁移、DRS、DPM、HA等由vSphere完成。,开放架构，支持异构虚拟化（4）(FS6.0支持对接新建VRM、VMware、KVM资源池),OpenStack对接FusionCompute虚拟化(1),整体方案：1、FusionCompute作为资源池，接入Openstack，提供OpenStackAPI，Openstack拉通计算存储网络，提供大范围的资源管理。即：VRM通过OpenStack各服务的南向插件对接VRM资源池1)通过Nova的Nova-ComputeDriver对接FusionCompute的计算虚拟化2)通过Cinder-VolumeDriver对接FusionCompute的存储虚拟化3)通过Neutron-Plugin/agent对接FusionCompute网络虚拟化2、FM拉通Openstack，计算，存储，网络，提供本地的资源管理，整网拓扑及运维调度。,OpenStack对接FusionCompute虚拟化(2),OpenStack对接VMware虚拟化架构（1）,OpenStack对接VMWARE虚拟化架构（2）,VCDriver将vCenter作为Hypervisor接入，Nova与管理ESXi主机集群的vCenter进行通信。vSphere需要一个单独的vCenter主机，VM是运行在ESXi主机上而不是计算节点上。当计算节点作为VM运行在同一集群下时，就具有了HA能力。由于cluster作为一个hypervisor整体呈现，也带来了资源跨ESXi节点的问题。网络可以支持nova-networkservice和Open-StackNetworkingService。FusionSphere6.0支持Nova对接VCDriver方案，其中网络支持对接Neutron,OpenStack对接VMWARE虚拟化架构（3）,虚拟化资源存量纳管实现对已有FusionCompute或VMware资源池管理(1),产生背景实际的客户环境中也有不少已经存在的VMware或FusionCompute资源池，希望纳入OpenStack的统一管理。虚拟化资源存量纳管是将已经建好的FusionCompute、VMware资源池的资源经过收集、组织，进而创建到FusionSphereOpenStack平台的过程。技术原理存量纳管过程中使用FusionComputeAPI或VMwarevCenterAPI查询已发放资源的存量系统的虚拟机、模板、网络、卷等对象信息，再调用OpenStackAPI（Nova、Neutron、Cinder等），配合FusionCompute驱动或VMwarevCenter驱动的存量纳管模式，实现OpenStack中资源对象的重建和映射。存量纳管工具需要提供有效性检测和纳管处理两大服务。有效性检测是对虚拟机、虚拟机模板、网络等有关信息的纳管有效性检测，检测这些对象是否符合纳管的条件，不符合纳管条件的会在检测之后输出约束检测报告，报告中列出的内容需要进行整改达到纳管的要求，才能进行后续的纳管处理。纳管处理是将存量的FusionCompute或VMware资源池中的资源按照OpenStack中的规则创建相应对象的过程。该过程需要将OpenStack的驱动切换为Discovery模式，纳管完成后再切换为Common模式。方案特点能将已做了业务发放的存量FusionCompute或VMware资源池纳管到OpenStack进行统一管理。纳管过程通过工具完成，纳管前可对已有系统进行有效性检测，纳管完成后可以输出纳管过程的统计报告。存量FusionCompute或VMware资源池纳管完成后的功能和新接入OpenStack平台的功能一致。,虚拟化资源存量纳管实现对已有FusionCompute或VMware资源池管理(2),vSwitch,Bare-metalserver,VM,VM,TOR(VTEP),TOR(VTEP),VxLANGateway,Neutron,Nova,SC,NIC,VM,DHCPServer,Ironic,Glance,IPMIdriver,PXEdriver,镜像安装,业务流,管理/控制,Cbs,IPMI管理,租户,API访问,NIC,AC2.0,裸机管理满足OracleRAC高性能集群数据库应用需求(1),关键特性,可视化安装配置裸机管理服务的安装和配置集成在WebUIPortal上，人性化的可视化安装配置能力极大方便了裸机服务的使用。IPMI带外管理能够横跨不同的操作系统、固件和硬件平台，可以智能的监视、控制和自动回报大量服务器的运作状况，通过IPMI接口可以实现物理裸机的电源开启、关闭、硬重启以及启动方式修改功能。安装物理裸机镜像随版本提供用于自动引导安装用户镜像的一套minios镜像。裸机所使用的用户镜像的制作与虚拟机镜像制作的方式一样，裸机里面不植入任何管理软件。,裸机管理满足OracleRAC高性能集群数据库应用需求(2),关键特性,物理裸机生命周期管理物理裸机需要先在Ironic数据库中进行注册，创建物理裸机资源池，可从nova接口创建、删除、查询、修改、启动、停止一台物理服务器，创建过程指定镜像和规格。物理裸机自动挂载存储物理裸机启动后，如果用户有挂卷的高级特性需求，可以通过指导手册安装华为随版本发布的挂卷agent到裸机服务器，自动完成卷的挂载/卸载卷操作，也可以在制作镜像过程中将挂卷agent内置安装到镜像中。物理裸机连接虚拟网络物理裸机的网络通过AC控制完成裸机的网络自动化配置，裸机服务在对接AC的场景下支持VXLAN网络，裸机安装完成后由neutron和AC自动完成网络的配置，并自动打通与其他VXLAN类型网络的虚拟机的通信，无需人工干预。,裸机管理满足OracleRAC高性能集群数据库应用需求(3),FusionCompute,PV驱动,PV驱动,PV驱动,PV驱动,PV驱动,PV驱动,PV后端驱动,兼容一个新的操作系统，需要厂商提供配套的PV驱动程序，华为具备PV驱动开发能力FusionCompute除了兼容主流的Windows、Linux操作系统之外，还兼容国产中标操作系统（特定的版本可能需要定制驱动)。,兼容行业特殊操作系统,OpenStack在FusionSphere中的作用FusionSphereOpenStack简介OpenStack商业模式与华为商业特性增强FusionSphereOpenStack异构虚拟化能力FusionSphereOpenStack异构后端存储能力FusionSphereOpenStackSDN能力小结与讨论,Cinder:为云平台提供统一接口，按需分配的，持久化的块存储服务（类似于AmazonEBS服务），通过驱动的方式接入不同种类的后端存储（本地存储，网络存储，FCSAN，IPSAN）。北向接口：OpenStackcinderAPI接口，提供存储资源的统一管理。南向接口：不同的cindervolumedriver兼容不同vendor的存储设备，nolock-in。,开放架构，支持异构存储设备,异构存储资源池:使用OpenStack多后端支持接入异构存储设备组成异构存储资源池多类型存储设备接入：同时接入多种异构存储设备，如SAN/ServerSAN/NAS/。统一接口按需申请：用户可以指定存储资源池类型从相应的资源池中申请资源。,NAS,NAS,Server,Server,SAN2,SAN1,Volume2,资源池1SAN设备,VM1,VM4,资源池2ServerSAN,资源池3NAS设备,VM2,VM3,开放架构，支持异构存储池管理,块存储功能，SCSI、iSCSI接口RAID10，3份拷贝,存储快照存储瘦分配存储链接克隆存储SSDCache和存储自动分级ErasureCode压缩、重删灵活的软件定义策略,关键特性,FusionStorage将服务器本地的硬盘组织成一个虚拟的块存储资源池，提供扩展性无极限的Scale-out分布式存储。,单一应用程序实例的IOPS由于大容量分布式缓存加速2x3x。单一应用程序实例又由于使用并行IO处理而提升至6xMBPS。计算和存储之间IO延迟缩短2x-5x,峰值IO带宽提升10倍。,对接华为高性能FusionStorage-分布式软件定义存储,多资源池：在一套FusionStorage内部署多套资源池无限扩展：解决2份拷贝最大96块磁盘限制，提供单套FusionStorage无限扩容能力。性能隔离：对性能敏感业务提供资源池之间的物理隔离。,对接华为高性能FusionStorage：多资源池,OpenStack在FusionSphere中的作用FusionSphereOpenStack简介OpenStack商业模式与华为商业策略FusionSphere整体方案华为的OpenStack社区贡献FusionSphereOpenStack的增强与扩展小结与讨论,SDN技术网络自动化和集中管控(1),关键特性,产生背景传统网络架构下，增加新业务，需要手动配置多种设备，各厂商设备配置命令千差万别，协议繁复，配置及其复杂；没有统一的配置管理工具，维护成本高；另外设备供应商开发周期慢，且不对外开发接口，业务创新迟缓。而随着社交网络、移动互联网、物联网等业务领域的快速发展，大数据日益兴起，传统网络已经无法满足数据中心业务弹性伸缩、快速部署、频繁变化的要求。SDN(SoftwareDefinedNetwork，软件定义网络)作为一种新兴的网络架构，其特征为：控制平面和转发平面分离，控平面集中化；转发平面通用化，控制器软件可编程。方案描述云管理平台：华为ManageOne提供业务统一发放Portal；融合计算，存储，网络管理能力。云平台：华为FusionSphere云平统一管理业务资源，业务入口，实现计算/存储资源和网络资源的协同管理和发放。AC控制器：AC控制器北向实现与华为FusionSphere云平台标准对接；南向支持通过OPENFLOW/Netconf/OVSDB等和网络设备接口，完成网络建模、业务策略编