04 FusionCloud私有云最佳实践 Region Type II

FusionCloud最佳实践RegionTypeII,本章主要讲述FusionCloud6.xRegionTypeII的整体方案设计。从基础资源池、云服务虚机、云管理层、运维等角度阐述方案的规划设计思路。最佳实践模块引导学员思考，如何将FusionCloud方案在实际项目中落地。,整体方案设计基础设施设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,设计流程,逻辑架构设计,私有云整体架构,物理架构、网络架构设计,物理架构设计主要为云平台的物理拓扑分区设计,需按照客户的实际业务情况划分物理区域，同时需要满足FusionCloud的标准部署场景。网络架构设计主要设计项目的整体网络拓扑设计，需按照实际项目情况设计，同时需满足FusionCloud的标准组网场景。,部署架构,推荐部署方案,整体方案设计基础设施设计网络方案设计计算子系统设计存储子系统设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,网络整体规划,网络设备选型,网络平面规划(1),网络平面规划(2),网络平面规划(3),网络平面规划注意事项,注意事项4001、4002分别为storage_data0、storage_data1的系统默认VLAN，VLAN规划时注意避免使用这两个VLANOBS的OBS_Inter平面VLAN必须是2-9。推荐规划为2，若规划为其他值，需要在存储节点中更改虚拟网口ID。internal_base平面为untaginternal_base默认的网段为：/20如果external_OM网络与裸金属服务器的BMC网络平面不通时，需要规划BMCBase网络平面。,控制节点,服务器接入设计(管理和业务平面网口合布),云服务节点,服务器接入设计(管理和业务平面网口合布),计算节点（KVM）,服务器接入设计(管理和业务平面网口合布),控制节点,服务器接入设计(管理和业务平面网口分离部署),云服务节点,服务器接入设计(管理和业务平面网口分离部署),计算节点（KVM）,服务器接入设计(管理和业务平面网口分离部署),服务器接入设计(裸金属节点),存储设备接入方案,IPSAN存储接入方案,FCSAN存储接入方案,整体方案设计基础设施设计网络方案设计计算子系统设计存储子系统设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,必选云服务管理服务器/存储计算方法,资源池-虚拟化资源池选型,资源池-KVM计算节点设计,KVM计算节点主要用于支撑业务弹性云服务器，所以项目中的实际弹性云服务器的规格要求，选择相应的KVM计算服务器。KVM计算服务器分类如下：通用计算I、通用计算II、高性能计算I、高性能计算II、GPU虚拟化计算节点、GPU直通计算节点、SAPHANA服务器、SAPHANA存储。,资源池-裸金属资源区设计,裸金属资源池需要单独一个POD，POD内需要包含被级联层Openstack和BMGW。裸机服务器支持RH2288H和RH5885H两种服务器，CPU/内存/硬盘可按用户需求定制。裸机分为：通用型裸机，内存优化型裸机，本地磁盘密集型裸机，IO优化型裸机。,资源池-资源池接入方案,AZ规划设计,设计原则不同的虚拟化类型划分成不同的AZ同一虚拟化划分成几个AZ采用计算池和存储池最小原则，即如果有2个计算池都连接同1套存储池，划分成1个AZ；如果有1个计算池连接了3套存储池，划分成1个AZ主机组的划分原则是同一虚拟化下具有某些相同特质的主机的集合，例如，主机组中的主机都是KVM虚拟化和高性能CPU约束每个openstack只能有一个裸金属资源池（AZ）裸金属资源池内只能使用一组存储资源池，可以选择FusionStorage或FCSAN主机组的划分最终体现在创建云主机时规格的选择。规格的标签需要和主机组的标签匹配上，选择了某个规格，就相当于选择了对应标签的主机组当前版本支持的标签有限，不支持自定义标签，具体参考软件安装指南配置资源规格章节,KVM,AZ接入方案,以多Region场景为例，Region相关规划如下：,Region规划,网络平面规划,备注：关键IP地址必须在对应子网的DHCP范围以外，如DHCP范围是：000，反向代理只能规划9和54范围内的IP。,OpenStack规划(1),域名规划,DNS规划,OpenStack规划(2),OpenStack参数和开关规划,OpenStack规划(3),OpenStack参数和开关规划,OpenStack规划(4),Glance规划设计,注意：FusionCloud不支持同时使用OBS和Swift作为镜像后端存储，且不支持OBS和Swift互相切换。OBS和swift作为Glance后端存储的能力对比,OpenStack规划(5),Cinder-volume下沉,Cinder-Volume下沉主要的原因是业务数据存储如果采用FCSAN或者FusionStorage。如果Cinder-Volume放在控制节点，那么需要在管理节点上安装HBA卡。如果是FusionStorage那么会存在管理和业务两套FusionStorage都在控制节点上。但是Cinder-Volume需要和FusionStorage的VBS的进程进行合部。但是一台机器只能安装一个VBS进程。软件安装过程中，cinder-volume角色自动下沉部署到计算节点。,Cinder-volume部署原则,Openstack管理每个存储资源池需要部署3个Cinder-volume角色。Cinder-volume需要和存储资源池的数据面通讯。所以被级联层Openstack用于管理存储资源池的Cinder-volume推荐部署在3台计算服务器上，这个3台计算服务器需要部署image-cache分区。,管理面存储池（FusionStorage0）,Controller,OS/KVM/OVS,FusionStorage,OpenStack,FSM0,OM0,AZ_0(管理AZ),AC,Cinder-volumn0,Cinder-volumn3,mongodb,FSM1,整体方案设计基础设施设计网络方案设计计算子系统设计存储子系统设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,生产存储需求计算,在系统中的各种类型的虚拟机，在计算公式中，使用“类型i虚拟机”表示。生产存储容量需求计算类型i虚拟机系统盘容量=(类型i虚拟机的系统盘空间类型i虚拟机的内存规格值1G)类型i虚拟机的数量系统盘容量总需求=(类型i虚拟机系统盘容量)130%类型i虚拟机数据盘容量=类型i虚拟机的数据盘空间类型i虚拟机的数量数据盘容量总需求=(类型i虚拟机数据盘容量)130%生产存储IOPS总需求计算类型i虚拟机系统盘IOPS=类型i虚拟机的系统盘IOPS类型i虚拟机的数量；系统盘IOPS总需求=类型i虚拟机系统盘IOPS类型i虚拟机数据盘IOPS=类型i虚拟机的数据盘IOPS类型i虚拟机的数量；数据盘IOPS总需求=类型i虚拟机数据盘IOPS,第一个场景为主推场景。管理存储使用IPSAN主要有两点：a.节省商务开支（FusionStorage需要单独的license）b.IPSAN相较于FusionStorage容易配置，故障点少客户如需要非主推场景请参考版本发布文档确认是否支持,管理存储接入方案,计算存储区存储接入方案,整体方案设计基础设施设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,云服务部署方案设计(1),控制节点+云服务节点,1、使用5台服务器部署，前三台采用物理部署Openstack控制节点2、云服务虚拟机和ManageOne相关虚拟机分布在5台节点上,云服务部署方案设计(2),计算节点,1、业务虚拟机使用FusionStorage作为存储的时候，计算节点需要部署VBS才能使用FusionStorage的存储资源。,计算节点01,计算节点02,计算节点N,FusionStorageBlock(VBS),业务虚拟机,管理虚拟机部署原则,公共组件(1),公共组件(2),公共组件(3),公共组件(4),LVS：一级负载均衡，所有云服务console访问的入口。主备部署，向下一级Nginx集群转发请求。Nginx：二级负载均衡，对所有云服务console提供反向代理服务。集群部署。,公共服务规划,注意事项：CES-Haproxy是在安装haproxy组件时安装的，并非在CES服务安装时安装。CES-Haproxy单独部署是因为CES数据流量较大，单独架设才能满足该服务负载要求。需要为Haproxy预留约20个IP为云服务提供浮动IP。,HAPROXY作为公共组件，对各个云服务提供从前端到后端的负载均衡，采用主备部署方式。目前已经对接的服务有：弹性伸缩（AS）、组合API、任务中心（TaskCenter）、虚拟私有云（VPC）、话单（SDR）、云审计（CTS）、镜像（IMS）、云配置服务（CCS）等。,公共服务规划,逻辑图（软件安装指南中，各云服务的“方案简介”中包含，主要目的是展示和周边其他组件的对接关系）,DMZ_Service,Public_Service,Console-Static01,Console-Static01,Console-Static01,Console-Silvan01,Console-Static01,Console-Memcached01,注意事项：节点配置文件，如DMK模板中Device_onframework=xvde参数没有，请自行添加，格式参见memcached_host0hostname=console-memcached01memcached_local_ip=ip.memcached0ansible_ssh_host=ip.memcached0Device_onframework=xvde（xvde根据实际情况修改，一般为vdb，可使用fdiskl查看数据盘盘符）,控制台框架（ConsoleFramework）是一套为各个云服务的管理控制台页面公用的页面框架，显示当前提供的所有云服务列表，提供收藏云服务的功能，提供查询配额和显示云服务实例的功能。（可参考软件安装指南中，解决方案简介章节）,公共服务规划,网络时间协议（NetworkTimeProtocol,NTP），它是用来同步网络中各个计算机的时间的协议。NTP服务器为私有云中的公共服务提供时间同步。,公共服务规划,DNS-Internal作为公共组件，是公有云内部域名服务器，提供公有云内部服务直接的域名解析服务。,注意事项：1、域名与ip对应关系建议提前规划做好表格，填错直接影响后续服务可用性,公共服务规划,TaskCenter作为公共组件，对创建中的云服务资源进行临时存储，用于解决创建时间较长的云服务资源在创建后不能快速在页面看到的问题，提升用户体验。目前已经对接的服务有：弹性云服务器、云硬盘备份、弹性负载均衡、镜像、VPC（创建EIP）、裸金属服务器,公共服务规划,注意事项：DMZ_Tenant网络需要与DMK虚拟机所在网络（Om_Service）互通DMZ_Tenant网络需要与业务externalrelaynetwork网络互通,API网关提供API的管理以及API的内外网隔离。用户访问各服务的API时，不是通过直接调用各服务的API接口，而是各服务的API先在API网关上进行注册，通过API网关将服务API暴露给用户访问。这样可以屏蔽一些非法请求，并防止内部的管理API暴露。,公共服务规划,CES是一个包含多种分布式子集群、支持不同规格的系统。,云监控服务（CloudEye）是一个开放性的监控平台，可提供资源的监控、告警、通知等服务。目前可以监控弹性云服务器、云硬盘、虚拟私有云、关系型数据库、弹性负载均衡、弹性伸缩服务和分布式缓存服务的相关指标，用户可以为这些指标设置告警规则和通知策略，以便及时了解各服务的实例资源运行状况和性能。,公共服务规划,云审计服务（CloudTraceService，CTS），为您提供云服务资源的操作记录，供您查询、审计和回溯使用。,公共服务规划,计量话单逻辑节点图,计量话单（ServiceDetailRecord，SDR）包括两种类型节点：业务节点和数据库节点。其中，业务节点包括三类：controller节点、agent节点和sftp节点。,公共服务规划,DMZ_Service,Public_Service,SMN-Console02,SMN-Console01,SMN-NS-LB02,SMN-NS-LB01,SMN-PS02,SMN-PS01,SMN-KFK-ZK02,SMN-KFK-ZK01,SMN-KFK-ZK02,SMN-KFK-ZK01,SMN-KFK-ZK02,SMN-KFK-ZK01,消息通知服务（SMN：SimpleMessageNotification）是可靠，可扩展，海量的消息处理服务。它大大简化系统的耦合，能够根据用户的需求，向订阅者主动推送消息，订阅者可以是移动设备，电子邮件，短信，应用等等。,公共服务规划,IaaS+服务,CCS云配置服务是基于私有云提供接入第三方云资源的云服务，该服务具有提供跨云统一管理和跨云部署的能力。,IaaS+服务规划,组合API为弹性云服务器、云硬盘和镜像等服务提供后台服务，可以理解为Console的服务端。,IaaS+服务规划,DMZ_Service,Public_Service,Console-Static01,I-ECM-Console01,Console-Static01,I-ECM-Console02,ECS_UI是以云服务器为中心，对相关资源进行管理的Console控制台。包含服务：弹性云服务器、裸金属服务器、云硬盘、云硬盘备份、镜像、弹性伸缩、弹性负载均衡、密钥对、云服务器组。,IaaS+服务规划,Console节点节点功能：提供VPCWEB界面服务提供WEB端接口透传功能部署方式：两台集群部署，对接NGINX进行负载均衡,节点功能：提供VPC网络配置（子网，EIP等）服务用于部署VPC的管理面服务部署方式：三台集群部署，对接Haproxy进行负载均衡,DB节点节点功能：用于存放用户业务数据部署方式：两台主备部署，对外提供浮动IP地址,VPC能够为VDC（VirtualDataCenter）提供安全、隔离的网络环境，为VDC中的应用或虚拟机提供网络资源。,IaaS+服务规划,AS(AutoScaling弹性伸缩服务),根据用户的业务需求，通过策略自动调整其业务资源的服务,IaaS+服务规划,ManageOne服务,IAM（IdentityandAccessManagement），统一身份认证服务，提供适合企业级组织结构的用户账号管理机制，为企业成员分配不同的资源及操作权限，通过访问密钥以OpenAPI的方式访问私有云资源。在具体的业务实现和分级上，IAM服务包含5个微服务：IAMAuthWebsite、IAMConsoleWebsite、IAMCacheproxyService、IAMCoreService、IAMToolService。其中前两个为前端服务，提供页面呈现给用户，后三个为后端服务，用户不直接感知。,ManageOne规划,ServiceCenter只用于专有云，不用于公有云。SC的安装部署在继承3.0安装部署功能的基础上，增加了租户侧配合Console框架SSO登录和云服务接入的功能。,ManageOne规划,逻辑图（参见OC对接调测指南对接配置）,注意事项：OCService02/03OMService平面需要规划两个浮动IP地址，一个用户运维业务，一个用于告警上报LVSCES和CCS需要分别在Xaas和CloudService入口分别对接，其中CCS仅在混合云场景下对接,CloudOperaOperationCenter提供了全面开放的南向接口与北向接口，是面向运营商/企业管理员以及设备厂商全面开放的系统。南向对接：通过配置与南向系统对接，可获取南向系统中的资源、性能、告警等数据，进行综合运维分析北向对接：提供北向API管理功能，将后端应用服务的能力以REST（RepresentationalStateTransfer）API的形式提供给第三方用户，实现API安全隔离、API调用统计等功能CloudOperaOperationCenter对接全景图,ManageOne规划,注意事项：如需要监控博科光纤交换机，需要规划一台16GB内存虚拟机，且80端口未被占用，用于部署BNA管理软件（不支持与eSight合部）,通过配置CloudOperaOperationCenter与eSight系统对接，收集eSight的设备、告警和性能信息并进行管理，用于综合分析整个数据中心物理设备的运行状态。eSight对接全景图,ManageOne规划,注意事项：1、opsMonitor监控各云服务，实际上是通过对各云服务节点上进程、端口、资源占用等状态或阈值进行监控产生告警时上报给OC；被监控的节点都需要部署agent2、各节点监控指标已经固化为模板，随版本发布3、参考附件文档可查看哪些监控节点均对接opsMonitor，需对接的云服务均提供配置指导,OpsMonitor是基于Zabbix开发的分布式运维监控系统，通过Web界面提供对主机操作系统、进程、平台和基本服务的监控能力。使用不同监控服务的用户登录WEB界面后，可通过分析某个时间段内的平均值、最大值和最小值，进行历史数据查看和分析；还可以设置灵活的报警提醒规则，从而让系统管理员快速定位和解决存在的各种问题，以保证服务器系统的安全运营。监控范围：监控所有管理面的机器，并安装Linux系统的虚拟机和物理机。被监控组件包括：IaaS+、PaaS、SaaS、CNA、FSP级联层和被级联层、存储以及运维工具。如图：,ManageOne规划,注意事项：1、由于IO占用较高，ELK-server虚拟机的硬盘要求使用共享存储2、ELK不向OC上报数据，仅对接配置SSO3、参考附件文档可查看哪些监控节点均对接ELK，需对接ELK的云服务均提供配置指导,ELK是基于ElasticSearch、Logstash、Kibana集成开发的日志收集平台。用户可以单独使用ELK工具来收集各组件、服务的日志。ELK-server采用分布式集群方式部署，根据预期要部署的ELK-agent数量来确定ELK-server集群需要的资源，私有云场景下，各region均采用小规模（小于200个ELK-agent）单集群组网。ELK与对接系统说明如下图所示：,ManageOne规划,其他,整体方案设计基础设施设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,运营方案,运营职责概览,运营架构,FusionCloud运营架构,业务规划设计,云服务运营要考虑以下几个方面的要求：用户角色体系建设资源池的规划建设镜像和规格规划VDC的规划建设VPC的规划建设,用户角色和权限,资源池规划-资源池,资源池规划考虑因素包括地理位置，应用类型，虚拟化类型，资源类型和演进扩容等来划分。地理位置：可以基于DC，站点或者分支结构等纬度划分不同的资源池应用类型：根据应用的需要，基于SLA能力要求划分不同的资源池，如按照企业核心业务应用和一般应用等划分不同的资源池虚拟化类型：根据使用的不同的虚拟化系统划分不同的资源池，或者将虚拟化和非虚拟化资源划分为不同的资源池。资源类型：根据设备型号，厂商，性能等划分不同的资源池演进扩容：可以将现有的资源聚集为一个资源池，采用新技术扩容的资源作为新的资源池。,资源池&可用分区&集群关系,资源池规划-AZ规划,可用分区规划一般考虑以下因素：基于可靠性、工程互联：根据应用可靠性保证的需要划分多个可用分区，将一个计算，存储网络全互联的区域划分为一个可用区。基于2层网络范围：可以将一个汇聚交换机所在的2层网络空间范围做为一个可用分区基于资源SLA能力：将不同SLA能力的资源定义为不同的可用分区。,资源池规划-资源SLA能力规划,SLA标签定义类型参考表,资源池规划,镜像准备规格准备,VDC规划设计,一级VDC规划示意图,多级VDC规划示意图,设计原则VDC可以按照组织来划分，一个组织分配一个VDC，但组织内可能存在多个子组织的情况，为满足多个子组织的需要，VDC管理员可以在VDC内再划分多个子VDC，灵活匹配用户的组织模型。约束一级VDC由具有系统管理权限的管理员创建VDC名称不支持使用中文多级VDC、VDC管理员、project和租户用户均只能由一级VDC管理员创建、变更和删除project名称不支持使用中文用户名不支持使用中文在对user做project授权时，user和project必须都属于同一个VDC不支持变更project和VDC的关联关系不支持变更用户和VDC的关联关系project不支持跨region不同用户在同一个project下创建的资源互相可见只有一级VDC和project可以设置配额,VDC规划,配额规划,VPC规划设计,一般一个业务系统可以规划一个VPC，达到同其它业务系统隔离的目的，VPC不能跨Project。,子网/EIP规划,子网是属于VPC的资源，一个VPC内的子网可以进行通信，不同VPC的子网默认不能进行通信，可以通过创建对等连接使不同VPC的子网通信。一个租户可以创建100个子网。弹性IP地址（EIP）是专为动态云计算设计的静态IP地址。借助EIP，您可以快速将地址重新映射到您的账户中的另一个实例，从而屏蔽实例故障。EIP与租户账户相关联，而不是与某个实例相关联，在您选择彻底释放该地址之前，它会一直与您的账户保持关联。一个弹性IP只能给一个弹性云服务器使用。,整体方案设计基础设施设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,用户角色和职责,日常维护流程,故障处理流程,整体方案设计基础设施设计云服务虚拟机规划设计云管理层设计运维规划设计最佳实践研讨,项目背景,XX客户希望借助新建政企云平台，提供视频云、医疗云等项目的实际需求，以及通过一个具备开放性、兼容性的一站式云平台，实现计算存储服务化、弹性伸缩、网络自动化等能力，完善云平台整体安全架构及服务支撑体系，开拓政务云服务市场，提升XX政企云品牌竞争力。在XX客户现网，业务层面有自己的客户管理系统，BOSS计费系统，以及综合网管系统等。政企云平台需要溶于现网这些核心系统的架构体系中，统一运营运维管理。同时在现网中，还有一些其他的硬件设备，主要包括几十台华为X86机架式服务器、HPX86刀片服务器、联想X86机架式服务器，以及HP的SAN存储、华为OceanStor9000存储等，在本项目中，需要尽可能的利用现网的硬件设备。,需求分析-平台功能需求,统一运营管理平台：管理内容涵盖省市两级政企云平台的所有资源，实现全省资源的统一管控，包括资源的申请、审批、部署、交付都由平台集中处理，支持IaaS服务的自动开通、部署和统一监控，实现资源/服务的全生命周期管理。计算资源池：构建60台物理服务器规模的计算资源池，遵循OpenStack架构，实现云计算服务中的云主机、主机镜像等服务，实现对虚拟资源、业务资源、用户资源的集中管理，支持上层不同的业务调度与应用部署，满足用户多样性需求。为满足政府用户及企业用户的不同资源需求，计算资源池需要分为政务云资源池及行业云资源池，每个资源池需包括KVM资源池及物理机资源池。存储资源池：基于软件定义存储SDS技术，提供可用生产存储空间500T规模，满足应用按需并自动化部署，存储利用率最大化。,需求分析-运营需求,服务运营需包含用户管理、服务目录管理、订单管理、资源使用计量、用户服务、统计分析等功能。服务目录包含以下主要产品：云主机、负载均衡、弹性伸缩、弹性块存储、云监控。符合XX公司统一运营、集中维护总体框架的角色设置，支持省级市级运营管理员、租户管理员、子租户管理员、最终用户等角色分权分域的设置。提供服务目录的生成、发布、修改、删除、查询和导入导出等功能，支持分级目录管理。,需求分析-运维需求,运维管理层包括监控管理、故障管理、例行维护管理、分析优化等功能。支持报表管理、容量管理、大屏管理、告警管理、资源管理等功能，包括异构设备的监控。支持与客户管理