2024发电企业云平台软硬件实施方案_第1页
2024发电企业云平台软硬件实施方案_第2页
2024发电企业云平台软硬件实施方案_第3页
2024发电企业云平台软硬件实施方案_第4页
2024发电企业云平台软硬件实施方案_第5页
已阅读5页,还剩75页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

发电企业云平台软硬件实施方案2024目录TOC\o"1-2"\h\u1971一、项目建设内容 3181741.云平台总体架构 3226342.云平台组件和服务 632235二、准备阶段工作 926889三、网络方案设计 2466561.网络整体设计原则 24247282.网络整体拓扑 25120433.网络设备清单 2643344.OpenStack网络平面介绍 26101785.网络平面规划 313166.域名规划 41247327.物理网络架构 4328159四、云平台部署 43139491.HCS安装原理及简介 43290542.安装首个Region 444025五、应用平台部署 44248951.CCE服务 44230982.ROMAConnect 464117六、DevOPS 5240461.服务简介 52250172.DevOps部署参数表 5366293.部署架构图 54174184.部署流程 5430797七、数据中台部署 558701.MRS介绍 55273002.DWS软件部署 59232303.时序数据库 636818八、云安全部署 65259361.云安全服务介绍 65300552.规划设计 761838九、安装部署 79项目建设内容云平台总体架构本次XX集团水电智能运维云平台采用HUAWEICLOUDStack云平台,采用KVM+OpenStack技术作为云平台技术架构,对物理数据中心资源进行整合;采用统一云管理平台作为数据中心管理软件,可以对多个数据中心提供统一管理。云数据中心总体架构如上图所示,主要由基础设施层、资源池层、云服务层和管理域组成:基础设施层基础设施包括构建数据中心所需的服务器、存储设备和网络设备,提供基于物理资源构建的虚拟计算、虚拟存储和虚拟网络资源池,并提供可直接使用的物理服务器资源。基础设施层可根据不同业务的需求,提供多种类型的硬件部署架构。资源池层资源池总体架构以资源组合形式分为物理数据中心层、统一资源层和业务层。物理数据中心层:云平台通常包括多个物理地域分布的数据中心。单个物理数据中心的形态和传统云数据中心基本一致,分为物理基础设施和物理基础架构。采用扁平化二层网络设计,将数据中心IT设备高速连接到一起。统一资源池层:统一的计算资源池、存储资源池和网络资源池。每种类型的资源池,都有实际的作用域。资源池的划分和底层物理设备位置无任何关联,HuaweiCloudStack将物理分散的计算、存储、网络设备纳入逻辑统一资源池,供上层业务按需调度。云服务层云服务层作为云服务的管理及运营平台,主要包括服务自动化层、服务接入层(服务console层)及服务门户层。服务自动化层通过对资源池层IaaS、灾备资源的封装,实现云资源服务的发现、路由、编排、计量、接入等功能,显现从资源到服务的转换。服务接入层是云管理平台的对外呈现,分为用户门户及管理员门户。用户门户面向各部门的业务管理员等,管理员门户面向系统管理员等。用户可通过服务租户自助操作门户(服务console)实现对服务的操作、使用、监控等生命周期管理。管理域分为运营管理和运维管理两部分。运营管理,提供运营管理门户,提供对云服务的统一运营能力,提升运营操作的敏捷性,提升业务运营效率。运营管理门户除提供云服务申请和自助服务控制台外,支持包括VDC管理、租户管理、服务目录、服务控制台、计量等运营管理功能。运维管理,提供运维管理门户,提供对虚拟资源和物理资源的统一运维能力,支持对多数据中心的统一运维管理,包括资源管理、告警管理、拓扑管理、性能管理以及统计报表等,提升运维操作效率。管理及公共能力层是云平台整体运维管理及公共组件的管理平台。应用域由第三方提供应用,基于华为云Stack提供的云服务,构建用户的业务系统,满足各行业用户业务需求。云平台部署各节点分布如下:管理核心交换区:核心交换机2台,防火墙2台。管理区:云平台管理节点11台,接入交换机2台,BMC带外交换机3台。业务区:云平台虚拟化计算节点38台,裸金属网关2台,数仓服务器3台,云平台网络节点2台,均衡型分布式存储节点3台,高性能全SSD分布式存储3台,管理交换4台,业务交换机4台,存储交换机4台。大数据区:大数据管理控制节点2台,数据节点26台,接入交换机4台。对象存储区:对象存储负载均衡节点2台,对象存储节点3台。接入交换机2台。XX集团水电智能运维云平台建成后,云平台对外提供的服务能力包括云服务器、云硬盘、对象存储服务、网络SDN服务、大数据服务、融合数仓服务、时序数据库、裸金属服务、容器服务、微服务引擎、应用平台、分布式消息、分布式缓存、APIG、云服务目录等,并按要求建设相关的网络安全、主机安全、虚拟化安全、数据安全等基础能力。云平台组件和服务本次云平台主要部署服务如下:云服务类型云服务说明计算服务ECS弹性云服务器BMS裸金属IMS镜像服务网络服务VPC虚拟私有云DNS域名解析服务SG安全组VFW虚拟防火墙EIP弹性IPEIPQosEIP_QO服务ELB弹性负载均衡服务L3GW增强型云专线服务存储服务EVS云硬盘服务OBS对象存储服务安全服务DBAS数据库审计服务HSS主机安全服务CBH云堡垒机服务EI服务MRSMapReduce服务IoTDB时序数据库DWS数据仓库服务应用服务CCE云容器服务DCS分布式缓存服务ROMAFactory应用工厂ROMAConnect应用平台数据库服务RDSformysql关系型数据库formysqlDDS文档数据库其中EI大数据部署服务清单如下:序号项目名称分项服务内容是否安装1数据仓库DWS数据仓库服务安装2时序数据库时序数据库安装3MRS管理节点+控制+flink+flume+Redis+hive+Spark+Hbase+kafka+ES+ClickHouse+时序数据库安装各组件对应的版本如下表:子解决方案名称解决方案版本部件名称版本号HUAWEICloudStack8.2.1云平台软件FusionSphereOpenStackFusionSphereOpenStack8.2.1.SPC10适配软件FusionSphereSIAFusionSphereSIA8.2.1基础云服务&公共组件FusionSphereServiceFusionSphereService8.2.1.SPC10运维工具FusionSphereOMFusionSphereOM8.2.1.SPC10ManageOne8.2.1云运维管理平台ManageOneManageOne8.2.1.SPC1硬件运维软件eSight22.1.0STaaSSolution分布式块存储EVSOceanStorPacificOceanStorPacific9920/95208.1.3.SPH101对象存储OBSOBSOBS3.0FusionGuard8.2.1安全服务FusionGuardFusionGuard8.2.1.SPC1SecoManagerSecoManagerV500R022C00SPC120FusionInsightHD3.2.1大数据服务MapReduceServiceMapReduceService3.2.1-LTS.1DWS8.2.1数据仓库服务DWSServiceHCSDWSServiceCCE容器服务CloudContainerEngineCloudContainerEnginePaasCommon8.2.1容器服务PaaSCommonPaaSCommon8.2.1ROMAConnect应用服务ROMAConnectROMAConnectDCS应用服务DCSHuaweiCloudDCSROMAFactory应用服务ROMAFactoryROMAFactoryDDS2.23.01.210数据库服务DDS文档数据库DDS2.23.01.210准备阶段工作机房与机柜布局规划机柜规划机柜上架部署原则如下:1、同类型的节点放置在不同的机柜上,保证机柜级高可用;2、OceanStorPacific存储节点的ZK(元数据)盘所在的服务器放置在不同的机柜上;3、同时考虑机柜重量与功率的限制,若单机柜功率为5kw,每机柜最多部署10台2U2路服务器;4、考虑到管理区和存储区的特殊性,建议对管理节点、存储节点所在的机柜做适当预留,便于日后以节点为单位进行扩容;管理&存储区管理区:由管理节点组成。至少分布在三个不同机柜,避免单机柜异常影响到管理业务。存储区:由分布式块存储,对象存储节点和网关型终端节点组成,每种存储建议分布在三个不同机柜。机柜及服务器位置规划示意图待工勘后输出。业务区计算区按照每机柜5kw计算,2U2路服务器建议不超过10台,4U4路服务器建议不超过5台。机柜及服务器位置规划示意图待工勘后输出。数据中台区数据中台区部署原则与云平台部署原则一致。机柜及服务器位置规划示意图待工勘后输出。现场工作到货检查待硬件到货后根据清单配置,进行核对。上架与上电本次硬装上架按照后期板位图整机柜摆放,对设备进行上架、上电,观察48小时是否存在硬件异常。服务器分配规划、网卡规划服务器分配设备类型数量管理平面业务平面存储平面云平台管理节点112*10GE2*10GE云平台计算节点382*10GE2*10GE2*10GEMRS管控节点112*10GE2*10GEMRS数据节点102*10GE2*10GEDWS数仓32*10GE2*10GE裸金属网关22*10GE6*10GE网络节点22*10GE2*10GE2*10GE分布式9520存储节点32*10GE2*10GE分布式9920存储节点32*10GE2*10GEOBS节点32*10GE2*10GE2*10GEOBSLVS节点22*10GE2*10GE服务器规划节点类型网口名称网络平面绑定模式用途管理节点eth0External_OM、External_API、Internal_Base(untagged)、Public_Service、DMZ_Service、DMZ_Tenant、Heart_Beat主备管理平面eth1eth2主备业务平面eth3eth4Storage_Data0主备存储平面eth5块存储节点(4网口服务器)eth0Storage_OM主备管理平面eth1eth2Storage_Service主备存储平面eth3OBS对象存储eth0OBS_Service负载均衡业务平面eth1eth2OBS_OM、OBS_Service、OBS_Ctrl_ECMP负载均衡管理+存储平面eth3eth4OBS_Inter、OBS_OM、OBS_Ctrl_ECMP负载均衡管理+业务平面eth5(计算节点KVM)6网口服务器eth0external_OM、internal_base(untagged)主备管理平面eth1eth2主备业务平面eth3eth4storage_data2主备存储平面eth5(大数据节点)4网口服务器eth0FI_OM(untagged)主备管理平面eth1eth2FI_Service(untagged)主备业务平面eth3裸金属网关节点eth0external_OM、internal_base(untagged)主备管理平面eth1eth2Provision、Ironic、Ironic_HB,主备业务平面eth3eth4eth5eth6eth7连线规划管理节点连线设计管理节点需要3台控制节点及X台云服务节点,管理节点需分放在不同的机柜中,网口都需要双网口主备以保障可靠性。 管理节点连线示意图管理节点网口配置方案方案说明管理节点采用融合FusionStorage存储:2*10GE/25GE:管理+存储2*10GE/25GE:业务(仅双核心组网且部署裸金属服务时配置)-双核心组网且部署裸金属服务,管理节点存在管理和业务分离需求,管理节点需要单独配置2*10GE业务网口,连线到裸金属服务器节点接入的任一业务TOR上。接口名称接口类型接入网络说明1822网卡:SLOT3-0和SLOT3-1非1822网卡:SLOT1-0和SLOT1-110GE/25GE光接口管理网络+存储网络连接到管理接入交换机,两个接口组成逻辑上的Bond(Bond1或Bond4)接口。1822网卡:SLOT3-2和SLOT3-3非1822网卡:SLOT4-0和SLOT4-110GE/25GE光接口业务网络(按需)仅双核心组网且部署裸金属服务时配置。双核心组网时连接到裸金属服务器业务接入交换机,两个接口组成逻辑上的Bond(Bond1或Bond4)接口。FusionStorage块存储节点连线设计存储节点需要6台,2个10GE网口作为管理平面,2个10GE网口作为存储平面,每个流量都使用双网口承载。存储节点连线示意图OBS对象存储节点连线设计该区域主要部署OBS节点和OBSLVS负载均衡节点,提供对象存储服务、IMS镜像服务等,同时用于保存管理节点的备份数据,这个区域具有流量大会话多的特点。OBS区OBSTOR(前端业务交换机)和OBS后端TOR(后端存储交换机)直接接入核心交换机,建议采用两对TOR分别作为前端流量的接入和后端流量的接入。前后端独立使用交换机组网图存储节点组网图如上图所示,存储节点配置两张网卡,eth0-0和eth0-1组建Bond,传输前端流量;eth0-2和eth0-3组建Bond,传输后端存储流量、后端控制流量和管理流量。LVS节点接口使用说明网络名称说明功能VRF网关位置网络分段示例BMC平面OBSBMCIP地址用于带外管理,连接设备的板级管理模块NABMC交换机IP:~8/24[举例]VLANID:24[举例]网关:Internal_Base/OBS_Internal_BasePXE平面IPPXE平面,用于自动化安装OS引导,OS安装后该平面失效不需要继续使用。当采用单出口时,复用平台的Internal_Base平面,当采用多出口组网时,需要独立规划一个OBS_Internal_Base。二层组网:Tenant三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:~8/24[举例]VLANID:24[举例]网关:OBS_OMOBSOM平面IPOBS管理面地址,该平面地址同时还给管理面提供S3业务接口访问VIP:虚IP,用于负载均衡及前端业务接入的可见IP取OBS_OM子网倒数第二个有效IP作为OBS_OM子网VIP,具体计算方式见网络规划实例二层组网:InNetWork三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:9~124/26[举例]VLANID:24[举例]网关:5[举例]VIP(虚拟IP):OBS_Backend_StorageOBS后端IP地址OBS后端管理地址,用于OBS内部存储数据的重构,读写等二层组网:Tenant三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:~8/24[举例]VLANID:24[举例]网关:OBS_PaxosOBSPaxos平面IP地址OBS集群管理地址,用于集群间心跳管理二层组网双核心:Tenant单核心:Manage三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:~8/24[举例]VLANID:24[举例]网关:OBS_OM_ECMPOBSOM平面ECMP地址OBS管理面等价路由地址,用于LVS向Service节点进行管理平面的负载均衡转发从第4个有效IP起(含)依次分配二层组网:InNetwork三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:9~126/26[举例]VLANID:24[举例]网关:5OBS_Bussiness_TenantOBS租户面地址OBS租户面地址,用于内大网访问OBSVIP:虚IP,用于负载均衡及前端业务接入的可见IP取OBS_Bussiness_Tenant子网倒数第二个和第三个有效IP作为OBS_Bussiness_Tenant子网VIP,具体计算方式见网络规划实例二层组网:InNetwork三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:9~123/26[举例]VLANID:24[举例]网关:5[举例OBS_Tenant_ECMPOBS租户面ECPM地址OBS租户面等价路由地址,用于LVS向Service节点进行租户平面的负载均衡转发从第4个有效IP起(含)依次分配二层组网:InNetwork三层组网:Public二层组网:核心交换机三层组网:接入LeafIP:9~126/26[举例]VLANID:24[举例]网关:5[举例]ECMP地址:OBS公网IPOBS公网地址OBS公网地址,一般为2个,用于防火墙做NAT对外出公网地址NA-IP:1~12[举例]计算节点连线设计计算节点管理平面、业务平面、存储平面都需要物理网口分开并使用双网口主备以保障可靠性。计算节点连线示意图接口名称接口类型接入网络说明SLOT0-0和SLOT0-110GE光接口管理网络连接到管理接入交换机,两个接口组成逻辑上的Bond(主备模式)接口。SLOT9-0和SLOT9-110GE光接口业务网络连接到业务接入交换机,两个接口组成逻辑上的Bond(主备模式)接口。SLOT1-0和SLOT1-110GE光接口存储网络连接到存储接入交换机,两个接口组成逻辑上的Bond(主备模式)接口。MRS/DWS连线设计数据中台服务器节点与大数据服务器节点部署方案相同,以大数据节点为例。大数据服务器建议独立部署大数据管理接入交换机和大数据业务接入交换机,大数据节点建议配置2个10GE光口用于管理,2个10GE光口用于业务平面。MRS/DWS物理机部署形态网络设备端口配置方案大数据节点网口部署方案接口名称接口类型接入网络说明SLOT0-2和SLOT0-310GE光接口管理网络连接到管理接入交换机,两个接口组成逻辑上的Bond(主备模式)接口。SLOT0-0和SLOT0-110GE光接口业务网络连接到业务接入交换机,两个接口组成逻辑上的Bond(主备模式)接口。大数据节点网口连线设计裸金属节点连线规划裸金属服务器接口规划接口名称接口类型接入网络说明SLOT2-0和SLOT2-110GE/25GE光接口业务网络连接到业务接入交换机,大规模三层组网时连接到业务区集中式裸金属服务管理业务Leaf交换机,两个接口组成逻辑上的Bond(Bond4模式)接口。2网口是典型场景,裸金属服务器支持按需配置多个网口,所有业务网口必须加入同一个Bond。SLOT5-0和SLOT5-110GE/25GE光接口存储网络连接到存储接入交换机。大规模三层组网时连接到业务区集中式裸金属服务存储Leaf交换机,对接FCSAN使用HBA卡,对接FusionStorage使用iSCSI方式对接。裸金属服务器接入规划图裸金属服务器网关节点接口规划接口名称接口类型接入网络说明1822网卡:SLOT2-0和SLOT2-1非1822网卡:SLOT1-0和SLOT1-110GE/25GE光接口管理网络连接到管理接入交换机,大规模三层组网时连接到业务区集中式裸金属服务Leaf交换机,两个接口组成逻辑上的Bond(Bond1或Bond4)接口。1822网卡:SLOT2-2、SLOT2-3、SLOT5非1822网卡:SLOT2、SLOT4、SLOT510GE/25GE光接口业务网络连接到业务接入交换机,大规模三层组网时连接到业务区集中式裸金属服务Leaf交换机,六个接口组成逻辑上的Bond(Bond4模式)接口。网络方案设计网络整体设计原则设计原则:各区域分工明确,易于理解,方便扩容,网络依照各节点安全级别分区,可提供物理隔离能力,本次网口规划如下:计算节点6网口,管理节点2网口方案,其中业务区管理TOR和业务TOR网口分离;设计规格:规模<=20000VM(<=200PM)。设备选型设备角色部署方式数量选项备注业务核心交换机M-LAG/堆叠2必选接入交换机M-LAG/堆叠按需必选部署裸金属服务时,连接裸金属服务器和裸金属服务器网关的TOR有软硬件配套要求。外部接入TORM-LAG/堆叠按需可选需华为FM系列交换机,L2BR、L3GW可以共TOR部署。数据库存储TORM-LAG/堆叠2可选部署GaussDBforMySQL数据库服务时配置,需25G交换机,支持第三方交换机,不支持ROCE。无独立OBS接入时,数据库存储TOR可与业务区存储TOR共用(推荐独占);在配置独立OBS接入时,数据库存储TOR独占,不可与业务区存储TOR共用。边界防火墙主备按需必选边界防火墙用于管理区和业务区的安全防护。不配置边界防火墙,属于非标组网。(云服务架构下,管理区需要与业务区通信)BMC接入交换机独立按需必选服务器、存储、网络设备BMC接入。SAN存储的管理网络是双控设计,且管理网络是千兆电口接入,为了保证可靠性,建议BMC接入交换机两台起配。OBS接入M-LAG/堆叠按需可选单独的OBS接入场景,所有的存储接入交换机连接到OBS接入。网络整体拓扑为保证数据中心网络稳定性、安全性、架构弹性,同时兼顾技术成熟度、运维习惯等因素,引入SDN技术,通过部署硬件SDN控制器,实现结构建模、规则标准化、服务抽象化、提高自动化能力,并通过与云平台间的接口实现计算与网络服务的按需自助、敏捷交付与简易运维。组网拓扑图:网络设备清单数据中心内部网络设备类型及部署方式如下:设备角色部署方案数量核心交换机M-LAG2业务TORM-LAG4边界/业务防火墙主备2OBS接入交换机M-LAG2管理/业务(大数据)M-LAG4BMC交换机M-LAG3大数据BMC交换机M-LAG1存储接入交换机M-LAG4业务区管理接入交换机M-LAG4外部接入TORM-LAG2管理区管理接入交换机M-LAG2OpenStack网络平面介绍1、基础管理平面网络分类网络平面名称职能简述公共网络平面External_OM云平台运维管理平面DMZ_Service云平台公共服务、Console接入平面OM_Service运维接入平面存储平面Storage_Data0云平台存储平面,Management_Storage_Data(必选)和Service_Storage_Data(可选)OpenStack管理平面Internal_Base内部管理平面External_Relay_Network内大网Tunnel_Bearing租户VXLAN、网元互通平面,TypeI组网特有平面。Internal_Base:内部管理平面。承载了pxe流量,组件配置管理,OpenStack组件南向通信,代理流量,运维管理,网络配置管理,升级配置管理,告警通道,信息采集,公共服务等。注:OpenStack的内部管理平面,每个节点(管理节点+计算节点)、每个OpenStack内部组件以及某些内部管理虚拟机都分配一个地址,用于OpenStack内部组件之间互通,安全要求高,不允许外部访问,Internal_Base支持三层,建议使用私网地址。Internal_Base在Region首次安装时无需填写平面网关,在扩AZ场景需要填写。External_OM:云平台管理平面。承载了运维接入、ELB管理面、对接存储管理面、对接外部NTP/FTP/SYSlOG服务器、OpenStack北向API流量及内外部访问流量、云服务后端VM、云服务DB的VM以及运维组件VM使用的网络,包括HA-Proxy、SDR、VPC-Service、AS-Service、RTS-Service、PUB-DB、DMK、SMN-Service等。DMZ_Service:公共服务区云服务使用的网络。云服务前端VM(包括LVS、Nginx和云服务的Console等)以及高级云服务与业务区VM互通使用的网络(包括租户DNS_NTP、APIGW-PODLB、RDS-Service、PAAS-Service等)。注:华为云Stack面向外部的管理平面,主要面向外部Console访问和面向租户VM访问。租户VM通过内大网只能访问DMZ_Service平面。OM_Service:运维接入平面,用于本地运维接入和远程运维接入,堡垒机,远程运维的HCSU代理,HCSD代理以及客户前置机部署在此平面。External_Relay_Network:租户的内大网平面。部分业务VM存在与管理侧服务如RDS、PAAS、NTP/DNS进行通信的需求,不同的VPC内VM的地址可能重叠,此网段在VM内部地址的基础上通过NAT机制保证每个VM的内大网地址唯一,内大网地址通过OpenStack自动分配。Storage_Data0:云平台存储平面,Management_Storage_Data(必选),Service_Storage_Data(可选)管理节点存储:管理节点,管理存储节点使用的存储平面。计算节点存储:计算节点使用的存储平面。存储节点存储:FusionStorage和IPSAN存储集群的存储平面。存储平面规划建议如下表:当组网是单核心组网时,管理节点存储、计算节点存储、存储节点存储推荐共用Management_Storage_Data平面;当节点规模比较大时(大于1个C类地址),或者因特殊组网要求,建议采用三层组网,可以在Management_Storage_Data下规划多个实例,规划多个子网和VLAN。当组网是双核心组网时,仅管理节点存储单独使用Management_Storage_Data平面,计算节点与存储节点的存储平面需要单独规划Service_Storage_Data平面;当节点规模比较大时(大于1个C类地址),或者因特殊组网要求,建议采用三层组网,可以在Service_Storage_Data下规划多个实例,规划多个子网和VLAN。注:双核心组网下,满足管理存储和计算节点存储分离的诉求,为业务节点规划单独Service_Storage_Data,用于计算节点和业务存储节点。例外:双核心组网下,如果管理节点和计算节点共用一套SAN存储,不需要单独规划Service_Storage_Data网段。Tunnel_Bearing:虚拟机、网络节点上的虚拟网元的VXLAN网络underlay平面。TypeI组网特有平面。网络平面和安全域划分示意图2、高阶服务平面设计高阶服务场景,管理区External_OM通过管理专线与部署在POD区管理组件的平面POD_Service_OM_EI和POD_Service_OM_FA互通。OM_ECMP_VIP:部署在External_OM平面的管理组件(RegionLB、CloudLB)采用主主部署时,使用该平面提供访问的VIP地址。OM_ECMP:部署在External_OM平面的管理组件(RegionLB、CloudLB)采用主主部署时,使用该平面作为等价路由下一跳。DMZ_ECMP1_VIP:部署在DMZ_Service平面的管理组件(POD_LB、反向代理、CloudLB的LVS)采用主主部署时,使用该平面提供访问的VIP地址。DMZ_ECMP1:部署在DMZ_Service平面的管理组件(POD_LB、反向代理、CloudLB的LVS)采用主主部署时,使用该平面作为等价路由下一跳。DMZ_ECMP2_VIP:部署在DMZ_Service_Advance平面的管理组件(POD_LB、CloudLB的LVS)采用主主部署时,使用该平面提供POD区访问的VIP地址。DMZ_ECMP2:部署在DMZ_Service_Advance平面的管理组件(POD_LB、CloudLB的LVS)采用主主部署时,使用该平面作为等价路由下一跳。高阶服务流量访问(双核心)3、内大网External_Relay_Network平面设计内大网External_Relay_Network平面的作用范围是华为云Stack解决方案内部,用于满足同一个Server端与业务区的所有VM通信,但是VM的私有地址又可能重叠的业务场景。内大网的地址分为两类,一类是Server端的地址(按需规划,安装部署加入内大网白名单)。一类是VM端的地址,通常取的地址范围是100.64.xx.xx。每个VM在创建的时候都会自动分配一个内大网地址,内大网的地址是统一分配,保证不会重叠。VM之间不能通过内大网地址互通以保证VM的安全,在内大网的设计方案中已经保证了这一点。VM可以通过内大网主动访问Server端,Server端也可以通过内大网主动访问VM。在网络方案上,两边谁主动发起访问都是允许的,前提是需要保证边界防火墙已经把相关的端口放通。内大网的地址是可更换的,由于内大网的地址不会与外部互通,因此建议内大网地址规划为保留地址(100.64.xx.xx)或者某些一定不会访问的公网地址做私用。100.64地址是RFC保留地址,用于运营商级NAT内网保留地址段,通常混合云场景不会访问这个地址,因此可以使用此地址作为内大网地址。内大网是通过NAT实现的,因此在虚拟机内部看不到地址,内大网地址是内部实现,在租户的Console界面上也看不到此地址。内大网的使用场景如下:1)公共服务区的租户DNS和NTP配置内大网的Server地址,业务区的VM通过内大网地址都可以访问租户DNS和NTP。2)APIGW配置内大网的Server地址,业务区的VM通过内大网地址可以调用APIGW的接口。3)OBS和SFS服务,可能会被所有的VM访问,为了解决地址重叠问题,所有的VM通过内大网地址访问OBS和SFS的Server地址。4)FusionGuard和AutoOps等服务有统一的Server端对接所有的业务VM,通过内大网实现业务互通。5)其他需要通过内大网与所有业务VM互通的服务和场景。在业务面IPV4/IPV6双栈场景,Server端DMZ_Service网段需要规划为IPV4/IPV6双栈。VM端可以通过内大网或IPV6进行访问公共服务区。网络平面规划本次所需IP网段由客户提供(下图IP用于示例),本项目整体建设所需平面参考如下:1、全局平面规划类别网络平面名称手动规划的IP地址说明硬装相关平面Loopback此平面IP地址段分为以下三部分,彼此不可重叠:

(1)配置L2BR或L3GW专线时,专线网关IP需从此平面规划;

(2)网元集群使用的承载VXLAN报文的平面,至少规划15个IP,考虑扩容建议配置25位掩码IP段;

(3)交换机回环接口,用于动态路由RouterID。

(4)部署云连接服务时,需保证Region间VTEP地址不重叠,需规划为全局地址。网络设备互联(业务面双栈场景此网段需同时规划IPv4网络和IPv6网络)(1)不同的网络设备之间互联地址和VLAN,用于路由设计下一跳地址;

(2)如果Inter_Connect平面从网络设备互联的总网段中取值,则需单独划分一个27位掩码的Ipv4网段和64位掩码的IPv6网段,并需要一个VLAN。CloudNetDebug(可选)核心交换机和业务接入交换机的三层互联IP,为了简化网络规划,所有业务接入交换机和核心交换机之间用一个网段互联,在无法提供一个网段的情况下,也可以规划多个网段。

业务接入交换机配置ERSPAN的情况下需要规划此网段,业务接入交换机配置ERPSAN可以提高物理网络定界能力。BMC硬件设备的管理地址段,实际大小与设备数量有关。根据设备数量规划网段规模。

混合云+大数据物理机集群场景,在大数据物理机与混合云同DC时,该平面包含大数据物理机集群。无大数据管理汇聚时,大数据物理机集群的BMC与混合云内BMC同BMC平面实例,大数据物理机集群的BMC平面网关在核心交换机;配置大数据管理汇聚时,大数据物理机集群的BMC与混合云内BMC不同BMC平面实例,大数据物理机集群的BMC平面网关在大数据管理汇聚。2、管理区平面规划公共网络平面External_OM31-0(eBackup、L2BR/L3GW、SFS、安全等服务使用)云平台管理平面。承载了运维接入,对接存储管理面,对接外部NTP/FTP/SYSLOG服务器,Openstack北向API流量及内外部访问流量。云服务后端VM,云服务DB的VM以及运维组件VM使用的网络,包括HA-Proxy,SDR,AS-Service,RTS-Service,PUB-DB,DMK,SMN-Service等。不能使用/16、/16网段。DMZ_Service01-26

(DEW、DBAS、Power、CloudGard等服务使用)公共服务区云服务使用的网络,云服务前端VM包括LVS,Nginx和云服务的Console,包括VPC-Console,ECS-UI,OBS-Console,CSDR-Console,RDS-Console等)。以及高级云服务与业务区VM互通使用的网络,包括租户DNS_NTP,APIGW-PODLB,RDS-Service,PAAS-Service、DDM-Service等。不能使用/16、/16网段。DMZ_Service_Advance

(高阶服务专用平面)高阶服务管理虚拟机双网卡部署时需使用,每个Region需要规划不同的网段,不允许重叠。双网卡管理组件使用该平面与计算区业务虚拟机通信。存储平面(Storage_Data0)Management_Storage_Data(必选)当组网是双核心组网时,仅管理节点存储单独使用此平面,计算节点与存储节点的存储平面需要单独规划;

Service_Storage_Data(可选)31-54

(eBackup节点、业务/容灾IPSAN存储使用)

OpenStack管理平面Internal_Base为内部管理平面。承载了PXE流量,组件配置管理,Openstack组件南向通信,代理流量,运维管理,网络配置管理,升级配置管理,告警通道,信息采集,公共服务等。External_Relay_Network租户的内大网平面。部分业务VM存在与管理侧服务如RDS、PAAS、NTP/DNS进行通信的需求,不同的VPC内VM的地址可能重叠,此网段在VM内部地址的基础上通过NAT机制保证每个VM的内大网地址唯一,内大网地址通过Openstack自动分配。Tunnel_bearing虚拟机,网络节点上的虚拟网元的VXLAN网络underlay平面。TypeI组网特有平面,默认一个网络,配置一个VLAN和网段。远程运维接入平面OM_Service服务支持中心远程协维接入到华为云Stack使用的接入平面,包含平台堡垒机、运维前置机等部件。3、网络业务类别网络平面名称手动规划的IP地址说明公网业务(EIP,SNAT,VPN)Inter_ConnectBR连接外网的互联平面,用于internet流量接入,可以从网络设备互联网段中取值。专线业务DC_VPC_GW

(基础云专线、增强云专线、二层桥接共用平面)管理专线本端网关IP:-(IP数量和vRouter网元数量一致)部署DAYU/Modelarts/GES/FusionAccess服务时需规划,高阶服务的管理专线为基础型云专线,管理专线独占一个VLAN,占用一个27位掩码IP段,VRF复用ManageVRF。Endpoint业务VPC_Endpoint_Inter

(Endpoint服务专用平面)租户VPC_Endpoint内部使用的网段,无需在硬件设备上配置,不能与VPC内其它网段重合,选择Endpoint服务时需规划此网段。在HCCTurnkey安装部署时,要求此平面必须为20位掩码的IP段。EIP地址资源池EIP_PoolEIP地址资源池,客户使用EIP访问业务VM场景或部署CCE、ROMA、ModelArts、DRS服务时,需规划PEP_EIP_Pool部署DAYU/Modelarts/GES服务时需规划,用于下沉VPC的管理虚拟机与租户业务VPC的虚拟机互通。4、高级服务订阅相关平面类别网络平面名称手动规划的IP地址说明资源租户子网

(DWS\DAYU\ROMA_Connect\CCE\DCS\ModelArts\CBH\数据库服务\ServiceStage\GES部署时规划)POD_Service_Cluster.bType此网络为虚拟网络,高阶服务资源租户虚拟机与客户的高阶业务虚拟机通信使用的子网,尤其不能与客户VPC子网以及与云内业务虚拟机有互通需求的云外客户网络重叠。POD_Service_Cluster.cType高阶服务公共LB网络

(高阶场景必规划)OM_ECMP_VIPRegionLB-LVS-Float-IP:

regionlb_lvs_alb_float_ip:

cloudlb_cs_lvs_float_ip_range:

-部署在External_OM平面的管理组件(RegionLB、CloudLB)采用主主部署时,使用该平面提供访问的VIP地址,高阶服务场景必须规划。OM_ECMP部署在External_OM平面的管理组件(RegionLB、CloudLB)采用主主部署时,使用该平面作为等价路由下一跳,高阶服务场景必须规划。DMZ_ECMP1_VIPPODLB-LVS-Float-IP:3

ReverseLB-LVS-Float-IP:4部署在DMZ_Service平面的管理组件(POD_LB、反向代理、CloudLB的LVS)采用主主部署时,使用该平面提供访问的VIP地址,高阶服务场景必须规划。DMZ_ECMP1部署在DMZ_Service平面的管理组件(POD_LB、反向代理、CloudLB的LVS)采用主主部署时,使用该平面作为等价路由下一跳,高阶服务场景必须规划。DMZ_ECMP2_VIPPODLB-LVS-ADV-Float-IP:5

podlb_lvs_adv_alb_float_ip:6

podlb_lvs_adv_float_01_ip:

7部署在DMZ_Service_Advance平面的管理组件(POD_LB、CloudLB的LVS)采用主主部署时,使用该平面提供POD区访问的VIP地址,高阶服务场景必须规划。DMZ_ECMP2部署在DMZ_Service_Advance平面的管理组件(POD_LB、CloudLB的LVS)采用主主部署时,使用该平面作为等价路由下一跳,高阶服务场景必须规划。域名规划域名暂时按照标准格式指定,待与客户商议后补充。分类配置项示例运营运维系统Region_idcn-global-1运营面的域名前缀console运营面管理面的域名前缀

(ManageOneB2B场景才需规划此参数)admin门户Portal侧的域名前缀

(部署云平台云门户场景才需要此参数)portal运维面域名前缀oc-test运维面域名后缀两级运维Region运维面域名前缀ocbj两级运维Region运维面域名后缀外部GlobalLevelDomain(external_global_domain_name)内部Global域名

(global_domain_name)运营管理面访问控制台页面的域名前缀

(iam_nginx_domain_name_prefix)auth运营管理面登录页面的域名前缀(iam_manage_nginx_domain_name_prefix)(ManageOneB2B场景才需规划此参数)manageManageOne运营指挥中心Console域名前缀

(部署ManageOne运营指挥中心场景才需规划此参数)occManageOne运营指挥中心IAM域名前缀

(部署ManageOne运营指挥中心场景才需规划此参数)occauthManageOne运营指挥中心帮助中心域名前缀

(部署ManageOne运营指挥中心场景才需规划此参数)occdocs物理网络架构本次黄河水电项目客户机房新建部署融合SDN组网架构,其中分为管理区、大数据区、OBS区、业务区交换机,可将该数据中心物理网络架构划分多个功能区:业务区、管理区、大数据区、OBS区及带外管理区。云平台部署HCS安装原理及简介安装简介在HCS解决方案中,采用FusionSphereOpenStack作为云平台,对各个物理数据中心资源进行整合;采用ManageOne作为数据中心管理软件,对多个数据中心提供统一管理。HCS解决方案通过云平台和数据中心管理软件协同运作,达到多数据中心融合、提升企业整体IT效率的目的,提供计算、存储、网络、应用管理等丰富的云服务。安装原理安装流程安装首个Region安装FusionCloudDeploy该任务指导软件安装工程师在主机iBMCWeb管理界面远程虚拟控制台,通过挂载iso镜像文件的方式安装HCCTurnkey主机操作系统及HCCTurnkey软件。应用平台部署CCE服务服务简介云容器引擎(CloudContainerEngine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群,支持运行Docker容器。借助云容器引擎,您可以在华为云上轻松部署、管理和扩展容器化应用程序。云容器引擎深度整合华为云高性能的计算(ECS/BMS)、网络(VPC/EIP/ELB)、存储(EVS/OBS/SFS)等服务,并支持GPU、ARM、FPGA等异构计算架构,支持多可用区(Availablezone,简称AZ)、多区域(Region)容灾等技术构建高可用Kubernetes集群。CCE服务通过HCCTurnkey的方式进行安装,Console与后端服务支持分离部署。部署架构部署流程本服务对IaaS层服务的依赖情况:OBS3.0(可选)、SMN(可选)、EIP、EIPQoS、ELB、Endpoint(可选)、NAT网关(可选)、CSBS(可选)。本服务对其他技术中台和AI数据中台服务的依赖情况:ConsoleFramework、ReverseLB、RegionLB、PODLB、自动化变更平台、ALB、PaaS-common、SWR、AOM。推荐同时安装本项目规划的所有服务,完成所有服务的部署。当出现需求变更额外规划了CCE云服务场景时,请参考以下操作步骤完成单服务的部署:预创一个HCCTurnkey部署工程(操作入口为“安装技术中台和AI数据中台服务”),勾选CCE云服务,然后单击“创建”,HCCTurnkey可根据当前环境CMDB中的数据判断所依赖的服务/组件是否已安装:返回“新建工程”界面,新建一个HCCTurnkey部署工程(操作入口为“安装可选云服务”),根据界面提示勾选缺失的IaaS层服务/组件并完成安装。新建一个HCCTurnkey部署工程(操作入口为“安装技术中台和AI数据中台服务”),根据界面提示勾选CCE云服务及缺失的技术中台和AI数据中台服务,HCCTurnkey将自动编排后续安装任务。ROMAConnect服务简介应用与数据集成平台(以下简称“ROMAConnect”)聚焦应用和数据联接,提供消息、数据、API、设备集成能力,帮助企业快速、简单的打通并管理Legacy系统与CloudNative应用,联接云上云下,消除数字鸿沟,构建业务敏捷性,驱动数字化转型。ROMAConnect云服务由前端和后端两部分组成:前端通过部署ROMA-Console组件,向用户提供服务前台访问界面、子服务的实例管理等可视化能力。后端通过部署ROMA-Server、ROMA-APIC、ROMA-FDI、ROMA-MQS、ROMA-LINK组件,向用户提供如下功能。ROMA-Server提供统一入口的创建实例等管理面服务。ROMA-APIC提供租户应用服务集成能力,提供完整的应用服务API生命周期管理及服务编排能力,可快速构建API用以开放数据及应用服务能力。ROMA-FDI提供租户异构数据集成能力,支持30+种异构数据源相互同步和复制,支持数据集成过程中的数据集转换及结构化数据和非结构化数据处理。ROMA-MQS提供租户分布式消息集成能力,支持发布/订阅模式,跨云的消息平台通过统一路由相互连接,相互同步,统一的服务发现与边缘站点,实现应用就近接入。ROMA-LINK提供租户设备数据集成的能力,支持设备modbus、OPC-UA等多种工业协议接入,提供设备管理,规则引擎转发等能力,方便将设备数据引入IT系统。部署架构图系统组件介绍ROMAConnect有16个服务需要在管理区创建虚拟机并安装部署,另外5个服务(部署原则中的描述为“数据面……”)无需管理区安装,仅在POD区发实例使用。表1组件功能说明组件名称说明部署原则ROMA-Console提供ROMAConnect服务前台访问界面。部署在ConsoleFramework节点,集群模式。ROMA-Server统一入口的创建实例等管理面服务。部署在2个虚拟机中,集群模式。ROMA-GuassDB提供ROMA的数据库访问服务部署在2个虚拟机中,主从模式。ROMA-LINK-Server提供LINK的管理面服务。与ROMA-Server共用虚拟机部署。ROMA-FDI-Server提供FDI的管理面服务。与ROMA-Server共用虚拟机部署。ROMA-FDI-Controller提供FDI的消息转发服务。部署在2个虚拟机中,集群模式。ROMA-FDI-Monitor提供FDI的心跳监控服务。与ROMA-FDI-Controller共用虚拟机部署。ROMA-FDI-Quartz提供FDI的定时任务服务。与ROMA-FDI-Controller共用虚拟机部署。ROMA-FDI-Redis提供FDI内存数据库访问。部署在2个虚拟机中,主备模式。ROMA-FDI-PluginsFDI的数据面插件。数据面OBS存储,拉起POD区实例使用ROMA-APIC-APICMGR管理APIC物理多租实例,创建物理多租资源、部署升级、资源清理及版本控制等。与ROMA-Server共用虚拟机部署。ROMA-APIC-APIGMGRAPI网关创建、修改、删除,流控及访问控制等。与ROMA-Server共用虚拟机部署。ROMA-APIC-KafkaAPI网关消息队列中间件。部署在3个虚拟机中,集群模式。(其中Zookeeper,Kafka共用)ROMA-APIC-Cassandra分布式nosql存储系统,负责海量高并发的数据存储。部署在3个虚拟机中,集群模式。ROMA-APIC-Statistics负责API网关的运营统计的功能。与ROMA-APIC-Cassandra共用虚拟机部署。ROMA-APIC-etcd用于实例健康检查,romaapp以及数据源信息同步。部署在3个虚拟机中,集群模式。ROMA-APIC-Nodemonitor提供APIC的监控服务。数据面OBS存储,拉起POD区实例使用。ROMA-APIC-LDA处理DataAPI、函数API实现API和数据源之间转换。数据面OBS存储,拉起POD区实例使用。ROMA-APIC-SHUBAOAPI网关核心组件,对API进行透传转发。数据面OBS存储,拉起POD区实例使用。ROMA-APIC-etcd-pod用于APIC配置缓存,实现配置实时发布与订阅。数据面OBS存储,拉起POD区实例使用。ROMA-MQS-Server提供分布式消息集成能力。与ROMA-Server共用虚拟机部署。部署流程建立一个扩容安装技术中台和AI数据中台服务工程,同时勾选所有规划待安装的技术中台和AI数据中台服务及其依赖的公共组件,由HCCTurnkey根据服务/组件间的依赖关系自动编排安装任务,如果漏选或当前环境中未安装某依赖的服务/组件,HCCTurnkey界面将给出必要的提示。ServiceStage服务简介应用管理与运维平台ServiceStage是面向企业的一站式PaaS平台服务,提供应用云上托管解决方案,帮助企业简化部署、监控、运维和治理等应用生命周期管理问题;提供微服务框架,兼容主流开源生态,不绑定特定开发框架和平台,帮助企业快速构建基于微服务架构的分布式应用。ServiceStage云服务由前端和后端两部分组成:应用管理与运维平台的前端服务用于展示应用管理与运维平台的前端界面,提供部署运维以及治理接入微服务的能力。应用管理与运维平台的后端服务用于实现前端逻辑功能。部署架构图部署流程本服务对安装部署与公共组件的依赖情况:CDK、PodLB、ALB、PaaS-Common、ConsoleFrameWork。本服务对IaaS层服务的依赖情况:EIP、ELB(可选)、DNS、SFS(可选)。本服务对其他技术中台和AI数据中台服务的依赖情况:OBS3.0(含管理面和数据面)、AOS(新局点不再依赖)、SWR、CCE、RDS(可选)、DCS(可选)、AOM。建立一个扩容安装技术中台和AI数据中台服务工程,同时勾选所有规划待安装的技术中台和AI数据中台服务及其依赖的公共组件,由HCCTurnkey根据服务/组件间的依赖关系自动编排安装任务,如果漏选或当前环境中未安装某依赖的服务/组件,HCCTurnkey界面将给出必要的提示。DCS分布式缓存服务简介分布式缓存服务(DistributedCacheService,简称DCS)为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,兼容Redis,提供单机、主备和集群的实例类型,满足用户高并发及快速数据访问的业务诉求。DCS云服务由前端和后端两部分组成:前端服务用于展示在线分布式缓存的前端界面,提供用户订购Redis实例、管理和维护Redis实例的功能。后端服务用于实现前端逻辑功能。部署架构图在DCS组网中,划分了ExternalOM、DMZ_Service、DMZServiceAdvance、POD等网络区域。DCS在多个区域中都有部署组件,各节点的部署所在区域与实际环境相关,DMZ_Service、DMZServiceAdvance区域主要部署DCS管理组件,POD区域主要部署DCSinstance。DCSManageOneConsole是DCS服务的唯一外网访问入口,而最终用户在POD区域的租户VPC上创建DCSinstance,确保了DCS数据的网络安全。部署流程本服务对其他技术中台和AI数据中台服务的依赖情况:ConsoleFrameWork、RegionLB、AutoChangePlatform、OBS3.0(可选)。建立一个扩容安装技术中台和AI数据中台服务工程,同时勾选所有规划待安装的技术中台和AI数据中台服务及其依赖的公共组件,由HCCTurnkey根据服务/组件间的依赖关系自动编排安装任务,如果漏选或当前环境中未安装某依赖的服务/组件,HCCTurnkey界面将给出必要的提示。DevOPS服务简介DevOps通过项目管理、需求管理、代码库管理、持续集成、测试、持续部署等六个环节对应用进行项目管理以及运维支撑DevOps部署参数表组件DevOpsGitlabJenkinsNexusSonarQubeMySQLJira版本2.2493.29.2-0.237.13.0最低配置4c8g100g4c8g100g4c8g100g2c4g100g2c4g100g4c8g100g4c8g100g建议配置8c16g100g8c16g200g8c16g200g4c8g500g4c8g200g8c16g500g8c16g500g必选√√√√√√√节点数22102222集群Master-SlaveMaster-Slave双主热备双活开源否社区版,包含git是是社区版,需要JDK1.8是是容器部署×××××××VM部署√√√√√√√部署环境说明每个项目组都需要和devops以及其他开源组件环境进行连通部署架构图1:应用项目组通过华为云登录界面访问DevOps平台2:DevOps平台数据保存在Mysql3:通过DevOps构建引擎Jenkins发起构建任务4:开发人员访问开发终端推送代码到Gitlab集群中5:拉取Gitlab代码库代码6:对代码进行质量检验7:通过Maven打包上传到Nexus介质库8:推送docker镜像到SWR镜像库9:拉取镜像发布到容器云CCE中部署流程1、创建个人凭证信息2、创建项目在管理平台中点击项目管理-创建项目,完成组件、云主机、关联代码库等相关配置。数据中台部署MRS介绍大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Flink等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。MRS架构包括了基础设施和大数据处理流程各个阶段的能力。基础设施:MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。云硬盘(EVS)提供高可靠、高性能的存储。弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。数据集成:数据集成层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。数据存储:MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。HDFS是大数据上通用的分布式文件系统。OBS是对象存储服务,具有高可用低成本的特点。HBase支持带索引的数据存储,适合高性能基于索引查询的场景。数据计算:MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。数据分析:基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。数据呈现调度:用于数据分析结果的呈现,并与数据湖工厂(DLF)集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。集群管理:以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置、补丁升级等一站式运维能力。MRS部署部署架构MRS系统的网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。采用双平面组网时,集群中每个节点分别接入管理平面和业务平面,每个节点需要准备一个管理IP地址和一个业务IP地址,每个IP地址用两个网络接口配置Bond,分别接入两个接入交换机。各节点的管理平面建议采用10GE带宽,管理平面接入交换机与汇聚交换机之间建议采用10GE带宽,管理平面汇聚交换机的堆叠带宽建议设置为40GE。各节点的业务平面建议采用10GE带宽(如图1中MN1、CN3和DN4),业务平面接入交换机与汇聚交换机之间建议采用10GE带宽,业务平面汇聚交换机的堆叠带宽建议设置为40GE。以二层组网为例,双平面隔离组网方案如图1所示,图中A、B、C为部署有管理节点和控制节点的机架,称为基本框,D为根据业务需要线性扩展的机架,称为扩展框。部署步骤具体安装步骤参照华为云Stack8.2.1技术中台与AI数据中台服务软件安装指南操作。/enterprise/zh/cloud-computing/huawei-cloud-stack-pid-23864287DWS软件部署DWS介绍数据仓库服务(DWS)是一种在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSISQL99和SQL2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。DWS可广泛应用于金融、车联网、政企、电商、能源、电信等多个领域,已连续两年入选Gartner发布的数据管理解决方案魔力象限,相比传统数据仓库,性价比提升数倍,具备大规模扩展能力和企业级可靠性。DWS基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。应用层数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑迁移。接口支持应用程序通过标准JDBC4.0和ODBC3.5连接DWS。部署方案GaussDB(DWS)系统的网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。主备管理节点还支持设置外部管理网络的IP地址,用户可以通过外部管理网络进行集群管理。采用双平面组网时,集群中每个节点分别接入管理平面和业务平面,每个节点需要准备一个管理IP地址和一个业务IP地址,每个IP地址用两个网络接口配置Bond,分别接入两个接入交换机。各节点的业务平面建议采用10GE带宽(如图1中“数据节点19”),业务平面接入交换机与汇聚交换机之间建议采用10GE带宽,业务平面汇聚交换机的堆叠带宽建议设置为40GE。双平面隔离组网安装流程本文档以使用生成安装模板进行自动化安装的场景作为主线进行介绍,集群安装流程图如下。

集群安装流程(单AZ高可靠方案)本产品还为您提供手动编写配置文件的安装方法,在“安装过程”的“集群安装”阶段请参考安装过程(手动安装)进行安装。两种安装方式的安装前准备、安装后检查和初始配置阶段的操作是一致的。具体安装步骤参照华为云Stack8.2.1技术中台与AI数据中台服务软件安装指南操作。/enterprise/zh/cloud-computing/huawei-cloud-stack-pid-23864287时序数据库IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。ApacheIoTDB采用轻量式架构,具有高性能和丰富的功能。IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,来确保数据的一致性。针对时序场景,对存储数据进行预计算和存储,提升分析场景的性能。针对时序数据特征,进行强有力的数据编码和压缩能力,同时其自身的副本机制也保证了数据的安全,并与ApacheHadoop和Flink等进行了深度集成,可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。IoTDB结构IoTDB套件由若干个组件构成,共同形成数据收集、数据写入、数据存储、数据查询、数据可视化、数据分析等一系列功能。下图展示了使用IoTDB套件的全部组件后形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。IoTDB结构

用户可以通过JDBC将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成本地(或位于HDFS上)的TsFile文件。用户可以将TsFile文件写入到HDFS上,进而实现在Hadoop或Flink的数据处理平台上的异常检测、机器学习等数据处理任务。对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。对于分析的结果,可以写回成TsFile文件。IoTDB和TsFile还提供了相应的客户端工具,满足用户查看和写入数据的SQL形式、脚本形式和图形化形式等多种需求。IoTDB原理根据属性层级、属性涵盖范围以及数据之间的从属关系,我们可将IoTDB数据模型表示为如图所示的属性层级组织结构,即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点,传感器层的每一个节点为叶子节点。IoTDB的语法规定,ROOT节点到叶子节点的路径以“.”连接,以此完整路径命名IoTDB中的一个时间序列。例如,下图最左侧路径对应的时间序列名称为“ROOT.ln.wf01.wt01.status”。IoTDB数据模型

安装流程本文档以使用生成安装模板进行自动化安装的场景作为主线进行介绍,集群安装流程图如下所示。集群安装流程

本产品还为您提供手动编写配置文件的安装方法,在“安装过程”的“集群安装”阶段请参考安装过程(手动安装)进行安装。两种安装方式的安装前准备、安装后检查和初始配置阶段的操作是一致的。云安全部署云安全服务介绍FusionGuard服务设计安全即服务解决方案(即FusionGuard)提供安全指数服务(SIS)、数据库审计服务(DBAS)、数据加密服务(DEW)、云防火墙(CFW)、主机安全服务(HSS,含支持网页防篡改版本)、Web应用防火墙服务(WAF)、云堡垒机服务(CBH)。其中企业主机安全服务(HSS,含支持网页防篡改版本)、Web应用防火墙服务(WAF)、云堡垒机服务(CBH)。安全服务的总体架构如下图所示:安全指数服务(SIS)定义SIS(SecurityIndexService),即安全指数服务,是关于云环境的一个安全评估服务,为用户提供统一、直观、多维度的安全视图。用户可以通过安全指数服务了解所使用云环境是否已合理配置,所采取的安全措施是否已经足够,以及主动安全、被动安全的概况。用户在安全指数服务中可以快速地进入各安全相关项进行配置。功能SIS服务有以下功能:云服务基线检查:从身份鉴别、访问控制、入侵防范、资源控制、备份恢复和数据安全几个维度对用户的云环境进行评估,根据最佳实践对不安全的配置提出修改建议,并提供快速修复的链接。合规体检:根据等级保护规范的技术要求,从安全计算环境和安全通信网络两个维度对用户的云环境进行检测,提供合规检测报告,辅助用户做等保评估。主机安全服务(HSS)定义HSS(HostSecurityService),即主机安全服务,主机安全服务是终端安全防护服务,通过集成360主机安全产品,可对各种新兴变种病毒进行有效查杀与隔离,提供主机入侵防御等安全功能保障弹性云服务器的安全性。功能HSS服务有以下功能:主机安全集成:支持360安全防护系统与云平台对接,提供主机防火墙、入侵检测和防御、防恶意软件(木马蠕虫间谍软件等)、日志审查等主机安全防护功能。云主机防护状态监控:租户云主机安全防护有正常、离线、未开启三种监控状态。约束目前HSS服务以集成自研或第三方的主机安全产品为核心,提供租户化主机安全服务。当前版本仅支持与360管理系统中心对接,支持的Agent数量受限于360管理控制端的规格。数据库安全审计服务(DBAS)定义全面记录数据库访问行为,识别越权操作等违规行为,并完成追踪溯源。跟踪敏感数据访问行为轨迹,建立访问行为模型,及时发现敏感数据泄漏

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论