华为iMaster NCE-Fabric 技术白皮书 2026

华为iMasterNCE-Fabric发布日期2026-03-10非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明由于产品版本升级或其他原因，本文档内容会不定期进行更新地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：客户服务邮箱：support@客户服务电话：4008302118文档版本01 1 1 2 2 2 3 3 4 5 6 7 71.5.1扁平化的Spine-L 7 9 2.1华为DCN架构全景 2.2华为DCN分层介绍 iMasterNCE-Fabric与云平台间的接口 20iMasterNCE-Fabric与VMM间的接口 20文档版本01版权所有©华为技术有限公司iMasterNCE-Fabric与网管、Syslog服务器的接口 20iMasterNCE-Fabric与防火墙间的接口 20iMasterNCE-Fabric与CE硬件交换机间的接口 20iMasterNCE-Fabric与CE1800V间的接口 20 3.1iMasterNCE-FabricOverlay组网 213.1.1NetworkOverlay 21 22 243.1.2HybridOverlay 263.1.3Overlay混合部署 303.2iMasterNCE-Fabric极简零配置开局 30 30 31 31 32 33 33 35 35 36 36 373.3iMasterNCE-Fabric云网一体化方案 373.3.1iMasterNCE-Fabric与云平台对接 373.3.2iMasterNCE-Fabric云平台业务发放 393.3.3iMasterNCE-Fabric云平台与iMasterNCE-Fabric自主编排联动 433.4iMasterNCE-Fabric网络虚拟化之机架出租方案 44 45 473.5iMasterNCE-Fabric网络虚拟化之计算联动方案 51 52 563.5.3VM迁移 573.6iMasterNCE-Fabric云网一体化与网络虚拟化同部署 58文档版本01版权所有©华为技术有限公司3.7iMasterNCE-FabricVAS管理 59 60硬件VAS设备旁挂网关 60硬件VAS设备旁挂Leaf节点 61 63 64 65 68 68 68 693.8iMasterNCE-Fabric业务链 69 69 70 703.9iMasterNCE-Fabric微分段 71 71 73 73 75 77 783.10iMasterNCE-Fabric多DC方案 79 793.10.2iMasterNCE-Fabric控制器集群拉远 803.10.3多DC二层拉远-集中出口 803.10.4多DC二层拉远-主备出口 82 83 833.11iMasterNCE-FabricNFVI方案 84 84 85 87 88 88文档版本01Network/HybridOverlay分布式方案 88.1支持路由型VN 89.2支持SRIOVVM与vSwitchVM共存混合接入 913.12iMasterNCE-FabricVxLAN组播方案 91 91 92 923.13iMasterNCE-Fabric容器网络 94 94 95 973.13.4联动Networkoverl 99 993.14iMasterNCE-Fabric意图校验 Overlay业务范围 3.15iMasterNCE-Fabric运维 文档版本01版权所有©华为技术有限公司 3.16iMasterNCE-FabricMDC能力 3.17iMasterNCE-Fabric网络服务化能力 3.17.2网络服务化和Runbook 3.17.3Runbook关键能力 200 220 220 221 4.1iMasterNCE-Fabric集群管理 2444.1.1集群整体组成 244 2504.2iMasterNCE-Fabric安全、可靠性管理 251文档版本01版权所有©华 251 251节点故障设备迁移 252全局事务完整性 253南向数据一致性 256 257 258iMasterNCE-Fabric控制器安全面临的挑战 258.1SDN三平面安全风险分析 260.2SDN层次化安全风险分析 260 263安全措施 263 263.2帐号管理 263.3权限管理 264.4会话管理 264 265.6安全协议 265.7安全日志 265.8应用层 266.9系统层 266 266文档版本01版权所有©华为技术有限1.1WhySDN1.2WhatSDN1.3SDN在DCN网络中应用、发展趋势1.4华为DCN控制器的定位1.5华为DCN控制器的优势和价值1.1WhySDN全球云计算应用已经规模开展，作为承载云业务的核心基础设施，云数前正处于第一阶段向第二阶段的迁移过程中。当前，数据中心内设备的虚经很高，大量的企业服务器、存储设备都已经通过软件定义相关技术实现台系统。这个IT计算平台与数据中心原有物理网络设互割裂，在资源统一发放，故障联动诊断等方面带来了一系列问题，成为数据中心的现有网络均以手工部署为主，造成业务发放效率和资源利用率重阻碍了云业务的高效发展，对云数据中心尤其是网络系统而言，迫切需l网络无法统一管控和按需扩展，升级维护可能造文档版本01lDC互联网络无法灵活调度，造成带宽资源严重浪费。1.2WhatSDNSDN是对传统网络的一次演变，从原来分布式控制的网络架构演变为集中控制的网络架构。SDN(SoftwareDefinedNetwork)，软件定义网络，其网络架构的核心是在网络同时可以提供开放编程接口，以满足各种网络业务创新需求，以满足l协同应用层：完成用户意图的上层协同应用。比如OpenStack，FusionSpl控制层：控制层是网络控制中心，负责网络业务自动化部署。控制层可以对协同l转发层：转发层是软硬件转发设备，主要完成数据报文的实际转发。基于现有基SDN从架构上分解，需要三类接口lNBI(NorthBoundInterface)北向接口lSBI(SouthBoundInterface)南向接口文档版本01北向接口由控制器提供网络级API给协同应用层，比如用户使用network业务，业务自动配置给转发器，即各网元配置，北向接口是控制器开放转发设备的自动化配置；东西向接口用于与传统网络或者其他控制器控SDN实现了集中控制，提供北向网络可编程APlSDN构建在传统网络基础上，快速、自动化的构建Overlay业务，满足用户快速lSDN利用现有成熟协议集中布放overlay网络，大大减少overlal集中化的业务发放有利于从更宏观的角度调配传输带宽和网络资源，提高网络资lSDN集中管理、精细化运维简化了运维管理的工作量，大幅节约运维费用。lSDN提供北向可编程网络接口，工程师可以在底层物理网络基础编程构建用户网l网络和计算的自动化结合，加快整体业务发放周期，同时简化了用户的大量协同DCN，即数据中心网络，一个显著的特点就是资源的大量池化，包括网络资源，增值业务资源和计算资源。大量资源集中在一起管理，方便了数据中心管理者运维管资源集中，部署快捷。但日益庞大的资源池化，特别是随着虚拟化技术拟化技术为基础，使得计算虚拟化越来越重要，应用越来越多，必然要求构建更文档版本01复杂的网络服务来满足用户个性化的需求。从网络质量上要求也越来宽、高性能，高可靠性。传统网络方式带来的问题逐渐明显，运维困难，展周期长，新特性上线长等成为了业务发展瓶颈。SDN的集中化控制，和精细化的运维手段使得SDN能满足更多不同的客户应用，简化了运维手段，弥l基于多层次的安全保障1.3.1Overlay网络架构化在传统网络基础上构建Overlay网络，通过集中控制化的网络架构，来构建华为DCNOverlay网络定义将一个计算网络构建在另一个网络之上。Overlay技术是一种封装技术，在传统underlay网络基础上构建一层简化网络，用户可以不管底层underlay网络使用什么协议，如何构造，要求underlay网络路由可达即可。用户可见的还是Overlay网络，快速在Overlay网络上部署业务。这样做的好处，用户可以基础上演进，无需重新构建另外一套网络而导致巨大的成Overlay技术是Vxlan。Overlay网络价值点：l与物理网络(underlay网络)解耦，将网络虚拟化构建出面向应用的自适应逻辑网络l便于underlay网络弹性扩展lIP与位置信息分离，业务灵活部署，l便于控制器集中管理，快速实现业务发放华为通过Vxlan技术来构建Overlay网络，简化网络层次，通过在传统网络基础上简单叠加Vxlan的Overlay网络来部署自动化业务，逐步从传统网络平滑到SDN：文档版本01lVXLAN隧道封装的端点为NVE(NetworkVirtualizationEdge)节点，负责原始以太lVXLAN是业界标准的Overlay技术。lVXLAN基于UDP技术构建，传输lVXLAN将VLAN的4K子网扩充到16M，支持更多用逻辑网络，负责整体网络建设和运维、租户管理等。各租户管理自己业务的应用网络，在对应权限范围内自主业务发放，当需要新业务时，向管理员申请。各文档版本01等增值业务服务，从网络层级提供了安全业务保证。各租户申请一定的l权限边界：提供租户，管理员等多种权限，每个用户权限明确，管理员权限大于租户权限，能看到租户的对应资源。租户之间不能看到相互的资源，只能l资源边界：物理资源池管理统一由管理员管理，提供给租户使用，租户看不到实际物理网络资源，只看到分配的逻辑资源，减少各租户改动网络带来的各问题和安全。如机架出租，运营商提供机架端口，租户可以租用其端口服务，需要向管理员提交，按一定费用提供给租户，租户不直接管理端应用系统的运维管理难度越来越大。其中，互联网行业由于业务需求变化对于运维演进方向已形成共识，即从标准化à自动化à智能化演进，不同行业的文档版本01l可视化：拓扑可视化，故障诊断可视化，华为控制器支持路径探测可视化，应用/逻辑/物理网络互视。现实时告警和存量告警，配合日志记录。l性能观测，主动发现、提前感知和度量网络质量，华为控制器l简便的故障解决恢复手段，如设备故障，端口、链路等，华为控制器提供检测设备状态、链路状态的状态，并提供设备故障替换等故障解决能力，支持基于VM的路径探测。l支持网络防环能力，快速检测环路修复。1.4华为DCN控制器的定位iMasterNCE-Fabric系统是华为公司自主知识产权开发的新一代面向企业和运营商数据中心市场的SDN控制器，作为网络的集中控制面，实现网络配置基于iMasterNCE-Fabric3.0全场景、开放的特性，华为SDN解决方案能够帮助企业和运营商打造电商化的网络运营平台，实现极速业务发放和增值服务按需企业和运营商云服务，并加快业务创新，实现业务增值;帮型，提高企业运营效率，降低人力成本，将网络从支撑系统变成生产系统1.5华为DCN控制器的优势和价值iMasterNCE-Fabric-DCN作为使能云时代业务创新的新动力，是网络的“最强大脑”。DCN3.0整体解决方案支持网络架构平滑扩展、支持多种商业场景下的统一控制和灵活部署，满足多样化的业务和运维需求，具有高性能可满足当前业界运营超大网络商用部署的要求。同时华为DCN控制器以开放的软件平台为基础，采用松耦1.5.1扁平化的Spine-Leaf架构华为iMasterNCE-Fabric3.0整体解决方案基于Spine-Leaf架构构建便利的Overlay网络支撑用户快速业务部署。Spine-Leaf架构是一个扁平结构，可以快速通过Leaf节点文档版本01版权所lSpine节点部署大容量交换设备，推荐华为CE12800(S)系列，构建骨干节点(具体的比值)。lSpine节点同Leaf节点相连的以太网口配置为三层路由接口，构建IPunderllSpine节点支持华为M-LAG或堆叠技术部署，提高可靠性。lLeaf节点支持多种灵活组网，如华为iStack堆叠，M-LaglLeaf节点同所有Spine节点相连组件全互联拓扑，提供高可靠性。lLeaf设备到Spine设备流量ECMP负载分担，无阻塞转发，故障快速收敛。文档版本01如上图所示，华为DCN控制器支持云网平台、网络虚拟化(分散管理网络与计算)、网络虚拟化(仅关注网络资源)三种应用场景。网络虚拟化(分散管理网络与计算)又被称为计算联动，网络虚拟化(仅关注网络资源)又被称为机架出租。1.支撑对接开源和自研云平台，实现云网平台下撑能力不足的场景，华为SDN方案会根据客户需求场景提供差异化服务能力DHCPServer服务，VPC互通服务等能力。华为提供基于neutron服务的插件，接管OpenStack的网络控制，通过REST接OpenStack平台。同时，华为开放北向网络级API接口，第三方云管平台可以自主编程，直接调用北向接口对接华为DCN控制器，完成网络2.非云平台的计算和网络协同发放文档版本01版权以VMware虚拟化平台为例，华为与VMware虚拟化平台对接均采用soapAPI接发，详细的对接架构参考下图：华为DCN控制器提供独立WEBUI，实现网络业务编排、策略发放署。控制器北向提供webUI，南向通过SNMP、Netconf、openflow进行策略编排和设备管理，与计算协同时对接VMM，实现虚拟网络自动发放和虚拟感知，从而实现租户应用->逻辑网络->物理网络的三层网络抽象，并在此基础上实现分层数据中心的建造所需要的资金庞大、运营技术能力要求高。独立承担数据中造，从资金和技术的角度来说对一些企业是难以承受之痛。于是，在专业对于运营商的租户管理员而言，租户越来越多，单纯依靠手工直接在设备置开通业务，工作量大并且重复率高，急需基于机架出租业务并且支持文档版本01版权所有©华为DCN控制器提供机房网络设备的集中管理，支持租户自带网关接入或租用机房提供者的网关，租户只需要二层接入。如果是租户租用机房管理者的网关资源企业自用，也支持租户的独立的网络策略编排。通过Vxlan实现业务与物理网络的解耦，VxlanOverlay网络由华为DCN控制器进行按需部署，简单高效，提升资源动化开通业务，华为DCN控制器自动化部署。简单：用户可以在多业务平台界面上图形化操作，比如拖拽，添加删除等操作，或者了部署要求。网络编程。东西向接口开放，使用标准的协议接口互联。iMasterNCE-Fabric北向通过OpenAPI和业界主流的云平台、虚拟化平台对接，协同云平台实现网络策略下发及调整；南向接口基于OpenAPI和OpenFlow，实现对物理网络和虚拟网络（包括第三方华为DCN控制器通过集群技术实现高可靠，分布式集群可满足集群节点故障检测和节点故障恢复，业务可靠不中断。SDN网络是对传统网络的一次重构，由分布式控制转靠性问题：控制器作为集中控制点，本身可能发生故障；控制器与其所控制网的连接链路也可能故障。网络作为通信的基础设施，几乎不能容忍任何用户转发失败状态。解决SDN可靠性问题可以分如下方面改1.通过分布式机制实现集群可靠性和异地灾备。不论集2.控制器北向通过负载分担实现可靠性，对北向并发限速，防止CPU恶意攻击。3.控制器南向通过事务与对账机制，实现控制器和转发平面之间的文档版本01版权资源可视化：华为DCN控制器根据物理网路和逻辑网络的使用状态，提供dashboard进行集中展示，数据中心网络资源使用状态一览无余。分层逐级运维：通过应用->逻辑->物理层次化逐级提供详细网络资源信息，提供用户运维手段，从正向和反向都能满足用户运维定位需拓扑互视：云平台场景，华为DCN控制器支持云平台租户和neutron对象模型还原，从而实现应用->逻辑网络->物理网络拓扑的三网互视能力。三网互视在华为DCN控制主动运维：基于拓扑互视，使用路径探测、连通性探测等技术互视实现主动运维径探测基于OpenFlow协议，由华为DCN控制器向设备下发基于报文染色的探测报文档版本01版权文，主动发现端到端的故障节点。连通性探测使用MAC/IPping实现租户VM和VM环路探测：感知MAC地址漂移，流量超阈值故障告警，基于sflow探测报文环路，从VM位置查询：提供便利、详细的VM信息查询，用户可以查询VM的主机位置，接入硬件信息，VM所在用户网络信息等信息。流量统计：华为DCN控制器提供基于端口、隧道等的流量统计，满足用户流量统计分析需要，为后续流量分析控制提供基础。远程镜像：提供远端端口镜像能力，将流量镜像到远端设备，远端设备可以进行流量观测和分析，提供给用户丰富的流量控制和策略。观测告警：提供集群自身、租户、业务相关的实时观测，多形式提供给用户，一目了然。华为DCN控制器提供了醒目的告警呈现方式，展示告警信息，可能原因和建议恢丰富的日志记录信息：华为DCN控制器提供了丰富的日志记录信息，提供安全日志，操作日志，运行日志和南向下发日志4个级别的日志记录。记录了息，且华为DCN控制器将操作日志与南向信息结合，全景展示给用户，让用户一目了然知道操作的具体实例化信息状态。统一的运维平台：不管是接云平台还是计算联动iMasterNCE-Fabric自主编排，统一运维。华为DCN控制器提供统一的运维界面。iMasterNCE-Fabric技术白皮书2iMasterNCE-Fabric整体解决方案文档版本01版权2.1华为DCN架构全景2.2华为DCN分层介绍SDN系统一方面要理解业务对网络的要求，通过业务编排将其映射到抽象网络模型；另一方需要将映射后的抽象网络模型分解为各网元可以理解的转发策数据中心网络设备。因此我们建议使用一种分层解耦的SDN架构其职，层次间通过标准化接口互联，满足SDN开放性、扩展性、生态融合要求，SDN架构全景如下图所示。l业务呈现与协同层iMasterNCE-Fabric技术白皮书2iMasterNCE-Fabric整体解决方案文档版本01版权上述四个层级中的不同组件，都通过标准的接口协议进行互联，下下面从交互、控制、Fabric网络，虚拟化平台等多个层次来分别阐述DCN分层架构定道，主要负责理解用户的业务诉求，然后整合数据中心内计算、存储、网络资源过标准化接口实现资源协同配合，完成业务编排、自动发放、服务保障等功能。不同行业有其自身业务特点，因此业务呈现与协同层怎样与不同行业的业务属性相契合，是设计整体架构的过程中必须要考虑的问题。l开源OpenStack开源OpenStack云平台具备独有的成本优势且玩家众多，华为、Cisco、VMware、HP等业界顶级企业均为社区贡献代码者，使用开源OpenStack组件可使用户有效避免被单一厂商锁定的问题。但开源软件毕竟无法满足直接商用交付的条件，较强的独立研发能力并承担开源软件稳定性欠佳的风险，因此多数状态下不推荐使用开源版本的云平台系统，可将开源OpenStack系统可作为衡量方案标准化及开放l第三方OpenStack第三方OpenStack云平台和APPPortal应用适用于对自身业务有深刻理解阿里、百度、RedHat、Mirantis、IBM等IT企业或者传统电信运营商等，这些企业通常都会在设备、控制器供应商提供接口的基础上定制开发一套适合本企与编排平台，华为公司同上述企业有长期联合创新经验，l华为OpenStack华为公司基于开源OpenStack云平台开发了FusionSphere云操作系统，系统专门为云数据中心设计和优化，整合数据中心计算、存储、网络资源，提供强大的虚和资源池管理、丰富的云基础服务组件和工具、开放的A平整合数据中心物理和虚拟资源，垂直优化业务平台，让企业的云计算建设iMasterNCE-Fabric技术白皮书2iMasterNCE-Fabric整体解决方案文档版本01版权在传统数据中心场景下，计算业务和网络业务是两个独立的行政部门，发放虚拟机或者物理服务器等计算资源，网络部门负责发放网络业务，各务边界，短期内很难理解对方的业务，更谈不到资源统一拉通发放。为契合这一场景，华为DCN控制器特别开发了网络业务独立发放的业务编排逻辑，并且可以同计算资源上线事件联动，实现端到端网络业务自动化开通。在这一类业务协同场为DCN控制器负责同VMM（VirtualMachineManager）虚拟化计算平台对接，是构建完整生态链的重要一环，如VMwarevCenter，MicrosoftSystemCenter等，通过感合机架出租和联动编排业务，呈现一样的界面，统一编排。如上所述，SDN架构中业务呈现与协同层非常灵活，用户可以基于自身业务特点有的放矢的选择现与协同编排方式，满足自身业务发放需求。操作员通过Portal页面完成业务编排，平台内部逻辑将编排映射为控制器可以解析的网是控制器。华为DCN控制器北向支持RESTfulAPI接口对接件，南向使用OpenFlow、OVSDB（备，使用Netconf等接口协议控制物理网络设备，如交换机、防火墙。首先，协同层使用RESTFulAPI接口原语通知华为DCN控制器创建Router、Network、Subnet、 Port等网络模型，并依据接口参数搭建网络逻辑拓扑。然后，华为辑网元的属性和逻辑拓扑关系，将模型转换为物理和虚拟网元可以识别的配置或流表iMasterNCE-Fabric技术白皮书2iMasterNCE-Fabric整体解决方案文档版本01版权2.2.3SDN的Overlay网络Overlay网络构成了SDN架构的主体，是网络流量和业务的主要点交换机、叶子节点交换机、虚拟交换机及防火墙和负载均衡器组成，如下图络的增值业务共同构建整体Overlay网络l传统Fabric组网阻塞部分链路，将环状网络拓扑映射为树状无环网络拓扑优化，目前已经发展的非常稳定，在传统数据中心有非常多部署案例。iStack特性可以将同系列的两台或者多台物理网络设备虚拟为一台逻辑网络设备由逻辑系统主控节点统一管控。逻辑设备间互联相当于上图拓扑，设备之间的多条链路建议配置为聚合链路，Fabric天然无备转发性能优势。同时设备虚拟化后网元数量减少，简化运维界面，可中心运营成本。无环组网是目前推荐的组网方案。伴随着数据中心网络规模急速膨胀，网络设备控制面（一般是指ARP处理）处理能力逐渐无法满足组网要求，上述CSS/iStack逻辑系统控制面由主控节点统一管控的方式承担着巨大压力，如果骨干节点系统崩溃，对数据中心业务将造成严重影响。种新的虚拟化技术M-Lag应运而生。iMasterNCE-Fabric技术白皮书2iMasterNCE-Fabric整体解决方案文档版本01版权M-Lag（Multi-chassisLinkAggregationGroup）即跨设备链路聚合，构建M-Lag虚拟逻辑系统的网络设备各自拥有独立的控制面，分别处组网压力。M-Lag作为网关设备时部署VRRP协议，使用阻断VRRP协议心跳的方式构分利用了设备带宽资源，付出的代价是运维稍显复杂，比较适用于金融行业等对安全、可靠要求极为苛刻的场景。lOverlayFabric组网云计算、大数据与移动互联网需求越来越旺盛，数据中心网络面临应用快速上线，网络弹性伸缩等一系列挑战。应对这些挑战比较理想的IP网络基础上叠加Overlay逻辑网络，构建OverlayFabric组网。OverlayFabric网络包括物理基础层（Underlay）和逻辑叠加层（Overlay）两个层次，物理基础层可以使用上一节所讲的传统组网技术部署只要企业数OverlayFabric网络的技术多种多样，包括电信设备厂商主推的InterconnectionofLotsofLinks）技术以及IT厂商主推的NVO3（NetwVirtualizationoverLayer3）例如NVGRE（NetworkVirtualizationusingGenericRoutingEncapsulation）、STT（StatelessTransportTunnelingPlTRILLTRILL技术胜在是持基于TRILL-Header的转发，组网成本lVXLANIT厂商（如VMware等）主推的NVO3-VXLAN，是一种基于IP-IP的隧转发过程中逐跳修改封装，外层L3信息作为隧道标识只在隧道端点封装/解封装，外层L4-UDP信息包括一组扩展为24Bits达16M的子网ID，用于隧道端点操作、管理与维护工具、运维理念，设备兼容性等方面均有非的大部分网络设备都可以重复利用，降低数据中心的部署成本，因此逐OverlayFabric网络的主流技术，得到众2.2.4SDN的虚拟化平台虚拟平台层主要由虚拟化服务器构成，是SDN架构的边缘节点。通文档版本01版权l其一，将虚拟交换机vSwitch安装部署到虚拟化服务器的Hypervisor中，利用vSwitch软件灵活性与计算实例亲和性的优势，满足企业数据中心用户越来越多的l其二，在无云平台的虚拟化场景下，华为DCN控制器同VMM联动感知计算实例上下线和迁移细节，并为其自动化开通网络，下发安全策略、流控Microsoft的Hyper-V为主。vSphere平台的VMM是vCenter，Hyper-V平台的VMM是SystemCenter。另外老牌虚拟化平台XEN和后起之秀KVM量，华为FusionSphere（UVP）系统可以提供基于KVM和XEN平台的计算虚拟化成华为DCN控制器需要提供大量标准的接口与与各组件进行交互，完成网络级别业务编lDCN内部接口：Netconf/OpenFlow/Ovsdb/JsonRpc/SNMP/Sflow/Sftp/SOAP/BGPl华为DCN控制器与周边外部组件接口：RESTful/Restconf/SNMP/JsonRpc/SysLog文档版本01iMasterNCE-Fabric与云平台间的接口iMasterNCE-Fabric通过RESTful/RestConf接口与云平台进行对接，接收云平台下发的网络业务指令。同时，构建webSocket通道上传iMasterNCE-Fabric分配的层次化iMasterNCE-Fabric与VMM间的接口iMasterNCE-Fabric通过WebService(SOAP)接口与VMM（包括VMwarevCenter和MicroSoftSystemCenter）对接，进行计算与网络资源的同步，并感知VM的上、下iMasterNCE-Fabric与网管、Syslog服务器的接口iMasterNCE-Fabric与网管接口主要在于SNMP接口，上送华为DCN控制器的告警、iMasterNCE-Fabric与防火墙间的接口iMasterNCE-Fabric内置SecoManager安全服务组件：l通过Netconf协议向防火墙下发配置。l通过SNMP协议发现和获取防火墙的信iMasterNCE-Fabric与CE硬件交换机间的接口liMasterNCE-Fabric通过Netconf协议向CE硬件交换机下发配置。liMasterNCE-Fabric通过SNMP协议发现和获取CE硬件交换机的信息。liMasterNCE-Fabric通过OpenFlow协议向CE硬件交换机下发探测报文。liMasterNCE-Fabric通过BGPEVPN协议向CE硬件交换iMasterNCE-Fabric与CE1800V间的接口liMasterNCE-Fabric通过OVSDB接口与CE1800V交互动态配置信息。liMasterNCE-Fabric通过OpenFlow协议向CE1800V下发流表。lCE1800V通过JsonRPC接口向华为DCN控制器上报CE1800V其他信息、告警。技术白皮书3iMasterNCE-Fabric功能介绍文档版本01华为DCN控制器命名为iMasterNCE-Fabric控制器，为华为DC领域的SDN控制iMasterNCE-Fabric控制器支持多网络类型部署，如NetworkOverlay/HybridOverlay及混合部署方式；也提供了多场景支持，支持机架出租，网络计算联动和3.1iMasterNCE-FabricOverlay组网3.1.1NetworkOverlayNetworkOverlay组网是指所有Overlay设备都是物理设备，Overlay的隧道封装在物理交换机完成。这种组网的优势在于物理网络设备的转发性能比较高，并接入多种形态的服务器，服务器无需支持Overlay隧道封装能力，NetworkOverlay是华为主推的网络部署。如下为典型的NetworkOverlay组网部署方l服务器：虚拟化服务器、物理服务器通过Leaf节点交换机接lLeaf：采用堆叠方式或组成M-LAG连接服务器，也可用单设备(无可靠性保护)；Leaf节点和Spine节点通过三层互联，Leaf的堆叠组或M-LAG组作为VTEP实现iMasterNCE-Fabric通过下发业务实现Leaf间主备。不需要Leaf做格外配置。lSpine：分别与Leaf节点和GW互联，运行路由协议保证Underlay三层可达。lVxLANGW：两台GW之间采用堆叠方式或者组成M-LAG，即双活网关。GW与Spine之间三层互联，GW对外连接外部路由器。lFW：两台FW分别旁挂在VxLANGW或者ServiceLeaf（下图示意FW挂在技术白皮书3iMasterNCE-Fabric功能介绍文档版本01过云平台的LB接口(v2接口)完成LB业务发放到硬件设备配置。在DCN场景中同子网，与成员服务器共用网关。iMasterNCE-Fabric控制器编排网关业务到硬件NetworkOverlay组网下，根据VxLANGW的部署方式，网络又可细分为集中式网关集中式组网l在集中式网关组网下，业务的子网网关部署在VxLAN网关位置，L二层转发(同子网访问)，三层转发(跨子网访问)需要到VxLAN网关处理。在业务流量转发示意图如下:文档版本01业务流接入Leaf，根据报文目的MAC查找MAC表，封装业务流接入Leaf，根据报文目的MAC(网关MAC)查找MAC表，封装VxLAN转发VxLAN解封装后根据MAC表转发业务流；默认状态下，租户之间是隔离的，无法互访。跨租户的互访时一般会经过FW进行安全检查。默认状态下，外部用户无法访问DC；而当租户配置了外部网关功能时，器可以对Internet提供公网服务，或者与广域网/专线实现私网互通；技术白皮书3iMasterNCE-Fabric功能介绍文档版本01_L3GW通过ARP报文学习，生成ARP表项，通过BGPEVPN扩散到DC内的分布式组网在集中式网关组网下，同一Leaf下挂的不同网段VM之间的通信，需要在VxLAN关上进行绕行，这样就导致Leaf与VxLAN网关之间的链路外占用了大量的带宽。同时，VxLAN网关上需要生成所有服务器/VM的表项，当服务器/VM的数量越来越多时，容易成为网络瓶颈。分布式网关的出现，很好的解决了这两个问题。在分布式网关组网下，Leaf节点既支持二层转发(同子网访问)，又支持三层转发(跨子网访问)，有效的减轻了VxLAN技术白皮书3iMasterNCE-Fabric功能介绍文档版本01业务流接入Leaf，根据报文目的MAC查找MAC表，封装默认状态下，租户之间是隔离的，无法互访。跨租户的互访时一般会经过FW进行安全检查。跨租户的业务流接入Leaf租户路由表，送至ServiceLeaf，ServiceLeaf根据在源租户所在路由表中查找目的IP，路由下一跳指向FW，FW经过安在路由表中查找目的IP，封装VxLAN将业务流默认状态下，外部用户无法访问DC；而当租户配置了外部网关功能时，器可以对Internet提供公网服务，或者与广域网/专线实现私网互通；在分布式网关组网状态下，NetworkOverlay网络需要使用BGPEVPN来传递各分布式网关DVR设备实现互通，以及实现ARP的广播抑制。Spine-Leaf架构，需要技术白皮书3iMasterNCE-Fabric功能介绍文档版本01lNVE上通过MAC学习生成MAC表，生成EVPNMA3.1.2HybridOverlayHybridOverlay组网下，Overlay设备包含物理网络设备和虚拟网络设备。Overlay的隧道封装既可以在物理交换机，也可以在Host服务器所在的虚拟交换机上完成。相比于纯硬件组网和纯软件组网方案，这种组网方案融合了两种组网的优于：既能利用物理网络设备Overlay的高性能转发，又能通过对现有物理网络源利旧和物理服务器的Overlay来提升性能。l服务器：虚拟化服务器、物理服务器通过Leaf节点交换机接入网络。服务器上软技术白皮书3iMasterNCE-Fabric功能介绍文档版本01lLeaf：采用堆叠方式或组成M-LAG连接服务器，也可用单设备(无可靠性保护)；Leaf节点和Spine节点通过三层互联，Leaf的堆叠组或M-LAG组作为VTEP实现lSpine：分别与Leaf节点和GW互联，运行路由协议保证Underlay三层可达。lVxLANGW：两台GW之间采用堆叠方式或者组成M-LAG，即双活网关。GW与Spine之间三层互联，GW对外连接外部路由器。lFW：两台FW分别旁挂在GW或者ServiceLeaf（下图示意FW挂在VxLANGW对于HybridOverlay组网，默认部署分布式网关组网，由软件vSwitch承担DVR功能，南北出口网关部署为硬件交换机。以FW旁挂出技术白皮书3iMasterNCE-Fabric功能介绍文档版本01版权所有©华为技术有限公司28业务流接入Leaf，根据报文目的MAC查找MAC表，对于封装的LeafCE1800V，目的LeafCE1800VVxLAN解封装后根据MAC流表转发到目的VM；业务流接入LeafCE1800V，根据报文目的IP直接在Leaf上CE1800V查找主机路由流表，首包无法查找到跨主机的主机路由，PacketIn上送iMasterNCE-Fabric控制器，控制器找到目的IP的主机路PacketOut转发回源LeafCE1800V指定流表，源LeafCE1800V学习生成对端的主机路由，并从隧道转出报文到目的LeafCE1800V，目的LeafCE1800VVxLAN解封装后根据本地主机路由流表转发到目的VM。技术白皮书3iMasterNCE-Fabric功能介绍文档版本01业务流接入LeafCE1800V，根据报文目的IP直接在Leaf上CE1800V查找封装VxLAN转发到目的LeafCE1800V，目的LeafCE1800VVxLAN解封装后根据本地主机路由流表转发到目的VM;同NetworkOverlay类似，默认状态下，租户之间是隔离的，无法互访。跨租户的互访时一般会经过FW进行安全检查。跨租户的业务流接入LeafCE1800V，根据报文目的IP直接在LeafCE1800V上查找源租户路由表，根据默认南北向路由送至VxLANGW，VxLANGW根据在源租户所在路由表中查找目的IP，跳指向FW，FW经过安全校验后再转回找目的IP，封装VxLAN将业务流转发至目的LeafCE1800V，目的LeafCE1800VVxLAN解封装后根据本地主机路由流表转发到目的VM。同NetworkOverlay类似，默认状态下，外部用户无法访问D外部网关功能时，租户服务器可以对Internet提供公网服务，或者与广域网/专线HybridOverlay组网需要iMasterNCE-Fabric控制器支持BGPEVPN。HybridOverlayVTEP分布式在软件交换设备侧和硬件交换设备侧。目前软件交换设备不支持由同步。因此，需要选取一个节点来中转。iMasterNCE-Fabric控制器此时就承接了这个能力。iMasterNCE-Fabric控制器提供BGPEVPN能力，与硬件交换设备侧运行向GW、iMasterNCE-Fabric控制面作为BGPEVPNclient。iMasterNCE-Fabric控制文档版本01面获取到BGP-EVPN路由后通过OpenFlow链路下发到软件NVE设备，打通软件NVE3.1.3Overlay混合部署Overlay混合部署场景，为HybridOverlay和NetworkOverlay同时部署或Network不同类型间同时部署，多Fabric都被同一套iMasterNCE-Fabric控制器纳管。混合部署适用于独立业务发放场景，即在每个Overlay网络下，业务独立部署，不会与其他Overlay业务有交集。如下图所示，HybridOverlay和NetworkOverlay混合部署，独立业务发放。如上图，iMasterNCE-Fabric控制器对接多云平台，资源层面来看，每个租户独立资源，各租户通过独立的云平台在物理独立的Fabric内部署业务，此时iMasterNCE-Fabric控制器可以纳管不同类型Fabric做业务编排。租户间业务不会有互通，且各租户的业务也不能跨Fabric布放。部署业务同单Fabric内业务，支持L2-3层网络和L4-7层业务、出口网络业务等。3.2iMasterNCE-Fabric极简零配置开局3.2.1概述在新建或扩容数据中心场景，接入交换机设备数量极大，如果这些设备均延期；在扩容数据中心场景，则可能因为配置不当而影响已经部署的文档版本01因此，在规模部署接入交换机的状态下，iMasterNCE-Fabric提供零配置开局备启动文件，优化开局部署流程，加快业务上线零配置开局功能可以提高设备部署、日常维护和故障处理的效率，降本。当设备规划完成后，无需网络管理员到安装现场对设备进行软件调试足空配置的条件下，设备上电后即可自动连接到指定的管理设备，加载指iMasterNCE-Fabric实现CloudEngine系列交换机设备零配置部署，提供以下亮l控制器支持自身作为DHCP/SFTP服务器，也支持第三方DHCP/SFTP服方案概述ZTP总体目标为实现设备underliMasterNCE-Fabric自动纳管，自动加入到fabric，为overlay业务发放做好充分准备。传统方案中，设备underlay配置、纳管到iMasterNCE-Fabric、创建设备组（如文档版本01开局做准备。用户根据HLD和LLD文件按照iMasterNCE-Fabric提供的模板，生成网规文件。网规文件也可以通过网络规划工具iDesign生成；开局时，管理员将网规文件依据iMasterNCE-Fabric提供的导入到iMasterNCE-Fabric系统；对于Spine-Leaf二层组网，用户也可以直接在控制器上对组网进行编辑，不需要导入文件。施工人员依据设备放到指定位置，连线并上电，ZTP过程中，iMasterNCE-Fabric与设备交互，将网件的形式传递到设备，设备运行脚本将关键参数替换到预先准备的配置模underlay自动配置。整体业务发放流程如下图中工程勘测规划、软件配置和调测及硬规划分类根据客户对需要开局设备的网络参数（比如设备上线所需网络参数由iMasterNCE-Fabric从资源池中自动获取并分配。该场景主要应用于数据中心局点，用户对开精细规划场景设备上线所需网络参数由网络管理员手工规划。该场用于城域网局点，用户对开局自动化程度要求不高，但文档版本01场景分类1.带内管理网：没有独立的管理交换机，管理2.带外Meth口管理网：有独立的管理交换机，管理网络和业组网类型支持单机、M-LAG设备的两层及多层部署方式，支持横向和纵向扩容。方案介绍设备通过ZTP上线的关键点在于，iMasterNCE-Fabric如何识别零配置上电的设息，为了消除传统ZTP（原CE设备ZTP流程，iMasterNCE-Fabric不参与）对设备唯一标识的依赖，iMasterNCE-FabricZTP方案使用人为规划设备唯一索引，该唯一索引随拓扑模板导入iMasterNCE-Fabric，由iMasterNCE-Fabric配置到与待上线设备连LLDP协议从上层设备读取自身唯一索引，写DHCP获取临时IP，向iMasterNCE-Fabric发起callhome请求，iMasterNCE-Fabric接收到请求后，从设备读取sysname，即可识别该待上线设备，进而为该设备生成带IP、设备间互联IP是由用户精确规划分配还是由iMasterNCE-Fabric自动随机分配，非精细规划状态下，iMasterNCE-Fabric提供了三种IP资源池配置，网规数据导入iMasterNCE-Fabric时进行分配。下面就两种场景设备上线流程作详细介绍。文档版本01上图为精细规划设备上线流程，前提是首台设备已被iMasterNCE-Fabric正常纳管，1.用户将拓扑（即网规数据）依据模板导入到iMasterNCE-Fabric，包括设备基本数据、二层链路、三层链路信息，其中，也包括首台已上线设备的唯一索引使用），iMasterNCE-Fabric解析并保存该拓扑数据。2.用户选择待上线设备，启动ZTP，iMasterNCE-Fabric将待上线设备唯一索引写到4.设备从DHCP服务器获取临时lP，并依据option中配置参数，从文件服务器下载并生成callhome配置，向iMasterNCE-Fabric发起callhome请求。6.iMasterNCE-Fabric响应设备callhome。7.iMasterNCE-Fabric读取设备sysname，识别设备身份。8.iMasterNCE-Fabric为该设备生成CSV文件，包括管理lP、V联lP等参数信息，另外还包括设备配置模板、9.iMasterNCE-Fabric通知设备下载该CSV文件，设备依据文件服务器账号信息下11.设备重启后，加载完整underlay配置，向iMasterNCE-Fabric发起第二次callhome。12.iMasterNCE-Fabric响应设备第二次callhome请求，将设备以正式管理lP纳管。文档版本01上图为非精细规划流程，前提条件同样是先纳管首台设备，增加了流程，详细步骤如下：1.用户在iMasterNC2.用户将拓扑（即网规数据）依据模板导入到iMasterNCE-Fabric，包括设备基本数据、二层链路、三层链路信息，iMasterNCE-Fabric为设备分配管理IP、VTEP2~13步与精细规划流程相同，不再赘述。当前iMasterNCE-Fabric依赖ZTP环境中部署独立的DHCP服务器、sFTP服务器分别3.2.3开局步骤准备开局文件_License：设备License文件l局点订制类文件：此类文件的部分内容在局点间有差异，因此需在模板基础上订_网络规划文件：导入到iMasterNCE-Fabric的拓扑信息技术白皮书3iMasterNCE-Fabric功能介绍文档版本01称件件设备证书文件拓扑数据文件导入到iMasterNCE-Fabric，包括L3link三部分lNE信息。包括设备索引、角色、sysname、管理lL3link信息。描述设备间三层连接关系，支持准备开局环境1.管理员安装部署iMasterNCE-Fabric服务器，iMasterNCE-Fabric自带DHCP服2.如果不使用iMasterNCE-Fabric提供的DHCP和SFTP，管理员安装部署iMasterNCE-Fabric服务器、DHCP服务器、中间文件服务器和备份文件服务器（设备替换功能使用并将这些服务器与spine（首台已上线设备）进行物理连间/备份文件服务器的SFTPserver软件，以及DHCP服务器的DHCPserver软件需要用户自备，建议使用第三方开源软件。为了减少物理服务器的数量，部署时可将iMasterNCE-Fabric服务器、中间/备份文件服务器和DHCP服务器部署在同一台物理服务器的不同VM中。其中，中间文件服务器和备份文件服务器3.管理员手工配置开通spine，带外管理时还需手工配置开通管理交换机。4.将所有待开局设备进行上架和连线，带外管理时还需将待开局设备与管理交换机5.如果使用iMasterNCE-Fabric自带的SFTP，管理员在iMasterNCE-Fabric界面上传license文件，如果需要更换*.cc大包，上传至iMasterNC执行自动开局技术白皮书3iMasterNCE-Fabric功能介绍文档版本012.在iMasterNCE-Fabric网络初始化APP中选择全新开iMasterNCE-Fabric界面上编辑拓扑信息，如果为非精细规划需要配置相关资源池，iMasterNCE-Fabric会给出默认值，可以根据实际组网修改。3.管理员在iMasterNCE-Fabric界面上点击下一步，可以查看全网规划信息，如果4.管理员将待上线设备上电，设备启动后自动执行ZTP流程，iMasterNCE-Fabric需要补充的是，设备上线后，若发生异常需要更换，可单独选中该设操作，管理员将旧设备下架，将新设备上架、连线（连线要与原先相同设备启动后自动执行设备替换流程，替换后新设备继承旧设备所有配置3.2.4特性总结综上所示，iMasterNCE-Fabric的ZTP方案有如下优势：2.用户不需要编辑上线脚本，以及模板，iMasterNCE-Fabric可以根据规划信息自动3.特定组网下，控制器支持自定义拓扑，不5.支持多级组网，理论上对组网层级无约束，满足客户6.零配置上电替换能力，支持underlay与overlay配置整体替换，替换中，允许将设备进行隔离，多活设备组状态下，一台设备替换不影响另一台3.3iMasterNCE-Fabric云网一体化方案3.3.1iMasterNCE-Fabric与云平台对接OpenStack是一个开源的IaaS（基础设施即服务）云计算平台，类似一个数据中心的“操作系统”，管理着数据中心的计算（Nova对象存储(Swift)，块存储(Cinder)，能力的工程，其提供了比较完整的Lay2-Lay7层网络模型和对应的API；Neutron南向提供了灵活的plugin和driver机制，方便厂商对接自己的控制器和设备。iMaster文档版本01NCE-Fabric控制器提供了管理Lay2-Lay7层网络的能力，并且提供了配套对接NeutronLay2-Lay7功能的plugin和driver。用户可以通过Neutron的API使用iMasterNCE-Fabric控制器提供的Networkingasaservice能力。如下为iMasterNCE-Fabric支持对接的OpenStack厂商，版本及范围。OpenStack社区版本NetworkOverlay：Ocata(支持MTU，DNSdomain，DNSname业务HybridOverlay：HypervisorCentOS7.1/7.2环境）、OcataHypervisorCentOS7.3环境）Lay2-Lay7华为FusionSphereHCS6.3.1/HCS6.5/HCS6.5.1/HCS8.0Lay2-Lay7Mirantis对接7.0/8.0版本），Fabric3.0基于项目推动对接，有少量对接工作量（NetworkOverlayLay2-Lay3文档版本011.在控制节点安装iMasterNCE-Fabric控制器插件和驱动2.安装成功，配置与iMasterNCE-Fabric控制器对接参数，包括登录控制器用户名3.iMasterNCE-Fabric控制器上配置对接的云平台信息，如云平台IP等信息，用户4.分配对接云平台的三层ov3.3.2iMasterNCE-Fabric云平台业务发放云平台场景为目前使用较多的场景，公有云和私有云都接入了SDN。iMasterNCE-Fabric控制器北向对接云网平台，比如第三方OpenStack平台或者华为FusionSphere，用户在云平台上统一操作完成完整的业务发放。架构上，云平台自身整合了计算，存储，认证，网络一体，控制器接iMasterNCE-Fabric控制器进行编排。操作上，可以分为如下操作流程2.创建网络，部署租户router，network等网络3.云平台在部署的网络上拉起VM资源，VM业务接入网络4.VM业务出现问题，云平台做VM迁移，迁移到空闲服务器上，网络跟随变更。iMasterNCE-Fabric控制器接入后，原先原生OpenStack的插件能力替换为iMasterNCE-Fabric控制器单独提供的插件，用于在云平台上完成与控制器的连接，及业务编排发给iMasterNCE-Fabric控制器完成网络部署。iMasterNCE-Fabric通过与云平台进行对接，可以实现与云平台协同完成网络业务的自动化发放。用户在云平台上对逻辑网络资源进Neutron中的插件将用户的操作发送给iMasterNCE-Fabric，iMasterNCE-Fabric根据云平台的不同请求，将逻辑网络映射到物理网络设备上进行业务发放。iMasterNCE-Fabric通过VXLAN来实现Overlay网络。文档版本01iMasterNCE-Fabric对接云平台业务发放支iMasterNCE-Fabric支持的Neutron业务模型如下表：Neutron业务networksportsvlantransparency扩展(networks)Layer3网络routerssubnetsFWaaSfirewalls,firewallpoli