某公司SDN建设指导意见.docx

SDN建设指导意见2017年3月39 / 44目录国内运营商SDN建设指导意见I1前言12国内运营商SDN规划目标与发展思路22.1 网络架构及演进路径22.1.1目标网络特征22.1.2目标网络架构22.1.3演进路径42.2云资源池SDN发展思路及建设规划43SDN技术概述94SDN主要应用场景124.1场景1-云资源池网络自动化125云资源池网络自动化部署方案145.1物理网络145.1.1网络拓扑155.1.2扩展性185.1.3容错性195.1.4差异化服务215.2叠加网络235.2.1转发面235.2.2控制面245.2.3NVE265.2.4网关285.3计算虚拟化对接305.4云管理平台对接方案315.4.1对接目标315.4.2对接方案315.4.3实施建议325.5云资源池NFV335.5.1防火墙335.5.2负载均衡355.6业务迁移方案365.6.1迁移建议375.6.2迁移思路375.6.3迁移方案386运维建议39图图 21 目标网络架构功能视图3图 22 云资源池SDN建设目标总体视图6图 23 资源池SDN网络与传统网络共存示意图7图 31基于叠加的数据中心网络虚拟化参考架构14图 32 NVE参考架构15图 51 云资源池SDN部署方案18图 52 三层树型架构19图 53 主干-分支型架构20图 54 不同的NVE部署方式31图 55 云管理平台与SDN对接的方式36图 56 数据中心编排器37图 57 业务编排38图 58 专业编排39图 59 超级控制器39图 510 SDN对接云管理平台部署架构图40图 511 业务迁移流程42图 101 vLB部署方案47表格表格 2-1分阶段推进思路4表格 5-1 网络拓扑架构对比20表格 5-2 网关冗余技术比较表24表格 5-325表格 5-4 云资源池网络流量类型及特点25表格 5-526表格 5-6 控制面实现方式28表格 5-7 南向协议29表格 5-8 NVE实现形态对比31表格 5-9 网关部署方式331 前言SDN（软件定义网络）是多种力量共同作用的结果。SDN是适应云计算在计算虚拟化后对网络虚拟化的需求而发展起来的，是ICT产业整体软件化趋势体现，也是商业利益博弈的结果。SDN的出现使得网络向开放、通用架构演进。传统通信行业封闭的壁垒被击破，产业链面临重新洗牌。在产业链中作为网络运营主体的电信运营商，可充分发挥商用硬件廉价和虚拟化技术高效的能力，通过软件定义的方式降低网络构建和运维成本，提升网络业务创新能力。国内运营商坚持以解决现有网络实际问题为出发点，根据技术成熟度积极稳妥的探索SDN的部署应用。以业务资源池为例，集团网发部针对云资源池网络自动化配置的实际需求，在2014年、2015年云计算现场试验中，对广东、浙江、江苏等省公司的资源池进行了SDN技术的试验部署。前期的SDN部署探索为规模化引入SDN技术积累了宝贵经验。当前，国内运营商已提出了网络全面重构的战略目标，在未来10年从网络云化、新老网络协同和网络能力开放方面推进网络重构，实现简洁、敏捷、开放和集约的新型网络。以能力开放、快速部署、结构简化、资源集约为特点的SDN正是网络重构的关键抓手。SDN技术将带来网络智能位置的改变，通过分离控制面与转发面，SDN将由传统硬件网络设备实现的网络智能抽离，实现与转发设备分离的集中式网络智能（控制面）。同时，SDN基于开放接口实现网络能力面向上层业务的开放提供。为更好地指导SDN的部署应用工作，国内运营商集团网发部组织编写了国内运营商SDN建设指导意见，在国内运营商网络重构总体战略指导下，结合现网实际需求和前期SDN技术研究与现场试验相关工作。本册针对云资源池网络自动化场景，涵盖云资源池物理网络、叠加网了、计算虚拟化对接、云管理平台对接、业务迁移、防火墙、负载均衡的建设部署方案，用于指导各省公司云资源池SDN的建设部署工作。2 国内运营商SDN规划目标与发展思路2016年7月，以简洁、敏捷、开放、集约为特征，构建软件化、集约化、云化、开放的 目标网络架构，打造新一代的信息基础设施，主动、快速、灵活适应互联网引用。SDN将作为国内运营商的关键技术要素及重要抓手，在国内运营商的网络架构重构工作中将首先应用于数据中心网络和IP 网、传送网中，初期主要用于流量优化调度、快速开通配置等场景，推动向目标网络的演进。2.1 网络架构及演进路径2.1.1 目标网络特征国内运营商的目标网络应具备如下的新特征。（1）简洁：网络的层级、种类、类型、数量和接口应尽量减少，降低运营和维护的复杂性和成本。（2）敏捷：网络提供软件编程能力，资源具备弹性的可伸缩的能力，便于网络和业务的快速部署和保障。（3）开放：网络能够形成丰富、便捷的开放能力，主动适应互联网应用所需。（4）集约：网络资源应能够统一规划、部署和端到端运营，改变分散、分域情况下高成本、低效率的状况。伴随着上述特征的实现，国内运营商将进一步为客户提供“可视”、“随选”、“自服务”的网络能力，提升用户体验。（1）网络可视：面向客户，提供基于应用的网络资源视图（2）资源随选：面向业务，提供按需、自动化的网络资源部署（3）用户自服务：面向服务，提供基于客户网络的自助管理2.1.2 目标网络架构为实现上述目标，面向2025 年的国内运营商目标网络架构从功能层划分，将由“基础设施层”、“网络功能层”和“协同编排层”三个层面构成。图 21目标网络架构功能视图（1）基础设施层：由虚拟资源和硬件资源组成，包括统一云化的虚拟资源池、可抽象的物理资源和专用高性能硬件资源，以通用化和标准化为主要目标提供基础设施的承载平台。其中，虚拟资源池主要基于云计算和虚拟化技术实现，由网络功能层中的云管理平台、VNFM 及控制器等进行管理，而难以虚拟化的专用硬件资源则依然主要依赖于现有的EMS 和/ 或NMS 进行管理，某些物理资源还可以通过引入抽象层的方式被控制器或协同器等进行管理。（2）网络功能层：面向软件化的网络功能，结合对虚拟资源、物理资源等的管理系统/ 平台，实现逻辑功能和网元实体的分离，便于资源的集约化管控和调度。其中，云管理平台主要负责对虚拟化基础设施的管理和协同，特别是对计算、存储和网络资源的统一管控；VNFM 主要负责对基于NFV 实现的虚拟网络功能的管理和调度，控制器主要负责基于SDN 实现的基础设施的集中管控。为便于快速部署实施，简化接口和协议要求，规避不同管控系统间信息模型不同造成的互通难度，这些系统与现有的EMS/NMS 间不建议直接进行互通，可通过网络协同和业务编排器进行梳通和协调，完成端到端的网络和业务的管理。（3）协同编排层：提供对网络功能的协同和面向业务的编排，结合IT 系统和业务平台的能力化加快网络能力开放，快速响应上层业务和应用的变化。其中，网络协同和业务编排器主要负责向上对业务需求的网络语言翻译及能力的封装适配，向下对网络功能层中的不同管理系统和网元进行协同，从而保证网络层面的端到端打通；IT 系统和业务平台的主要作用则是将网络资源进行能力化和开放化封装，便于业务和应用的标准化调用。2.1.3 演进路径国内运营商坚持“网络云化”和“新老协同/能力开放”两条腿并行方式，分近期和中远期两阶段推进。表格 2-1 分阶段推进思路阶段一（2016-2019年）阶段二（2020-2025年）网络云化选择部分代表性网元和系统（如CPE、BRAS、EPC、IMS 等），结合相关系统升级换代工作，引入NFV。结合虚拟化网元统一部署的要求，推动部分具备条件的机房（CO）向数据中心架构（DC）的方式改造。基于DC 承载各类网元，以DC 为核心组织端到端网络；统一全网云资源，实现网元硬件资源的通用化新老协同/能力开放在IP 网和光网络中引入SDN 控制器、网络协同和业务编排器。网络协同和业务编排器管理“新”网络，优化现有OSS 管理“老”网络。重点强化网络分析系统，实现网络可视化，实施统一的全网自动化配置。部署统一的顶层网络协同和业务编排器，实现“新老”网络与设备协同和业务端到端一点提供；重点实现网络可编程，网络资源可按需调用。2.2 云资源池SDN发展思路及建设规划国内运营商云资源池包括业务平台资源池、IT资源池和云数据中心，目前已规模承载各类应用和系统。其中：业务平台资源池统一承载国内运营商内部平台系统，包括： 各类业务平台、网络支撑系统、大数据等。其中所有大型业务平台（短信、彩信、WAP网关、ISMP、ISAG、领航平台、UDB等）已完成云化承载验证，开始全国推广部署；iVPN语音平台虚拟化承载已得到验证，具备推广条件IT资源池统一承载国内运营商内部IT支撑系统，包括： 各类IT系统（MSS/OSS/BSS/电渠等系统）云数据中心统一承载对外服务的云产品，包括： 云主机、云存储、云桌面等公有云产品 服务于大中型企业客户的混合云 部分内部业务平台和IT系统作为云资源池网络重构的重要环节之一，云资源池将引入SDN，构建智能化、集约化、标准化、一体化的云资源池网络。目标网络具备以下特征：（1）智能化l 自动下发网络配置、实现业务快速发放l 精细化、自动化的网络运维能力l 与计算、存储资源协同（2）集约化l 全国统一管理l 物理位置无关（跨多机房）统一承载l 跨专业VNF网元统一承载（3）标准化l 支持主流hypervisorl 多厂家SDN方案、异构SDN组件互通、协同l 引入开源技术，遵循行业事实标准（4）一体化l 虚拟网络和物理网络的配置管理一体化l SDN和NFV服务提供及管理一体化l 软件网元和硬件网元管理调度一体化图 22云资源池SDN建设目标总体视图云资源池SDN建设目标总体视图如上所示，从上至下呈两层架构：1、架构的第一层是集团云管理平台。集团云管理平台统一对接纳管各省资源池的SDN控制器。结合对SDN能力的调用，管理平台实现网络配置的自动下发，实现业务快速发放；实现精细化、自动化的网络运维能力；实现网络、存储、计算资源的统一编排。2、架构的第二层由各省资源池的SDN控制器组成。各省资源池的SDN控制器实现该省资源池的网络自动化配置。各省SDN控制器实现开放接口，向上层集团云管理平台提供SDN配置管理能力。云资源池SDN目标网络架构采取分阶段的演进思路：第一阶段，该阶段采取资源池内SDN网络与传统网络共存的部署方式，如下图所示。资源池选择部分合适的集群进行SDN部署，资源池其余部分仍保留传统的网络提供方式。SDN网络部分基于控制器实现网络自动化配置，并通过开放接口实现和上层集团云管理平台的对接。传统网络部分的配置管理仍保持原有方式（基于人工的逐设备配置/网管等）。第二阶段，该阶段基本实现目标网络架构。各省的资源池内均已实现SDN网络的完全覆盖，SDN控制器基于开放接口与上层集团云管理平台对接，资源池整体的网络配置和管理均可由管理平台实现。图 23资源池SDN网络与传统网络共存示意图2.2.1.1 建设原则云资源池SDN建设遵循以下原则：（1）引入原则l 资源池规模较小（目前已部署物理服务器少于100台）的省公司暂不考虑SDN建设l 原则上新建资源池网络应基于SDN建设，现存资源池根据需求逐步引入l 现阶段以单节结点单厂家方案为主l 各省须结合实际业务数据和业务需求预测，科学规划SDN投资建设，现阶段建设规模不宜过大l 优先承载小规模非关键业务（2）应用场景l 云资源池优先考虑网络配置复杂或频繁的业务，提升网络部署自动化水平，探索基于SDN整合业务平台资源池和IT资源池l 云数据中心引入SDN，提升网络部署自动化水平，解决租户网络数量受限问题，满足租户网络隔离、配置自服务需求及灵活组网需求（3）方案选型基于2014、2015和2016年云计算现场试验在试点省进行的验证情况，结合现网需求提出以下方案选型建议：l 以VXLAN作为隧道封装协议，现阶段原则上采用虚拟交换机作为隧道终结点（NVE）l SDN网关须根据业务功能需求、性能要求、现网环境综合考虑软件或硬件网关方案n 如对网关流量需求不大应选择软件SDN网关，如规划期内存在网关流量需求较大（吞吐量大于20Gbps）等特殊需求的资源池可灵活选择软件或硬件SDN网关l SDN方案须考虑与现网资源池hypervisor的兼容性l SDN方案须同步考虑与集团云管理平台的一体化集成（4）网络编排层（编排器）应由集团结合需求进行统筹考虑和统一建设，各省公司不单独建设网络编排层（编排器）（5）云资源池SDN由上层网络协同层对接不同专业的SDN控制器/编排器，实现跨专业协同2.2.1.2 分阶段建设规划（1）阶段一（2016年-2017年）l SDN方案与云管理平台的对接l 引入跨机房资源池整合应用场景l 推动SDN多厂商方案的互通（2）阶段二（2018年-2019年）l 推进异构SDN方案、组件间的接口标准化l 促进SDN能力开放接口的标准化l 实现资源池网络全国统一管理3 SDN技术概述SDN（Software Defined Network，软件定义网络）是适应云计算在计算虚拟化后对网络虚拟化的需求而发展起来的，是ICT产业整体软件化的趋势体现，也是商业利益博弈的结果。传统网络架构封闭，网络构建成本高，缺乏灵活性，容易陷入厂家锁定，SDN的出现改变了这一局面。SDN通过解耦网络设备的软硬件，开放用户对网络的编程能力，实现业务与网络的解耦，使得网络变为可池化的资源并能作为服务提供出去，充分释放了网络的灵活性、开放性及创新性，使得网络向开放、通用架构演进。经典的SDN：业界普遍认可的SDN定义是指ONFONF，Open Network Foundation，开放网络基金会给出的基于OpenFlow的SDN定义，强调控制面与转发面的分离，强调网络的逻辑集中控制和开放可编程。ONF认为，SDN是一种将网络控制功能与转发功能分离、实现控制可编程的新兴网络架构。这种架构将控制层从网络设备转移到外部计算设备，使得底层的基础设施对于应用和网络服务而言是透明抽象的，网络可被视为一个逻辑的或虚拟的实体。ONF将SDN架构分为基础设施层、控制层和应用层：（1）基础设施层由网络设备组成，负责按照控制层下发的策略进行数据转发；（2）网络智能逻辑集中在控制层中，控制层基于软件实现，拥有全局网络视图，向上通过标准接口向应用层开放抽象后的网络功能及服务，向下控制和协调底层网络设备的转发行为；（3）应用层则由各网络应用服务组成，用户通过控制层开放的接口开发各种网络应用，根据业务需求修改网络转发行为；（4）各层之间通过标准开放接口实现资源分配和网络服务，其中控制层和基础设施层之间的通信接口称为南向接口（Northbound API），控制层和应用层之间的通信接口称为北向接口（Northbound API）。其中，OpenFlow属于南向接口协议，也是ONF给出的SDN架构中的首个标准协议。广义的SDN：随着软件定义内涵的不断发展，业界对SDN的认识逐渐深化。现在SDN已经从初始的基于OpenFlow的狭义定义转变为更广泛意义上的SDN概念。广义的SDN泛指向上层应用开放接口，实现软件编程控制的各类基础网络架构。在ONF和IETFIETF，Internet Engineering Task Force，互联网工程任务组两大标准组织的推动下，业界逐渐形成以OpenFlow、Overlay和I2RSI2RS，Interface to Routing System，路由系统接口为代表的三大技术流派。此外，越来越多的其他技术也开始被纳入到SDN范畴，如ForCESForCES，Forwarding and Control Element Separation，转发和控制单元分离、PCEPCE，Path Computation Element，路径计算单元和NFVNFV，Network Function Virtualization，网络功能虚拟化、XMPPXMPP，Extensible Messaging and Presence Protocol，可扩展通讯和存在协议、OpFlex、OVS-DBOVS-DB，OpenvSwitchDatabase，OpenvSwitch数据库、OF-CONFIGOF-CONFIG，OpenFlow Management and Configuration Protocal，OpenFlow管理及配置协议和NETCONFNETCONF，Network Configuration Protocol，网络配置协议等。梳理OpenFlow、Overlay、I2RS等三大SDN解决方案的实现原理和技术架构，形成如下所示的SDN整体架构图。图 31 SDN技术概览图SDN整体符合ONF定义的分层模型，自底向上依次可以分为基础设施层、南向接口、控制层、北向接口、应用编排层和运维管理系统等组件。控制层作为SDN网络架构的核心，向下通过南向接口协议管理和控制底层转发设备，向上通过北向接口对上层应用开放网络的编程能力。运维管理系统与其他组件没有必然的层次关系，需要监控包括基础设施设施、控制器和应用在内的SDN整体架构运行情况。其中，SDN各主要组件简介如下：（1）应用编排层：处于SDN的网络架构的最上层，是SDN的核心价值所在。用户根据业务需求调用控制器开放的网络编程接口编写应用程序，定义网络行为，实现应用创新。网络编排则在控制器之上对网络进行更高级别的资源抽象，根据用户的业务需求实现网络自动化部署。（2）控制层：控制层包含一个或多个控制器，负责修改和控制底层网络设备的转发行为。控制器将底层网络资源抽象成可操作的信息模型提供给上层应用程序，并将应用程序的网络需求如查询网络状态、修改网络转发行为等转化成低层次的网络控制指令，下发到网络设备中。目前业内并没有控制器实现相关的标准规范，主要由厂家和开发者按照私有方式实现。当前较热的SDN控制器主要有OpenDaylight、ONOS等。（3）基础设施层：理想SDN要求网络硬件实现软硬件分离和控制转发分离，要求网元硬件去智能化和去定制化，向开放、标准、统一的通用商品硬件（COTS COTS，Commercial off-the-shelf，商品化硬件）演进。实际上，为了兼容现有网络，大多数SDN解决方案都支持传统网络设备，如OpenFlow支持Hybrid交换机，I2RS开放传统网络设备编程接口等。Overlay方案则在现有网络上叠加隧道实现逻辑网络。软件实现的NFV虚拟网元功能也可以作为基础设施层的组件，由控制器通过标准南向接口协议统一控制。在基础设施层，不同SDN制式对转发设备进行了不同方式和不同程度的抽象。（4）运维管理系统：负责SDN整体架构的监控与管理，确保网络正确运行。SDN网络管理的需求和方法与传统IP网络管理不同。在需求方面，SDN网络管理首先应该满足传统网络管理的FCAPSFCAPS，Fault, Configuration, Accounting, Performance, and Security Management，故障、配置、计费、性能及安全管理模型；此外还应重点解决集中控制和网络可编程特性带来的其他诸如可靠运行、敏捷提供、弹性伸缩等管理需求。SDN网络管理可以作为独立的网管系统单独存在，也可以作为控制器内部功能实现，或者作为运行在控制器之上的应用。从简化网络运维工具复杂性的角度出发，通常会将SDN网络管理功能通过API集成在现有的网管系统（NMS, Network Management System），或网元管理系统（EMS, Element Management System），或业务与运营支撑系统（BSS/OSS, Bussiness/Operation Supporting System）中，通过扩展现有的管理平台和工具，实现对SDN网络和现有网络的统一管理。4 SDN主要应用场景国内运营商网络组成复杂， SDN技术成熟度、适用程度、应用实施节奏都存在较大差异。本章节将对国内运营商SDN的主要应用场景分别进行详细描述。4.1 场景1-云资源池网络自动化云计算改变了IT基础设施的提供模式，基于虚拟化技术构建云资源池，使得计算、存储设施变成可运营的资源，用户可以通过互联网按需弹性获取，并根据实际业务需求进行动态伸缩。这对底层承载网络提出了极高的要求，要求网络能够适配频繁变化的业务需求进行灵活的调整。传统静态网络无法有效支撑云计算业务发展，无法满足云计算对网络的关键需求：1. 1、现网云资源池动态地向客户提供服务，分配给客户的资源必须支持能随需求变化而快速变化。在目前的云资源池中，当业务在DC内迁移时，资源配置（如QoS）的动态跟随难以实现。2. 2、在数据中心网络中，服务器的地址通常与物理位置相关。服务器只能移动到同一个网络中的其他位置子网。这对虚拟机的位置和迁移形成了限制。一个可扩展的多租户的解决方案数据中心应允许虚拟机迁移到DC内的任何地方，而不受主机服务器的子网边界限制。3. 3、虚拟机的迁移（如跨机架迁移），可能需对物理网络设备重新人工配置，以维持该虚拟机原来的访问控制策略等，易因配置错误造成网络故障。4. 4、虚拟机的集中部署导致云资源池的MAC、IP地址数量剧增，资源池网络基础设施可能需要学习，对网络设备的转发表容量需求。5. 5、租户需要对租户网络实现更自由的使用和控制。云资源池租户网络应允许租户使用任何地址，而无需担心与其他租户、其他虚拟网络、或底层网络形成地址冲突。云资源池需要对网络进行虚拟化，使得网络变成和计算、存储一样的可池化资源，实现网络资源的灵活提供。SDN控制转发分离、逻辑集中控制的网络架构天然适合实现网络虚拟化。通过软件方式在物理网络上构建虚拟的逻辑网络，使得上层业务对网络的变更需求直接体现在逻辑网络上，屏蔽了业务对底层物理网络的影响。同时，软件定义的方式将网络（虚拟网络）的管理和控制功能从物理设备中抽离出来，可根据业务需求进行灵活修改，有助于提高网络的智能化和自动化水平。与传统网络相比，SDN网络架构更为开放、灵活，能适配业务需求进行快速调整，更符合云计算业务发展需求。5 云资源池网络自动化部署方案本章针对单云资源池单SDN提供商场景下，从物理网络、叠加网络、计算虚拟化对接、云管理平台对接、云资源池NFV、业务迁移等六方面提出部署应用建议。图 51云资源池SDN部署方案5.1 物理网络承载云资源池，特别是部署SDN后对物理网络提出了高性能、高容量、高容错性、差异化服务等需求，具体表现为：l 高性能：云资源池承载的业务种类多，流量类型多，流量模型复杂，物理网络需具备高带宽、低延时等的高性能网络转发能力，以满足业务需求。l 高容量：随着云资源池承载业务数量的不断增加，同时基于虚拟机承载的应用自身具备了灵活的扩展性，因此在架构层面物理网络应满足大规模服务器、存储等设备的网络接入要求，同时资源池内东西向流量较传统模式有较大程度增高。l 高容错性：由于云资源池规模大，承载业务多，物理网络应具备良好的容错性，维持整个网络架构的持续工作，避免单点故障以及单点故障产生广泛影响。l 差异化服务：资源池内网络流量类型种类众多，各种流量对网络服务的要求存在差异。云资源池物理网络应具有QoS能力，为各种流量提供差异化的网络服务。为了满足上述几点需求，云资源池网络自动化部署方案中对于物理网络应综合考虑网络拓扑、扩展性、容错性、差异化服务等方面。对于现有资源池，如性能、扩展性等已满足现有要求及未来规划，可不对现有物理网络进行改动，直接部署ovelray网络。对于新建资源池或有性能、扩展性提升需求的现有资源池，则提供下列具体建议供参考。5.1.1 网络拓扑整体上，云资源池物理网络拓扑可分为核心-汇聚-接入三层树型架构及主干-分支（Spine-Leaf）两大类：1. 对于树型架构拓扑，常见于流量以南北向为主的场景，网络分为核心、汇聚、接入三层，各层间具有较高的收敛比设计，各层主要功能如下：图 52三层树型架构l 接入层：网络中直接面向用户连接或访问网络的部分，目的是允许终端用户连接到网络，接入层设备以交换机为主，接入交换机一般具有低成本和高端口密度特性。l 汇聚层：接入层和核心层的中间层，主要用于在接入核心层前进行流量汇聚，以减轻核心层设备的负荷。汇聚层是多台接入层交换机的汇聚点，它须处理来自接入层设备的所有通信，并提供到核心层的上行链路，因此与接入层设备比较，汇聚层设备需要更高的性能，较少的接口和更高的交换速率。l 核心层：网络交换的骨干部分，通过高速转发，提供快速、可靠的数据传输，核心层设备一般具有更高的可靠性，性能和吞吐。此外，核心层设备作为资源池网络出口，与广域网路由器对接，提供动态路由（BGP/IGP）、VPN、NAT等能力。该架构常见于传统机房网络拓扑，一般适用以南北向流量为主，东西向流量较少，网络规模较固定的场景，同时一般以汇聚层作为L2/L3分界点（或可根据规模及应用需要上移至核心层）。2. 对于主干-分支（Spine-Leaf）型架构拓扑，基于CLOS（无阻塞网络）理论，任何两点间仅需一跳且具有多条等价链路，具有很小的带宽收敛比，满足云资源池内不断增加的东西向流量需求，各层主要功能如下：图 53主干-分支型架构l 分支（Leaf）层：为用户提供网络接入及灵活的业务控制（如隧道封装、访问控制等），分支层设备具有低成本和高端口密度特性。l 主干（Spine）层：网络交换的主干部分，提供低延时、高带宽的流量转发。与传统树型架构的核心层相区别，Spine-Leaf的主干层由多台具备大容量交换能力的Spine节点构建，而非单台高性能的核心设备。每台Spine节点都可作为任意两台Leaf节点的交换点。该拓扑常见于新型云资源池网络建设，适用东西向流量较多，收敛比较小，网络规模易扩展的场景，同时一般以分支层作为L2/L3分界点（或可根据规模及应用需要上移至主干层）。上述两种网络拓扑在流量模型、转发性、可扩展性、容错性等方面的对比如下表所示：表格 5-1网络拓扑架构对比传统三层架构主干-分支（Spine-Leaf）东西向流量低高可扩展性较小，受核心设备性能上限较大，受Spine设备端口数量扩展模式纵向扩展（替换各层设备）横向扩展（增加Spine，Leaf节点）容错能力自身无容错考虑，通过链路冗余、端口聚合、设备堆叠等技术手段分支与主干设备间链路冗余、主干设备互为备份与传统三层网络拓扑相比，主干-分支（Spine-Leaf）在转发性能、可扩展性、容错性方面都更具优势：1）在转发性能方面，由于传统三层模式有较高的收敛比设计，以及STP等防环技术所致的可用链路浪费，服务器节点之间可用带宽较低。而主干-分支（Spine-Leaf）架构的收敛比低且使用所有链路，服务器节点之间可用带宽更高。传统三层网络架构接入节点间通信部分需经过核心设备，并非通过最优路径转发，时延较大且难以预测；Spine-Leaf的任意Leaf节点之间的跃点数目一致，Leaf节点间的转发时延短且可预测。相比与传统三层架构，Spine-Leaf提供更优的东西向转发性能。2）在可扩展性方面，传统三层架构通过升级各级的设备实现纵向的扩展，涉及设备的更替，整体容量通常受限于核心设备的性能设计；主干-分支（Spine-Leaf）架构支持水平式的扩展，通过增加Leaf和Spine节点实现更高的服务器接入能力和主干转发能力，一般可维持原有设备与链路，扩展容量受限于Leaf节点和Spine节点的端口数量。总体而言，Spine-Leaf整体架构比传统三层架构具有更好的可扩展性。3）在容错性方面，传统三层架构设计自身并未考虑容错，一般基于链路冗余（结合STP）、端口聚合、设备堆叠等相关技术实现网络容错；而主干-分支（Spine-Leaf）架构设计本身具备分支设备与主干设备间的链路冗余、主干设备负载分担等特性，有效避免了单点故障，提供良好的容错性，同时相关网络容错技术也可应用于Spine-Leaf架构以进一步提升容错性。对于计划部署SDN的新建云资源池物理网络，原则上使用主干-分支（Spine-Leaf）型拓扑组网；对于利旧改造的云资源池SDN网络，在东西向流量不大、网络规模预期较固定的情况下，物理网络拓扑应继续使用传统三层拓扑，但应注意评估现存网络的性能和可扩展性与资源池建设规划的匹配度，若考虑对现有物理网络拓扑进行主干-分支（Spine-Leaf）型改造，应综合考虑建设成本、流量模型、扩展性要求等因素。对于使用主干-分支（Spine-Leaf）型拓扑组网，部署建议如下：1、分支节点与服务器节点的连接：1）分支节点实现计算节点的网络接入，以及网络流量隔离。一般通过Trunk链路连接计算节点，可在分支节点配置VLAN实现隔离。分支节点作为L2/L3分界点，需要终结L2，并提供默认网关功能，一般对每个VLAN配置虚拟端口和IP地址，作为每个VLAN的默认网关地址。2）分支节点运行动态路由协议，为本地连接的计算节点发布网络可达信息（例如为每个存在的VLAN或子网通告一个地址前缀）。另外，也通过路由协议从主干节点接收其他计算节点的可达信息。2、分支节点与主干节点的连接：主干节点只有连接到分支交换机的接口，接口配置为路由点到点链路，主干节点配置动态路由协议，与分支节点互通计算节点的IP可达信息。对于使用传统树形三层架构型拓扑组网，部署建议如下：1、接入层节点与服务器节点的连接：接入层节点一般通过Trunk链路连接计算节点，可在分支节点配置VLAN以提供流量隔离。2、接入层、汇聚层、核心层的连接：各层设备可通过VLAN Trunk互联，L2/L3分界点（汇聚层设备或核心层设备）如下层设备通过Trunk连接，在冗余链路情况下部署STP实现环路防止；L2/L3分界点与上层配置为路由点对点链路。L2/L3分界点与上层设备可运行路由协议互通可达信息，L2/L3分界点为每个存在的VLAN或子网通告一个地址前缀，或者可在节点规模较小情况下考虑静态路由配置的方式。另外，应注意调整物理网络的MTU以适配上层叠加网络，以叠加网络选择VxLAN作为转发面封装协议为例，物理网络的MTU应不小于1600字节。5.1.2 扩展性云资源池物理网络的扩展性应综合考虑网络接入能力、处理能力和可用带宽等。1、网络的接入能力是指支持终端接入网络的能力，以接入的服务器数量作为量化指标。在云资源池场景下，物理网络接入能力取决于边缘层（接入层/Leaf层）向用户侧提供的接入端口数量。网络接入能力的扩展有以下两类方式：1）使用更高端口密度的边缘设备；2）增加边缘设备数量。与替换设备相比，增加边缘设备的方式更适合用于主干-分支拓扑架构，该架构可在网络中横向增加分支设备，提供更多接入端口，无需更改原有设备，扩展过程平滑，避免替换设备带来的业务中断和投资浪费。由于拓扑全连接的特点，主干-分支架构的接入设备的数量上限通常取决于主干交换机上可用的端口总数，在新建云资源池物理网络时，应结合接入能力扩展考虑进行主干设备的选型。对于传统三层架构，从保护投资角度考虑，首先应考虑通过增加接入层设备的方式。当接入层的增加导致上层设备端口数量不足时，结合扩展成本考虑选择使用高端口密度的接入层设备或增加汇聚层设备。2、网络处理能力指云资源池物理网络的数据转发能力，以转发吞吐量为量化指标，主要体现为交换主干设备的吞吐量。主干-分支架构的交换主干设备是由多台设备组成的“分布式核心”，具备横向扩展性，可通过增加设备的方式提升处理能力，但应注意结合ECMP实现在多台主干设备间的均衡。传统三层架构的核心层设备（或汇聚层设备），建议通过增加板卡、替换更高规格设备的纵向扩展方式实现转发主干设备的能力提升。3、可用带宽指网络接入设备可使用的带宽。云资源池物理网络主要关注网络接入设备与网络主干间的有效上行带宽。主干-分支架构的接入节点直接连接到主干层，因此可通过配置接入节点与主干层间的上行链路数量，实现可用带宽的扩展或缩减。但注意分支交换机到每个主干交换机的上行链路数目必须相同，避免产生流量过热点。对于传统三层架构，可用带宽的扩展不仅需配置更多的接入层到汇聚层的上行带宽，通常也需配合考虑汇聚层到核心层的带宽的扩容，否则汇聚层可能成为瓶颈，导致可用带宽的扩容无效。网络的接入能力、处理能力和可用带宽是相互紧密关联的，因此云资源池物理网络的扩展性需要统筹考虑上述三方面。5.1.3 容错性提升网络容错性的主要手段包括从网络、链路和设备等层面实现冗余部署。1、网络层：通过部署配置路由冗余，网关冗余提升网络容错性，具体而言：1）路由冗余通过配置冗余路由，当某条链路故障时，流量可切换到其他冗余路径。该方式仅适用于提高L3网络设备之间路径的可用性，主要应应用于主干-分支拓扑中主干设备与分支设备的互联。2）网关冗余网关冗余技术基于多个物理网关虚拟出一个或多个虚拟网关，解决局域网内缺省网关存在单点故障问题。主流的网关冗余技术包括HSRP、VRRP和GLBP等，技术特点对比如下表。表格 5-2 网关冗余技术比较表协议HSRPVRRPGLBP工作原理虚拟网关地址不能为物理接口地址虚拟网关可以是物理接口地址虚拟网关地址不能为物理接口地址设备角色ActiveStandbyMasterBackup-listenAVG active,standbyAVF-所有路由器故障切换Standby接管active优先级高的backup接管master1.AVG故障，standby替代active。2.AVF故障，AVG重新分配虚拟MAC，由其他AVF接管负载均衡可实现但需多组可实现但需多组同组内负载均衡（最多4台）协议标准思科私有IETF RFC 3768思科私有在实际应用中，应优先考虑基于标准协议VRRP技术，该技术可为云资源池网络的L3网关提供冗余，适用于不同的网络拓扑。2、链路层：通过防环、链路聚合等技术提升链路容错性。1）防环一般建议应用生成树协议（STP）或其衍生协议（RSTP，MSTP）实现链路冗余和环路防止。基于STP实现链路冗余应注意故障收敛效率的评估。STP的收敛时间较慢（可达30s-50s），有可能会导致较长的业务中断。建议部署收敛时间更优化的RSTP（收敛时间达数百毫秒）和MSTP（进一步基于多实例提升冗余链路利用率）。2）链路聚合链路聚合将单台设备上的多个物理端口捆绑为一个逻辑端口，流量在各成员端口中负载分担，当链路断开，流量会自动在剩下的链路间重新分配。链路聚合主要包括手工链路聚合、基于LACP的链路聚合和跨设备链路聚合，技术特点对比如下表。表格 5-3技术类型手工链路聚合基于LACP的链路聚合跨设备链路聚合技术原理多个物理链路直接加入Trunk组，形成一条逻辑链路基于LACP协议与对端交互信息，自动选择能够聚合的端口聚合的多个链路可以来自不同设备厂商依赖多数厂商支持IEEE802.3ad标准，不依赖厂商部分厂商支持，需同厂商设备云资源池物理网络可视具体需求在服务器和接入侧设备，网络设备间配置链路聚合，提高链路可靠性，具体技术选择以手工链路聚合和基于LACP链路聚合为宜。3、设备层：通过设备部件的冗余设计（包括主控冗余、单板热插拔和电源风扇冗余等）提升容错性。设备级的冗余技术与具体网络拓扑无关，但一般仅应用在高端设备上，因此多见于传统三层架构的核心层设备，而其它设备一般不具备提供设备级冗余的条件。5.1.4 差异化服务云资源池网络主要流量类型及服务要求特点如下所示：表格 5-4 云资源池网络流量类型及特点流量类型服务要求特点基础设施VM管理、网络控制、存储管理、服务配置等控制流量关键服务VM迁移流量带宽保障租户前端流量不同的带宽保障后端流量不同的带宽保障存储FCOE/FC无丢包IP存储时延敏感原则上云资源池物理网络应基于区分服务（Diff-Serv）模型，通过在网络入口对业务分类、流量控制，针对业务类型对特定的对象（业务网络、业务虚机、接口等）设置QoS值，在网络中根据QoS机制区分流量，实现网络差异化服务。建议按下表根据流量类型划分服务等级，报文的标记包括二层（CoS）和三层（DSCP），从简化方案角度考虑，可同时对报文进行CoS和DSCP标记，如下表所示，同时建立CoS、DSCP与服务等级的映射关系。表格 5-5流量类型EXP/CoSDSCPPHB租户流量-一般流量一般计算流量-铜等级0CS0Default一般计算流量-银等级1CS1AF一般计算流量-金等级2CS2AF存储3CS3AF42,AF43租户流量-语音视频类视频流4CS4AF41语音与视频会议5CS5EF基础设施网络控制6CS6AF网络管理与服务控制7CS7AF在进行标识时，应由端点设备（服务器、存储、管理节点）进行报文的QoS标记，一方面可简化物理网络设备的配置，更重要的是实现上游QoS信息向物理网络的传递。资源池物理网络要求能识别和采信上游流量自带QoS信息，视需要进行与物理网络QoS分类值之间的映射。对于不具备QoS标记能力的端点，如存储、管理节点等，建议由物理网络接入设备根据流量具体特征，进行分类和标记，例如基于管理网络IP等特征划分流量类别，进行相应QoS操作和QoS值标记。采用区分服务（Diff-Serv）模型只能实现逐跳的QoS，对于需要端到端提供保障的重要业务，需注意对网络所有的点进行相应的QoS规划，以确保重要数据在全网的传输保障。5.2 叠加网络叠加（Overlay）网络在物理网络之上构建逻辑的租户网络，满足云资源池灵活的租户网络需求。叠加（Overlay）网络的部署需重点考虑转发面、控制面、NVE和网关的部署等方面。5.2.1 转发面叠加网络利用隧道封装技术在底层物理网络之上构建逻辑网络，将网络划分为多个虚拟网络，实现租户间相互隔离，并基于租户提供可灵活组合的网络业务。常用的转发面封装协议包括VXLAN、NVGRE、STT、MPLSoGRE等，具体对比如下表格所示。表格 Overlay封装技术对比封装技术方案简介租户标识负载均衡能力代表厂商标准化产业链支持VXLANL2 over UDP24 bit VNI兼容传统负载均衡思科，VMware，HP，Citrix，Redhat，Broadcom已发布（RFC 7348）支持广泛NVGREL2 over GRE24 bit VSI不兼容传统负载均衡微软，HP，Broadcom，Dell，Emulex，Intel已发布（RFC 7637）较少STTL2 over Stateless TCP64 bit Context ID兼容传统负载均衡VMwareIETF草案（draft-davie-stt-08）只有VMwareMPLSoGREMPLS over GRE20 bit Lable不兼容传统负载均衡Juniper已发布（RFC 4023）只有Juniper如上表所述，现阶段VXLAN从技术成熟度及产业支持上都优于其它封装协议，因此在云资源池SDN部署方案中应选择VxLAN作为叠加网转发面协议。5.2.2 控制面控制面实现叠加网络资源的管理，转发/路由计算等功能，其实现方式主要有下述三类：l 基于转发面自学习：利用组播或泛洪方式，通过转发面传递控制面信息。l 分布式控制面：通过分布式控制面（如MP-BGP协议）扩展携带控制面信息。l 集中式控制面：逻辑集中的控制面，基于控制器利用南向协议下发控制面信息。表格 5-6控制面实现方式控制面实现方式技术原理规模扩展能力实现复杂度基于转发面自学习利用组播或泛洪，通过转发面传递控制面信息低，泛洪方式不利于网络规模扩展低分布式控制面通过分布式协议（如MP-BGP协议）携带控制面信息进行交换高，避免形成集中的负荷点，规模扩展性较好高集中式控制面部署逻辑集中的控制面，用南向协议直接下发控制信息中，规模受限于控制器（集群）的能力中基于转发面自学习的方式要求组播支持，泛洪学习的方式不利于网络规模扩展；分布式控制面的方式比集中式控制面具有更优的网络规模扩展性，但每个转发设备支持分布式协议，实现相对复杂。集中式控制面方案利用SDN控制器实现统一的全网控制面，通过南向协议直接向转发设备下发控制信息，架构较简单，是目前主流的实现方式。控制器与各网元主要进行网元的状态/配置和路由/转发等两类信息的交互，如下表所示，控制器南向协议具有多种选择：表格 5-7南向协议协议名称标准化简介与应用类型NetconfIETF标准基于XML的网络配置管理协议，一般应用于对物理网元的配置管理状态/配置信息交互OVS-DBIETF标准OVS交换机的配置协议，VMware NSX采用该协议状态/配置信息交互OF-ConfigONF标准远程配置和控制OpenFlow交换机的协议，ALU Nuage采用该协议状态/配置信息交互XMPPIETF