某公司SDN建设指导意见

1、运维建议前言SDN（软软件定义义网络）是多种力量共同作用的结果。SDN是适应云计算在计算虚拟化后对网络虚拟化的需求而发展起来的，是ICT产业整体软件化趋势体现，也是商业利益博弈的结果。SDN的出出现使得得网络向向开放、通用架构演进。传统通信行业封闭的壁垒被击破，产业链面临重新洗牌。在产业链中作为网络运营主体的电信运营商，可充分发挥商用硬件廉价和虚拟化技术高效的能力，通过软件定义的方式降低网络构建和运维成本，提升网络业务创新能力。国内运营商商坚持以以解决现现有网络络实际问问题为出发点点，根据据技术成成熟度积积极稳妥妥的探索索SDNN的部署署应用。以以业务资资源池为为例，集团网发发部针对对云资源源

2、池网络络自动化化配置的的实际需需求，在在20114年、20115年云云计算现现场试验验中，对广东、浙浙江、江江苏等省省公司的的资源池池进行了SSDN技技术的试试验部署署。前期期的SDDN部署署探索为为规模化化引入SSDN技技术积累累了宝贵贵经验。当前，国内内运营商商已提出出了网络络全面重重构的战战略目标标，在未未来100年从网网络云化化、新老老网络协协同和网网络能力力开放方方面推进进网络重重构，实实现简洁洁、敏捷捷、开放放和集约约的新型型网络。以以能力开开放、快快速部署署、结构构简化、资资源集约约为特点点的SDNN正是网网络重构构的关键抓抓手。SSDN技术将将带来网络络智能位位置的改改变，通通

3、过分离离控制面面与转发发面，SSDN将将由传统统硬件网网络设备备实现的网网络智能能抽离，实现与转发设备备分离的的集中式式网络智能能（控制面面）。同同时，SSDN基基于开放放接口实实现网络络能力面面向上层层业务的的开放提提供。为更好地指指导SDDN的部部署应用用工作，国内运营商集团网发部组织编写了国内运营商SDN建设指导意见，在国内运营商网络重构总体战略指导下，结合现网实际需求和前期SDN技术研究与现场试验相关工作。本册针对云资源池网络自动化场景，涵盖云资源池物理网络、叠加网了、计算虚拟化对接、云管理平台对接、业务迁移、防火墙、负载均衡的建设部署方案，用于指导各省公司云资源池SDN的建设部署工作

4、。国内运营商商SDNN规划目标标与发展展思路2016年年7月，以以简洁、敏敏捷、开开放、集集约为特特征，构构建软件件化、集集约化、云云化、开开放的 目标网络络架构，打打造新一一代的信信息基础础设施，主主动、快快速、灵灵活适应应互联网网引用。SDN将作作为国内内运营商商的关键键技术要要素及重重要抓手手，在国内运运营商的的网络架架构重构构工作中中将首先先应用于于数据中中心网络络和IPP 网、传传送网中中，初期期主要用用于流量量优化调调度、快快速开通通配置等等场景，推动向目标网络的演进。网络架构及及演进路路径目标网络特特征国内运营商商的目标标网络应应具备如如下的新新特征。（1）简洁洁：网络络的层级级

5、、种类类、类型型、数量量和接口口应尽量量减少，降降低运营营和维护护的复杂杂性和成成本。（2）敏捷捷：网络络提供软软件编程程能力，资资源具备备弹性的的可伸缩缩的能力力，便于于网络和和业务的的快速部部署和保保障。（3）开放放：网络络能够形形成丰富富、便捷捷的开放放能力，主主动适应应互联网网应用所所需。（4）集约约：网络络资源应应能够统统一规划划、部署署和端到到端运营营，改变变分散、分分域情况况下高成成本、低低效率的的状况。伴随着上述述特征的的实现，国内运营商将进一步为客户提供“可视”、“随选”、“自服务”的网络能力，提升用户体验。（1）网络络可视：面向客客户，提提供基于于应用的的网络资资源视图图（

6、2）资源源随选：面向业业务，提提供按需需、自动动化的网网络资源源部署（3）用户户自服务务：面向向服务，提提供基于于客户网网络的自自助管理理目标网络架架构为实现上述述目标，面面向20025 年的国内内运营商商目标网网络架构构从功能能层划分分，将由由“基础设设施层”、“网络功功能层”和“协同编编排层”三个层层面构成成。图 STYLEREF 1 s2SEQ 图 * ARABIC s 111目标网络络架构功功能视图图（1）基础础设施层层：由虚虚拟资源源和硬件件资源组组成，包包括统一一云化的的虚拟资资源池、可可抽象的的物理资资源和专专用高性性能硬件件资源，以以通用化化和标准准化为主主要目标标提供基基础设

7、施施的承载载平台。其其中，虚虚拟资源源池主要要基于云云计算和和虚拟化化技术实实现，由由网络功功能层中中的云管管理平台台、VNNFM 及控制制器等进进行管理理，而难难以虚拟拟化的专专用硬件件资源则则依然主主要依赖赖于现有有的EMMS 和和/ 或或NMSS 进行行管理，某某些物理理资源还还可以通通过引入入抽象层层的方式式被控制制器或协协同器等等进行管管理。（2）网络络功能层层：面向向软件化化的网络络功能，结结合对虚虚拟资源源、物理理资源等等的管理理系统/ 平台台，实现现逻辑功功能和网网元实体体的分离离，便于于资源的的集约化化管控和和调度。其其中，云云管理平平台主要要负责对对虚拟化化基础设设施的管管

8、理和协协同，特特别是对对计算、存存储和网网络资源源的统一一管控；VNFFM 主主要负责责对基于于NFVV 实现现的虚拟拟网络功功能的管管理和调调度，控控制器主主要负责责基于SSDN 实现的的基础设设施的集集中管控控。为便便于快速速部署实实施，简简化接口口和协议议要求，规规避不同同管控系系统间信信息模型型不同造造成的互互通难度度，这些些系统与与现有的的EMSS/NMMS 间间不建议议直接进进行互通通，可通通过网络络协同和和业务编编排器进进行梳通通和协调调，完成成端到端端的网络络和业务务的管理理。（3）协同同编排层层：提供供对网络络功能的的协同和和面向业业务的编编排，结结合ITT 系统统和业务务平

9、台的的能力化化加快网网络能力力开放，快快速响应应上层业业务和应应用的变变化。其其中，网网络协同同和业务务编排器器主要负负责向上上对业务务需求的的网络语语言翻译译及能力力的封装装适配，向向下对网网络功能能层中的的不同管管理系统统和网元元进行协协同，从从而保证证网络层层面的端端到端打打通；IIT 系系统和业业务平台台的主要要作用则则是将网网络资源源进行能能力化和和开放化化封装，便便于业务务和应用用的标准准化调用用。演进路径国内运营商商坚持“网网络云化化”和“新老协协同/能能力开放放”两条条腿并行行方式，分分近期和和中远期期两阶段段推进。表格 STYLEREF 1 s2-SEQ 表格 * ARABI

10、C s 11 分阶段段推进思思路阶段一（220166-20019年年）阶段二（220200-20025年年）网络云化选择部分代代表性网网元和系系统（如如CPEE、BRRAS、EEPC、IIMS 等），结结合相关关系统升升级换代代工作，引引入NFFV。结结合虚拟拟化网元元统一部部署的要要求，推推动部分分具备条条件的机机房（CCO）向向数据中中心架构构（DCC）的方方式改造造。基于DC 承载各各类网元元，以DDC 为为核心组组织端到到端网络络；统一一全网云云资源，实现网元硬件资源的通用化新老协同/能力开开放在IP 网网和光网网络中引引入SDDN 控控制器、网网络协同同和业务务编排器器。网络络协同和

11、和业务编编排器管管理“新”网络，优优化现有有OSSS 管理理“老”网络。重重点强化化网络分分析系统统，实现现网络可可视化，实实施统一一的全网网自动化化配置。部署统一的的顶层网网络协同同和业务务编排器器，实现现“新老”网络与与设备协协同和业业务端到到端一点点提供；重点实实现网络络可编程程，网络络资源可可按需调调用。云资源池SSDN发发展思路路及建设设规划国内运营商商云资源池池包括业业务平台台资源池池、ITT资源池池和云数数据中心心，目前前已规模模承载各各类应用用和系统统。其中中：业务平台资资源池统统一承载载国内运运营商内内部平台台系统，包包括：各类业务平平台、网网络支撑撑系统、大大数据等等。其中

12、中所有大大型业务务平台（短短信、彩彩信、WWAP网网关、IISMPP、ISSAG、领领航平台台、UDDB等）已已完成云云化承载载验证，开开始全国国推广部部署；iiVPNN语音平平台虚拟拟化承载载已得到到验证，具具备推广广条件IT资源池池统一承承载国内内运营商商内部IIT支撑撑系统，包括：各类IT系系统（MMSS/OSSS/BSSS/电电渠等系系统）云数据中心心统一承承载对外外服务的的云产品品，包括括：云主机、云云存储、云云桌面等等公有云云产品服务于大中中型企业业客户的的混合云云部分内部业业务平台台和ITT系统作为云资源源池网络络重构的的重要环环节之一一，云资资源池将将引入SSDN，构构建智能能

13、化、集集约化、标标准化、一一体化的云资资源池网网络。目目标网络络具备以以下特征征：（1）智能能化自动下发网网络配置置、实现现业务快快速发放放精细化、自自动化的的网络运运维能力力与计算、存存储资源源协同（2）集约约化全国统一管管理物理位置无无关（跨跨多机房房）统一一承载跨专业VNNF网元元统一承承载（3）标准准化支持主流hhypeerviisorr多厂家SDDN方案案、异构构SDNN组件互互通、协协同引入开源技技术，遵遵循行业业事实标标准（4）一体体化虚拟网络和和物理网网络的配配置管理理一体化化SDN和NNFV服服务提供供及管理理一体化化软件网元和和硬件网网元管理理调度一一体化图 STYLERE

14、F 1 s2SEQ 图 * ARABIC s 122云资源源池SDDN建设设目标总总体视图图云资源池SSDN建建设目标标总体视图图如上所所示，从从上至下下呈两层层架构：1、架构的的第一层层是集团团云管理理平台。集集团云管理平台台统一对对接纳管管各省资资源池的的SDNN控制器器。结合合对SDDN能力力的调用用，管理理平台实现现网络配配置的自自动下发发，实现现业务快快速发放放；实现现精细化化、自动动化的网网络运维维能力；实现网络络、存储储、计算算资源的的统一编编排。2、架构的的第二层层由各省省资源池池的SDDN控制制器组成成。各省省资源池池的SDNN控制器器实现该省省资源池池的网络络自动化化配置。

15、各各省SDDN控制制器实现现开放接接口，向向上层集集团云管管理平台台提供SSDN配配置管理理能力。云资源池SSDN目目标网络络架构采采取分阶阶段的演进思路路：第一阶段，该该阶段采采取资源源池内SSDN网网络与传传统网络络共存的的部署方方式，如下图图所示。资源池选择部分合适的集群进行SDN部署，资源池其余部分仍保留传统的网络提供方式。SDN网络部分基于控制器实现网络自动化配置，并通过开放接口实现和上层集团云管理平台的对接。传统网络部分的配置管理仍保持原有方式（基于人工的逐设备配置/网管等）。第二阶段，该阶段段基本实实现目标标网络架架构。各省的资源池池内均已实现现SDNN网络的的完全覆覆盖，SSD

16、N控控制器基基于开放放接口与与上层集集团云管管理平台台对接，资源池整体的网络配置和管理均可由管理平台实现。图 STYLEREF 1 s2SEQ 图 * ARABIC s 133资源池池SDNN网络与与传统网络络共存示示意图建设原则云资源池SSDN建建设遵循循以下原原则：（1）引入入原则资源池规模模较小（目目前已部部署物理理服务器器少于1100台台）的省省公司暂暂不考虑虑SDNN建设原则上新建建资源池池网络应应基于SSDN建建设，现现存资源源池根据据需求逐步步引入现阶段以单单节结点单单厂家方方案为主主各省须结合合实际业业务数据据和业务务需求预预测，科科学规划划SDNN投资建建设，现现阶段建建设规

17、模模不宜过过大优先承载小小规模非非关键业业务（2）应用用场景云资源池优优先考虑虑网络配配置复杂杂或频繁繁的业务务，提升升网络部部署自动动化水平平，探索索基于SDDN整合合业务平平台资源源池和IIT资源源池云数据中心心引入SSDN，提提升网络络部署自自动化水水平，解解决租户户网络数数量受限限问题，满满足租户户网络隔隔离、配配置自服服务需求求及灵活组组网需求求（3）方案案选型基于20114、220155和20016年年云计算算现场试试验在试点省省进行的的验证情情况，结结合现网网需求提提出以下下方案选选型建议议：以VXLAAN作为为隧道封封装协议议，现阶阶段原则则上采用用虚拟交交换机作作为隧道道终结

18、点点（NVVE）SDN网关关须根据据业务功功能需求求、性能能要求、现现网环境境综合考考虑软件件或硬件件网关方方案如对网关流流量需求求不大应应选择软软件SDDN网关关，如规规划期内内存在网网关流量量需求较较大（吞吞吐量大大于200Gbpps）等等特殊需需求的资资源池可可灵活选选择软件件或硬件SSDN网网关SDN方案案须考虑虑与现网网资源池池hyppervvisoor的兼兼容性SDN方案案须同步步考虑与与集团云云管理平平台的一一体化集集成（4）网络络编排层层（编排排器）应应由集团团结合需需求进行行统筹考考虑和统统一建设设，各省省公司不不单独建建设网络络编排层层（编排排器）（5）云资资源池SSDN由

19、由上层网网络协同同层对接接不同专专业的SSDN控控制器/编排器器，实现现跨专业业协同分阶段建设设规划（1）阶段段一（220166年-20017年年）SDN方案案与云管管理平台台的对接接引入跨机房房资源池池整合应应用场景景推动SDNN多厂商商方案的的互通（2）阶段段二（20018年-20019年年）推进异构SSDN方方案、组组件间的的接口标标准化促进SDNN能力开开放接口口的标准准化实现资源池池网络全全国统一一管理SDN技术术概述SDN（SSofttwarre DDefiinedd Neetwoork，软软件定义义网络）是是适应云云计算在在计算虚虚拟化后后对网络络虚拟化化的需求求而发展展起来的的

20、，是IICT产产业整体体软件化化的趋势势体现，也也是商业业利益博博弈的结结果。传传统网络络架构封封闭，网网络构建建成本高高，缺乏乏灵活性性，容易易陷入厂厂家锁定定，SDDN的出出现改变变了这一一局面。SSDN通通过解耦耦网络设设备的软软硬件，开开放用户户对网络络的编程程能力，实实现业务务与网络络的解耦耦，使得得网络变变为可池池化的资资源并能能作为服服务提供供出去，充充分释放放了网络络的灵活活性、开开放性及及创新性性，使得得网络向向开放、通通用架构构演进。经典的SDDN：业业界普遍遍认可的的SDNN定义是是指ONNFONF，Open Network Foundation，开放网络基金会给出出的基

21、于于OpeenFllow的的SDNN定义，强强调控制制面与转转发面的的分离，强强调网络络的逻辑辑集中控控制和开开放可编编程。OONF认认为，SSDN是是一种将将网络控控制功能能与转发发功能分分离、实实现控制制可编程程的新兴兴网络架架构。这这种架构构将控制制层从网网络设备备转移到到外部计计算设备备，使得得底层的的基础设设施对于于应用和和网络服服务而言言是透明明抽象的的，网络络可被视视为一个个逻辑的的或虚拟拟的实体体。ONNF将SSDN架架构分为为基础设设施层、控控制层和和应用层层：（11）基础础设施层层由网络络设备组组成，负负责按照照控制层层下发的的策略进进行数据据转发；（2）网网络智能能逻辑集

22、集中在控控制层中中，控制制层基于于软件实实现，拥拥有全局局网络视视图，向向上通过过标准接接口向应应用层开开放抽象象后的网网络功能能及服务务，向下下控制和和协调底底层网络络设备的的转发行行为；（33）应用用层则由由各网络络应用服服务组成成，用户户通过控控制层开开放的接接口开发发各种网网络应用用，根据据业务需需求修改改网络转转发行为为；（44）各层层之间通通过标准准开放接接口实现现资源分分配和网网络服务务，其中中控制层层和基础础设施层层之间的的通信接接口称为为南向接接口（NNortthbooundd APPI），控控制层和和应用层层之间的的通信接接口称为为北向接接口（NNortthbooundd

23、APPI）。其其中，OOpennFloow属于于南向接接口协议议，也是是ONFF给出的的SDNN架构中中的首个个标准协协议。ONF，Open Network Foundation，开放网络基金会广义的SDDN：随随着软件件定义内内涵的不不断发展展，业界界对SDDN的认认识逐渐渐深化。现现在SDDN已经经从初始始的基于于OpeenFllow的的狭义定定义转变变为更广广泛意义义上的SSDN概概念。广广义的SSDN泛泛指向上上层应用用开放接接口，实实现软件件编程控控制的各各类基础础网络架架构。在在ONFF和IEETFIETF，Internet Engineering Task Force，互联网工程

24、任务组两两大标准准组织的的推动下下，业界界逐渐形形成以OOpennFloow、OOverrlayy和I22RSI2RS，Interface to Routing System，路由系统接口为为代表的的三大技技术流派派。此外外，越来来越多的的其他技技术也开开始被纳纳入到SSDN范范畴，如如ForrCESSForCES，Forwarding and Control Element Separation，转发和控制单元分离、PCCEPCE，Path Computation Element，路径计算单元和NNFVNFV，Network Function Virtualization，网络功能虚拟化、X

25、XMPPPXMPP，Extensible Messaging and Presence Protocol，可扩展通讯和存在协议、OppFleex、OOVS-DBOVS-DB，OpenvSwitchDatabase，OpenvSwitch数据库、OOF-CCONFFIGOF-CONFIG，OpenFlow Management and Configuration Protocal，OpenFlow管理及配置协议和和NETTCONNFIETF，Internet Engineering Task Force，互联网工程任务组I2RS，Interface to Routing System，路由系统接

26、口ForCES，Forwarding and Control Element Separation，转发和控制单元分离PCE，Path Computation Element，路径计算单元NFV，Network Function Virtualization，网络功能虚拟化XMPP，Extensible Messaging and Presence Protocol，可扩展通讯和存在协议OVS-DB，OpenvSwitchDatabase，OpenvSwitch数据库OF-CONFIG，OpenFlow Management and Configuration Protocal，OpenFlo

27、w管理及配置协议NETCONF，Network Configuration Protocol，网络配置协议梳理OpeenFllow、OOverrlayy、I22RS等等三大SSDN解解决方案案的实现现原理和和技术架架构，形形成如下下所示的的SDNN整体架架构图。图 STYLEREF 1 s3SEQ 图 * ARABIC s 111 SDDN技术术概览图图SDN整体体符合OONF定定义的分分层模型型，自底底向上依依次可以以分为基基础设施施层、南南向接口口、控制制层、北北向接口口、应用用编排层层和运维维管理系系统等组组件。控控制层作作为SDDN网络络架构的的核心，向向下通过过南向接接口协议议管理和

28、和控制底底层转发发设备，向向上通过过北向接接口对上上层应用用开放网网络的编编程能力力。运维维管理系系统与其其他组件件没有必必然的层层次关系系，需要要监控包包括基础础设施设设施、控控制器和和应用在在内的SSDN整整体架构构运行情情况。其其中，SSDN各各主要组组件简介介如下：（1）应用用编排层层：处于于SDNN的网络络架构的的最上层层，是SSDN的的核心价价值所在在。用户户根据业业务需求求调用控控制器开开放的网网络编程程接口编编写应用用程序，定定义网络络行为，实实现应用用创新。网网络编排排则在控控制器之之上对网网络进行行更高级级别的资资源抽象象，根据据用户的的业务需需求实现现网络自自动化部部署。

29、（2）控制制层：控控制层包包含一个个或多个个控制器器，负责责修改和和控制底底层网络络设备的的转发行行为。控控制器将将底层网网络资源源抽象成成可操作作的信息息模型提提供给上上层应用用程序，并并将应用用程序的的网络需需求如查查询网络络状态、修修改网络络转发行行为等转转化成低低层次的的网络控控制指令令，下发发到网络络设备中中。目前前业内并并没有控控制器实实现相关关的标准准规范，主主要由厂厂家和开开发者按按照私有有方式实实现。当当前较热热的SDDN控制制器主要要有OppenDDayllighht、OONOSS等。（3）基础础设施层层：理想想SDNN要求网网络硬件件实现软软硬件分分离和控控制转发发分离，

30、要要求网元元硬件去去智能化化和去定定制化，向向开放、标标准、统统一的通通用商品品硬件（CCOTSS COTS，Commercial off-the-shelf，商品化硬件）演进进。实际际上，为为了兼容容现有网网络，大大多数SSDN解解决方案案都支持持传统网网络设备备，如OOpennFloow支持持Hybbridd交换机机，I22RS开开放传统统网络设设备编程程接口等等。Ovverllay方方案则在在现有网网络上叠叠加隧道道实现逻逻辑网络络。软件件实现的的NFVV虚拟网网元功能能也可以以作为基基础设施施层的组组件，由由控制器器通过标标准南向向接口协协议统一一控制。在在基础设设施层，不不同SDDN

31、制式式对转发发设备进进行了不不同方式式和不同同程度的的抽象。 COTS，Commercial off-the-shelf，商品化硬件（4）运维维管理系系统：负负责SDDN整体体架构的的监控与与管理，确确保网络络正确运运行。SSDN网网络管理理的需求求和方法法与传统统IP网网络管理理不同。在在需求方方面，SSDN网网络管理理首先应应该满足足传统网网络管理理的FCCAPSSFCAPS，Fault, Configuration, Accounting, Performance, and Security Management，故障、配置、计费、性能及安全管理模型；此外还还应重点点解决集集中控制制和网

32、络络可编程程特性带带来的其其他诸如如可靠运运行、敏敏捷提供供、弹性性伸缩等等管理需需求。SSDN网网络管理理可以作作为独立立的网管管系统单单独存在在，也可可以作为为控制器器内部功功能实现现，或者者作为运运行在控控制器之之上的应应用。从从简化网网络运维维工具复复杂性的的角度出出发，通通常会将将SDNN网络管管理功能能通过AAPI集集成在现现有的网网管系统统（NMMS, Nettworrk MManaagemmentt Syysteem），或或网元管管理系统统（EMMS, Eleemennt MManaagemmentt Syysteem），或或业务与与运营支支撑系统统（BSSS/OOSS, Bu

33、ussiinesss/OOperratiion Suppporrtinng SSysttem）中中，通过过扩展现现有的管管理平台台和工具具，实现现对SDDN网络络和现有有网络的的统一FCAPS，Fault, Configuration, Accounting, Performance, and Security Management，故障、配置、计费、性能及安全管理SDN主要要应用场场景国内运营商商网络组组成复杂杂， SSDN技术术成熟度度、适用用程度、应应用实施施节奏都都存在较较大差异异。本章章节将对对国内运运营商SSDN的的主要应应用场景景分别进行行详细描描述。场景1-云云资源池池网络自自

34、动化云计算改变变了ITT基础设设施的提提供模式式，基于于虚拟化化技术构构建云资资源池，使得计算、存储设施变成可运营的资源，用户可以通过互联网按需弹性获取，并根据实际业务需求进行动态伸缩。这对底层承载网络提出了极高的要求，要求网络能够适配频繁变化的业务需求进行灵活的调整。传统静态网络无法有效支撑云计算业务发展，无法满足云计算对网络的关键需求：1、现网云云资源池池动态地地向客户户提供服服务，分分配给客客户的资源必必须支持持能随需需求变化化而快速速变化。在在目前的的云资源源池中，当当业务在在DC内内迁移时时，资源源配置（如如QoSS）的动动态跟随随难以实实现。2、在数据据中心网网络中，服服务器的的地

35、址通通常与物理位位置相关关。服务务器只能能移动到到同一个个网络中中的其他他位置子子网。这这对虚拟拟机的位位置和迁迁移形成成了限制制。一个个可扩展展的多租租户的解解决方案案数据中中心应允允许虚拟拟机迁移移到DCC内的任任何地方方，而不受主主机服务务器的子子网边界界限制。3、虚拟机机的迁移移（如跨机架架迁移），可能需对对物理网络络设备重重新人工工配置，以以维持该该虚拟机机原来的的访问控制制策略等等，易因配置错错误造成成网络故障障。4、虚拟机机的集中中部署导导致云资资源池的的MACC、IPP地址数数量剧增增，资源源池网络络基础设设施可能能需要学学习，对对网络设设备的转转发表容容量需求。5、租户需需要

36、对租租户网络络实现更更自由的的使用和和控制。云云资源池池租户网网络应允允许租户户使用任任何地址址，而无无需担心心与其他他租户、其其他虚拟拟网络、或底层网络形成地址冲突。云资源池需需要对网网络进行行虚拟化化，使得得网络变变成和计计算、存存储一样样的可池池化资源源，实现网网络资源源的灵活活提供。SDN控制转发分离、逻辑集中控制的网络架构天然适合实现网络虚拟化。通过软件方式在物理网络上构建虚拟的逻辑网络，使得上层业务对网络的变更需求直接体现在逻辑网络上，屏蔽了业务对底层物理网络的影响。同时，软件定义的方式将网络（虚拟网络）的管理和控制功能从物理设备中抽离出来，可根据业务需求进行灵活修改，有助于提高网

37、络的智能化和自动化水平。与传统网络相比，SDN网络架构更为开放、灵活，能适配业务需求进行快速调整，更符合云计算业务发展需求。云资源池网网络自动动化部署署方案本章针对单单云资源源池单SSDN提提供商场场景下，从物理网网络、叠叠加网络络、计算算虚拟化化对接、云云管理平平台对接接、云资资源池NNFV、业务迁移等六方面提出部署应用建议。图 STYLEREF 1 s5SEQ 图 * ARABIC s 111云资源源池SDDN部署署方案物理网络承载云资源源池，特特别是部部署SDDN后对对物理网网络提出出了高性性能、高高容量、高高容错性性、差异异化服务务等需求求，具体体表现为为：高性能：云云资源池池承载的的

38、业务种种类多，流流量类型型多，流量模型型复杂，物理网络络需具备备高带宽宽、低延时时等的高性能能网络转转发能力力，以满满足业务务需求。高容量：随随着云资资源池承承载业务务数量的的不断增增加，同同时基于于虚拟机机承载的的应用自自身具备备了灵活活的扩展展性，因因此在架架构层面面物理网网络应满满足大规模服务务器、存储等设备的的网络接入入要求，同同时资源源池内东东西向流流量较传传统模式式有较大大程度增增高。高容错性：由于云云资源池池规模大大，承载载业务多多，物理理网络应具具备良好好的容错错性，维维持整个个网络架架构的持持续工作作，避免免单点故故障以及及单点故故障产生生广泛影影响。差异化服务务：资源源池内

39、网网络流量量类型种种类众多多，各种种流量对对网络服服务的要要求存在在差异。云资源池物理网络应具有QoS能力，为各种流量提供差异化的网络服务。为了满足上上述几点点需求，云云资源池池网络自自动化部部署方案案中对于于物理网网络应综合考考虑网络络拓扑、扩扩展性、容容错性、差差异化服服务等方方面。对于现有资资源池，如如性能、扩扩展性等等已满足足现有要要求及未未来规划划，可不不对现有有物理网网络进行行改动，直直接部署署oveelraay网络络。对于于新建资资源池或或有性能能、扩展展性提升升需求的的现有资资源池，则则提供下下列具体体建议供供参考。网络拓扑整体上，云云资源池池物理网网络拓扑扑可分为为核心-汇聚

40、-接入三层层树型架架构及主主干-分分支（Spiine-Leaaf）两两大类：对于树型架架构拓扑扑，常见见于流量量以南北北向为主的场场景，网网络分为为核心、汇汇聚、接接入三层层，各层层间具有有较高的的收敛比比设计，各各层主要要功能如如下：图 STYLEREF 1 s5SEQ 图 * ARABIC s 122三层树型架构接入层：网网络中直直接面向向用户连连接或访访问网络络的部分分，目的的是允许许终端用用户连接接到网络络，接入入层设备备以交换换机为主主，接入入交换机机一般具具有低成成本和高高端口密密度特性性。汇聚层：接接入层和和核心层层的中间间层，主要要用于在在接入核核心层前前进行流流量汇聚聚，以减

41、减轻核心心层设备备的负荷荷。汇聚层层是多台台接入层层交换机机的汇聚聚点，它它须处理理来自接接入层设设备的所所有通信信，并提提供到核核心层的的上行链链路，因因此与接接入层设设备比较较，汇聚聚层设备备需要更更高的性性能，较较少的接接口和更更高的交交换速率率。核心层：网网络交换换的骨干干部分，通通过高速速转发，提提供快速速、可靠靠的数据据传输，核核心层设设备一般般具有更更高的可可靠性，性性能和吞吞吐。此此外，核核心层设设备作为为资源池池网络出出口，与与广域网网路由器器对接，提提供动态态路由（BBGP/IGPP）、VVPN、NATT等能力力。该架构常见见于传统统机房网网络拓扑扑，一般般适用以以南北向向

42、流量为为主，东东西向流流量较少少，网络络规模较较固定的的场景，同同时一般般以汇聚聚层作为为L2/L3分分界点（或或可根据据规模及及应用需需要上移移至核心心层）。对于主干-分支（Spiine-Leaaf）型型架构拓拓扑，基基于CLLOS（无无阻塞网网络）理理论，任任何两点点间仅需需一跳且且具有多多条等价价链路，具具有很小小的带宽宽收敛比比，满足足云资源源池内不不断增加加的东西西向流量量需求，各各层主要要功能如如下：图 STYLEREF 1 s5SEQ 图 * ARABIC s 133主干-分分支型架架构分支（Leeaf）层层：为用户提提供网络络接入及灵灵活的业业务控制制（如隧隧道封装装、访问问控

43、制等等），分分支层设设备具有有低成本本和高端端口密度度特性。主干（Sppinee）层：网络交换换的主干干部分，提供低延时、高带宽的流量转发。与传统树型架构的核心层相区别，Spine-Leaf的主干层由多台具备大容量交换能力的Spine节点构建，而非单台高性能的核心设备。每台Spine节点都可作为任意两台Leaf节点的交换点。该拓扑常见见于新型型云资源源池网络络建设，适适用东西西向流量量较多，收收敛比较较小，网网络规模模易扩展展的场景景，同时时一般以以分支层层作为LL2/LL3分界界点（或或可根据据规模及及应用需需要上移移至主干干层）。上述两种网网络拓扑扑在流量量模型、转转发性、可可扩展性性、容

44、错错性等方方面的对对比如下下表所示示：表格 STYLEREF 1 s5-SEQ 表格 * ARABIC s 11网络拓扑扑架构对比比传统三层架架构主干-分支支（Spiine-Leaaf）东西向流量量低高可扩展性较小，受核核心设备备性能上上限较大，受SSpinne设备备端口数数量扩展模式纵向扩展（替替换各层层设备）横向扩展（增增加Sppinee，Leeaf节节点）容错能力自身无容错错考虑，通通过链路路冗余、端端口聚合合、设备备堆叠等等技术手手段分支与主干干设备间间链路冗冗余、主主干设备备互为备备份与传统三三层网络络拓扑相相比，主主干-分分支（Spiine-Leaaf）在在转发性性能、可可扩展性性

45、、容错错性方面面都更具具优势：1）在转发发性能方面面，由于传传统三层层模式有有较高的的收敛比比设计，以以及STTP等防环技技术所致致的可用链路路浪费，服务器器节点之间间可用带带宽较低低。而主干-分支（Spiine-Leaaf）架架构的收收敛比低低且使用用所有链链路，服服务器节节点之间间可用带带宽更高高。传统统三层网网络架构构接入节节点间通信部部分需经过核心心设备，并非通过最优路径转发，时延较大且难以预测；Spine-Leaf的任意Leaf节点之间的跃点数目一致，Leaf节点间的转发时延短且可预测。相比与传统三层架构，Spine-Leaf提供更优的东西向转发性能。2）在可可扩展性性方面，传传统三

46、层层架构通通过升级级各级的的设备实实现纵向向的扩展，涉涉及设备备的更替，整整体容量量通常受受限于核心设备备的性能能设计；主干-分支（Spiine-Leaaf）架架构支持持水平式式的扩展展，通过过增加LLeaff和Spiine节节点实现现更高的的服务器器接入能能力和主主干转发发能力，一一般可维维持原有有设备与与链路，扩扩展容量量受限于于Leaaf节点点和Sppinee节点的的端口数数量。总总体而言言，Sppinee-Leeaf整整体架构构比传统统三层架构构具有更更好的可扩扩展性。3）在容容错性方方面，传传统三层层架构设设计自身身并未考虑容容错，一一般基于于链路冗余余（结合合STPP）、端端口聚合

47、合、设备备堆叠等相关技技术实现现网络容容错；而而主干-分支（Spiine-Leaaf）架架构设计计本身具具备分支支设备与与主干设设备间的的链路冗冗余、主干设备备负载分分担等特特性，有有效避免免了单点点故障，提提供良好好的容错错性，同同时相关关网络容容错技术术也可应用于Spiine-Leaaf架构构以进一一步提升升容错性性。对于计划划部署SSDN的的新建云资源池池物理网网络，原则上上使用主主干-分分支（Spiine-Leaaf）型型拓扑组网网；对于于利旧改改造的云云资源池池SDNN网络，在东西西向流量量不大、网网络规模模预期较较固定的的情况下下，物理理网络拓拓扑应继继续使用用传统三三层拓扑扑，但

48、应注意意评估现现存网络络的性能能和可扩扩展性与与资源池池建设规规划的匹配度度，若考考虑对现现有物理理网络拓扑扑进行主主干-分分支（Spiine-Leaaf）型型改造，应应综合考考虑建设设成本、流流量模型型、扩展展性要求求等因素素。对于使用主主干-分分支（Spiine-Leaaf）型型拓扑组网网，部署署建议如如下：1、分支节节点与服服务器节节点的连连接：11）分支支节点实实现计算算节点的的网络接接入，以以及网络络流量隔隔离。一一般通过过Truunk链链路连接接计算节节点，可可在分支支节点配配置VLLAN实实现隔离离。分支支节点作作为L22/L33分界点点，需要要终结LL2，并提供供默认网网关功能

49、能，一般般对每个个VLAAN配置置虚拟端端口和IIP地址址，作为为每个VVLANN的默认认网关地地址。22）分支支节点运行行动态路路由协议议，为本地连连接的计算节节点发布布网络可可达信息息（例如为每个存在在的VLLAN或或子网通通告一个个地址前前缀）。另外，也也通过路路由协议议从主干干节点接接收其他他计算节节点的可达信信息。2、分支节节点与主主干节点点的连接接：主干节点点只有连连接到分分支交换换机的接接口，接接口配置置为路由由点到点点链路，主主干节点点配置动动态路由由协议，与与分支节点点互通计计算节点点的IPP可达信信息。对于使用传传统树形形三层架架构型拓扑组网网，部署署建议如如下：1、接入层

50、层节点与服服务器节节点的连连接：接接入层节节点一般般通过TTrunnk链路路连接计计算节点点，可在在分支节节点配置置VLAAN以提提供流量量隔离。2、接入层层、汇聚聚层、核核心层的的连接：各层设设备可通通过VLLAN Truunk互互联，LL2/L33分界点点（汇聚聚层设备备或核心心层设备备）如下层设设备通过过Truunk连连接，在在冗余链链路情况况下部署STTP实现现环路防防止；LL2/L33分界点点与上层层配置为路路由点对对点链路路。L2/L33分界点点与上层层设备可可运行路路由协议议互通可达达信息，L2/L3分界点为每个存在的VLAN或子网通告一个地址前缀，或者可在节点规模较小情况下考虑

51、静态路由配置的方式。另外，应注注意调整整物理网网络的MMTU以以适配上上层叠加加网络，以以叠加网网络选择择VxLLAN作作为转发发面封装装协议为为例，物物理网络络的MTTU应不不小于116000字节。扩展性云资源池物物理网络络的扩展展性应综综合考虑虑网络接接入能力力、处理理能力和和可用带带宽等。1、网络的的接入能能力是指指支持终终端接入入网络的的能力，以接入的服务器数量作为量化指标。在云资源池场景下，物理网络接入能力取决于边缘层（接入层/Leaf层）向用户侧提供的接入端口数量。网络接入能力的扩展有以下两类方式：1）使用更高端口密度的边缘设备；2）增加边缘设备数量。与替换设备备相比，增增加边缘缘

52、设备的的方式更更适合用于于主干-分分支拓扑扑架构，该该架构可可在网络络中横向向增加分分支设备备，提供更更多接入端端口，无无需更改改原有设设备，扩扩展过程程平滑，避避免替换换设备带带来的业业务中断断和投资浪费费。由于于拓扑全全连接的的特点，主主干-分分支架构构的接入设备备的数量上限限通常取取决于主主干交换换机上可用的的端口总总数，在在新建云云资源池池物理网网络时，应应结合接接入能力力扩展考考虑进行行主干设设备的选选型。对于传统三三层架构构，从保保护投资资角度考考虑，首首先应考考虑通过过增加接接入层设设备的方式。当当接入层层的增加加导致上层层设备端端口数量量不足时时，结合合扩展成成本考虑虑选择使用

53、用高端口密密度的接接入层设设备或增增加汇聚聚层设备备。2、网络处处理能力力指云资资源池物物理网络络的数据据转发能力力，以转发吞吞吐量为为量化指标标，主要要体现为为交换主干干设备的的吞吐量量。主干-分支支架构的的交换主主干设备备是由多多台设备备组成的的“分布式式核心”，具备备横向扩扩展性，可可通过增增加设备备的方式式提升处处理能力力，但应应注意结结合ECCMP实实现在多多台主干干设备间的均衡衡。传统三层架架构的核心层设备（或或汇聚层层设备），建议通过增加板卡、替换更高规格设备的纵向扩展方式实现转发主干设备的能力提升。3、可用带带宽指网网络接入入设备可可使用的的带宽。云资源源池物理理网络主主要关注

54、注网络接接入设备备与网络络主干间间的有效上行行带宽。主干-分支支架构的接入节点点直接连接接到主干干层，因因此可通通过配置置接入节节点与主主干层间间的上行行链路数量量，实现现可用带宽宽的扩展展或缩减减。但注注意分支支交换机机到每个个主干交交换机的的上行链链路数目目必须相相同，避避免产生生流量过热热点。对于传统三三层架构构，可用用带宽的扩展不仅需配置置更多的的接入层层到汇聚聚层的上行带带宽，通通常也需需配合考虑虑汇聚层层到核心心层的带带宽的扩容，否则汇汇聚层可能成成为瓶颈颈，导致可可用带宽宽的扩容容无效。网络的接入入能力、处处理能力力和可用用带宽是相互紧紧密关联联的，因因此云资资源池物物理网络络的

55、扩展展性需要统统筹考虑虑上述三三方面。容错性提升网络容容错性的的主要手手段包括括从网络络、链路和设设备等层面实现现冗余部署署。1、网络层层：通过过部署配配置路由由冗余，网网关冗余余提升网网络容错错性，具具体而言言：1）路由冗冗余通过配置冗冗余路由由，当某条链链路故障障时，流流量可切切换到其其他冗余余路径。该该方式仅仅适用于于提高LL3网络设设备之间间路径的的可用性性，主要要应应用用于主干干-分支支拓扑中中主干设设备与分分支设备备的互联。2）网关冗冗余网关冗余技技术基于于多个物物理网关关虚拟出出一个或或多个虚虚拟网关关，解决决局域网网内缺省省网关存存在单点点故障问问题。主主流的网网关冗余余技术包

56、包括HSSRP、VVRRPP和GLLBP等等，技术术特点对对比如下下表。表格 STYLEREF 1 s5-SEQ 表格 * ARABIC s 12 网关关冗余技技术比较较表协议HSRPVRRPGLBP工作原理虚拟网关地地址不能能为物理理接口地地址虚拟网关可可以是物物理接口口地址虚拟网关地地址不能能为物理理接口地地址设备角色ActivveStanddbyMasteerBackuup-llisttenAVG aactiive,staandbbyAVF-所所有路由由器故障切换Standdby接接管acctivve优先级高的的bacckupp接管mmastter1.AVGG故障，sstanndbyy替

57、代aactiive。2.AVF故障，AVG重新分配虚拟MAC，由其他AVF接管负载均衡可实现但需需多组可实现但需需多组同组内负载载均衡（最最多4台台）协议标准思科私有IETF RFCC 37768思科私有在实际应用用中，应应优先考虑虑基于标准准协议VVRRPP技术，该该技术可可为云资资源池网网络的LL3网关关提供冗余余，适用于于不同的的网络拓拓扑。2、链路层层：通过防环环、链路聚合合等技术术提升链链路容错错性。1）防环一般建议应应用生成成树协议议（STPP）或其其衍生协协议（RSTTP，MSTTP）实实现链路路冗余和和环路防止止。基于于STPP实现链链路冗余余应注意故障障收敛效率率的评估估。S

58、TPP的收敛敛时间较较慢（可可达300s-550s），有有可能会会导致较较长的业务中断断。建议议部署收收敛时间间更优化化的RSSTP（收收敛时间间达数百百毫秒）和和MSTTP（进一步步基于多实实例提升升冗余链路路利用率率）。2）链路聚聚合链路聚合将将单台设设备上的的多个物物理端口口捆绑为为一个逻逻辑端口口，流量量在各成员端端口中负负载分担担，当链链路断开开，流量量会自动动在剩下下的链路路间重新新分配。链路聚合主要包括手工链路聚合、基于LACP的链路聚合和跨设备链路聚合，技术特点对比如下表。表格 STYLEREF 1 s5-SEQ 表格 * ARABIC s 13技术类型手工链路聚聚合基于LAC

59、CP的链链路聚合合跨设备链路路聚合技术原理多个物理链链路直接接加入TTrunnk组，形形成一条条逻辑链链路基于LACCP协议议与对端端交互信信息，自自动选择择能够聚聚合的端端口聚合的多个个链路可可以来自自不同设设备厂商依赖多数厂商支支持IEEE8802.3add标准，不不依赖厂厂商部分厂商支支持，需同厂商商设备云资源池物物理网络络可视具具体需求求在服务务器和接接入侧设设备，网网络设备备间配置置链路聚聚合，提提高链路路可靠性性，具体体技术选选择以手手工链路路聚合和基于LLACPP链路聚聚合为宜宜。3、设备层层：通过过设备部件件的冗余余设计（包括主主控冗余余、单板板热插拔拔和电源源风扇冗冗余等）提

60、提升容错错性。设设备级的的冗余技技术与具具体网络络拓扑无关关，但一一般仅应应用在高高端设备备上，因因此多见见于传统统三层架构构的核心心层设备备，而其其它设备备一般不不具备提提供设备备级冗余余的条件。差异化服务务云资源池网网络主要要流量类类型及服服务要求求特点如如下所示示：表格 STYLEREF 1 s5-SEQ 表格 * ARABIC s 14 云资资源池网网络流量量类型及及特点流量类型服务要求特特点基础设施VM管理、网网络控制制、存储储管理、服服务配置置等控制制流量关键服务VM迁移流流量带宽保障租户前端流量不同的带宽宽保障后端流量不同的带宽宽保障存储FCOE/FC无丢包IP存储时延敏感原则上