H3C-SD-WAN解决方案技术建议书v0607

文档密级（内部公开）H3C SD-WAN解决方案技术建议书（ADWAN控制器）新华三技术有限公司2017年6月 广域网解决方案 王明 2020年4月5日 新华三集团机密，未经许可不得扩散 第1页 共1页 文档密级（内部公开） 目 录第1章 综述1第2章 H3C ADWAN系统架构说明12.1 H3C ADWAN方案架构12.2 H3C ADWAN控制器架构2第3章 某行核心骨干网控制器部署方案53.1 系统部署53.1.1 控制器部署模式设计53.1.2 控制器配置63.2 本期某行核心骨干网SDN解决方案63.2.1 整体方案思路63.2.2 应用定义策略73.2.3 方案部署步骤83.3 某行核心骨干网演进规划10第4章 方案优势以及特点114.1 适用于大型广域网络114.2 高效的流量转发机制（Segment Routing）114.2.1 Segment Routing控制平面124.2.2 Segment Routing控制平面124.2.3 Segment Routing技术优势144.3 南向控制机制154.4 应用流量可视化154.5 精细化应用定义模式164.6 系统管理16第5章 运维效益185.1 运维效率优化185.2 运维服务增值19第6章 产品介绍196.1 控制器产品介绍19 2020年4月5日 新华三集团机密，未经许可不得扩散 第I页 共1页 文档密级（内部公开） 第1章 综述随着SDN技术的不断演进和完善，对行业的所带来的颠覆性也越来越被接受。某行核心网、骨干网经过多年的建设和积累，已然成为国内最大的银行核心骨干网络之一，但现有建设的网络相对来说比较僵化，管道是硬管道，无法满足业务越来越差异化的需求；无法实现网络资源化使用；无法满足资源的快速扩展；无法实现快速的业务交付；无法实现自动化的网络运维。在底层物理网络资源无法快速、按需的扩展情况下，如何保障业务的快速增长、灵活调整以及业务流量潮汐带来的冲击，成为现阶段亟需解决的问题。SDN作为新网络技术，其以用户多样化需求为驱动，以降低建设、运维、运营成本为目标，可以帮助某行网络实现新的突破，并大大的提升其核心骨干网的先进性。随着标准化以及整体架构逐步清晰，新华三凭借对行业用户的深度理解，基于ODL开源软件开发的1款SD-WAN控制器，产品名称为“H3C ADWAN控制器”，引入SD-WAN技术不仅仅给某行带来技术层面的改变，更是对某行的建设模式、管理模式、运维模式的改变。第2章 H3C ADWAN系统架构说明2.1 H3C ADWAN方案架构H3C ADWAN整体解决方案架构如下，分为设备层、控制器层、管理编排层，详细如下：ADWAN解决方案架构： 设备层：网络设备接收SDN Controller控制和管理，支持SNMP、NETCONF、BGP-LS、Openflow等协议，和Controller进行通信。同时在转发层面进行优化，支持Segment Routing、Openflow硬件转发。 控制器层：整个方案基于开源的ODL平台，支撑各种APP集成；根据广域网不同的场景开发，满足用户的实际需求；南向通过标准协议和设备互通；北向面向用户提供定制化的API接口，实现和编排系统集成。 管理编排层：通过调用APP提供的API接口，实现业务的策略定义和管理编排，全网的实时监控、可视化呈现、及故障排查等，进而增强网络的可视化，简化网络的运维管理。2.2 H3C ADWAN控制器架构H3C ADWAN控制器是一款基于ODL开源软件开发的SD-WAN控制器。系统整体分为南向接口、ODL、ADWAN APP、北向接口四个逻辑平面，各个逻辑平面详细介绍如下：ADWAN控制器架构： 南向接口平面：主要用于控制器与设备信息的交互、控制器采集网络信息、控制器下发业务转发信息等功能。南向接口使用netty来管理底层的并发IO，netty是提供异步的、事件驱动的网络应用框架，该框架健壮性、可扩展性良好，而且还具有延时低、节省资源等特点，可以通过channelHandler对通信框架进行灵活扩展，适用于支持多种协议的南向接口。 控制器与设备信息交互，采用BGP-LS、SNMP等实现信息的交互学习、控制器保存网络设备信息、链路信息（带宽、链路路径）、拓扑信息等； 控制器采集网络信息，一般由设备使用Netstream采集流量信息并发送至控制器进行流量分析；采用SNMP采集业务质量信息并发送给控制器进行统一分析； 控制器下发业务转发信息，根据控制器分析模块对网络质量的分析结果，为业务提供合适的转发路径，通过Netconf协议进行转发路径的下发。 ODL平面：又称为控制器平台层，提供基本网络服务功能模块，包括拓扑管理、统计管理模块、转发管理模块、主机追踪模块、ARPHandler模块、交换机管理模块。控制器需要知道设备的能力以及可达性等才能控制设备，这些信息由拓扑管理模块存储、管理。而ARP handler、Host Tracker、Device Manager和Switch Manger等其他模块帮助生成拓扑数据库。 拓扑管理模块就是管理拓扑图，但它不是独立运作的，需要其他模块协助才能实现拓扑管理功能。拓扑模块管理节点、连接、主机等信息，负责拓扑计算。拓扑模块与协议模块、ARPHandler模块、HostTracker模块、等紧密联系，通过与这些模块的交互获取节点、连接、主机等信息。 统计模块用于收集流、端口、表的统计信息，并开放相关API。 转发管理模块就是负责管理转发规则，以增、删、改、查流规则实现管理。由上层下达事件或是底层上报事件。该模块循环读取事件，并对不同的事件进行针对性处理。 主机追踪模块负责追踪主机信息，记录主机的IP、MAC、Vlan以及连接节点和端口信息。该模块依赖于ARPhandler模块，当ARPhandler模块发现是单播发送ARP数据包，则通知hosttracker模块学习主机信息。 ARPHandler模块用于监听IPV4和ARP数据包，从中获取相关主机信息，并根据不同情况作出不同反应。 ADWAN APP平面：又称控制器功能层，基于ODL平面的基础数据库生成面向运维人员的APP功能，以便提供新一代智能运维、管控、可视等方面的需求。H3C ADWAN APP平面主要有应用管理、业务部署、流量调度、运维管理模块，满足网络从业务规划、网络建设、网络运维及故障/临时演练的全运营生命周期。 应用管理分为三步：第一步是应用定义，即根据应用特征进行分类，如五元组、DSCP区分出来的流量作为一个应用；第二步针对应用绑定其对带宽、质量、可靠性等方面的需求；第三步可按需增加生效时间属性、必经节点/链路等个性化属性； 业务部署：采用控制器实现一键快速下发，避免人工操作导致的设备误操作。 流量调度：业务根据带宽、时延、抖动等单一网络参数或多个网络参数的组合对现网资源进行合理的分配使用。在全网通道资源富余情况下，控制器不对现网业务进行调度，所有流量在最优链路上转发；在全网通道资源相对充足缺易发生局部拥塞、潮汐拥塞的情况下，控制器将部分非高优先级业务采用非最短路径进行转发，或者基于时间纬度进行流量调度；在全网通道资源全拥塞情况下，即使采用控制器进行全局流量调度优化后仍有业务拥塞，会采用underlay网络仍保障高优先级业务的转发。 运维管理：提供应用的实时路径可视、应用的流量大小可视、应用的网络质量可视以及底层underlay网络的拓扑/设备/链路可视。 北向接口平面：北向提供面向业务的RESTful API接口，第三方系统通过调用这些API接口，就可以很方便将ADWAN丰富的网络能力集成进来，而不用关心网络技术细节和设备上的差异，从而能更多的聚焦用户业务编排和创新上。第3章 某行核心骨干网控制器部署方案随着某行核心骨干网络规模的扩大，以及网络承载的业务越来越广泛，流量规模也随之日渐增长。某行核心骨干网络需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置使用最优化，及时解决网络性能问题。目前某行运营在网络管理中普遍遭遇到了如下的问题：1) 网络的可视性：网络利用率如何？什么样的应用流量在网络中运行？网络中是否产生异常流量？有没有长期的趋势数据用作网络带宽规划？2) 应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？重要应用执行状况如何？应用又运行在哪些网络路径上？3) 网络流量的可操作性：网络存在哪些突发/异常业务流量？如何消除突发/异常流量对网络产生的影响？为了解决某行核心骨干网络管理中遇到的这些问题，新华三公司的ADWAN解决方案可以帮助网络管理人员了解内部网络之运行状况，及时发现并解决网络中的性能瓶颈问题，也能方便用户进行网络优化、网络设备投资、网络带宽优化等的参考，并方便网络管理员及时应对网络故障等问题。3.1 系统部署3.1.1 控制器部署模式设计在某行核心骨干网上部署1套ADWAN控制器，安装地点建议配置在某行总部运维中心所在城市。下图为北京数据中心部署ADWAN控制器解决方案的部署架构示意图：3.1.2 控制器配置序号型号数量备注1H3C ADWAN1北京数据中心2服务器1北京数据中心3.2 本期某行核心骨干网SDN解决方案3.2.1 整体方案思路本期工程计划新增6台P路由器，6台PE路由器以及2台RR路由器，原一级分行骨干路由器利旧为PE路由器，如上路由器共同组成某行新一代核心骨干网，满足业务向MPLS VPN割接。新一代核心骨干网计划分为三个VPN，分别承载某行自营类业务、分公司业务以及第三方业务。每个VPN内包含多种业务类型，比如某行自营VPN内拥有办公型、联机型、生产型子业务流量，这些子业务流量对网络带宽、网络质量的需求不同，需要在核心骨干网在发生局部链路拥塞时进行流量调度。业务划分如下：本期工程完成后，核心骨干网将存在新建网络设备以及利旧设备，根据前期调研传统老旧设备不支持SDN统一管理，所以计划本期的SDN调度管理域在6台P设备之间，呈现效果如下：某一级分行去往“上海同城数据中心方向”，如果正常模式下流量（红色路径）先至“上海数据中心P设备”，再转发至“上海同城数据中心P设备”；如果发现“上海数据中心P上海同城数据中心P”段发生拥塞，控制器检测发现通过绕转到北京链路资源足够，所以控制器将VPN内的低优先级业务通过绕转到北京方向进行转发（绿色路径）。拓扑如下：3.2.2 应用定义策略由于调度管理域为P路由器，对于P设备来讲无法看见VPN内部的业务情况，因此此刻无法直接基于数据包匹配到不同VPN内的不同业务，但是在调度管理域内可以采用EXP的方式进行调度。比如定义VPN1内的办公业务为一类应用，在CE至PE段设置IP QoS标记，数据包转发至PE设备时将IP QoS自动映射到EXP，此时同一VPN的不同子业务的EXP标记不一样，当数据包在调度域内部转发时，基于EXP进行流量调度。数据包转发逻辑如下：如上，SR调度管理域将为业务提供SR-TE隧道，假设每个业务需要在6台P设备上进行全互联，且8个EXP优先级全部使用，那么最大为240个隧道。和RSVP-TE相比，SR隧道数保持一致；但是SR无需设备实时维护动态路由协议进行隧道保持，所以对设备性能的计算资源消耗较小。3.2.3 方案部署步骤步骤一：初始化系统部署完成后，控制器通过BGP-LS收集网络拓扑，根据网络拓扑为调度管理域设备和链路分配SR标签，设备收到分配的SR标签后，自动生成SR标签转发表，用于指导报文转发。图1 初始化流程步骤二：应用选路首先用户定义应用（如上3.2.2 EXP方式）、带宽和SLA需求，包括相关的选路策略等，控制器会自动解析用户输入，分解成网络配置，下发应用规则到边界节点上对应用进行分类和着色，同时在边界节点上为应用创建SR隧道，并通过路由、PBR等方式将应用流量自动引到对应SR隧道上，最后，基于网络实时状况为应用计算最优路径，下发到设备上，指导报文转发。图2 应用选路流程步骤三：路径调整和重优化当网络拓扑发生变化，如节点或链路故障，控制器会通过BGP-LS等方式感知到拓扑变化，会重新为应用计算最优路径，并将优化后的路径下发到设备上，指导后续报文转发。图3 路径调整和重优化步骤四：可靠性机制ADWAN方案提供了从设备、路径、到控制器等多方面的可靠性机制，从整网的角度保障了整个方案的可靠性，设备通过IRF等虚拟化技术实现冗余备份，下面详细描述路径可靠性机制，首先控制器会为每类应用计算两条主备路径，同时下发到设备上，设备通过BFD实时检测主备路径的连通性，一旦发现主路径发生故障，会由设备立即自主切换到备份路径，无需控制器干预，保证了主备切换的实时性。随后控制器通过BGP-LS会感知到拓扑变化，会重新为应用计算最优的主备路径，并将优化后的主备路径下发到设备上，这样设备上会一直同时存在两条路径，保证路径上的可靠性。图4 路径可靠性机制3.3 某行核心骨干网演进规划伴随设备的演进与更新，原一级骨干网设备全部满足支持SDN特性，网络调度域可以从原有的6台P设备扩展至整个AS域。可以进一步实现网络资源化： 全网PE-P的链路资源可以纳入调度域，进一步优化局部资源； 使用“VPN+EXP”标记方案存在8个业务限制，无法实现进一步的精细化业务管控；当调度域扩展至PE设备，可以实现“VPN+五元组”标记，当数据包在PE设备区分后直接匹配进SR隧道。第4章 方案优势以及特点H3C ADWAN解决方案是一个面向大型IP、MPLS/VPN网络、基于实用的信息采集、质量探测和传输控制的解决方案，提供运营级的应用流量可视、应用流量自动化调度的平台。它具有以下优势及特点：4.1 适用于大型广域网络H3C ADWAN产品采用了分布式的体系结构，具有良好的扩展性，能够为大型核心骨干网提供流量调度、应用可视服务，整个系统支持100+台网络设备。随着技术能力更新和发展，系统总体处理能力还将不断提升。4.2 高效的流量转发机制（Segment Routing）Segment Routing由IETF SPRING（Source Packet Routing in Networking）工作组负责制定的标准协议，同时有多个工作组（如：ISIS、OSPF、IDR、PCEP、6MAN等）也在定义对Segment Routing的扩展，目前大约有40个相关的RFC和draft标准正在制定中，下面列出了一些主要的协议，这些协议越来越得到业界主流厂家和用户的支持。Segment Routing（后续简称SR）是一种源路由协议，也称为段路由协议，由源节点来为应用报文指定路径，并将路径转换成一个有序的Segment列表封装到报文头中，路径的中间节点只需要根据报文头中指定的路径进行转发。Segment是指导设备处理报文的任何指令，如：根据最短路径转发报文到目的地、通过指定接口转发报文、将报文转发到指定的应用/业务实例等。4.2.1 Segment Routing控制平面不仅能够通过IS-IS和OSPF协议对SR的扩展来实现Segment标签的通告，在实际应用中，也可以通过控制器对网络中各节点设备进行Segment标签的分配和通告，实现集中控制，统一管理。采用控制器模式后，由控制器进行全局路径带宽与质量分析，基于业务的网络需求（带宽、质量等）提供相应的路径，然后控制器将该路径的Segment list下发到业务首节点，流量按此路径进行转发。4.2.2 Segment Routing控制平面SR在数据平面包含两种封装，即MPLS封装和IPv6封装，MPLS数据平面不需要做任何修改就可以应用于SR网络；IPv6针对SR定义一个新的扩展头，叫Segment Routing Header（SRH），来提供基于源的路由能力。基于某行网络现状，建议使用MPLS封装模式即可。SR可直接使用MPLS转发面，此时一个segment就是一个标签，segment list就是标签栈。当前活跃的segment位于栈顶，处理完的segment会从栈顶弹出，添加一个segment就是PUSH操作。在MPLS转发平面中，利用标签栈作为路径，报文格式为：这里标签与普通MPLS标签格式完全相同，Segment标签典型的有两种，一种是节点标签，一种是邻接标签。l 节点标签：节点标签（Prefix/Node Segment）是为设备本身分配的标签，一个设备即一个节点，标签全局唯一。每个设备有各自支持的MPLS标签范围，支持SR的设备需预留一段标签段作为全局节点标签SRGB（Segment Routing Global Block）。设备通过IGP扩展通告SRGB的标签段范围以及自己的全局Index，每个设备节点对应的节点标签即为 SRGB+Index。如下图所示，R6节点通过IGP扩展发布了自己的Index为6，SRGB从7000开始，则R6的节点标签为7006。因此当网内其他设备收到栈顶标签为7006的报文时，会直接查找一条到R6的路由最短路将报文发送给R6。如从R1开始到R6的报文，处理流程如下： 首节点（R1）：根据SDN路径计算结果，确定报文需要经过R6，加入节点标签栈 7006。 转发节点（R2）：与普通MPLS报文处理一致，进行标签交换处理，标签仍然为7006。 倒数第二跳（R3）：如IGP通告SR信息时，通告需要进行倒数第二跳弹出，则在此节点进行标签弹出。 尾节点（R6）：按照普通报文正常流程进行转发。l 邻接标签：邻接标签（Adjacent Segment）表示设备上某条链路的单跳路径，标签仅设备本地有效。每个设备向与自己一跳相邻的设备通过IGP扩展通告邻接标签，或者通过SDN控制器直接为SR域内的每条链路进行标签分配。如从R1开始到R6的报文，处理流程如下： 首节点（R1）：根据SDN路径计算结果，确定报文路径为图中绿色线。根据邻居标签信息在R1处打上【204,405,506】标签栈。 转发节点（R2、R4、R5）： 弹出栈顶标签，根据此标签选择出口链路进行转发。 尾节点（R6）：按照普通报文正常流程进行转发。4.2.3 Segment Routing技术优势智能调度是新一代广域网的一个关键能力，对应用质量的保障、带宽资源的优化非常重要。现有的MPLS及RSVP-TE等流量工程技术可以满足应用对带宽的差异化保障需求，但存在协议种类多、部署复杂、管理困难、可扩展性差等问题，无法满足新一代广域网所要求的动态部署、灵活调度、快速、可扩展等方面的要求，而 Segment Routing，既很好的继承了MPLS技术的优势，又能够适应未来IPv6、SDN等技术的发展，为SD-WAN网络提供了一种灵活高效的控制手段，具有使用简单、容易扩展的特点使它具有很多不可比拟的优势： 面向SDN架构设计的协议，融合了设备自主转发和集中编程控制的优势，能够更好的实现应用驱动的网络。同时，可以天然支持传统网络和SDN网络，兼容现有设备，保障网络平滑演进。 简化设备控制平面，减少路由协议数量，简化运维管理，降低运营成本；标签转发表简单，容易扩展，规模也很小，一台设备上维护的转发表数为N（节点标签数量，一般为全网节点数量）+A（邻接标签数据，一般为设备接口数量），而传统MPLS/RSVP-TE网络则为N2。 能以更简单的方式实现TE、FRR、OAM等功能，从而简化网络的设计和管理，快速获得网络服务，优化整个网络的性能。4.3 南向控制机制现阶段ADWAN控制器采用Netconf作为南向协议，实现对网络层设备进行配置、策略的下发功能，Netconf具有如下优势： 简单易用，RFC标准成熟； 具备transaction机制避免配置错误的回退； 支持Netconf的设备可保留特有的配置内容，只需要转换成Yang定义的数据模型；4.4 应用流量可视化在设备LAN口、WAN口的出入方向通过Netstream协议采集流量信息。 LAN口：采集出、入方向，用于应用流量统计。对于VPN报文，采集报文VPN字段，控制器可通过Netstream上报的VPN信息进行应用组区分。 WAN口：采集入口、出口流量，采集IP五元组、DSCP字段，控制器通过IP五元组、DSCP识别应用流量。4.5 精细化应用定义模式基于MPLS VPN场景下，H3C ADWAN控制器支持在PE设备上通过IP五元组、DSCP、以及VPN字段的单一/任意组合进行业务区分，支持对业务的按需调度。基于MPLS VPN场景下，H3C ADWAN控制器支持在P设备上MPLS报文的EXP字段区分业务；支持对业务的按需调度。4.6 系统管理H3C ADWAN系统采用图形界面方式满足网络从业务部署、流量调度、日常运维的需求，简述如下：1. 登录和用户管理a) 通过WEB方式登录ADWAN管理界面，登录界面如下所示：b) 登录系统后可实现添加用户操作，对已配置用户进行统一管理。2. 设备运维管理。呈现整网拓扑信息，各设备相关信息（设备名称、设备IP地址、CPU、内存等）以及链路相关信息（带宽、链路质量等）。3. 应用管理。定义具体业务应用，为业务的可视呈现、流量按需调度准备。4. 网络部署管理。a) 执行网络基础配置，配置自动拓扑发现协议、网络场景、网络类型以及定义物理网络（局域网或广域网）。b) 执行设备管理、板卡管理、接口管理等。c) 链路管理。5. 系统告警可配置、呈现。第5章