H3C数据中心SDN解决方案

H3C数据中心SDN解决方案SDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例SDN起源-OpenFlow美国斯坦福大学

NickMcKeown教授等人于2008年提出OpenFlow。OpenFlow将网络设备控制面与数据面分离，用户通过开放的流表对网络进行控制，实现了网络可编程，从而为新型互联网体系结构研究提供新的途径。

基于OpenFlow的特性，NickMcKeown教授和他的团队进一步提出了SDN的概念。2009年，SDN概念入围TechnologyReview年度十大前沿技术，自此获得了学术界和工业界的广泛认可和大力支持。设备的控制平面与数据平面分离协议运行在外部控制器上交换机抽象为多个流表的处理过程（Match+Action）外部控制器通过OpenFlow协议与设备交互IT资源虚拟化管理部署自动化业务感知和按需编排数据中心IT设施问题IT设施资源利用率低下，能耗高启②问题3IT设施伸缩困难，扩容部署周期长③网络设施变革的价值提高资源利用效率，降低采购成本提高资源自动化程度，降低运维成本提高资源对业务的响应能力，提升企业竞争力资源智能变革网络动态感知应用，随需而动,业务高效编排运维管理复杂，新业务叠加部署困难①IT资源整合集中集中互联/容灾海量多租户承载每租户独立IT资源负载与资源自动化调度提供优化弹性服务需求云计算需求驱动数据中心IT设施变革SDN源动力4云计算控制和转发分离控制层面可以摆脱对传统网络设备的依赖，迅速发展统一管理和控制方便对池化的资源进行灵活的控制和监管开放的API开放统一的南向和北向接口将催生成熟的产业链要求按需索取，动态管理计算存储网络虚拟化SDNServices,AppsProgrammableControlPlaneControlNetworkOSProgrammableControlPlaneControlNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNServices,AppsProgrammableControlPlaneControlNetworkOSNetworkOSProgrammableControlPlaneControlNetworkOSNetworkOSSDNLanguageSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNSDN的价值为云计算提供弹性网络SDN实现全方位的网络虚拟，SDN与云计算结合，成为IT产业的发展方向：

SDN提供网络虚拟化平台云网融合，实现业务统一编排支持不同业务运行于同一网络架构SDN实现上层业务逻辑与底层物理架构解耦，提供基于业务的网络资源切片，适应云时代对网络的新要求。推动传统网络设备厂商转型传统网络设备厂商向网络软件厂商、网络解决方案提供商转型，结合SDN发展趋势，以云数据中心网络为突破方向，提升网络设备的价值。SDN核心理念一.控制与转发分离SDN控制器成为网络设备的大脑，负责维护所有的网络转发路径，并对网络设备编程。可以根据应用的需要在转发平面灵活引入新的硬件，控制平面设备无需更改。二.集中控制和管理业务网络策略集中配置，网络资源统一调度，利用软件（SDN控制器）实现对大规模整网设备的集中控制和管理:自动、简捷灵活、动态扩展丰富的管理控制策略个性化的网络控制精细化运维三.开放的标准接口北向接口－RestFul接口南向接口

-OpenFlow

/Netconf/OVSDB…业界对SDN的理解对SDN的理解各有侧重，但都没有错H3C对SDN的理解H3CSDN+，务实派的SDN理解SDN+可否分配、管控、呈现以及运维自定义网络网络资源可基于租户、租户不同业务进行细分网络资源数不变情况下，可动态调整业务类型可否基于网络抽象模型，用户自描述/自定义网络用户虚拟网络根据自身需求可灵活自定义，而物理网络可保持不变是否具备或支持完整的网络抽象模型具备完整网络描述能力，抽象Port、L2、L3网络、网络服务H3CSDN云网络架构SDNControllerOverlayNFV大二层L4-7需要采用云计算自动化部署/智能管理运维OpenStack云平台SDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例SpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareOperatingSystemOperatingSystemOperatingSystemOperatingSystemOperatingSystemAppAppAppClosedSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareAppAppAppSpecializedPacketForwardingHardwareOperatingSystemOperatingSystemOperatingSystemOperatingSystemOperatingSystemAppAppAppNetworkOperatingSystemAppAppAppSDNFABRIC物理交换机路由器虚拟交换机业务统一资源池网络自动化NFV设备安全设备VCF控制器集群面向设备的南向开放接口：Netconf/OpenFlow/OVSDB面向业务的北向开放API：REST/OSGI

集中统一管控的控制器集群目标：从整网全局角度对异构网络设备进行逻辑抽象形成统一的资源池，进行集中控制和管理，构建弹性网络。SDN控制器设计理念SDN系统架构－OpenDaylightOpenDaylight是一套以社区为主导的开源框架，旨在推动创新实施以及软件定义网络(SDN)透明化。OpenDaylight拥有一套模块化、可插拔且极为灵活的控制器，这使其能够被部署在任何支持Java的平台之上。SDN系统架构－H3CVCFCVCF控制器采纳了ODL模块化、可扩展、弹性、多协议的软件架构思想VCF控制器相对ODL在稳定性、性能、南向负载分担、双机集群、云平台及虚拟化平台支持、用户界面、控制器联盟等方面做了大量优化密切跟踪Opendaylight的最新进展VCFCAPP支持迁移到ODL平台北向接口层内置应用层基础网络层抽象逻辑层南向接口层UI界面集群管理软件管理控制管理层RestfulAPIL2网络SAL拓扑管理链路管理主机管理连接管理设备管理流表管理报文收发路径计算QoS管理转发管理IPv4协议IPv6协议L3网络Overlay网络服务链JAVA嵌入式APIBGP/BGP-LS/PCEPNETCONF/XMPPOVSDB/SNMP/CAPWAPOPENFLOW1.0/1.3AppVMAppVMAppVM服务器1服务器2服务器3AppVMAppVMAppVM服务器1000服务器1001服务器1002SDNControllerSDNcontrollerSDNcontrollerSDNcontrollerRegion2Region1主Leader北向统一IP地址备LeaderCSM/OpenStack/第三方云平台

控制器集群支持控制器数量的弹性扩展，可以根据网络规模动态伸缩集群由主Leader控制器在北向提供统一的IP地址与所有上层软件进行交互，所有控制器位于同一二层网络，每个控制器拥有唯一的南向IP集群南向通过划分Region管理网络设备，Region内部的控制器互为备份或负载分担控制器最大支持128台集群规模，每个控制器集群支持30K个服务器以及200K个虚拟机H3CVCFC高可靠性SDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例H3CVCF网络模型完整的网络抽象模型基于OpenStackNeutron的H3CVCFArchitecture网络模型TenantRouterNetwork：ExternalNetworkSecurityGroup(L2Security)SubnetPortSecurityGroupRuleH3CVCF架构网络模型FloatingIP1:n1:nFirewall(L3Security)FirewallPolicyFirewallRule1:n1:n1:nLoadBalancerMember1:nVIPHealthMonitorH3CVCF租户模型租户模型基于OpenStack逻辑概念vRouter对应OpenStack内的vRouter，代表逻辑三层网关/网络vNet对应OpenStack内的Network，代表逻辑二层网络Subnet对应OpenStack内的Subnet，代表某个子网网段每个vNet对应一个VxLAN，vNet内多个Subnet代表该VxLAN覆盖多个子网网段L2层面（接入），使用VxLANID来提供租户隔离对于标准租户（StandardTenant），使用vRouter实现在路由层面的租户隔离，每个租户使用单独的vRouter对于VPC类租户（VirtualPrivateCloudTenant），使用VRF实现在路由层面的租户隔离，每个VPC类租户使用单独的VRF除非明确配置，数据中心内不允许跨租户的流量访问（即租户间互访流量建议通过广域互通）网络服务隔离，为每个租户提供单独的FW、LB及NAT服务租户Tenant虚拟数据中心vDCVMSubnetVMStorageStorageSubnetVMVMStorageStorageVMSubnetVMStorageStoragevNetvNetvRoutervLBvFWDBOverlay网络Underlay网络主机主机Overlay边缘设备Overlay边缘设备Overlay控制平面承载网络控制平面数据平面Payload封装Overlay：满足大二层网络需求在底层物理网络的基础上构建一张叠加的虚拟网络，满足虚拟机灵活迁移、业务灵活部署、安全策略动态跟随的要求。底层网络提供网络的联通性和多链路的负载均衡，无特殊拓扑限制，可以为一个三层的网络。Overlay网络是物理网络向云和虚拟化的深度延伸，能够实现虚拟网络摆脱物理网络的限制。IETF在Overlay技术领域提出VXLAN、NVGRE、STT三大技术方案。思路均是将以太网报文承载到某种隧道层面,差异性在于选择和构造隧道的不同,而底层均是IP转发。业务扩展要求业务部署与物理网络位置无关SDNControllerSDNControllerSDNController网络Overlay：物理交换机作为Overlay网络边缘设备服务器无需支持Overlay支持虚拟化服务器和物理服务器接入主机Overlay：vDevice作为Overlay网络边缘设备适用服务器全虚拟化的场景物理网络无需改动混合Overlay：物理交换机和vDevice分别作为Overlay网络边缘设备，灵活组网可接入各种形态服务器可以充分发挥硬件网关的高性能和虚拟网关的业务灵活性NetworkOverlayHostOverlayHybridOverlay物理设备物理设备vDeviceVMVMVMvDeviceVMVMVM虚拟设备虚拟设备vDeviceVMVMVM物理设备虚拟设备Overlay网络类型SDN典型组网（一）OpenFlow＋OVSDBOpenFlow+NetconfvSwitchHypervisorVMVMVMvSwitchHypervisorVMVMVMSpineSpineLeafLeafLeafBorderLeafWANVxLANOverlayH3CSDNController集中控制模式：SDN＋OpenFlowSDN控制器对网络进行统一管理，通过Netconf/OVSDB等南向协议向设备下发网络策略

实现控制和转发分离，SDN控制器（依照业务编排）通过OpenFlow协议向设备下发转发流表ServerVXLANVTEPVXLANGWVXLANIPGW所有VTEP设备注册到控制器，控制器会监控VTEP状态Controller集群维护整网转发表项，支持通过以下两种方式获取全网转发表项：从云管理平台Subnet、VMIP、MAC信息首包上送控制器，控制器通过分析首包，获取VTEP及下挂服务器的IP、MAC、Port等信息控制器携带VM的相关信息通知GW虚机上线控制器地址学习和同步H210.10.10.20H3CVCFControllervSwitchVTEP1H110.10.10.10通过云平台获取VM的IP地址、MAC地址信息VxLANFabricVTEP设备会将首包（ARP／GARP）上送控制器，控制器分析首包，学习到VTEP及其下联的主机的IP地址及MAC地址SDN典型组网（二）NetconfvSwitchHypervisorVMVMVMvSwitchHypervisorVMVMVMVXLANVTEPVXLANGWVXLANIPGWSpineSpineLeafLeafLeafBorderLeafWANVxLANOverlayEVPNMP-BGPH3CSDNController松散控制模式：SDNController＋EVPNSDNController通过Netconf向设备下发网络策略。控制平面通过MP-BGPEVPN协议来实现VTEPpeer发现和远端地址学习；通过基于协议的主机MAC/IP分发以及在本地VTEP上做ARP抑制，减少网络泛洪。ServerEVPNVXLAN地址学习和同步基于EVPN的控制平面配置EVPN中的RR（建议配置在Spine）、RRClient（所有VTEP）RRClient和RR建立BGP邻居利用EVPN的MP-BGP携带的扩展NLRI完成MAC和路由同步RRRRVM2VTEPB1.1.1.2VTEPA1.1.1.1VTEPC1.1.1.3

VM1上线，VTEPA把学习到VM1的MAC和主机路由通过BGP扩展协议向RR同步RR把接收到的路由更新同步给所有邻居（VTEPB&C）VTEP接收到BGP报文，把学习到的VM的MAC和IP地址添加到表项中MAC放到相同VXLAN的L2表项中路由放到L3表项中MAC，IPRemoteVTEPIPVM1mac，ip1.1.1.1VM2mac，ip1.1.1.2VTEP-CTableMAC，IPRemoteVTEPIPVM2mac，ip1.1.1.2VM3mac，ip1.1.1.3VTEP-ATableVM1VXLANNetworkVM3MAC，IPRemoteVTEPIPVM1mac，ip1.1.1.1VM3mac，ip1.1.1.3VTEP-BTable123SDN融合Openstack云平台VCFCPluginRESTAPISDN控制器采用在NeutronServer中安装插件的方式，接管Openstack网络控制。H3C的neutronplug-in支持Ubuntu和CentOS、SUSE，支持J、K版本。NeutronServerCvSWpSWNFVH3CSDN控制器（VCFC）Openstack是目前使用最广泛的开源云管理平台，使用Neutron组件提供网络功能SDN+自动化部署资源池1VMVMVMVMVMVM资源池2VMVMVMVMVMVMVMAPPSDN控制器VM迁移，网络策略自动跟随VM上线，网络策略自动部署25SDN＋Overlay软硬件VxLAN网络方案，交换机实现VxLAN

VTEP、VxLANGW、VxLANIPGW，vSwitch实现VxLAN

VTEPSDNController实现控制平面，通过OpenFlow/Netconf控制VxLAN

VTEP、GW、IPGW，下发控制流表和服务策略若VTEP是虚拟设备，Controller从VMManager和vSwitch获取VTEP及下挂VMIP/MAC信息若VTEP是物理设备，Controller和所有VxLANED设备建立连接关系，获取VTEP及下挂VMIP/MAC信息VTEP第一次收到数据报文，上送给Controller，Controller确定VxLAN隧道信息，下发流表到VTEP，VTEP封装VxLAN报文转发CoreCoreAggAggRouterRouterAccessAccessAccessAccessAccess①ToR设备实现VTEP，把报文封装为VxLAN格式②核心设备实现VxLANIPGW，终结VxLAN报文，并进入L3转发④ToR设备实现VxLANGW，终结VxLAN报文，实现VxLAN和VLAN网络互通vSwitchSDNController③Controller负责控制平面，下发流表，指导转发VxLANFabricVMManagerVXLANGWVXLANGWVXLANIPGWSDNControllerSDN＋NFV服务链灵活自定义服务链vSwitchvSwitchAPPvSwitchvSwitchWEBSpineSpineVXLANOverlayLeafLeafLeafLeafLeafVMVMVMVMVMVMVMVMVMVMVMVMServiceNodesL4-7资源池FWLBNAT源端目的端SDNController实现服务链编排：解析用户配置的策略；下发配置的策略给服务链相关节点SDN

+DCISDN分级部署DCBDCI控制器集群DCALeafLeafEDvSwitchSDNLeafVXLANNetworkLeafLeafEDvSwitchSDNLeafVXLANNetwork核心网PEPESpineSpineSpineSpineEVISDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例H3CSDN网络组件介绍VCFController集群必选，VCFController实现对于VPC网络的总体控制，以及对VNF的生命周期管理

VXLAN

GW必选，VXLANGW包括vSwitch,S68,VSR等，实现虚拟机，服务器等各种终端接入到VXLAN网络中VXLANIPGW必选，VXLANIPGW包括S125-X,S98,VSR等，实现VXLAN网络和经典网络之间的互通云管理系统可选，负责计算，存储管理的云平台系统，目前主要包括Openstack，VMwareVcenter和H3CCSM虚拟化平台可选，vSwitch和VM运行的Hypervisor平台，目前主要包括CAS,ESXi，KVM和XENService安全设备可选，包括VSR,VFW,VLB和M9000，安全插卡等设备，实现东西向和南北向服务链服务节点的功能SpineSpineAggAggServerAccessLeafLeafHypervisorVMVMVMHypervisorVMVMVMFWFWVXLANFabricVXLANGWVXLANIPGWH3CVCFCPlatformVXLANVTEP、GW、VNF生命周期管理业务系统北向接口管理iMC云平台第三方云平台VCFC集群vswitchvswitchvFw/vLBvSwitchvFw/vLBvSwitchKVMvFw/vLBSR-IOVAdptvSwitchKVMvSwitchVSRvFW/vLBWANLeafWANL2L3SpineSpineKVM/XEN/CASH3CvSwitchFWLeafLeafLeafVXLANNetworkVMwareH3C

vSwitch服务器FWRouterLB服务器准备

安装控制器平台，搭建控制器集群各类APP、北向适配插件（如OpenStackNeutron插件）1）部署VCFC控制集群VMVMVMVMVMVM服务器准备

虚拟化平台：KVM/XEN/CAS/ESXi网络物理设备的搭建（路由、交换、安全）2）部署IT基础资源虚拟设备镜像部署逻辑Network、vRoute、port、subnet等的创建与绑定

业务链部署

自定义的虚拟网络部署3）部署虚拟私有网络VCF控制器平台VXLANVTEP、GW统一管理业务系统北向接口管理SDN网络部署SDN运维：Overlay与Underlay网络统一管控Overlay路径分析VTEP节点之间的连通性检测支持Vxlan隧道流量统计功能ARP报文统计上送控制器的Packetin报文统计……VXLANtunnelconnectivitytestVXLANoverlaytopology物理拓扑及业务拓扑展示VXLANunderlaytopologyVXLANtrafficmonitor支持如下故障检测功能：vSwitch到VM的检测机制VM到VM的仿真检测机制vSwitch到vSwitch的Overlay检测机制GW到vSwitch的Underlay和Overlay检测机制vSwitch到PM的PING检测机制VM到PM端到端综合检测机制全网路径雷达探测功能SDN控制器具有全局视野，大数据分析。通过对包括underlay网络的所有链路进行故障检测分析，实现故障诊断的自动化SpineLeafLeafvSwitchvSwitchVXLAN

IPGW123VM1VM245PMSDN运维：自动化诊断SpineSpinePacketOutCH3CVCFControllerOuterIPOuterUDPVXLANOuterEthernetInnerEthernetPayloadNewFCSInstanceIDReservedReservedFlags8Bytes1Byte1Byte第二保留字段3Byte3ByteSDN运维-雷达探测功能LEAF1LEAF2LEAF3LEAF4当前在VXLAN环境下，原IP报文做VXLAN封装后，会通过ECMP到不同的链路上，无法监控具体走的哪条物理链路问题解决方案控制器通过PacketOut发送探测报文,LEAF设备进行正常的转发,同时根据五元组变化覆盖不同的路径。中间设备根据流表匹配保留字段，将此报文完整上送到控制器,控制器据此查找出任意两个LEAF节点间的underlay网络的连通情况和拓扑状态网管平台SDN运维-VM单播仿真根据两个VM的IP地址和协议类型，快速找到两个VM间互访时所经过的网络路径控制器Packet-out按指定5元组组装好的报文，指定Packet-Out的出端口为该流对应的出接口,LEAF设备会把该报文正常转发,同时会根据五元组变化覆盖不同的等价路径。中间设备根据流表匹配封装中的保留字段，将此报文完整的镜像上送控制器,控制器据此查找出两个VM间互访时所经过的网络路径，可结合iMC实现图形直观展示问题解决方案VM1VM2SpineSpineLEAF1LEAF2LEAF3LEAF4PacketOutCH3CVCFController网管平台SDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例SDN发展现状北向融合入openstack等主流云平台，北向接口标准化南向协议扩展，不局限于Openflow，加强设备资源管理能力融合NFV，增强L4~L7能力，并为NFV提供Service-ChainSDNNFVOpenflowNETCONFOVSDBSDN发展趋势学术界：积极推进SDN快速的发展可能会对网络产业格局造成重大影响，传统通讯设备的企业将会面临巨大挑战，IT和软件开发商将拥有更高的市场价值。依照ONF层次化架构的理念设计，网络控制由运行NOS的服务器实现，转发设备的功能和性能则主要由通用芯片决定，可以大幅降低研发所带来的费用。未来开放架构的SDN竞争焦点将集中在NOS上，通讯设备商在开放架构的控制层研发将不再具备先发优势。产业界：经典网络与SDN结合通信设备商一方面跟随新的技术领域并发布支持OpenFlow的SDN产品和解决方案，另一方面也积极探索于现有架构之中实现网络集中控制和开放应用API界面的定制化与私有化的技术，以避免研发价值和竞争优势流失。SDN的出现，对网络设备厂商的软件开发能力提出了新的挑战，厂商之间的竞争逐步从硬件实力向软件实力转变，同时SDN作为全新的IT变革技术，也将有机会重构现有网络产业布局，催生出类似网络服务开发商这样全新的服务市场。SDN推进初期，业界曾认为SDN是一种“颠覆”，将与传统网络的建网模型、商业模式格格不入，这种思路确实给用户造成了一些困扰。但现在业界已达成了新的共识，即在继承传统经典网络优势的基础上体现SDN的价值.SDN当前面临的挑战SDN是大势所趋，但还面临许多挑战：接口/协议的标准化互操作性问题安全性问题性能问题SDN简介SDN控制器架构SDN组网方案SDN部署与运维SDN发展现状与未来H3CSDN商业模型及案例领域控制器DomainController资源统一管理InfrastructureResourceManagement物理设备PhysicalDevice虚拟设备VirtualDeviceH3CSDN商业模型第三方H3CH3CloudVCFControllerVxLANIPGWpSwitchVxLANVTEPH3CvSwitchVxLANGWpSwitchVMOpenStackVMManagerVMOpenStackVMManagerVMCVMServerVCFControllerVxLANIPGWpSwitchVxLANVTEPH3CvSwitchVxLANGWpSwitchVCFControllerVxLANIPGWpSwitchVxLANVTEPOpenvSwitchVxLANGWpSwitch计算虚拟化（接入传统网络）品高云平台PortalVMware研发一区生产一区3rd研发二区生产二区3rd研发三区生产三区云数据库ZS银行ITIL云中间件其他业务系统预先申请IP池API对接&定制开发（紧耦合）云平台现状：主要提供云主机业务网络现状：手工配置，业务开通时间长H3CSDN案例一：ZS银行SDN改造（一）改造前整体架构图H3CSDN案例一：ZS银行SDN改造（二）整体方案（定制Portal+华三云平台+混合Overlay+NFV服务链）OpenStack＋OVSDBL2L3OpenFlow+NetConfL3网关HypervisorVMVMVMHypervisorVMVMVMS12500-XS12500-XLeafRouterWANVxLANNetworkVCFC集群RoutervSwitchvSwitchRouterLeafRouterLeafP