王飓-sdn控制器集中群中的分布式技术实践

1、SDN控制器集群中的日期：201409杭州华三通信技术有限公司目录4SDN Cont roller集群部署方案以及优化 SDN部署实际案例 SDN & NFVSDN架构SDN Language App APIsSDN Ser vices, AppsNorthbound InterfaceEast-west InterfaceNet work OSNet work OSCarrie rsInfrastructuInfo rmationreSouthbound InterfaceCont rol and Data Planes SeparationData Plane(For wa rdingHa

2、rdwa re)Data PlaneData Plane(For wa rdingHa rdwa re)(For wa rdingHa rdwa re)Data Plane(For wa rdingHa rdwa re)5Programmable Control PlaneProgrammable Control PlaneSDN核心理念 控制和 转发分离 成功？开放的API集中控制6SDN的背后要求按需索取，动态管理云计算控制和转发分离计算 存储 虚拟化 网络 控制层面可以摆脱对传统网络设备的依赖， 迅速发展 集中控制SDN Ser vices,SDN LanguageAppsApp API

3、sEast-west InterfaceNor thbound In terface方便对池化的资源进行灵活的控制和监管SDNNetwork OSNetwork OSCarriersInfrastructu reInformationSouthbound In terfaceControl and Data Planes Separation开放的APIData Plane(For wardingHardware)开放 统一的南向和北向接口将催生成熟的产业链Data Plane (For wardingHardware) 7 Data Plane(For wardingHardware) Da

4、ta Plane(For wardingHardware)Programmable Control PlaneControlProgrammableControl PlaneControlNFVNFVNetwork Functions VirtualizationNVNetwork VirtualizationVPNVirtual Private NetworkMulti-tenantOverlayVNFVirtualised Network Functions8NFV ArchitectureOSS/BSSService,VNF&I nfrastructure Description9Orc

5、hestratorNFVINFV M&OVirtualised Infrastructure ManagerVNFManagersVNFEMS 1EMS 2EMS 3VNF 1VNF 2VNF 3Hardware ResourcesComputing HardwareStorage HardwareNetwork Hardware Virtual Compute Virtual Storage Virtual NetworkVirtualisation LayerOpenStackYour ApplicationsOPENSTACKCLOUD OPERATING SYSTEMAPIsCompu

6、teOpenStack Shared ServicesStandard Hardware10StorageNetworkingOpenStack Dashboard网络虚拟化控制/管理转发/隔离功能/架构采用需要11云计算 NFVOverlay网络虚拟化 SDN目录12SDN Cont roller集群部署方案以及优化 SDN部署实际案例 SDN & NFVVCF（Virtual Converged Framework）用户上层应用系统Open APIIntelligent Management Center（iMC） Endpoint Service Management（ Network

7、Service Management（ Cloud Service ManagementESM） NSM） （CSM） 资源 管理层服务编排Orchestration (设计&交付)资源池化，IT基础服务单元 (OpenStack Embedded)Endpoint IntelligentCenter（VCF-EIC） Cloud IntelligentCenter（VCF-CIC） 融合 控制层Virtual Converged Framework Controller（VCFC） 经典网络OpenFlow网络VNF端点计算 FlexServer存储 FlexStorage基 础承载层VSR

8、 vAC vBRAiNodeCVKAppEADVDIAppBYODAppAppOSCompute UnitOSOSOSUIS13X86 hardwarevLB vFW vIPS VPNSVCF Architecture 商业模型VC F APP Oriented Comm. & Sec.APP DeliveryAPP ProvisionESM+NSMNSMNSM+CSMiMC Platfo rmiMC Platfo rmiMC Platfo rm14 RTLBNetworkDiskDiskDiskCompute/StorageFWSWSWVMVMVM NetworkLBRTFWSWSW RTN

9、etworkFWLBSWSWCICVCF ControllerVCF ControllerVCF ControllerEICEndpoints/users浙江政务云Public CloudInternetPublic ServiceSharedProvincial Gover nment ExtranetZoneZoneProv incial Gove rnmentCloudMunicipal Government CloudMunicipal Government CloudMunicipal Government Cloud15Governm ent C loud Pub lic Serv

10、ice Zone (Virtua l Private Cloud)浙江政务云Cloud Service Catalog Tenant Sign upTenant Sign upTenant Sign upTenant Sign upTenant Sign upTenant Sign upTenant Sign upSign upTenant UUIDCreat e Net workApply for VMApply for StorageApply for DBApply for LBApply for FirewalliMCIT/DCAdministra tor CICS12500-xVMV

11、MVx LAN Net w orkVMVMS6800ToRToRLB(L5000)FW(M 9000 )Rou terWANServerVXLAN VTEPVXLAN GWVXLAN IP GW16DB Bare metal ServerIPSt orage DevicesH3CvSwi tchStorageCVMCompu terHP CSA（HP ES） VCF ControllerClust erOpenStack Net workCompu t erSt orageTenantVCF ArchitectureTechnical Solution for IaaS Cloud Platf

12、ormiMC CSM（Cloud Srevice Management）组件 iMC Computer and Storage ManagementiMC Platform (FW Manager)iMCFor wa rding Policy / Cont rol ManagerVCF Controller ClusterRuntime Topology / Logical Unit ManagerCVMFlareNetconfRestfulOpenFlow + OBare metal ServerH3C vSwitchH3C vSwitchVXLAN VTEPVXLAN GWHypervis

13、orHypervisorWANVXLAN IP GW17VMVMVMVMVMVMRouterFWLBVLOpenFlow + NetconfS12500-XS12500-XS-DBVxLAN Net workLeafLeafLS6800CICNova Computer APICVM Plug-inCinder Storage APICVM Plug-inNeutronNetwork APIVCF Controller Plug-inOpen Stack腾讯数据中心H3C key deli verables forTencentTencentH3CSolution forTencentH3C k

14、ey deli verables18VxLAN VTEPOpenFlow + OVS-DBVirtual DeviceOpen v Swi tchVMOpenFlow + NetconfPhysical DeviceRestfulDomain ControllerMatrixVCFInterfaceCont rollerVCF Controller ClusterInfrastructure ResourceOpenStack InterfaceManagementOpen v Swi t chS12500-X（Arad+） VxLAN IP GWp Swit chVx LAN GWp Swi

15、 t chFor wa rding Policy / Cont rol Manager RuntimeTopology / Logical Unit ManagerFlareiMC VFMVx LAN ManagerTencent Cloud Platfo rm腾讯数据中心iMCiMC VFM：VxLAN ManagerForwarding Policy / Control ManagerVCF Controller ClusterRestful InterfaceRuntime Topology / Logical Unit ManagerFlareOpenFlow + NetconfL3

16、GatewayVxLAN NetworkOpenFlow + OVS-DBTencents ProductsL3LeafLeafLeafRouterL2Tencent vSwitchTencent vSwitchWANVXLAN VTEPVXLAN GWHypervisorHypervisorVXLAN IP GW19VMVMVMVMVMVMS12500-XS12500-XMatrixTencentCloud Platform目录20SDN Cont roller集群部署方案以及优化 SDN部署实际案例 SDN & NFVController软件架构21KeystoneREST API she

17、ll Frame workGUI shell Frame w orkPostgreSQLAudit LogAlertsAppTopologyDe velopmentZoo keeperTeamingDiscoveryNetConfOpenFlowCassandraOSGiRabbitMQJava (1.7/64bits)OS (Linux 64bits)Controller逻辑层次配置管理层22UI界面 集群管理 软件管理 北向接口层Restful APIJAVA/C/C+嵌入式API内置应用层L2网络L3网络Overlay网络服务功能链基础网络层拓扑管理主机管理设备管理 链路管理连接管理流表

18、管理 抽象逻辑层SAL南向接口层BGP/BGP-LS/PCEPNETCONF/XMPPOVSDB/SNMP/CAPWAPOPENFLOW 1.0/1.3报文收发QoS管理 IPv4协议路径计算 转发管理 IPv6协议Overlay处理流程1：packetIn3：packetOut2：Set FlowvSwitch1vSwitch2vm1 vm2 23Cont rollerController的控制能力Controller Cluster24Controller的处理瓶颈：首包上送的处理能力（路由计算+流表下发） 一个Host节点一般有1个vSwitch，可以起20-30个vm，每秒可能产生 5

19、00个以上的新流 500K TPS的性能，对应的上限是1000个Host1000 ?Controller Cluster部署方案RegionLeaderLeaderLeaderRegionRegionMemberMemberMemberMemberMember25Team管理功能和结构Team内成员管理Leader选举Team上报TeamZookeeper26APP4APP3APP2APP1Team的功能实现Team内成员管理 上报Team Leader选举当Team模块通过zookeeper的watch机制感知到集群成员信息变化或leade r 信息变化时，会给所有加入Team的成员进入Te

20、am：首先将本成员节点信息保存到zookeeper上，同时设置watch，从zookeeper中读取现有成员信息，其他成员通过watch机制感知成员加入。 leader角色的成员进入Team后，检测Team是否已选出leader，如果leader 不存在， 触发选举流程， 首先从zookeeper中读取出所有成员的信息， 根据成员的优先级，从中选出优先级 最高的leader，并将该leader信息保 存在zookeeper中， 其他成员通过watch机制感知leader变化。 模块上报，其中包括：Team的状 成员离开Team：成员由于故障或其他原因离开 Te a m ， 该 成 员 在zoo

21、keeper上Session信息会被老化， 导致该成员的节点信息被删除，其他成员通过watch机制感知成员离开。 27Team内的HABUSKeyStore 提供数据批量备份功能 28HA对App是不可见的，即App使用最简洁的接口完成数据同步 目标提供数据实时备份功能 BUSSDN controller 1SDN controller 3SDN controller 2 APP2 APP1 APP2 APP1 APP2 BUSBUSBUSBUSBUSBUS消息的过程是通过watch机制感知到节点变化后，将对应节点数据读出来。 29bus通道给应用模块提供了实时消息的分发和接受处理机制，不同APP的bus通道彼此独立。 发送的bus消息，实际上就是在zookeeper中创建一个数据节点，其他成员的接收Zoo keeperZoo keeper