行业研究03-overlay网络技术探索

2,云计算时代已到来,随着企业业务的快速扩展需求，IT做为基础设施，快速部署和减少投入成为主要需求，云计算可以提供可用的、便捷的、按需的资源提供，成为当前企业IT建设的常规形态，也催生了一批以提供云服务为主的高科技公司。,云计算虚拟化所面临的挑战,管理界面,迁移控制,网络控制节点分散,VM之间交换通过内部vswitch服务器由主机人员管理主机人员无法精细管理网络vswitch网络人员无服务器进入权限,解决思路,VM迁移，要求控制策略一致网络控制无法跟随VM迁移,解决思路,网络感知VM迁移过程VM向网络申请资源网络与VM关联控制,VM接入网络需要控制网络规模扩大使得控制点分散网络控制点多，管理复杂,解决思路,简化网络架构VM控制上移集中控制,明确管理边界强耦合变为松耦合,传统解决方案,网络设备虚拟化各厂家私有的VSU/VSS等网络虚拟化技术，虽然可以简化部署、同时具备高可靠性，但是对于网络的拓扑架构有严格要求，同时各厂家不支持互通，在网络的可扩展性上有所欠缺，只适合小规模网络部署，一般只适合数据中心内部网络。,传统解决方案,网络大二层技术新出现的大规模二层网络技术TRILL/SPB/FabricPath等，虽然能支持二层网络的良好扩展，但对网络设备有特殊要求，网络中的设备需要软硬件升级才能支持此类新技术，带来部署成本的上升。,*Trill协议将所有网络节点参与到每个RB的分发树的计算中，如上图，第一棵是以RB1为根的红色分发树，第二棵是以RB5为根的绿色分发树。,传统方案无法解决的问题,业务规模受网络设备规格限制云业务中虚拟机的大规模部署，使二层地址（MAC）表项的大小限制了云计算环境下虚拟机的规模，特别是对于接入设备而言，二层地址表项规格较小，限制了整个云计算数据中心的业务规模。不能适应大规模租户部署云业务需要大量租户之间的隔离，当前的主流二层网络隔离技术为VLAN，但是在大量租户部署时会有所限制。一是VLAN可用的数量为4K左右，远远不能满足公有云或大型私有云的部署需求；二是如果在大规模数据中心部署VLAN，会使得所有VLAN在数据中心都被允许通过，会导致VLAN的广播数据会在数据中心内泛滥，大量消耗网络带宽，同时带来维护的困难。,云计算数据中心解决新思路OVERLAY网络,Overlay网络是一个建立在已有网络上的虚拟网络，逻辑节点和逻辑链路构成了Overlay网络Overlay网络的出现是为了实现已有网络所不能提供的功能和服务,各租户IP地址可以复用，网络规划更简单不依赖于具体物理设备支持虚拟机迁移、集群等要求二层网络的应用支持更多虚网数量，满足大型数据中心租户众多的需求,OVERLAY技术分析,VXLAN技术优势,可扩展性好：在传统网络架构上规划新的Overlay网络，部署方便，同时避免了大二层的广播风暴，可扩展性强，且业务可以在任意位置灵活部署。,部署简单由高可靠SDNController完成控制面的配置和管理，避免了大规模的组播部署，同时集中部署模式可加速网络和安全基础架构的配置，提供了可靠性和极好的扩展性。技术标准完善采用24位标识，支持千万级别租户隔离，满足云业务的大规模部署。采用通用的UDP传输协议，成熟性高。L2-L4哈希能力强，不需要对现有网络设备升级改造(GRE隧道信息的HASH需要设备特殊支持)，商用芯片支持性较为完善。,VXLAN封装原理,MACOVERUDP：在原始报文基础上增加50字节的UDP头部，其中VXLANHEADER中包含24bit的VNI标识,VXLAN控制平面,VXLAN使用UDP来封装传输虚拟机的数据流量，属于无状态协议。维护虚拟机MAC、VNI、VTEP的对应关系，称之为VXLAN转发表。知名MAC地址的报文进行IP单播转发未知名MAC地址的报文通过IP组播转发，每个VTEP都会加入一个特定的IGMP组播组。,VNI:100,VNI:100,报文,通过数据报文触发地址学习,VXLAN数据平面,VXLAN数据的传输完全基于外层报头内容进行选路，和内层原始数据无任何关系。故VXLAN协议并没有自己的数据平面，其完全依赖于隧道的数据平面。设计优势：隧道机制减少对现网的改造隧道机制都是在链路两端部署一对封装设备，故部署VXLAN只需要在虚拟机前段部署一个VTEP即可。VTEP实现也非常灵活，可以利用TOR为数据包添加VXLAN头部，也可以将其集成在服务器网卡中，或者集成在OVS中。对网络拓扑变更的快速支持点对点隧道的建立和拆除都不会产生全网范围的路由震荡，这种特性适合于业务变动频繁的数据中心场景，如新服务器或虚拟机的上线或VTEP的调整并不会对其它的链路产生影响。,VXLAN转发流程ARP请求过程1,TOR1收到ARP请求报文，将其封装为IP组播，并填充头部。L3IP网络对VXLAN多播报文进行转发,VXLAN转发流程ARP请求过程2,TOR2收到VXLAN报文，进行解封装，并将报文广播至ServerB，B收到后进行应答。TOR3进行VXLAN地址学习。同理，TOR2也会收到此报文进行VXLAN地址学习，ServerC不会应答。,VXLAN地址表,VXLAN转发流程ARP请求过程3,TOR2收到ServerB的ARP应答报文，查找VXLAN地址表成功，进行封装后单播转发L3IP网络对VXLAN单播报文进行转发,VXLAN转发流程ARP请求过程4,TOR1收到VXLAN单播报文进行解封装，并将ARP应答报文发送到ServerA，完成ARP学习。TOR1进行VXLAN地址学习。,VXLAN地址表,VXLAN部署模式,网络Overlay,主机Overlay,混合式Overlay,虚拟设备,虚拟设备,物理设备,虚拟设备,网络Overlay：路由器或交换机作为Overlay网络的边缘设备通过控制协议来实现网络构建和扩展,主机Overlay：虚拟设备（vDevice）作为Overlay网络的边缘设备利用泛洪或广播机制实现网络构建和扩展,混合Overlay：混合组网，物理设备、虚拟设备作为Overlay网络的边缘设备需要标准化协议才能完成异构设备组网及互通,目前行业内主要是基于主机Overlay的部署模式，vxlan报文的封装和解封装均是占用服务器的CPU资源。随着各网络设备厂商对VXLAN的支持，当前vxlan网络的边缘正在向网络设备迁移，本文的分析也主要集中在网络层面。,主机OVERLAY典型场景,场景：物理服务器运行多台虚机，且可能不在同一VXLAN内服务器不在同一网段内服务器内置VXLAN功能VMA1可以和VMB1实现跨三层的VXLAN通信,右图中，报文在服务器内部完成封装后，报文在物理网络中按照传统选路规则进行转发，报文到达目的服务器后再进行解决封装。,网络OVERLAY场景,场景：物理服务器运行多台虚机，且可能不在同一VXLAN内服务器不在同一网段内TOR交换机启用VXLAN功能在业内VXLAN的实现中，均是通过VLAN实例和VXLAN实例的映射关系来选择封装VTEP头部参数。,服务器A,VMA1VID20,VMA2VID30,服务器BVTEPB,VMB1VID20,VMB2VID30,VTEPAIP:192.168.1.1VLAN20VNI20VLAN30VNI30,原始报文,VXLAN报文,原始报文,VTEPBIP:192.168.2.1VLAN20VNI20VLAN30VNI30,右图中，报文在TOR输入端口进行VXLAN封装，在物理网络进行二层或三层转发后，在目的TOR的出口处进行解封装。,OVERLAY网关,VXLAN网关部署在VXLAN网络的边界，即VXLAN隧道终结点。VXLAN网关关键功能点：存在VXLAN端口和普通端口对于传统网络进入VXLAN网络的报文，根据VLANID和VNI的对应关系进行VXLAN头部封装。反之进行解封装对于不同VNI之间的VXLAN报文进行VTEP的路由转发。,任何新技术的应用都是一个循序渐进的过程，VXLAN在部署过程中，不可避免的会出现VXLAN网络和传统网络互通的需求，这就需要VXLAN网关的角色。,OVERLAY依赖技术,VXLAN对原始报文封装了50字节的头部，要求交换机或路由器的接口MTU不能小于1550字节。即需要支持Jumbo帧。VXLAN通过IP组播对VXLAN广播和多播进行转发，即要求VXLAN网络中的设备需支持IP组播功能。另外，由于不同的租户网络(即VNI)一般设计为单独的广播域(即VXLAN对应的IP组播组)，较大规模的数据中心环境则要求设备能够支持大规模的组播组数量。VXLAN设备对虚机流量的识别：在VXLAN功能上移到TOR交换机之后，就需要VXLAN设备能够识别虚机流量以便找到对应的VTEP并进行报文封装。目前，可以采用VEPA技术将虚机流量引到TOR后根据VLANID进行对应VNI封装。,OVERLAY部署架构,SDN控制器集群,捷云,RG-IONP,OpenvSwitch,OpenFlow/NETCONF/ovsdb,VxLANTOR,VxLANGW,RG-IONP,RJvSwitch,转发层,overlay构架,控制层,云平台,OVERLAY设备支撑,SDN控制器集群,捷云,RG-IONP,OpenvSwitch,OpenFlow/NETCONF/ovsdb,VxLANTOR,VxLANGW,RG-IONP,RJvSwitch,N18K核心交换机支持业界最高端口密度，单板带宽2T，单线卡最大24个40G端口，可以实现0.5us的最低转发时延，同时支持单端口200ms的大缓存设计，全冗余架构。S62系列TOR交换机，1U高度，2.56T交换容量，最多支持96万兆端口全线速，支持数据中心特性，全冗余硬件架构。,OVERLAY设备支撑,SDN控制器集群,捷云,RG-IONP,OpenvSwitch,OpenFlow/NETCONF/ovsdb,VxLANTOR,VxLANGW,RG-IONP,RJvSwitch,锐捷SDN控制器采用模块化软件架构设计，支持网络设备/拓扑管理、L2/L3通信、流表管理、虚拟租户网络等数据中心场景的特性需求。采用定制硬件平台，支持3000多软硬件交换节点，支持集群部署。,RG-IONC1000控制器,锐捷IONP控制器一览,OVERLAY实践腾讯VXLAN场景需求,每个虚拟机母机上部署OVS每个IDC模块部署一套SDN控制器集群，并部署在专用TOR下以提高可靠性VXLAN网关部署在核心交换机上，只有南北向流量才通过网关进行转发,同TOR跨VM转发,跨TOR跨VM转发,VM与物理网络间跨VXLAN网关转发,OVERLAY实践腾讯VXLAN定制开发,本项目中VXLAN网关部署在核心交换机上，由锐捷网络提供设备，并和腾讯SDN控制器对接,VXLAN网关的初始配置由SDN控制器通过Netconf接口下发SDN控制器根据VM的上下线信息通过Openflow接口向VXLAN网关下发相关流表信息OVS也是由控制器通过Openflow接口管理控制VM和物理服务器间的通信由VXLAN网关根据流表信息进行封装和解封装,OVERLAY实践Ucloud场景,Ucloud作为国内领先的云计算服务商，拥有的云资源管理平台，且采用SDN技术来实现资源的统一调配和管理。目前，Ucloud采用L2GRE技术构建租户云主机的虚拟子网，且隧道报文的封装和解封装均是在服务器的虚拟交换机KVM中执行。KVM的配置管理均有客户自研的控制器通过Openflow、OVSDB等接口控制。,OVERLAY实践Ucloud定制开发,随着云主机业务流量的增大，OVS的性能瓶颈逐渐暴漏出来，目前Ucloud正逐步将隧道功能上移到TOR