传统数据中心架构和Spine-Leaf架构

为了满足现代网络的需求，数据中心网络必须优先考虑最核心的功能，例如强大的网络带宽、高可用性、可扩展性和安全等。

在本文中，我们全面比较了两种数据中心网络解决方案：传统数据中心架构和叶脊架构。数据中心的核心

数十年来，数据中心架构一直是计算机网络生态系统的一部分。数据中心网络涵盖计算服务、数据库、IP语音(VoIP)解决方案、内容交付网络(CDN)等多种连接解决方案，是企业和服务提供商网络的核心部分。数据中心网络必须提供几个关键功能：网络带宽-特别是满足东西向流量的要求（数据中心中大部分流量是东西向的）。

注意：东西向流量表示数据中心内的服务器/应用之间的流量，而南北向流量表示出入数据中心的流量。高可用性/弹性——数据中心的每个组件都必须具有高可用性和弹性。从本地链路弹性到冗余电源和流量处理器，每个组件的设计和部署都必须考虑到弹性。可扩展性——网络本身必须能够快速扩展，尤其是水平扩展。添加新的架顶式(TOR)交换机等操作应该简单明了。安全性——安全性是设计数据中心时必须考虑的因素。从物理安全到磁盘加密和协议身份验证，必须锁定对数据中心网络的访问，仅限于授权人员。传统数据中心网络传统数据中心网络基于第二层连接，大部分使用二层交换机和至少一对三层设备，通常是路由器或防火墙。图1：三层架构上述架构通常称为三层架构（核心层-聚合层-访问层）。这是目前仍在广泛使用的首批标准架构之一，并且仍然提供一些基本功能。该架构的另一种变体是折叠核心设计，其中核心层和分布（聚合）层合并为一个：图2：折叠核心设计由于网络连接需求的快速发展，基于虚拟局域网（VLAN）标签对网络进行分段成为难题（有限的VLAN数量、依赖STP进行环路保证等），此外，二层技术也给网络带来了新的挑战，例如二层环路、缺乏负载均衡、生成树协议(STP)融合、广播风暴等，这些问题很容易导致整个数据中心网络瘫痪。下一代叶脊IPFabric数据中心基于叶脊架构的IPFabric数据中心已经存在几年了，是一种成熟且稳定的技术。该架构背后的主要概念是基于第三层技术提供可预测的网络连接参数，从而能够避免传统数据中心中的许多问题。*注：下文中的IPFabric和Spine-Leaf架构这两个术语可以互换，这里主要指的是IPFabric中的“叶”和“脊”拓扑。叶脊拓扑基于Clos网络架构（由美国工程师CharlesClos于1952年首次形式化）。其中有两个主要层：脊层（Spinelayer）-通常由至少两个三层高吞吐量交换机组成（两个用于冗余目的）叶层（Leaflayer）-通常由N个功能丰富的三层交换机组成，其中N可以是任意数字（通常是偶数，也是为了冗余）。Clos网络以及叶脊架构的主要特征是所有Leaf都连接到所有Spine，并且Leaf之间（通常）没有直接连接。图3：叶脊架构基于此架构，我们可以轻松计算所需链接的数量：S=脊数量L=叶数量CB=叶和脊之间的电缆数量链接总数=SxLxCB例如：S=4，L=8，CB=1链接总数=32个链接目前市场上有很多来自不同供应商的Spine-Leaf技术，有些是专有的（例如CiscoACI），有些是基于标准的，例如带有VXLAN封装的BGPEVPN。为了与行业标准保持一致，下文将使用带有VXLAN封装的BGPEVPN作为我们分析Spine-Leaf解决方案的依据。首先简单介绍一下前面提到的技术：BGPEVPN（边界网关协议以太网虚拟专用网络）是一种网络技术和协议套件，专为提供商和企业网络中的高效且可扩展的多点以太网服务而设计。BGPEVPN利用边界网关协议(BGP)作为控制平面，对MAC(mediaaccesscontrol)地址和IP地址信息进行分发和管理，满足虚拟化和云化基础设施的需求。BGPEVPN的一些主要特性：二层和三层多租户支持-BGPEVPN旨在支持共享网络基础设施中的多个租户或客户，适合服务提供商和有不同组网需求的大型企业。EVPN多宿主是一种基于标准的专有MC-LAG技术变体。允许不同供应商的设备之间的互操作性，从而形成更加多样化和灵活的网络环境。支持二层和三层服务-BGPEVPN能够通告MAC-IPNLRI（也称为EVPN路由类型2）和全子网NLRI（也称为EVPN路由类型5）；这两种路由类型是EVPN使用案例中最常见的。使用路由目标(RT)和路由标识符(RD)的概念识别、分类和路由过滤BGPEVPN结构，这与MPLS(多协议标签交换)L3VPN和L2VPN(使用BGP信令)网络中的概念完全相同。此特定功能允许可扩展的单Leaf-SpineBGP(MP-BGP)会话部署，如果想实现设备之间的连接，则无需配置backtobackVRF（虚拟路由和转发）BGP会话。基于标准的互操作性-BGPEVPN是基于标准的，可以实现不同网络厂商之间的互操作性。VXLAN封装：BGPEVPN通常与VXLAN封装协议结合使用，在三层基础设施上创建虚拟二层网络。VXLAN克服了传统VLAN的限制，使网络设计更具可扩展性和灵活性。VXLAN功能包括：Overlay网络-将原始数据包封装在新的MAC-in-IP标头中，完全“隐藏”原始信息让数据包能够跨越公共数据中心网络。提高可扩展性-与传统VLAN中的12位VLANID限制(4096)相比，VXLAN使用24位的VXLAN网络标识符(VNI)来扩展VLAN，并提供更大的地址空间（1600万）。这可以在大型动态环境中实现更大的可扩展性。支持MAC-IP迁移-VXLAN（与BGPEVPN）支持数据中心内的实时虚拟机迁移（例如VMWarevMotion），也可以进行跨数据中心迁移。基于标准的互操作性-VXLAN（如BGPEVPN）是基于标准的，可以实现不同网络厂商之间的互操作性。下图是VLAN到VNI（VXLAN网络标识符）映射时的VXLAN标头，仅供参考：图4：VXLAN网络标识映射时的VXLAN标头下表展示了传统数据中心和Spine-Leaf架构的比较：表1.传统DC和Spine-Leaf比较下面我们来看看两种架构分别适合哪些场景。传统数据中心vsSpine-LeafIPFabric我们将从以下方面分别分析每种架构的特征：可扩展性传统的二层数据中心架构在一定程度上是可扩展的。如果是最多100台服务器的情况下，它可以很好地完成它的工作。但如果超过这个数字，传统数据中心就开始力不从心，这主要是因为MAC地址在整个数据中心传播。在传统二层网络中，如果交换机在本地配置了VLAN，它将自动学习该广播域内的所有MAC地址并将它们存储在本地CAM（内容可寻址存储器）表中。CAM成本高昂，MAC地址数量越多，需要的资源越多，成本也越高。图5：存储所有信息的交换机CAM表除此之外，网络内的一些STP事件可能会完全刷新CAM表，这将触发整个信息集的完全重新学习，这是一个非常消耗资源的过程。另一方面，在BGPEVPNIPFabric中，MAC学习是在控制平面完成的，MAC-IPNLRI的传播由BGP处理，准确地说是通过EVPN地址族处理的。BGP本身使用RAM（随机存取存储器），这比CAM便宜得多。

此外，BGP传播的MAC信息由本地交换机过滤，只将所需的MAC地址下载到本地交换机CAM表中（CAM表仍然用于IPFabric设备以及本地MAC交换）。“所需的MAC地址”是指本地交换机上的主机想要与之通信的MAC地址。图6：MAC地址过滤-优化CAM表大小事实上，Spine-LeafIPFabric在其核心使用三层协议可以实现更高的水平扩展。二层拓扑只能在STP域允许的范围内扩展。相比之下，用作IPFabric构建块的三层协议（OSPF/IS-IS作为底层路由，BGP作为Overlay层，PIM用于BUM流量处理）的可扩展性要好得多。收敛时间

传统数据中心网络的收敛时间主要由STP决定。但是存在STP“欺骗”现象，例如链路聚合和MC-LAG/VPC，通过欺骗STP，使其认为链路不受影响，不应该发送TCN(拓扑变化通知)数据包或重新计算，从而绕过STP重新收敛。Spine-Leaf网络的收敛时间完全不同。在Spine-Leaf层，一切都基于三层协议工作，通过使用BFD（双向转发检测）协议可以将收敛时间降至100毫秒以下。图7：Spine-Leaf层Spine-Leaf的另一个巨大优势是可以将特定的Spine或Leaf与Fabric的其余部分完全隔离，以便在不影响流量的情况下完成一些操作任务（如升级、硬件更换等）。由于Spine-Leaf使用BGP和OSPF/IS-IS（或者在无IGP的场景中使用BGP代替OSPF/ISIS），因此你可以简单地操纵BGP绕过Leaf节点，也可以使用IS-ISoverload-bit/OSPFmax-metricLSA功能来实现相同的结果，并在计划工作期间将Leaf从转发路径中移除。多租户BGPEVPNVXLANIPFabric能够提供三层租户，而传统数据中心纯粹基于二层，并且只能提供VLAN分段。图8：传统DC-L2中的多租户支持，仅基于VLAN第三层多租户的工作原理与MPLS第三层VPN相同，即通过为给定租户构建和传播专用路由表信息，从而形成新的VPNv4/v6唯一前缀，并通过使用其配置的扩展社区路由目标来控制传播。图9：Spine-Leaf中的多租户支持*注意：BGP会话位于Spine和Leaf之间，该图表示从一个VTEP到另一个VTEP的BGP路由NLRI传播，但这是通过在BGPEVPNVXLANFabric内具有路由反射器功能的Spine完成的。Spine-Leaf设计在这里提供了明显的优势，因为现在三层多租户基本是必须的，而Spine-Leaf不必携带额外的路由器来处理它，它们可以在Fabric本身内进行处理。ECMP路由对于传统数据中心，不存在真正不同的链路多路径，因为STP会自动阻止两个交换机之间的独立冗余端口。这里所说的独立冗余端口是指不属于链路绑定的端口。如果想实现冗余和弹性，可以利用链路绑定，但这通常不是理想的多路径场景。

为什么说不行呢?因为它依赖的是bond的哈希算法，在许多情况下，它没有考虑到第4层报头信息(源/目的TCP/UDP端口)。这会导致该特定键中可用的X的单个链接的快速极化(过度利用)。对于BGPEVPNVXLANIPFabric，使用内部报文头信息对冗余链路上的流量进行哈希处理，通常使用以下信息：源IP、目的IP、源端口、目的端口和协议号，并且由于没有附加协议来更改链路，因此可以实现真正的ECMP。配置复杂度在前面几个方面都是IPFabric占优势，但在配置复杂度方面，情况有所不同。以CiscoNexusNX-OS为例，让我们看一下一个简单的VLAN二层服务配置在传统二层交换机（左侧）与Spine-Leaf交换机（右侧）上的情况：图10：传统二层与Spine-Leaf服务配置差异是显而易见的。传统二层：STP，链接绑定，VLAN。Spine-Leaf覆盖了以上的所有内容并且还包括：BGP（IPv4和L2VPNEVPN）、VRF，VXLAN，组播，BFD。也就是说，如果你的拓扑结构简单且非常小（例如只有一两个交换机），那么使用传统二层架构就够了。但你的拓扑非常复杂时，还是选择Spine-Leaf架构更合适。而且自动化可以帮助我们摆脱BGPEVPNVXLAN带来的复杂配置。可编程性和自动化自动化既可以用于传统数据中心技术，也可以用于Spine-Leaf，它可以给两者都带来优势。然而，由于配置数量巨大且存在错误风险（跨多个设备的配置项之间存在大量链接VNI编号，很容易输入错误），因此将其用于Spine-Leaf部署更有意义。对于传统数据中心，自动化有助于处理VLAN管理（添加、删除、交换等），与Spine-Leaf运营开销相比，其复杂性要低得多。Spine-Leaf架构的自动化有一个小优势，用于构建此类拓扑的设备默认比传统数据中心中使用