多径二层网的FabricPath简介.ppt

多路径二层网的FabricPath简介 陈刚cgang 议程 二层网络现状和面临的挑战高扩展高可用的二层解决方案FabricPath的技术细节FabricPath的部署案例FabricPath的监控与排错 SpanningTree的不足 11条物理链路 5条逻辑链路 路径选择的非最优两个网桥之间只能有单一的可达路径最短路径只是从根桥的角度去判断的带宽闲置不用为了二层逻辑拓扑不存在环路 冗余链路被Blocking链路速度越快 浪费的带宽越多控制平面缺乏安全根桥是按照switch ID选举出来的 可能因为操作不当造成故障链路故障的收敛缓慢并且不可靠即使使用RSTP 也会出现数秒的服务中断 网络设计中的困扰使用L2还是L3 Access Core Layer3Network L3 L2 简单 不需要进行地址规划和配置 不需要控制平面 用于unicast broadcast andmulticast的控制简单应用开发简单 网段分开提供了故障隔离控制平面支持多路径和多拓扑 扩展性好支持快速收敛的HA数据平面支持额外的环路避免机制l e g TTL RPFcheck etc Cisco具有足够的L2和L3技术来满足客户的需求 L3互联的数据中心在提供以下服务方面存在不足 VMWare应用 FaultTolerantVM HAVM ClusterVM HA与Cluster应用 MSMSCS OracleRAC HPTruCluster IBMHACMP 物理服务器平滑搬迁数据中心容量不足时的扩展 二层与三层网络的不同世界 如何改进二层网络 地址的编码机制 扁平 层次化需要额外的Header信息来允许L2的 路由 而不是 桥接 提供类似TTL的环路避免技术地址的学习 数据平面 控制平面不再需要每一台交换机学习所有的MAC地址来避免flooding控制平面 Distance Vector Link State提高扩展性 减少收敛时间 允许多路径 最终的解决方案应该同时考虑控制平面与数据平面 前人的努力之一 VL2 来自MS SIGCOMM2009 使用高冗余的多路径三层网络构建VirtualLayer2网络使用TCP Layer4 来管理拥塞 前人的努力之二 PMAC HierarchicalPseudoMAC 使用FabricManager来改写目的MAC地址成PMAC不需要额外的Header 内置支持Multicast 前人的努力之三 Server centricSourceRouting 使用传统的交换机平滑的性能下降 适合集装箱式的模块化数据中心 Cisco的解决之道 FabricPath FabricPath为灵活的二层桥接网络带来的三层路由的好处 配置简单即插即用 Plug Play 管理灵活 多路径 ECMP 快速收敛高扩展性 交换 路由 STPDomain FabricPath STPDomain1 STPDomain2 FabricPath在数据平面的操作 通过封装来建立层次化的地址机制 FabricPath的包头部由入口交换机产生入口和出口交换机地址用于决定 Routing L2Fabric中不需要学习ClientMAC A C S11 S42 S11 S42 S11 S42 FabricPathRouting L2Bridging A C A C A C EgressSwitch IngressSwitch FabricPath在控制平面的操作 使用Plug N PlayL2IS IS来管理转发拓扑 自动为所有的FabricPathenabledswitches分配地址 不需要用户配置 计算最短路径支持任意一对FabricPath交换机之间的等价路径 L1 L2 S1 S2 S3 S4 S11 S12 S42 L2Fabric L3 L4 FabricPathRoutingTable FabricPath的环路避免 使用TTL和RPFCheck来减少loop的影响 STPDomain Block冗余路径来防止环路一旦STP失败 以太帧会一直LoopFlooding可能引起全网异常 Root TTL 3 TTL 2 TTL 1 TTL 0 TTL是FabricPath头部的一部分每一跳减去1当TTL 0时 数据帧被丢弃基于 树 信息为组播进行RPF检查 Root M S2 FabricPath的技术细节 FabricPath的数据帧封装 CiscoFabricPathFrame Classical EthernetFrame OuterDA 48 OuterSA 48 FPTAG 32 CRC New 使用16字节的头部来建立层次化的地址空间 从而实现增强的特性 SwitchID 用于识别L2Fabric每一台设备的唯一号码PortID 用于提供L2Fabric边界的MAC to Interface关联信息TreeID 帮助识别每个分布层 Tree 的唯一号码TTL 每一跳递减 以防故障造成的数据帧无限Loop Lengthsforallfieldsareshownin bits FabricPath的 路由 计算 Layer2IS IS 只需要很少的了解 缺省不需要用户的配置 maintainPnPnatureofLayer2基于ISO IEC10589可扩展的协议设计 允许Layer2信息通过IS IS交换Single levelIS ISwithsupportforP2Plinks为转发流量计算转发信息支持ECMP的Link state协议 提高故障检测 网络恢复 高可用 L2Fabric FabricPath的技术细节 FabricPath的 路由表 包括L2Fabric中用于转发L2单播流量的信息 已知的单播地址OneIngressSwitch OneEgressSwitch根据destinationSwitch ID选择转发路径L2Fabric中的每一台交换机根据从L2IS IS接收到的信息计算本地交换表交换表包括 Switch ID OutputInterfaces 等基本信息对于指定的Switch ID 最多可达16个 Next hopInterfaces i e L2ECMP S100 S200 FabricPath的技术细节 边界交换机的MAC学习 500MACs 500MACs 500MACs 500MACs 250MACs 250MACs 250MACs 250MACs 每一台交换机学习所有的MACs大型的L2domain网络和大量的虚拟化给MAC表的扩展性带来挑战 STPDomain LocalMAC 只有从CE端口接受到数据才学习Source MACRemoteMAC 只有当Destination MAC已经作为Local时 从FabricPathPorts接收数据时才学习Source MAC S11 优化资源利用 只学习需要的MAC地址 HostA与C通讯的过程 一 FabricPath对广播的转发 L1 L2 L3 L4 A B C L8 L5 L6 L7 L9 L10 L11 L12 S1 S2 S3 S4 S11 S12 S42 L2Fabric A FF HostA与HostC第一次通讯 向C发送ARP请求 S11把A加入MAC表 因为是来自CE端口的源地址学习由于目的MAC是 AllF S11向所有的CE端口Flood该数据包 同时 S11选择 Tree1 在FabricPathheader中记录并floodsthisframe到所有属于 tree1 的FabricPathports L1 L4 S1继续基于本地的 tree1 信息floodthisframe L5 L9 S12与S42移除FabricPathheader并且向所有CE端口floodtheframe A FF A FF 1 1 3 1 NoLearningonRemoteMACsinceDMACisunknown Decap Decap Encap HostA与C通讯的过程 二 FabricPath对未知单播的转发 L1 L2 L3 L4 A B C L8 L5 L6 L7 L9 L10 L11 L12 S1 S2 S3 S4 S11 S12 S42 L2Fabric A C HostC向HostA送回ARPReply S42从CE端口根据源地址学习原理将C加入MACTable由于Aisunknown S42向所有CE端口floodsthisframe 同时 S42根据选择的 Tree1 在FabricPathheader中记录并且向所有的FabricPathports L9 floodsthisframe S1继续顺着 tree1 floodsthisframe L1 L5 S11继续顺着 tree1 floodsthisframe L2 L4 同理 移除FabricPathHeader S11发现目标地址A已经是本地学习的 于是将C作为RemoteMAC加入表格并且与S42相关联 MISS Encap Decap A C C A 1 1 3 1 Decap HIT HostA与C通讯的过程 三 FabricPath对已知单播的转发 L1 L2 L3 L4 A B C L8 L5 L6 L7 L9 L10 L11 L12 S1 S2 S3 S4 S11 S12 S42 A C HostA在解决ARP之后向HostC发送数据流 S11发现C已经作为remote学习了 并且和S42关联 对到C所有后续进行封装 在FabricPathheader中将S42作为目的地址 S4的 路由表 显示L12asnexthopforS42 S42发现自己是FabricPathheader的目的地 并且C是本地已知的 于是 将A作为remote加入表格 并且与S11关联 Decap Encap A C HIT S11的 路由表 显示到S42有多条路径 执行ECMPhash算法 选择L4作为next hop 1 1 3 1 L2Fabric HIT FabricPath的配置 不需要L2IS IS配置新的 feature set 关键词会自动将FabricPath需要的多个Service同时打开 e g L2IS IS LLDP etc 非常简单的操作 只需要3条命令让FabricPath跑起来 L2Fabric N7K config feature setfabricpathN7K config vlan10 19N7K config vlan modefabricpathN7K config interfaceport channel1N7K config if switchportmodefabricpath FabricPath与TRILL的关系 FP PreStandardTRILL FP EnhancedTRILL TRILL帧格式 FabricPath帧格式 16ECMP TTL RPF ConversationbasedMAClearning CEInter OP Multi Topo E TRILL与802 1AHTRILL进入SP市场还有哪些障碍 E TRILL帧格式 802 1ah帧格式 Eth 1ah I SID CMACDA PCP R I SID OuterMACDA OuterMACDA OuterMACSA OuterMACSA Eth 0 x88a8 BVLAN CMACDA CMACSA CMACSA Eth 802 1Q CVLAN Payload Payload Eth PR TAG SID CMACDA PCP TTL SID OuterMACDA OuterMACDA OuterMACSA OuterMACSA Eth 0 x88a8 OuterVLAN CMACDA CMACSA CMACSA Eth 802 1Q CVLAN Payload Payload 另外的L2扩展技术 OTV的MAC路由 OTV OTV OTV OTV MAC1 MAC3 MAC1 MAC3 MAC1 MAC3 WestSite MAC1 MAC3 EastSite 二层查找目的MAC MAC3通过IPB可达 边界设备封装以太网帧 骨干传输网将数据包分发到siteEast siteEast的边界设备接收并解开数据包 查看原始帧的Layer2信息 MAC3是本地MAC 该以太网帧被发送到目的地 3 6 IPA IPB 当vPC遇上FabricPath FabricPath下的增强版vPC 对于位于L2FabricEdge的所有交换机为了给dual homed的CE设备提供active activeL2paths 仍然需要vPC然而 MACTable只允许MAC和SwitchID的1 to 1mapping 对L2Frabric的其余部分而言 每个vPCdomain代表了一个unique VirtualSwitch VirtualSwitch 的SwitchID在FabricPath封装中作为源地址 L2Fabric S1 S2 A B S3 vPC FabricPath使用案例 高性能计算 32Chassis 16Chassis 16 wayECMP 8 19210GEports51210GEFabricPathportspersystem 25610GEFabricPathPorts 160TbpsSystemBandwidth OpenI OSlotsforconnectivity SpineSwitch EdgeSwitch 16 portEtherchannel FabricPath HPC的需求HPCClusters需要高密度的计算节点尽可能小的over subscriptionservertoserver延时很低 FabricPath给HPC带来的好处FabricPath适合建设高密度的fat treenetwork通过FabricPathECMP port channels达成Fullynon blocking通过减少交换机的HOP跳数来降低servertoserver的延迟 FabricPath使用案例 为2048台万兆服务器扩展带宽 带宽性能提升16X需要管理的设备从74减少到12台设备网络可用性增加2X 简化IT操作 传统基于SpanningTree的网络 基于FabricPath的网络 FullyNon Blocking 2 048Servers 8AccessSwitches NetworkFabric 64AccessSwitches2 048Servers BlockedLinks Oversubscription16 1 8 1 2 1 4Pods FabricPath的排错 提高Layer2的可视化 利用为三层技术设计的相同工具RoutingtableLink statedatabaseDistributiontreesECMPpathselectionPong L2Ping TracerouteProvideinfoonalldevicesona