Nexus交换机,有什么不一样

Nexus交换机，有什么不一样

唐向恩晓通网angxe@xiaotong.数据中心网络整合

-简化布线，降低能耗EnhancedEthernetandFCoEEthernetFCLANSANBSANA传统的技术，需要维护以太网络和存储网络两张网，成本高Nexus，通过FCoE技术，在万兆以太网中同时承载数据和存储LANSANBSANANexus5000FCoE每台服务器4个以太网口，2个FC口，6根线缆每台服务器2根万兆网线，2根线缆NexusVPC技术，两条链路都被利用起来L2生成树STP，一半的链路没有跑流量是不是一直被二层网络困扰？

跨机箱链路捆绑(vPC)大大减少网络出现环路，导致广播风暴的机会物理拓扑逻辑拓扑

传统的网络，一半的链路是因为生成树协议被自动关闭的有了Nexus交换机的vPC技术,双倍的上联带宽和扩展性一不小心没配置好，网络出现环路，广播风暴产生，断网有了Nexus交换机的vPC技术,没有环路的二层网络数据中心网络设备这么多怎么办？

数据中心交换机多合一(FEX)传统技术，几十个机柜，几十台交换机要管理：VLAN，QoS，ACL…NEXUS交换机的FEX技术：Nexus2K作为Nexus5K/7K的远程板卡，整个数据中心可能只需要只需要管理2台Nexus5K/7K，实现统一配置和管理，减少出错概率服务器都虚拟化了，怎么把交换机虚拟化

数据中心交换机一分多(VDC)NexusVDC交换机虚拟化Layer2Protocols800LXCCPLACPSTPPVLANVLANUCLDLayer3ProtocolsSNMPHSRPPMEGRPBGPOGPFCTS800LXCCPLACPSTPPVLANVLANUCLDSNMPIGMPHSRPPMEGRPBGPOGPF生产网办公网研发网测试网InfrastructureKernelLayer3

ProtocolsLayer2

Protocols原来必须分开的很多张网络生产网ProdDMZExtranet办公网研发网Aggregation

CoreAccessSwitch1Switch2测试网AccessSANLANLANVDCStorageVDCAggregationLANVDC减少设备开支降低维护成本和能耗客户能够得到的好处按需弹性的部署各种网络软硬件的故障隔离将一台Nexus7000交换机分成逻辑上的很多台交换机，提高设备利用率怎么实现网络带宽将来的扩容？

构建大规模虚拟化网络架构(FabricPath)整个网络的流量压力都压在两台核心交换机上最后核心不堪重负,只能买新设备然后断网升级IS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISIS-ISFabricPathFabricPath传统技术IS-ISIS-IS传统技术按需增加核心，不再会把所有业务压在1-2台核心

16倍的网络扩展性，大幅减少MAC地址表的消耗IS-ISIS-IS怎么让网络能识别虚拟的流量？数据中心网络虚拟化整合(VN-link虚机感知)分布交换机/Nexus1000VNexus5500软件交换

硬件交换无标记(802.1Q)基于标记(802.1Qbh)部署灵活高性能HypervisorServerVM#1VM#4VM#3VM#2NICLANNexus1000VNexus1000VHypervisorVM#4VM#3ServerVM#2VM#1NIVadapt.Nexus5000NIC基于策略的虚机连接随虚机流动的安全策略怎么实现双活数据中心？

数据中心网络虚拟化整合(OTV)传统技术，如果两个数据中心之间跨过很多路由器，IP地址段一定不一样，导致业务（例如虚拟机）迁移到另一个数据中心，IP地址得变，业务的中断有了Nexus的OTV技术，能够让两个数据中心处于一个地址段，实现业务从市区机房的服务器“飘到”郊区机房的服务器，IP地址不变，业务不断，真正实现“双活”Nexus交换机OTV技术一瞥让处于两地，中间跨越了很多个路由器的两个数据中心，能够共享一个IP地址段，方便业务迁移Server1MAC1Server2MAC2OTVOTVMACIFMAC1Eth1MAC2IPBMAC3IPBIPAIPBEncapDecapMAC1MAC2IPAIPBMAC1MAC2MAC1MAC2Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……SAN生产中心SAN异地灾备中心SAN同城备份中心IP骨干网OTV在同城OTV在异地V-MotionClustersV-MotionV-Motion链路虚拟化VPC汇聚虚拟化N5K/N7K+N2K核心交换机虚拟化VDC超级交换机虚拟技术FabricPath160T多数据中心虚拟化OTV总结：传统交换机在数据中心里遇到了哪些问题1是不是一直被二层网络困扰？2数据中心网络设备这么多怎么办？3怎么实现交换机虚拟化？vSwitchvSwitchVLAN

101vSwitchNexus1000V网络对虚拟的识别VN-Link5怎么让网络能识别虚拟的流量？4怎么实现网络带宽将来的扩容？6怎么实现双活数据中心？Nexus5500融合网络FCoEDFA自动化

Nexus7000/7700,VDC,FCoE,FabricPathNexus3000高密度万兆以太网

Nexus2000FEX扩展Nexus交换机产品线全家福

Nexus5600ApplicationCentricInfrastructure

Nexus9000APIC*AVS*ACINEW!Nexus3100

Nexus6000主打高密度40GNexus1000V软交换机开放APIs/开源/应用策略模式高性能的网络1/10/40/100GE弹性而且安全系统分区VXLAN全新的ACI架构实现客户数据中心的全方位需求弹性可扩展的网络负载在DC内和DC间自由迁移存储网络和数据网络的整合运行的高效性架构的灵活性Nexus交换机卖点，什么情况下卖什么Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……Layer-2ProtocolsLayer-3ProtocolsVLANmgrSTPOSPFBGPEIGRPGLBPHSRPVRRPUDLDCDP802.1XIGMPsnoopLACPPIMCTSSNMP……ProtocolStack(IPv4/IPv6/L2)RIBRIB1RIBn……SAN生产中心SAN异地灾备中心SAN同城备份中心IP骨干网OTV在同城OTV在异地V-MotionClustersV-MotionV-Motion链路虚拟化VPC汇聚虚拟化N5K/N7K+N2K核心交换机虚拟化VDC超级交换机虚拟技术FabricPath160T多数据中心虚拟化OTV回顾：传统交换机在数据中心里遇到了哪些问题1是不是一直被二层网络困扰？2数据中心网络设备这么多怎么办？3怎么实现交换机虚拟化？vSwitchvSwitchVLAN

101vSwitchNexus1000V网络对虚拟的识别VN-Link5怎么让网络能识别虚拟的流量？4怎么实现网络带宽将来的扩容？6怎么实现双活数据中心？常规方案描述：选用6509作为园区网核心，通过10GE与汇聚互联；汇聚层使用Cat4507R且配置双引擎；服务器区一般采用Cat4948作为服务的接入。该方案的性价比较差，很难与友商抗衡现阶段Commercial市场园区网普遍的应用场景三层结构，核心到汇聚采用10G，汇聚到接入采用1G，汇聚单机双引擎配置10GE

1GE图例广域网FW-1FW-1‘服务器区汇聚接入交换机接入区

OSPF40GE模块化交换机……园区汇聚1

园区汇聚8

园区核心参数对比9槽14槽10槽12槽高度14RU16RU14RU16RU业务板卡槽位812810单系统交换容量(Tbps)1.44Tbps2Tbps17.92Tbps3.84Tbps单系统包转发率(Mpps)480134457602880最大线速的10G端口数量3296384192Catalyst6509-EH3C10508Huawei9312价格对比Catalyst6509华为S9312华三S10508华三S7510E机箱+双引擎+交换矩阵+风扇¥1,080,998.00¥295,000.00¥720,000.00¥490,000.0016个10G光口+48个1G电口¥769,860.00¥620,300.00¥508,000.00¥379,000.00冗余电源¥98,280.00¥132,000.00¥100,000.00¥56,000.00产品总价¥1,949,138.00¥1,047,300.00¥1,328,000.00¥925,000.00H3C7510E我们面临的挑战：整机性能、端口密度、设备成本目前Commercial市场的交换机总体竞争背景目前Commercial市场来自于园区网的竞争压力巨大园区网核心交换机竞争主要来自国内厂家H3C,Huawei园区网实际需求上的功能性差异化较小，并且公开招标不允许厂商特殊的功能性存在，用户通常接受通用的物理参数比较，如交换容量、转发性能、端口密度等目前友商的核心交换机产品交换容量通常为>10Tbps以上，思科传统的Catalyst交换机在硬件指标上差距明显，而采用数据中心交换机N7ＸＸＸ或者N77ＸＸ，则价格上的差距较明显。对于一些行业的大型园区网（部署数百台交换机），整机性能、端口密度、设备成本成为考虑的重要因素。参数对比10槽10槽10槽10槽高度21RU17RU22RU14RU业务板卡槽位8888单系统交换容量(Tbps)9.9Tbps32Tbps20Tbps17.92Tbps单系统包转发率(Mpps)5760960057605760最大线速的10G端口数量384384384384Nexus7010H3C10508Huawei12808项目/型号Nexus7010华为CE12808华三S12508华三S10508机箱+双引擎+交换矩阵+风扇¥1,441,440.00¥2,525,400.00¥1,290,000.00¥720,000.00功能软件¥573,300.00¥274,600.00¥300,000.00¥0.0048个10G光口¥720,720.00¥1,240,000.00¥1,180,000.00¥750,000.00冗余电源¥196,560.00¥100,000.00¥80,000.00¥100,000.00产品总价¥2,932,020.00¥4,140,000.00¥2,850,000.00¥1,570,000.00H3C12508另外的选择：N7K方案描述：选用7010作为园区网核心，通过10GE与汇聚互联；汇聚层使用Cat4507R且配置双引擎；服务器区一般采用Nexus7010虚拟化方式作为服务的接入。三层结构，核心到汇聚采用10G，汇聚到接入采用1G，汇聚单机双引擎配置10GE

1GE图例广域网FW-1FW-1‘服务器区汇聚Nexus7010接入交换机接入区

OSPF40GECat4507……园区汇聚1

园区汇聚8

Nexus7010园区核心Cat4507Nexus7010现阶段应用场景的应对方案引导VDC我们一直在强调思科产品的稳定性和可靠性、丰富的Feature,以及最佳实践的设计但是整机性能、端口密度、设备成本通常是用户决定的硬指标我们还有什么更好的武器？48/96port4slot(Q2CY’14)8slot16slot(Q2CY’14)高度2/3RU6-7RU13RU21RU业务板卡槽位1GEM4816单系统交换容量(Tbps)NA15Tbps30Tbps60Tbps最大线速的10G端口数量485761152Future最大线速的40G端口数量12144288576可升级到ACI矩阵模式✔✔✔✔N9K产品系列Nexus9396PXNexus93128TXNexus9504Nexus9508Nexus9516NexusM12PQNexus9508H3CS12510-XHuaWei

CE12808说明整机交换容量（bps）30Tbps35Tbps32T交换容量设计指标接近，标书参数引导>=30T引导用户看线卡转发能力和端口密度单槽位带宽（全双工）3.84Tbps目前每槽位支持1440G（单向）转发能力3.5Tbps目前每槽位支持960G（单向）转发能力4Tbps目前每槽位支持960G（单向）转发能力业务板槽位数量8108设计紧凑，单板密度高单槽位最大包转发率2160Mpps(36口40GE全线速）1200Mpps（24口40GE全线速）1200Mpps（8口100G全线速）40GE板卡最大24口用户实际获得的转发性能指标，单槽位领先对手80%，整机领先对手44%（H3C），领先80%（华为），整机端口密度领先20%（H3C），领先50%（华为）整机包转发率（pps）17280Mpps（全线速）12000Mpps（全线速）9600Mpps(全线速）整机40G端口密度288240192整机10G端口密度1152（1转4）384960（1转4）480768（1转4）384高度13U21U17U单个机架可以最大安装3台，设计紧凑，节省空间。业务板板卡类型36口40GE板

48口10GE+4*40GE板48口千兆板

24口／48口万兆板卡

12口／16口／24口40G板卡

4口/8口100G板卡48口千兆板

24口／48口万兆板卡

24口40G板卡

4口／8口100G板卡我们没有专门的GE板卡，现阶段10GE需要用一转四，布线推荐用专用的线盒，方案设计上需要注意N9508和友商指标对比和说明——重点部分N9K产品性能卓越Nexus950813RU高（标准机柜最大可放置３个）30Tbps交换能力单机目前可达到288个40G

（1,152个10G）硬件预留100G高密度连接及电力供应控制引擎带有４核CPU和64GBSSD48ports10GSFP+&4ports40GQSFP+48ports1/10G-T&4ports40GQSFP+(无阻塞全线速)1/10G高密度接入和10/40G汇聚板卡36口40GQSFP+(无阻塞全线速)高密度40G板卡整机实测23Tbps（双向）无头阻塞线速转发Nexus®9508switch满配288个40GE端口:所有端口在单播流量100%负载下线速转发所有端口在组播流量100%负载下线速转发所有包尺寸下均达到线速

(64到9216Bytes)超低延迟测试结果:单播流量100%负载下延迟:1.6usec(64-Bytepackets)3.5usec(9216-Bytepackets)组播流量100%负载下延迟:1.6usec(64-Bytepackets)3.5usec(9216-Bytepackets)业界最高密度10G/40G交换机高性能、低延迟，全业务线速无阻塞转发同类产品中性价比最好网络的发展趋势——迎接40GE时代的到来引导用户对于新建网络在布线和网络基础架构设计中考虑40GE的支持在核心和汇聚之间（多模短距）部署40GE互联时推荐采用BiDi模块思科创新技术BiDi

QSFP40-GbpsBiDi收发器有两个20-Gbps通道,每个以两个波长同时发送和接收（目前仅工作在全双工MMF，使用ＯＭ3光纤可达到100米）传统的40G部署MPO-12连接器传统模式：需要使用４对光纤，并改造全部布线系统:跳线、配线架、干线光纤…BIDI模式：仅使用１对光纤，不需要改造现有布线系统简单的跨越单端口可节省2/3多成本10G40GN9K/N7K/N6K/N3K平台均支持BIDIBiDi单模长距年内会支持！Nexus

3172Nexus3064-XH3CS5820V2-52QFHUAWEICE6850-48S4Q-EI整机交换容量（bps）1.44Tbps1.28Tbps1.28Tbps1.28Tbps整机包转发率（pps）1Bpps（全线速）960Mpps(全线速）960Mpps(全线速）960Mpps(全线速）整机40G端口密度6444整机10G端口密度48484848单机（不含SFP）列表价格¥507，320¥425，264¥523，000¥664，146汇聚层设备N3172和友商指标对比和说明华为和H3C只有对应思科N3064-X的产品，没有对应N3172的产品如果引导到汇聚层配置>4个40GE（汇聚层的收敛比达到2：1），则华为和H3C需要通过堆叠方式对应园区网引入N9K后的总体定位重点强调N9K两个高密度汇聚能力：

高密度的10GE汇聚能力(单块板卡提供36*4=144个10GE，整机1152个（N9508）)

高密度的40GE汇聚能力(单块板卡提供36个40GE，整机288个（N9508）;

两种方案设计：方案一：核心+接入两层结构（高密度10GE汇聚）方案二：核心+汇聚（双机单引擎）+

接入三层结构（高密度40GE骨干连接）

汇聚层产品建议采用N3172（迫使友商使用堆叠产品）

价格竞争策略：在核心交换机层面获得技术指标和价格方面的优势在汇聚层和接入层交换机争取做到与友商价格持平典型需求：新建20-30层办公大楼，30-40个楼层配线间。两层结构，楼层接入直接连接大楼核心。应用场景一广域网FW-1FW-1‘服务器区接入

核心

10GE

GE图例40GE方案描述:1.核心采用两台N9508加上36口40G的线卡2.接入层采用C2960X，通过10GE与核心互联3.服务器区采用N6001，通过FEX进行扩展思科优势：2台核心交换机，要求双引擎，40G端口≥8个，10G端口≥48个。通过N9K的高密度36口40G线卡增加对手价格40台接入交换机，要求10G端口≥2个，10/100/1000M端口≥48个。服务器采用双网卡上联，服务器接入交换机采用40G上联，满足30台1/10G电口和30台1/10G光口服务器接入。增加对手价格。vPC竞争方案N9508C2960XC6509EC2960XC6807C6800IAC6807C2960XN7010C2960X核心$740,328.50$930,694.98$1,006,461.48$989,661.48$928,598.08接入$345,248.40$345,248.40$369,168.96$345,248.40$345,248.40服务器区$227,618.76$227,618.76$227,618.76$227,618.76$227,618.76小计（不含光模块）$1,313,195.66$1,503,562.14$1,603,249.20$1,562,528.64$1,501,465.24光模块$306,390.00$850,438.00$812,638.00$850,438.00$347,760.00总价$1,619,585.66$2,354,000.14$2,415,887.20$2,412,966.64$1,849,225.24思科产品配置方案对比竞争方案CISCON9508C2960XH3CLS12510-XLS5120HWCE12808S5700CISCON7010C2960XH3CLS10508*LS5120核心¥5,774,562.30¥6,620,000.00¥12,092,000.00¥7,243,065.02¥4,260,000.00接入¥2,692,937.52¥2,600,000.00¥2,520,000.00¥2,692,937.52¥2,600,000.00服务器区¥1,775,426.33¥2,226,000.00¥2,974,104.00¥1,775,426.33¥2,226,000.00小计（不含光模块）¥10,242,926.15¥11,446,000.00¥17,586,104.00¥11,711,428.87¥9,086,000.00光模块¥2,389,842.00¥3,261,000.00¥4,268,000.00¥2,712,528.00¥3,261,000.00总价¥12,632,768.15¥14,707,000.00¥21,854,104.00¥14,423,956.87¥12,347,000.00＊指例如当交换容量要求为>15Tbps的场合友商竞争配置方案价格对比（H3C采用非线速网板）竞争方案CISCON9508C2960XH3CLS12510-XLS5120HWCE12808S5700CISCON7010C2960XH3CLS10508*LS5120核心¥5,774,562.30¥7,724,000.00¥12,092,000.00¥7,243,065.02¥4,900,000.00接入¥2,692,937.52¥2,600,000.00¥2,520,000.00¥2,692,937.52¥2,600,000.00服务器区¥1,775,426.33¥2,226,000.00¥2,974,104.00¥1,775,426.33¥2,226,000.00小计（不含光模块）¥10,242,926.15¥12,550,000.00¥17,586,104.00¥11,711,428.87¥9,726,000.00光模块¥2,389,842.00¥3,261,000.00¥4,268,000.00¥2,712,528.00¥3,261,000.00总价¥12,632,768.15¥15,811,000.00¥21,854,104.00¥14,423,956.87¥12,987,000.00＊指例如当交换容量要求为>15Tbps的场合友商竞争配置方案价格对比（H3C采用线速网板）方案描述：充分利用N9K高密度的40GE汇聚能力(1块板卡可提供36个40GE)，提高对手配置；汇聚层使用N3172或N3064。服务器区汇聚建议采用N6001，并通过FEX模式扩展应用场景二三层结构，核心到汇聚采用40G，汇聚到接入采用10G，汇聚双机单引擎配置10GE

1GE图例vPC广域网FW-1FW-1‘服务器区汇聚N9508-1接入交换机N9508-2接入区

OSPF40GENexus3172……Nexus3172vPC园区汇聚1

园区汇聚8

Nexus6001园区核心方案优势：充分利用N9K高密度的40GE汇聚能力(1块板卡可提供36个40GE)，使单台核心40G端口数量24<x<36（华为/华三单板卡最多24个40GE），提高对手配置；N3172设计6个40GE上联（这样可以逼迫华为或者华三必须通过两台交换机堆叠实现，抬高对手配置）；在其他情况下，建议选择N3064作为园区汇聚，降低商务成本；汇聚交换机一定要强调双机单引擎更可靠且坚决规避友商擅长的单机双引擎；服务器区汇聚建议采用N6001，通过FCoE和FEX特性提高对手配置。应用场景二之思科优势Nexus9508配置36个40G光口可以变化为24个40G光口＋48个10G光口；目前业界只有思科的Nexus9508拥有36个40G光口板卡，所以要在标书技术参数中明确要求核心交换机接口数量≥24个40G光口+N个10G光口，或者接口数量≥36个40G光口，价格对比可参考表一；如果标书技术参数要求核心交换机接口数量≥24个40G光口，则Nexus9508与H3C价格相仿，优势不明显，价格对比可参考表二；思科产品人民币价格计算方式是：CPL×7.8；光模块价格仅作参考。应用场景二：Nexus9508与内部及友商对应产品的配置价格对比对比配置表一项目/型号Nexus9508Catalyst6509Catalyst6807Nexus7010华为CE12808华三S12510X华三S10508机箱+双引擎+交换矩阵+风扇¥1,843,800¥622,440¥1,171,170¥2,129,400¥2,897,400¥1,690,000¥1,360,000基本软件¥252,000¥0¥0¥245,700¥10,000¥0¥024个40G光口+48个10G光口¥756,000¥4,586,400¥4,062,240¥2,031,120¥3,720,000¥1,740,000¥2,190,000冗余电源包含在第一项中¥163