Nexus简明配置指南.docx

Nexus Configuration Simple Guide初始化Nexus 2000 Fabric ModuleNexus 2000缺省不带任何的NX-OS以及配置，每次启动的时候，都会与上层交换机（Nexus5000或者Nexus7000）比对NX-OS版本和配置。如果版本和配置有变化，则强制与上级交换机同步。与Nexus2000连接的交换机使用10GE接口相连，交换机接口需要进行如下配置，以便上层交换机可以识别：interface Ethernet1/17 fex associate 100 /指定关联的Fabric Module成为第100个关联的模块 switchport mode fex-fabric /指定接口的功能用于驳接Fabric Module通过一段时间的监测，上层交换机就可以发现并且配置Fabric Module。由于在上层交换机上看到的端口都是本地端口，所以这个具有fex-fabric角色的端口算是一个功能很特殊的Trunk。同步完成之后，将可看到如下信息：N5Kup(config-if)# show fex FEX FEX FEX FEX Number Description State Model Serial -100 FEX0100 Online N2K-C2248TP-1GE JAF1438DRAG101 FEX0101 Online N2K-C2248TP-1GE JAF1438BGBF一个Fabric Module可以被出于vPC形态的多个上层交换机所识别，可以被两侧同时配置和管理。但是为了保证Fabric Module在系统切换时保持正确的形态，我们需要在两侧的上层交换机上同步配置。划分Nexus 7010 VDCVDC是Nexus7000系列的特色功能。通过将物理机箱划分为多个逻辑交换机，核心交换机区域将可以获得多台物理隔离的高性能交换机。VDC具有完全隔离的路由表，VRF和接口，因此可以获得真实交换机属性的配置。VDC的资源是占用全局机箱的，因此在必要的时候，需要通过调整VDC资源配置来进行VDC功能和性能的调整。所有进入VDC的接口和资源都不能被其他VDC或者缺省VDC使用。VDC资源清单：vdc vdc2_1 id 2 allocate interface Ethernet1/13-24 allocate interface Ethernet2/1-3 boot-order 1 limit-resource vlan minimum 16 maximum 4094 limit-resource monitor-session minimum 0 maximum 2 limit-resource monitor-session-erspan-dst minimum 0 maximum 23 limit-resource vrf minimum 2 maximum 1000 limit-resource port-channel minimum 0 maximum 768 limit-resource u4route-mem minimum 8 maximum 8 limit-resource u6route-mem minimum 4 maximum 4 limit-resource m4route-mem minimum 8 maximum 8 limit-resource m6route-mem minimum 2 maximum 2通过命令可以查看挡墙VDC的数量和状态。系统机箱本身默认为VDC1，最多可以建立3个另外的VDC。登录到系统默认的VDC1下，可以通过switchto vdc命令在不同的VDC之间跳转，并可以通过重启VDC1来重启其他所有的VDC。switch# switchto vdc vdc2_1Last login: Thu Nov 25 16:40:19 UTC 2010 on ttyS0Last login: Thu Nov 25 17:06:47 on ttyS0Cisco Nexus Operating System (NX-OS) SoftwareTAC support: /tacCopyright (c) 2002-2010, Cisco Systems, Inc. All rights reserved.The copyrights to certain works contained in this software areowned by other third parties and used and distributed underlicense. Certain components of this software are licensed underthe GNU General Public License (GPL) version 2.0 or the GNULesser General Public License (LGPL) Version 2.1. A copy of eachsuch license is available at/licenses/gpl-2.0.php and/licenses/lgpl-2.1.phpswitch-vdc2_1# 位于其他VDC当中，无法通过switchto vdc的方式进行VDC的跳转。系统保存配置和reload都有针对单独VDC的配置。不同VDC的名称，除了在vpc命令中直接指定，还可以进入到VDC配置界面后，直接用hostname命令进行更改。基于EthernetChannel的vPCvPC是Cisco NX-OS由于解决STP Block端口而使用的技术。通过将两台设备虚拟成一台设备，使得系统可以使用两套冗余链路转发数据。vPC完全基于EthernetChannel技术，所有成员组都必须在EthernetChannel当中，除了peer-link keepalive。vPC仅仅能作用在二层Trunk结构下，完全不兼容任何L3环境。vPC使用连接设备的peer-link必须使用10G以太网接口，而peer-link keepalive必须是路由接口。配置手册推荐使用单独的VRF来隔离，以便于减小地址管理压力。首先，配置L3端口，保证双方可以ping通：vrf context vpcinterface Ethernet1/25 vrf member vpc ip address /24 no shutdownvPC结构当中，应当尽可能保证所有peer-link链路的可靠性，不可靠的keepalive链路将会导致一些vPC Domain重新收敛。具体情况请见后面描述。其次，进行完L3配置后，配置vPC Domain。一台设备属于且只能属于一个vPC Domain，一个vPC Domain有且只能拥有两个成员。Domain的配置当中，需要指定vPC对端设备的IP地址，如果这个设备的地址不在default VRF当中的时候，需要指定源地址：vpc domain 1000 peer-keepalive destination source vrf vpc完成这一步配置，将可以保证vPC组可以通过peer-link keepalive来检测和通告对端状态。再次，配置peer-link。Peer-link是vPC转发机箱间流量的链路，因此链路只能使用10G以太网，配置手册推荐使用至少2条10G以太网电缆进行捆绑：interface Ethernet2/5 switchport switchport mode trunk channel-group 56 no shutdowninterface Ethernet2/6 switchport switchport mode trunk channel-group 56 no shutdowninterface port-channel56 switchport switchport mode trunk spanning-tree port type network /自动生成的配置 vpc peer-link最后，将一段设备连接到两侧设备链路推入各自的EthernetChannel的组，并且将参加配置的EthernetChannel加入vPC组，保证对应的EthernetChannel在相同的转发vPC当中，便完成该配置：interface Ethernet1/17 fex associate 100 switchport mode fex-fabric channel-group 17interface Ethernet1/18 fex associate 101 switchport mode fex-fabric channel-group 18interface port-channel17 switchport mode fex-fabric vpc 17 fex associate 100interface port-channel18 switchport mode fex-fabric vpc 18 fex associate 101CAUTION在配置当中，vpc的数字和port-channel的数字必须相同，并且这两个数字必须和Domain的数字不同。否则，将会导致vpc无法启动的问题。vPC配置的两端都必须是相容的Trunk配置，例如LACP或者no protocol。LACP System priority的一致，有利于vPC状态下LARP的收敛，手册推荐配置为vPC成员设备拥有相同的值。配置需要再全局和vPC配置模式下使用。如果在配置中发现如下现象，则应当首先检查vPC中，成员EthernetChannel配置是否正常：RTS35_7010_VDC1_1-RTS35_7010_VDC3_1# show port-chann summFlags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed S - Switched R - Routed U - Up (port-channel) M - Not in use. Min-links not met-Group Port- Type Protocol Member Ports Channel-7 Po7(SU) Eth LACP Eth2/7(P) Eth2/8(P) 200 Po200(SU) Eth LACP Eth2/5(P) Eth2/6(s) RTS35_7010_VDC1_1-RTS35_7010_VDC3_1#注记：对于不同的设备和不同的拓扑形态，vPC的具体配置也会有所不同。1 对于简单的downstream设备如图所示：对于简单的downstream设备，两台Nexus设备使用标准的vPC配置方法。两台设备之间配置peer-link和peer-link keepalive链路，在完成vPC配置之后，将于downstream连接的接口划入一个EthernetChannel，即便是该EthernetChannel也无妨，然偶将这个EthernetChannel接口划入到对应的vpc中，完成虚拟转发。2对于Nexus推荐的域环境如图所示：在Nexus5k和Nexus7k当中，使用fullmesh的结构来连接。通过vPC技术，中间这四条链路可以保持全活的状态，结合vPC形成的虚拟拓扑，实际上相当于单台Nexus5k和Nexus7k之间连接了一条40G的链路， 从而极大的提高了转发能力。在这种配置实例当中，Nexus5k和Nexus7k需要单独配置自己的vPC Domain，在各自的vPC Domain正常建立后，将交叉的线路绑定成EthernetChannel，绑定协议不限于LACP或者no protocol。下面的配置仅列出了左侧5k和7k的相关配置。5k configuration /E1/5-6作为与7K互联的端口interface Ethernet1/15 switchport mode trunk channel-group 56interface Ethernet1/16 switchport mode trunk channel-group 56interface port-channel56 switchport mode trunk vpc 56 speed 100007k configuration /E2/4、8作为与7K互联的端口interface Ethernet2/4 switchport switchport mode trunk channel-group 48 no shutdowninterface Ethernet2/8 switchport switchport mode trunk channel-group 48 no shutdowninterface port-channel48 switchport switchport mode trunk vpc 48通过将同一台设备的两条链路捆绑成EthernetChannel，并将其放入相同的vPC转发组，来完成双向的配置。CAUTION配置当中，并需保持vPC两侧配置的同步，即，两侧的VLAN，接口，VDC配置应当一致，若配置不一致，则会导致vPC工作不正常。所有的EthernetChannel必须工作在Trunk模式下，需要用Switchport mode trunk方式和做显式的指派，否则会导致vPC工作不正常。割裂的vPC：HSRP和STPvPC处于割裂状态时，vPC Domain成员的状态取决于当前的系统角色（system role）。当vPC Peer-link Keepalive链路中断时，所有的数据转发都不会受到影响；当vPC Peer-link链路中断时，处于Secondary角色的设备，所有处于vPC成员组的EthernetChannel都会被置为Down状态，使得该设备从vPC管理域中离线，从而停止数据转发，直到链路被修复。当vPC Domain成员都处在正常工作状态时，对于vPC Peer-link和vPC Peer-link Keepalive的中断都不会终止系统的数据转发，只是vPC收敛可能会导致丢失12个数据包。但是处于下列情况，会导致vPC Domain出现数据转发问题：保证vPC Domain正常工作，将两台设备中间的链路全部中断，然后在两侧都配置reload restore命令情况下， 重启两侧vPC Domain成员，在经过240s后，两侧设备都会处于双活状态，从而导致数据转发环路。该问题尚未得到Cisco官方解答，但是从得到的消息看，应该是STP导致的二层环路所致。使用vPC配置命令：peer-switch也许可以解决这个问题。该问题必须经由严格的操作时序才可重现。vPC上的HSRP进行了特殊的修正，HSRP的Active负责相应ARP请求，但是standby角色也可以转发带有目的地为HSRP组虚拟MAC地址的数据包，这样就实现了HSRP的Load-Balance。和HSRP一样，GLBP也是vPC所支持的热备份网关协议，但是GLBP通过AVG相应不同的ARP请求，并回应给不同AVF的MAC地址的方式来进行负载均衡。但是HSRP在vPC环境中，收敛速度比GLBP更快。在vPC当中，所有HSRP、GLPB或者VRRP的，处于Active角色设备，都必须配置在vPC的Primary设备上；同样的，STP配置中，关于VLAN的根桥，也必须和Primary设备保持一致。HSRP在两侧应当拥有相同的HSRP组号，并且同一组号在单一VDC上不能重复。基于vPC的HSRP不能使用USE-BIA参数。vPC的细部配置role priorityvPC在没有role priority配置的情况下，由桥MAC来决定谁是primary设备，MAC绝对值较小的会当选，如果配置了role priority的，则该项配置值相对较小的会当选。但是要shut peer-link一次，才能完成更改。System-priority这是vPC当中对于LACP的配置。如果该值不配置，则不影响，但是如果配置了，则vPC Domain中设备的system-priority值必须相同，如果不匹配，vPC启动可能会遇到麻烦。Reload restore该命令用于帮助Nexus启动后，找不到vPC对端时仍能激活vPC的功能。缺省情况，如果vPC成员设备启动后无法找到对端，会导致所有vPC功能端口出于down状态，不能转发数据。配置了这个命令后，该单独启动的设备会在最少240s后，将vPC成员端口转变为up状态，并且开始转发数据。CAUTION在vPC成员设备间所有电缆，包括peer-link和peer-link keepalive电缆中断的情况下，并且两侧vPC全部配置reload restore，将会在两端设备重新启动完成后，存在vPC双活，Nexus将会与上层转发设备之间形成数据环路。该情况仅出现在Nexus推荐的域环境中，并且要严格遵循步骤，才能出现。Peer-switchPeer-switch命令用于将vPC Domain成员设备虚拟成一个STP的根，从而实现生成树结构的优化，减少Primary设备失败后的STP重算时间。vPC配置成功后的清单：Nexus5010down# show vpc Legend: (*) - local vPC is down, forwarding via vPC peer-linkvPC domain id : 500 Peer status : peer adjacency formed ok vPC keep-alive status : peer is alive Configuration consistency status: success Type-2 consistency status : success vPC role : secondary Number of vPCs configured : 99 Peer Gateway : DisabledDual-active excluded VLANs : -vPC Peer-link status-id Port Status Active vlans - - - -1 Po56 up 1,100-105 vPC status-id Port Status Consistency Reason Active vlans- - - - - -17 Po17 up success success - 18 Po18 up success success - 200 Po200 up success success 1,100-105 101376 Eth100/1/1 down* failed Consistency Check Not - Performed 101377 Eth100/1/2 down* failed Consistency Check Not - Performed Nexus的SPANNexus支持SPAN，ESPAN和ERSPAN。SPAN方式被称为本地SPAN，用于本地交换机接口作为源和目的；ESPAN用于将SPAN流量的目的设定为某个VLAN，并通过Trunk实现远程的SPAN；ERSPAN用于将SPAN流量封装在GRE中，通过路由方式进行远端的SPAN。Nexus7000最大可以存在48个Session，但是只能有两个在工作；Fex端口只能做SPAN的源，不能做span的目的；EthernetChannel成员不能当span的源，nexus5K上连接fex接口不能当span的源；Nexus5K仅支持SPAN，而Nexus7K则支持所有的SPAN类型。VDC的MGMT接口MGMT接口在所有VDC当中共享。在非VDC1中，show interface status 不显示，但是使用命令interface mgmt 0仍然可以将地址进行配置。所有VDC的MGMT接口地址应当在同一个子网内。DOWN的VLAN端口在基于vPC的配置中，如果vPC Domain成员交换机关于VLAN配置不一致，就会导致VLAN接口总是处于DOWN的状态，而无法被激活。Nexus7K中，VLAN的配置和Interface VLAN的配置是相分离的，仅有Interface VLAN而没有VLAN，是会导致VLAN接口在两侧的配置不同，从而导致L3VLAN接口处于DOWN的状态。缺省情况下，L3VLAN接口被shutdown，需要使用no命令激活。可以尝试使用VTP来避免配置上的错误。RTS36_7010_VDC1_2-RTS36_7010_VDC3_2(config)# show inter status -Port Name Status Vlan Duplex Speed Type-mgmt0 - connected routed full 1000 - Eth1/25 - disabled trunk full auto 10/100/1000Eth1/26 - disabled trunk full auto 10/100/1000Eth1/27 - disabled trunk full auto 10/100/1000Eth1/28 - disabled trunk full auto 10/100/1000Eth1/29 - disabled trunk full auto 10/100/1000Eth1/30 - disabled routed full auto 10/100/1000Eth1/31 - disabled routed full auto 10/100/1000Eth1/32 - disabled routed full auto 10/100/1000Eth1/33 - disabled routed full auto 10/100/1000Eth1/34 - disabled routed full auto 10/100/1000Eth1/35 - disabled routed full auto 10/100/1000Eth1/36 VPC keepalive connected routed full 1000 10/100/1000Eth2/4 connect to RTS36_7 connected routed full 10G 10GBASE-SR Eth2/5 - connected trunk full 10G 10GBASE-SR Eth2/6 - connected trunk full 10G 10GBASE-SR Eth2/7 connect to RTS35_7 connected trunk full 10G 10GBASE-SR Eth2/8 connect to RTS35_7 connected trunk full 10G 10GBASE-SR Po7 connect to RTS35_7 connected trunk full 10G - Po200 - connected trunk full 10G - Lo0 - connected routed auto auto - Vlan1 - connected routed auto auto -Vlan11 - connected routed auto auto -Vlan12 - connected routed auto auto -Vlan15 - connected routed auto auto -Vlan16 - connected routed auto auto -Vlan188 - connected routed auto auto -Nexus的路由Nexus的OSPF在Nexus当中，OSPF的带宽计算参考值已经从原来的100Mbps更改为40Gbps，并设定为默认值。RTS35_7010_VDC1_1-RTS35_7010_VDC3_1(config-router)# auto-cost reference-bandwidth ? Rate in Mbps (bandwidth) (Default) *Default value is 40000 Rate in Gbps (bandwidth) *Default value is 40Nexus的OSPF已经不允许在OSPF进程下进行网络的宣告，所有对于OSPF的网络宣告都要在接口下进行。RTS35_7010_VDC1_1-RTS35_7010_VDC3_1# show run int vlan 11!Command: show running-config interface Vlan11!Time: Wed Dec 1 07:11:42 2010version 5.1(1)interface Vlan11 no shutdown ip address 53/24 ip router ospf 100 area ip ospf passive-interface hsrp 11 preempt priority 200 timers 1 3 ip 54Nexus上的NLB基于Windows Server系列操作系统的NLB，实验确认可以被支持。标识一个部件Nexus常常由很多部件构成，例如Fabric Module，或者xBAR等等，使用下面的命令可以激活面板上的Identification灯，从而标识出需要更换或者处理的模块。locator-led chassis | fan f-number | module slot | powersupply ps-number | xbar x-numberno locator-ledchassis | fan f-number | module slot | powersupply ps-number | xbar x-number这个命令模板是基于Nexus7k的，在Nexus5k上有些参数不能用，但是有fex参数用来标识Fabric Module 光纤的类型对于使用SFP的Nexus5010而言，需要考虑跨机房连接时的光纤类型。系统提示的信息如下：RTS39_5010# show int e1/17 transceiver Ethernet1/17 transceiver is present type is 10Gbase-SR name is CISCO-AVAGO part number is SFBR-7702SDZ revision is G2.3 serial number is AGA143164B3 nominal bitrate is 10300 MBit/sec Link length supported for 50/125um fiber is 80 m Link length supported for 50/125um fiber is 300 m Link length supported for 62.5/125um fiber is 20 m cisco id is - cisco extended id number is 4Nexus5000的配置同步Nexus5000配置同步可以节省配置时间。配置同步需要在Nexus5000的Config Sync模式下进行配置；配置的同时，要求vPC工作正常。Config sync是Nexus5000 5.0版本提供的新级别，级别下有的命令如下：RTS39_5010(config)# conf sync RTS39_5010(config-sync)# ? no Negate a command or set its defaults resync-database Re-synchronize switch-profile database switch-profile Enter switch-profile configuration mode end Go to exec mode exit Exit from command interpreter pop Pop mode from stack or restore from name push Push current mode to stack or save it under name where Shows the cli context you are in配置同步需要遵循以下步骤：RTS39_501