NEXUS虚拟化.docx

1. 虚拟化技术规划1.1. 网络虚拟化概述网络虚拟化的作用主要是通过逻辑手段整合或共享物理设备、线路资源来提高资源利用率，从而更有效地利用网络资源，实现对资源的快速部署以满足业务的发展需要。网络虚拟化主要包括网络设备的虚拟化和数据路径的虚拟化两方面。网络设备的虚拟化技术主要有二层的VLAN、三层的VRF和思科Nexus7000交换机的VDC（Virtual Device Context）技术等。VLAN技术可将交换机的接口分成不同的逻辑组，每个逻辑组构成一个二层广播域，一个VLAN内的设备在二层上可以互相通信，而VLAN之间的设备在二层上不能互相访问。VRF技术可在1台设备中设置多个路由表和转发表，各自运行相应的路由协议。Nexus7000运行NX-OS操作系统，支持设备级虚拟化VDC技术，使用该技术可以将一台Nexus7000交换机在逻辑上模拟成多台虚拟交换机，VDC作为一个单独的逻辑实体在交换机中运行。VDC的特点如下： 数据平面隔离：每个物理接口同时只能被分配到一个VDC。 控制平面隔离：每个VDC都有自已的二层/三层的协议进程。 管理平面隔离：每个VDC可以看成单独的设备，能独立地进行管理。 每个VDC是独立的故障隔离域，防止某个虚拟设备VDC上的问题影响运行于同一个物理设备上的其他虚拟设备VDC。 每个VDC都有自己的配置文件，能独自进行维护。数据路径的虚拟化技术实现的是将一条物理链路划分成多条逻辑链路，以达到链路复用和安全隔离的作用。如Vlan trunk技术，Vlan trunk是通过对以太帧插入VLAN标识的方法来确保在网络接口上二层地址空间的隔离，以实现在一条trunk链路上可以传输多个VLAN的数据。以上几种虚拟化技术是本次数据中心网络结构规划中需要采用的，其中Nexus7000 VDC是新技术，本章重点对VDC的技术实现及在数据中心网络结构中的部署做详细阐述。1.2. VDC规划1.2.1. VDC使用原则数据中心局域网结构是以高可用的交换核心为中心来互联各个功能区域，各功能区域之间进行安全隔离，功能区域内的网络结构采用标准的层次化设计，要求区域网络可灵活扩展，同时降低综合布线等日常变更操作的复杂程度，VDC虚拟化技术可以在一定程度上满足这些需求。VDC的规划原则如下： 在功能区域的区域核心交换机上采用VDC技术，交换核心不进行VDC的划分。 VDC之间进行一定的安全隔离。 VDC进行必要冗余设计并应用相应的高可用策略。1.2.2. VDC拓扑结构图2- 1VDC拓扑结构示意图数据中心标准服务器区、外联区、FOVA区均使用了VDC虚拟化技术，以上两个拓扑图是各功能区域的典型的VDC结构的代表。VDC拓扑规划如下： 标准服务器区、外联区每台Nexus7010交换机创建2个VDC，其中1个VDC作为区域核心-VDC-2上联4台交换核心Nexus7018，另1个作为区域核心-VDC-3下联接入层交换机Nexus5020，缺省VDC用于网络管理。 FOVA区域每台Nexus7010交换机创建3个VDC，包括缺省VDC在内，4个VDC都需要使用。缺省VDC作为区域核心-VDC-1上联四台交换核心Nexus7018，下联其它三个新建VDC，这三个新建VDC分别作为区域核心-VDC-2、区域核心-VDC-3和区域核心-VDC-4分属于三个不同的FOVA区，它们分别下联不同FOVA区域的接入层交换机。 各功能区域的不同区域核心-VDC之间采用防火墙技术进行安全隔离。1.2.3. VDC划分Nexus7000交换机总是存在一个缺省的VDC，第一次登录到Nexus7000交换机上，首先就进入到缺省的VDC。缺省VDC的作用是创建和删除其它VDC、给其它VDC分配资源、维护系统等，缺省VDC不能被删除。目前NX-OS包括缺省VDC在内最多可以支持4个VDC，即可以手工创建3个VDC。除非特别需要外，缺省VDC只用于管理，不用于实际生产。数据中心局域网结构设计中，VDC的划分如下： FOVA区域每台Nexus7010交换机新建3个VDC，其它区域每台Nexus7010交换机新建2个VDC。 除FOVA区域外，其它功能区域的缺省VDC只用于系统管理和对其它VDC的管理。 在FOVA区域中，包括缺省VDC在内的所有四个VDC用于实际生产。下表是VDC的命名规划：服务器区域VDC IdVDC名字备注标准服务器区/外联区1VDC1缺省VDC2VDC23VDC3FOVA区1VDC1缺省VDC2VDC23VDC34VDC41.2.4. VDC资源Nexus7000上可以对VDC分配的资源有两种：物理资源和逻辑资源，并且要求以network-admin的用户角色和权限来分配资源：1） 物理资源分配Nexus7000上能对VDC分配的物理资源是接口，数据中心网络结构中将使用的接口模块是N7K-M132XP-12（32接口万兆以太接口模块）和N7K-M148GS-11（48接口千兆以太接口模块），两种模块对VDC的接口资源的分配规则如下：32接口万兆以太网接口模块必须四个接口一组分配到一个VDC。48接口千兆以太网接口模块以一个接口或多个接口为单位进行分配。2） 逻辑资源分配Nexus7000上能对VDC分配的逻辑资源是VLANs、VRFs、Port-Channels、SPAN Sessions、IPv4 RIB和IPv6 RIB。对于一个VDC来说，系统缺省为它预留了每种逻辑资源可分配的最少量，即可以保证分配到的逻辑资源。数据中心局域网结构中VDC的逻辑资源的分配根据实际情况进行配置，下表是具体规划信息：逻辑资源最小可保证的分配值最大可分配值最小推荐值最大推荐值VLANs1640941001000VRFs1681921660Port-Channels076832150IPv4 unicast-RIB1MB（缺省VDC）80MB（缺省VDC）32MB（缺省VDC）32MB（缺省VDC）1MB(非缺省VDC）80MB(非缺省VDC）16MB（非缺省VDC）16MB（非缺省VDC）IPv6 unicast-RIB1MB（缺省VDC）48MB（缺省VDC）16MB（缺省VDC）16MB（缺省VDC）1MB(非缺省VDC）48MB(非缺省VDC）4MB(非缺省VDC）4MB(非缺省VDC）IPv4 multicast-RIB1 MB（缺省VDC）200MB（缺省VDC）58MB（缺省VDC）58MB（缺省VDC）1 MB（非缺省VDC）200MB（非缺省VDC）8MB（非缺省VDC）8MB（非缺省VDC）IPv6 multicast-RIB1 MB（缺省VDC）20MB（缺省VDC）MB（缺省VDC）MB（非缺省VDC）1 MB（非缺省VDC）20MB（非缺省VDC）MB（非缺省VDC）MB（非缺省VDC）SPAN Sessions02021.2.5. VDC用户角色NX-OS缺省有四种用户角色:network-admin，network-operator，vdc-admin，vdc-operator，每种用户角色拥有不同的权限。network-admin具有最高的权限，可以管理包括缺省VDC在内的所有VDC，对所有VDC具有读写权限，是设备管理员的角色。我行设备管理规划采用network-admin用户，配合ACS实现读写、只读两类用户的授权。1.2.6. VDC带外管理NX-OS提供虚拟化的以太管理接口(mgmt0)以便可以通过带外网管的方式来管理VDC。Nexus7018、Nexus7010和nexus5020采用这个以太管理接口进行带外管理。另外，Nexus7018和Nexus7010也提供独立的CMP(Connectivity Management Processor)处理器，CMP以太口能够支持telnet/SSH功能，Nexus7018和Nexus7010采用CMP接口作为带外网管的辅助和备份手段对设备进行远程管理。1.2.7. VDC高可用策略VDC的高可用策略（HA-policy）是指当一个VDC出现问题时，NX-OS在高可用方面的处理方式。VDC的高可用策略规则如下： Bringdown策略：当某一个VDC出现问题时，挂起这个VDC，需要对物理设备重新引导才能进行恢复。 Restart策略：当某一个VDC出现问题时，删除这个VDC，并用Startup配置文件重新创建VDC。 Switchover策略：在双引擎的条件下，当某一个VDC出现问题时，引擎会进行切换。 reload策略：在单引擎的条件下，重新启动物理设备，并用Startup配置文件重新创建VDC。 VDC的缺省高可用策略：1）在双引擎的条件下采用Switchover模式。2）在单引擎的条件下，采用Restart模式。3）缺省VDC的高可用策略不能改变。数据中心局域网结构规划中，相关服务器区域的VDC都是冗余设计并且Nexus7018和Nexus7010都是双引擎配置，VDC的高可用策略规划如下： 缺省VDC的高可用策略不能改变，因此采用缺省高可用策略Switchover，即当缺省VDC出现故障时，引擎进行切换。 其它VDC采用Restart模式，即当任何一台VDC出现故障时，删除这个VDC，并用Startup配置文件重新创建VDC，这样可以尽量不影响其它VDC的正常工作。1.2.8. VDC软件功能NX-OS除了缺省打开的功能外，还可根据需要单独启动交换机的其它相应功能特性，基于数据中心的实际需求，在VDC的配置中打开如下相关features功能：功能描述hsrp热切换冗余网关协议interface-vlan交换虚接口lacp链路聚合控制协议ospfospf路由协议port-security基于端口的安全功能tacacs+AAA功能telnet远程访问功能udld单向链路检测功能vpc虚拟port-channel功能2. 交换技术规划2.1. 交换技术概述网络结构中的二层交换技术因其灵活性得到了广泛的应用，虽然二层环的威胁一直存在，但二层技术所带来的正面效果在各种网络结构的设计中一直占有一席之地，同时避免二层环的技术也在不断发展，其中常用的就是在传统二层网络存在冗余路径时采用Spanning-Tree协议通过只保留一条转发路径、阻塞冗余路径的方式来避免二层环路的产生。VPC（Virtual port-channel）是新近发展的用于避免环路和有效使用链路资源的二层网络技术，它是Port-channel技术的进一步发展，VPC可以实现跨机箱多链路捆绑，它一方面采用负载均衡的方法充分使用网络链路，另一方面利用port channel方式避免二层环路的产生，消除Spanning-Tree的阻塞接口，在冗余链路中弱化对Spanning-Tree的依赖，在链路或设备失效的情况下提供快速收敛。VPC是数据中心局域网结构重点使用的技术，下图是数据中心局域网结构中VPC的组件示意图。图2- 2VPC组件示意图在本章节中，主要论述数据中心局域网的二层结构规划，重点阐述VPC技术在数据中心网络结构中的使用和部署，同时也对VPC网络环境中的Spanning-Tree协议功能的实现做相关的设计。2.2. VPC规划2.2.1. VPC使用原则在数据中心的局域网结构设计中，VPC作为无环设计的新技术引入到二层结构的规划里，其规划原则如下： 在相关功能区域的区域核心交换机上采用VPC技术，交换核心不采用。 接入层交换机Nexus5020和Cat6500以VPC方式连接到区域核心交换机。 防火墙和负载均衡设备采用VPC方式连接到区域核心层交换机。 区域接入模块以VPC方式连接到Nexus5020接入层交换机。 刀片服务器以VPC方式连接到Nexus5020接入层交换机。2.2.2. VPC拓扑结构数据中心整体局域网的结构设计采用标准的层次化设计，即整体局域网设计一个交换核心，各功能区域又分成区域核心层（两个）和区域接入层。其中交换核心是三层结构，区域核心层到交换核心是三层连接，区域核心层与区域接入层之间以及接入层内部是二层设计。VPC技术主要部署在功能区域的区域核心层和区域接入层之间以及区域接入层内，因此，VPC的拓扑结构规划也就是指相关功能区域的区域核心层和区域接入层的连接拓扑以及区域接入层的拓扑结构设计。以下是数据中心局域网结构中的VPC拓扑结构图：图2- 3VPC拓扑结构图1） Nexus 5020和Nexus 7010之间的连接模式在功能区域的局域网结构中，区域接入层交换机Nexus5020和区域核心层交换机Nexus7010之间的连接模式为2台Nexus7010交换机中的2个区域核心-VDC-3设置成一个VPC Domain，每2台Nexus5020交换机设置成一个VPC Domain。2台区域接入交换机Nexus5020通过4条万兆链路Port Channel双上连到2个区域核心-VDC-3上，它们之间的连接方式是“Double-sided VPC”，即在2个区域核心-VDC-3和2台Nexus5020交换机上都配置VPC。2） Cat6500交换机和Nexus7010之间的连接模式在功能区域的局域网结构中，Cat6500交换机作为区域接入交换机以双万兆链路Port-channel方式双上连到两台Nexus7010交换机上，在Nexus7010交换机上配置相应的VPC。3） Nexus2248和Nexus5020之间的连接模式在服务器区域的局域网结构中的接入层交换机Nexus5020和接入模块Nexus2248之间的连接模式如下： Nexus2248以万兆双链路Port-channel方式双上连(dual-homed)到两台Nexus5020交换机上，在Nexus5020交换机上配置相应的VPC。 每2台Nexus5020最多连接12台Nexus2248。4） 服务器的连接模式o 单链路服务器连接方式： 以千兆或百兆线路连接在1台接入层交换机Nexus5020的接入模块Nexus2248上。在同一组对等的Nexus5020接入模块Nexus2248上预留冷备份端口用于应急手工切换。 以千兆或百兆线路连接在1台接入层交换机Cat6500上，在对等Cat6500上预留冷备份端口用于应急手工切换。o 多网卡聚合模式服务器连接方式： 以千兆或百兆两条链路分别连接到2台接入层交换机Nexus5020的接入模块Nexus2248上，服务器网卡配置模式参照我行现有规范模式，服务器网卡以主备形式（Active-Standby）工作。 以千兆或百兆两条链路分别连接到2台接入层交换机Cat6500上。服务器网卡配置模式参照我行现有规范模式，服务器网卡以主备形式（Active-Standby）工作。o 刀片服务器的连接方式 刀片服务器的每个网络模块以千兆双链路Port-channel方式双上连到2台接入层交换机Nexus5020上，在Nexus5020交换机上配置相应的VPC。刀片服务器配置模式参照我行现有规范模式，上连链路配置为trunk模式，启用trunk failover功能。o VMware ESX虚拟服务器的连接方式 ESX虚拟机通过两条链路分别连接到2台接入层交换机Nexus5020的接入模块Nexus2248上，配置模式参照我行现有规范模式。 ESX虚拟机通过两条链路分别上连到2台接入层交换机Cat6500上，配置模式参照我行现有规范模式。5） 防火墙和Nexus7010之间的连接模式因产品功能差异，不同类型的防火墙与Nexus7010之间存在2种结构。 思科FWSM防火墙、Juniper ISG2000、SRX防火墙在标准服务器区域的局域网结构中的防火墙对内（inside）以万兆双链路Port-channel方式双连到两台Nexus7010上的区域核心-VDC-3上，对外（outside）以万兆双链路Port-channel方式双连到两台Nexus7010上的区域核心-VDC-2上。在两台Nexus7010上的区域核心-VDC-2和区域核心-VDC-3上分别配置相应的VPC。FOVA区防火墙对内（inside）以千兆双链路Port-channel方式双连到两台Nexus7010上的区域核心-VDC-2/3/4上，对外（outside）以千兆双链路Port-channel方式双连到两台Nexus7010上的区域核心-VDC-1上。在这些VDC上分别配置相应的VPC。外联区的内联防火墙的连接模式与标准服务器区一致。Extranet接入防火墙与区域核心-VDC-3采用双链路Port-channel方式。Extranet接入防火墙与Extranet接入交换机通过一个VLAN以full mash形式连接，连接模式与现网一致。 Juniper NS5400万兆接口防火墙Juniper NS5400防火墙配置万兆接口时，不支持万兆接口捆绑Channel及Redundency接口技术，其连接结构单独设计如下。图2- 4 Juniper NS5400万兆接口防火墙组网结构图每台防火墙对内（inside）以万兆单链路方式连接到Nexus7010上的区域核心-VDC-3上，对外（outside）以万兆单链路方式连接到Nexus7010上的区域核心-VDC-2上。在两台Nexus7010上的区域核心-VDC-2和区域核心-VDC-3上分别配置相应的VLAN和交换虚接口(SVI)，这个VLAN属于non-VPC VLAN，需要在Peer-link trunk上传输这个non-VPC VLAN。该结构下，防火墙上下连均为单链路，系统冗余度有所降低，架构可用性依赖于防火墙主备切换的正常工作。在极端情况下，VPC peerlink中断时，VPC primary可能会切换到备用的Nexus7010上，这时需要确保防火墙也切换到备份防火墙。由于VPC peerlink中断时，Nexus7000会shutdown非VPC VLAN的端口的三层地址。因此在该布局模式下，防火墙需启动track IP功能，track 区域核心VDC2、VDC3与防火墙互连VLAN的HSRP地址，实现此场景下防火墙切换。6） 负载均衡设备和Nexus7010之间的连接模式在标准功能区域的局域网结构中的负载均衡设备以2套千兆双链路Port-channel方式连接到两台Nexus7010上的区域核心-VDC-3上，在两台Nexus7010上的区域核心-VDC-3上分别配置相应的VPC。在FOVA区域的局域网结构中的负载均衡设备以2套千兆双链路Port-channel方式连接到两台Nexus7010上的区域核心-VDC-2、区域核心-VDC-3和区域核心-VDC-4上并在这些VDC上分别配置相应的VPC。2.2.3. VPC Domain-idVPC domain是VPC配置的基础，它是由两台VPC设备构成的逻辑系统，具体元素包括VPC Peer交换机、VPC peer link、VPC peer-keepalive link和相关的port channels。每台交换机/VDC只能属于一个VPC Domain，相邻的VPC Domain之间的id不能重叠（即相同）。每个VPC Domain必须有一个id标识，id范围是1-1000，在数据中心的局域网结构规划中，标准服务器区域的VPC Domain和Domain-id规划如下： 2台Nexus7010上的2个区域核心-VDC-2设置成1个VPC Domain，VPC Domain id为2。 2台Nexus7010上的两个区域核心-VDC-3设置成1个VPC Domain，VPC Domain id为3。 每2台接入层交换机Nexus5020为一组，每组设置为1个VPC Domain，VPC Domain id从11开始顺序排列。在数据中心的局域网结构规划中，FOVA区域的VPC Domain和Domain-id规划如下： 2台Nexus7010上的2个区域核心-VDC-1设置成1个VPC Domain，VPC Domain id为1。 2台Nexus7010上的2个区域核心-VDC-2设置成1个VPC Domain，VPC Domain id为2。 2台Nexus7010上的2个区域核心-VDC-3设置成1个VPC Domain，VPC Domain id为3。 2台Nexus7010上的2个区域核心-VDC-4设置成1个VPC Domain，VPC Domain id为4。 对于连接在区域核心-VDC-2/3/4下的各自的Nexus5020，每2台接入层交换机Nexus5020为一组，每组设置为1个VPC Domain，VPC Domain id从11开始顺序排列。每个VPC Domain采用不同的Domain-id标识，VPC Domain-id规划汇总表格如下（以一个服务器区域为例，以此类推）：服务器区域VPC domainDomain id标准服务器区区域核心-VDC-2 VPC Domain2区域核心-VDC-3 VPC Domain3接入交换机VPC Domain-1，2，11,12,FOVA区域区域核心-VDC-1 VPC Domain1区域核心-VDC-2 VPC Domain2区域核心-VDC-3 VPC Domain3区域核心-VDC-4 VPC Domain4每个FOVA区的接入交换机VPC Domain-1，2，11,12,2.2.4. VPC角色在VPC结构中，根据VPC Domain中的角色priority值，把VPC Domain中的两台Peer设备分别定义为VPC primary（priority值低者）和VPC secondary（priority值高者）角色。VPC角色不能抢占，当由于网络故障导致VPC角色发生变化时，在配置上的VPC primary，可能成为 VPC operational secondary，反之亦然，因此当这种情况发生时，必须通过手工配置切换回来，以确保VPC的工作角色始终和配置保持一致。在数据中心局域网结构设计中，对VPC Domain中的两个Peer设备的Priority值定义如下：VPC primary优先级值配置为4096，VPC secondary优先级值采用缺省值32667，并且规定在任何一个VPC Domain中，第一台设备作为VPC primary，第二台设备作为VPC secondary。2.2.5. VPC Peer LinkVPC Peer Link是VPC Domain中最重要的链路，它连接VPC Domain中的两台VPC peer交换机，是标准的点到点的802.1Q Trunk。正常情况下，VPC Peer Link传输STP BPDUs，HSRP Hellos等控制信息以及CFS （Cisco Fabric Services）信息，其中，CFS信息同步VPC Peer设备之间的状态和配置。另外，在VPC Port-channel发生单链路故障时，Peer Link也传输相应的数据信息。数据中心局域网结构中的VPC Peer Link规划如下： VPC Peer Link采用双链路PortChannel并配置为dedicated模式以确保Peer-link的带宽容量。 VPC Peer Link必须采用万兆以太网接口。 Nexus7010采用不同的万兆接口模块的接口连接Peer-link链路以确保Peer-link的高可用。2.2.6. VPC Peer keepaliveVPC Peer-Keepalive链路是VPC Peer设备之间的三层心跳线，传输keepalive信息，Peer-Keepalive链路必须采用与peer link不同的链路。只有Peer-Keepalive链路连通之后，Peer-link链路才能正常工作。数据中心局域网结构中的VPC keepalive链路规划如下： 采用三层带外以太管理接口mgmt0做Peer-keepalive链路的连接，并通过网管VRF互联。2.2.7. Port-ChannelsPort-channel是两台交换机之间多条物理链路绑定成一条逻辑链路的技术，而VPC Port-channel可以跨交换机进行绑定。o 数据中心局域网结构中的Port-channel规划如下： Peer-link采用跨万兆模块的双链路Port-channel。 一台Nexus2248和两台Nexus5020之间采用万兆双链路Port-channel。 一台Nexus5020和两台Nexus7010之间采用万兆4链路Port-channel。 一台Cat6500和两台Nexus7010之间采用万兆双链路Port-channel。 一台防火墙和两台Nexus7010 VDC之间采用万兆或千兆双链路Port-channel。 一台负载均衡设备和两台Nexus7010之间采用两组千兆双链路Port-channel。 一台刀片服务器和两台Nexus5020之间采用千兆双链路Port-channel。o 数据中心局域网结构中的Port-channel LACP协议规划如下。 Nexus交换机之间的Port-channel连接模式为LACP active-active。 Nexus交换机与Catalyst交换机之间的Port-channel连接模式为LACP active-active。 思科交换机与F5 LTM之间的Port-channel连接模式为LACP active-active。 思科交换机与Juniper防火墙的Port-channel连接模式为ON（非协商模式）。 Nexus2248和Nexus5020之间的Port-channel采用Cisco内部协议来绑定端口。2.2.8. VPC number和Port-channel channel-numberVPC number是分配给VPC的编号，一个VPC number在两台VPC Peer设备上必须配置相同，配置的有效范围是14096。Port-channel channel-numbe