etherchannel配置.docVIP

简介：IBMp系列的AIX操作系统管理员可能因为各种原因对应用HACMP和EtherChannel的组合感兴趣，如一些软件可用性方案“反对”HACMP额外的备卡，通过使用EtherChannel, HACMP 的设置可以“遮掩”备卡，从而给这些用户一个他们熟悉的外部表现。此外，一些用户可能喜欢EtherChannel带宽聚集，负载平衡以及高可用性，等等。在给出的实例测试中，我们使用AIX5.2中的EtherChannel 功能实现一个“单一网卡”的IPAT。EtherChannel 负责提供独立于HACMP之外的本地网卡交换。HACMP是完全独立的，根本不知道EtherChannel的存在。在HACMP中一般不只使用一个网卡，但是EtherChannel使这种情况可以接受，因为在一个EtherChannel 的伪设备中实际上有很多个物理网卡的存在。因此，可以忽略集群(Cluster)同步时没有足够的网卡的警告信息。本测试在不使用交换机的情况下实现EtherChannel，用“交叉网线”直接连接两个系统。尽管PCI的热插拔以及硬件地址接管没有包括在HACMP的支持声明中，从我们的测试结果看来，PCI的热插拔在2004年5月软件升级中新加入的DAM (Adapter Membership)特点的支持下也能工作。这意味着在SMIT中可以从一个运行的EtherChannel中移走网卡。用户可以利用热插拔的特点更换网卡。AIX EtherChannel 概述EtherChannel(EC)是一种端口聚合方法，多到八个以太网卡可以被定义作一个EtherChannel 通道，对于远端的系统而言，只能看到一个IP地址和MAC地址，但是得到了八倍的网络带宽。数据流将按照标准的方法分布到各个网卡，如果某一个网卡不能够正常工作，数据将会被自动地发送到其它可用的网卡上，而不会中断连接，当主EC上只有一个连接活动的时候，一个“失效”测试将触发一个对可选备份网卡的快速检测。有两种“失效”测试被提供，包括到网络的物理网卡的连接测试，以及可选的到用户指定节点的TCP/IP路径测试。当错误被检测到时，备份网卡上的MAC地址和IP地址将会被激活。当主EC上的至少一个网卡被恢复后，系统将会重新使用主通道。AIX5.1的NIB（Network Interface Backup）配置模式在5.2中被替换和增强，新的方法是用一个单独的网卡EC和一个备份网卡，提供以前所不具备的在主网卡和备份网卡的优先级设置，并且在AIX5.2 最新版本中提供的DAM（Dynamic Adapter Membership）增强，允许在不中断连接的情况下，动态地配置EC中的网卡。所有的多网卡通道在网络交换机上都需要一个特殊的按EC或者IEEE802.3ad 配置的端口。大多数情况下，交换机将配置为EC模式，但是，如果交换机不支持EC或者如果公司已经把IEEE802.3作为标准，就需要在交换机和AIX系统配置802.3ad。另一方面，对于单网卡连接，不需要在网络交换机上有什么特殊设置。这包括单网卡EC和备份网卡连接。最后，不用交换机在两个AIX间运行EC也是可能的， 本文即使实现这样一种没有交换机的测试。HACMP 环境中的EtherChannel最近几年，在HACMP中配置IPAT已经有了很大的进展，在图1a, 1b, 和1c中描述了三个主要的IPAT配置场景。第一个拓扑模式, IPAT via Replacement, 在分开的子网中包含boot网卡和standby网卡。当集群服务启动的时候boot 地址被换成service 地址。尽管这种方式的有效性强，但是在需要实现多个服务IP地址的环境下这种方式是不可取的。集群的管理员不得不利用pre- 和 post-events 定制其环境建立额外的别名，并且需要确认这些别名在下一次接管发生前被删除。第二种：HACMP 4.5 开始引入了IPAT via Aliasing 作为缺省的拓扑模式。在这种新的模式中，standby网卡的功能被另外一个boot网卡所替换。子网需求的不同点是还需要一个另外的子网，每一个boot 网卡需要它自己的子网，并且任何service 或 persistent 的IP 地址将在其本身的子网上操作，所以一共三个子网。当集群服务启动并且需要service IP 地址的时候，boot IP 地址并不消失。这个设计和第一种是不同的，在同一个HACMP网络中有多个service IP地址存在并且通过别名来控制。在图1c中的第三种模式，把底层的以太网卡藏到一个单一的“ent” 网卡的接口之后。该模式不是对前述任何一种方式的替换，而是可以和前述的任一种模式共同存在。因为在每一个节点EC 都被配置成冗余方式，可以在HACMP中使用IP别名定义它们每一个作为单一网卡网络。因为在每个节点只有一个网卡被定义，所以只有两个子网，一个是用作 boot (每个节点的基本IP地址) ，另一个是用于提供高可用服务。在图1c中，“en6” IP 接口配置在ent6网卡之上 (EtherChannel 伪设备)。每个EtherChannel都有一个永久的IP地址，当HACMP服务没有运行的时候，用来维持到子网的连接。下面是用cllsif命令列出的拓扑结构的实例：尽管在我们的测试中没有配置，我们仍建议配置串行网络（serial network）用于阻止集群中可能出现的分区和节点隔离情况。一旦如此配置了，在连接上丢失的数据传输可以通过netstat v 看到，并且错误信息将被写入错误报告中。由于切换是由EtherChannel 的逻辑来负责的，所以只需要很少的HACMP 网卡的维护。我们可能不会再看到本地的SWAP_ADAPTER, FAIL_INTERFACE 或 FAIL_STBY 事件, 并且当本地网卡失效时也不会再有相应路由的删除。测试环境测试环境由以下几个部分组成n两台pSeries p630 系统（分别命名为 neo 和 trinity）nAIX V5.2 5200-03 nHACMP v5.1 (5.1.0.5)n以太网络连接ent0 到ent6:ent1 - 管理网络连接，连到以太网交换机ent4 未使用ent6 - EtherChannel (由 ent2, ent3 and ent0组成)n三根UTP 以太网交叉线（参见参考文档以得到详细说明）图2演示了测试环境。neo 和 trinity, 是两个 p630 的节点，每个上面有一个集成的网卡（ent0）和一个4端口的以太网卡（ent1 ent4）。四个端口中的第一个（ent1）提供正常情况下的访问连接，在我们的测试中，不使用也不干扰这个接口。四个端口中的最后一个（ent4），也不做配置。我们的测试配置一个带有备份连接的双连接EC ，通过配置集成的ent0端口消除4端口以太网卡的单点失败 网卡 ent2 和ent3 变成主通道，而ent0 转为备份连接。在一般情况下，双连接主通道将会被连接到一个以太网交换机（如图1c中所示）备份网卡将会被连接到第二个交换机提供交换机冗余。但是，因为在我们的实验室中，没有额外的以太交换机可以使用，因此，我们通过使用交叉网线直接连接两个系统上的三个端口。这种方法可以在不使用交换机的情况下，完成我们的测试。我们使用netstat v ent6 命令去观测EC上网络交通在网卡间的分布。但是，这样确实局限于仅两个系统之间的连接。同时，在我们的“无交换机”环境中，触发备份网卡似乎是瞬时发生的，在有交换机的应用中，会有一个短暂的延迟。在EC中所有的端口被配置成同样的速度，双工模式，以及TCP/IP MTU 大小。这是正常的EC配置。尽管在某些情况下，不匹配的网卡也可能可以工作，AIX的软件也不禁止这种配置，但是用户应该进行匹配的设置，这样做可以减少出问题的机会以及排错的头痛！ 在这方面网络交换机可能比AIX操作系统有更多的限制， 因此有时候可以指望网络交换机强制这种匹配的配置。配置过程我们通过以下步骤搭建我们的系统。首先按下述说明完成neo的配置。1.检测以太网卡和网卡电缆。2.创建EtherChannel 接口3.在新的接口en6上配置IP4.增加boot和service IP到HACMP拓扑（topology）中5.创建一个新的资源组，并且给它分配Service IP6.同步集群(Cluster)7.启动集群服务8.测试NIC 冗余是否工作，确认HACMP并未受其影响对于未经配置的网卡，按照图2所示把它们连接到一起。因为我们的网卡是配置过的，因此我们用smitty inet 来删除ODM接口定义。然后在两个系统中按照图2要求的IP接口定义MAC地址以及IP地址完成这些基本的配置步骤。 注意：对于以前配置过的网卡接口，为了避免HACMP自动恢复可能带来的问题，所以要用smitty inet 删除接口。另一个方法是，ifconfig down 这个接口，然后deatch 它，最后用rmdev 删除其在ODM库中的定义。在千兆以太网卡环境，用户可能通过配置超大传输帧（Jumbo Frame）来提高数据传输性能。为了配置千兆EtherChannel，在第一步和第二步中，要Enable超大传输帧，并且一旦完成第三步的接口创建，要用smitty chif 设置9000字节MTU。以下是详细过程1.检测以太网卡和网卡电缆所有参与到EC中的网卡应该被配置成同样的速度和双工模式（duplex mode）。我们配置ent0，ent2，和ent3为100M，全双工。 1)使用smitty ethernet 配置速度和双工模式2)确认三个网卡按图2所示连接两个系统2.创建EtherChannel 接口使用smitty etherchannel配置EC，并且按下F7选择合适的网卡。在我们的配置中，ent2和ent3组成主通道，ent0为备份网卡。按以下所示的菜单选项建立EC接口ent6.Add an EtherChannel / Link AggregationEtherChannel / Link Aggregation Adaptersent2, ent3Enable Alternate AddressNoAlternate AddressEnable Gigabit Ethernet Jumbo FramesNoModeround robinHash ModeDefaultBackup AdapterEnt0Internet Address to Ping Number of Retries +#Retry Timeout (sec) +#注意：在缺省的情况下，EC会使用通道中第一个网卡的MAC地址作为通道的MAC地址。可以通过配置Alternate Address为通道设置一个不同的MAC。选择round robin 模式是因为在这个双IP环境中两个连接都要被利用。还有其它模式可以选择，参考EtherChannel 文档，根据应用环境选择合适的模式。如果EtherChannel 聚合性能很差，或者round robin 失败，表明有配置不匹配。请检查超大传输帧（Jumbo Frame），交换机聚合配置，以及交换端口间MAC地址移动。3.在新的接口en6上配置IP使用 smitty chinet，按如下菜单选项进行配置。并且在另一系统trinity上重复此步骤，但是使用不同的IP地址。注意：在这个过程中创建了en6接口，当使用一些TCP/IP的命令时，要特别注意一下en6，而组成EtherChannel的单独的网卡接口en0，en2，和en3并不存在。4.增加boot和service IP到HACMP拓扑（topology）中出于测试的目的，当定义HACMP时我们选择使用IP别名。在每一个EC上配置boot IP 地址(neo_boot 2.2.2.1, trinity_boot 2.2.2.2)。然后定义service IP地址192.168.43.4 和persistent IP 地址。尽管在我们的测试中忽略了非IP的串行网络，在实际应用的环境中，HACMP也应该配置非IP串行网络。5.创建一个新的资源组，并且给它分配Service IP我们使用一个service IP地址配置Cascading资源组。因为我的重点是NIC冗余测试，我们通过忽略其它的资源以简化配置过程。A)按如下路径进入smitty 配置：smitty hacmp 然后选择 Initialization and Standard Configuration 然后是Configure HACMP Resource Groups ，再选择Add a Resource Group ，再选择Cascading，如下所示：按回车键创建资源组，下一步就是增加Service IP到这个资源组。B)smitty hacmp 然后选择 Initialization and Standard Configuration 然后是Configure HACMP Resource Groups ，再选择Change/Show Resources for a Resource Group (standard)，然后选择刚创建的资源组，配置如下图所示：6.同步集群(Cluster)本文假设读者对HACMP软件已经非常熟悉，这里只是显示当HACMP拓扑结构被配置成单一的网卡网络之后的错误信息：键入smitty hacmp 然后是 Initialization and Standard Configuration 然后Verify and Synchronize HACMP Configuration以上错误信息在实际的环境中将出现，因为这被看作一个单一网卡网络，也需要配置netmon.cf。7.启动集群服务在每一个节点执行smitty clstart ，然后等待启动完成（node_up _complete.）8.测试NIC 冗余是否工作，确认HACMP并未受其影响测试主要集中在两个方面，（1）拔出一根网线，观察系统响应，（2）确认HACMP没有察觉到“有网线被拔出”。在每一个测试中，我们在一个客户节点运行ping 命令，没有发现一个数据包丢失。1)拔出ent3对应的网线。这将导致后续的服务依存于ent2。可以通过netstat 和 entstat 命令来验证。 AIX在错误报告中有一个记录，但是HACMP并未察觉有错误发生。以下是errpt显示的错误信息：F77ECAC20624145904THent3ETHERNET NETWORK RECOVERY MODE8650BE3F0624145904IHent6ETHERCHANNEL RECOVERYF77ECAC20624145904THent2ETHERNET NETWORK RECOVERY MODE2)拔出ent2的网线。这将会导致ent0备份网卡接管服务。和前面的测试很相像，AIX记录“失败”在错误报告中，但是HACMP并未意识到任何变化。因为我们使用交叉网线，所以拔掉网线在两个节点有同样的影响。注意： AIX V5.2 ( 2004年7月以后) 和 V5.3 的管理员可以用新的命令/usr/lib/methods/ethchan_config f ent6 强加一个错误3)我们拔出仅有的ent0的网线，这一次将导致EC失败。HACMP将通知一个网络失败错误，并将导致“接管”过程。但是，因为我们使用的是交叉网线，没有连接可以使用，资源组不能被使用，处在非联机状态。4)停止集群服务，重新插上网线，然后重启节点。5)在节点trinity再一次启动集群服务，使其重新获得资源。在运行的EtherChannel 环境中改变网卡设置在新版的AIX5.2中，有一个新的功能，DAM（Dynamic Adapter Membership）允许用户增加、删除或者改变网卡配置而不需要中断EtherChannel。 以下是在这种环境下需要特别考虑的几点事项。n增加新的网卡到已经存在的EC中时，你需要考虑到EC伪设备的性能，这是由组成EC的所有网卡的共同属性来决定的。可以使用entstat 或 netstat v查看这一点。 如果这些网卡的性能不匹配，你将不能够动态地增加适配器到EC中。并且将不得不选择只应用改动到数据库中。在这种情况下，变动只是在系统重启或者EC被删除然后又重新配置后才起作用。n测试故障行为时，要仔细考虑交换机的一些隐含问题。当重新配置时，要记着在交换机上也重新连接和配置- 交换机的聚合配置必须反映网卡的加入或者移走。试着按照如下过程更换一个出了故障的网卡。1. 拔出相应的网线，用SMIT作需要的配置。2. 在网络交换机进行EC