网络可靠性-VRRP故障处理手册-D

1、VRRP 故障处理杭州华三通信技术有限公司第i页 HYPERLINK / 目 录 HYPERLINK l _bookmark0 第 1 章 VRRP故障处理 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark0 简介 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark0 常见问题 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark0 配置VRRP之后出现多个Master HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark1 VR

2、RP路由器状态不稳定 HYPERLINK l _bookmark1 2 HYPERLINK l _bookmark2 VRRP备份组不能进行三层转发 HYPERLINK l _bookmark2 3 HYPERLINK l _bookmark3 无法ping通VRRP虚拟IP地址 HYPERLINK l _bookmark3 5 HYPERLINK l _bookmark4 VRRP监视功能失效 HYPERLINK l _bookmark4 6 HYPERLINK l _bookmark5 故障处理过程 HYPERLINK l _bookmark5 8 HYPERLINK l _bookmar

3、k5 故障诊断流程 HYPERLINK l _bookmark5 8 HYPERLINK l _bookmark5 故障处理步骤 HYPERLINK l _bookmark5 8 HYPERLINK l _bookmark6 典型案例 HYPERLINK l _bookmark6 10 HYPERLINK l _bookmark6 VRRP主备切换引起网络中断 HYPERLINK l _bookmark6 10 HYPERLINK l _bookmark7 接口down引起网络两次流量中断 HYPERLINK l _bookmark7 11 HYPERLINK l _bookmark8 诊断工

4、具与命令 HYPERLINK l _bookmark8 13 HYPERLINK l _bookmark8 VRRP报文调试开关 HYPERLINK l _bookmark8 13 HYPERLINK l _bookmark8 VRRP状态转换调试开关 HYPERLINK l _bookmark8 13VRRP 故障处理杭州华三通信技术有限公司第 PAGE 13页 HYPERLINK / 第1章 VRRP 故障处理简介VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）是一种容错协议，通过物理设备和逻辑设备的分离，为网络提供高可靠性和高可用性，对

5、于网络故障的自适应至关重要。VRRP 将局域网内的一组路由器划分在一起，称为一个备份组。备份组由一个Master 路由器和多个 Backup 路由器组成，功能上相当于一台虚拟路由器，通过一定选举机制保证只有 Master 路由器承担转发任务。当 Master 路由器发生故障时，Backup 会自动接替成为 Master。常见问题配置 VRRP 之后出现多个 Master问题描述局域网内的主机无法与外部通信时，通过 display vrrp 命令或者通过 SNMP 网管方式查看 VRRP 备份组中各个路由器的状态，发现有多个 VRRP 路由器都处于Master 状态。问题定位按如下步骤依次检查：

6、检查 VRRP 配置是否一致VRRP 要求组成备份组的多个路由器必须配置一致，即要求虚拟 IP 地址，VRRP 报文广播间隔时间，认证方式和认证字的配置必须相同。检查端口互通性确认互连端口是否处于 up 状态。检查互连端口的配置情况，如果是 trunk 或者 hybrid 端口，要确定端口 PVID 是否一致，是否允许 VRRP 备份组所在 VLAN 通过，端口是否配置 802.1x 等协议。检查端口是否因 STP、RRPP、Smart-link 或者 LACP 等协议而阻塞。使用 display interface 命令查看端口是否存在大量错误的报文。检查 VRRP 报文收发打开 VRRP

7、调试开关，确定 VRRP 报文是否能够正常收发。如果看不到 VRRP 报文调试信息，可以打开 IP 报文调试信息进行查看。检查 CPU 占用情况通过命令 display cpu-usage 查看 VRRP 协议报文互通的业务板和主控板 CPU 占用率是否过高。可以通过命令 display interface 查询端口流量，确定网络中是否存在广播风暴。如果存在网络风暴，则 VRRP 报文无法正常送给 CPU 处理，VRRP 状态必然出现异常。问题解决VRRP 配置不对称在接口视图下使用 display this 命令查看配置。请确认哪一端的配置是正确的，修改另一端配置，使 VRRP 配置一致。端

8、口互通问题如果是端口不允许 VRRP 备份组所在 VLAN 通过或者 PVID 问题，请更改相关配置； 如果链路被 STP 等协议Discarding，导致 VRRP 协议报文无法正常传送，请修改端口 STP 优先级等配置以保证互连端口能够正常进行 VRRP 协议报文转发。如果端口存在大量错误的报文，则需要检查链路，如检查两端的光衰减是否在正常范围。如有故障，请更换连接所用的光纤。VRRP 报文收发不正常如果在确保端口互通性的前提下仍然看不到 VRRP 的报文调试信息，很有可能是VRRP 报文被丢弃。如果 CPU 限速导致报文丢弃，可根据实际组网需要适当减少配置的 VRRP 路由器数量或者调整

9、 VRRP 报文发送时间间隔。CPU 占用率过高请关闭不必要的业务。如果 CPU 仍然保持比较高的占用率，不能解决问题，请联系技术支持人员。VRRP 路由器状态不稳定问题描述网络中一台或多台VRRP 路由器状态极不稳定，频繁 发 生Backup-Master-Backup，或者 Master-Initialize-Backup-Master 的状态切换。问题定位请按如下步骤依次检查：检查振荡的 VRRP 路由器所在链路的链路状态观察日志信息，确认 VRRP 状态切换前是否发生链路状态的 up/down 变化。因为VRRP 状态是受链路状态影响的，所以链路的不稳定会引起 VRRP 状态的振荡。同

10、时要关注 VRRP 配置的监视接口的链路状态，因为 VRRP 路由器的优先级会随监视接口的链路状态而变化，该链路状态不稳定也会引起 VRRP 状态的振荡。检查 VRRP 路由器所在网络互通性可采用在 VRRP 路由器上 ping 对端的接口实际IP 地址的方式来检测VRRP 路由器的网络互通性。如果不能 ping 通或者出现不连续中断，请检查链路是否有环路等问题。检查 STP 等协议使用命令 display stp brief 查看互连端口的 STP 状态是否正常。STP 状态的反复切换会造成 VRRP 状态的反复切换，必须保证 VRRP 协议报文通过的链路 STP 状态稳定。检查端口是否因

11、STP、RRPP、Smart-link 或者 LACP 等协议而阻塞。检查 VRRP 报文收发参见 HYPERLINK l _bookmark0 1.2.1 2. (3)。观察VRRP的报文调试信息，在网络比较拥塞的环境下，Backup 路由器可能在等待超时后才收到Master路由器的报文，导致备份组内的成员频繁的进行主备状态转换。检查 CPU 占用情况参见 HYPERLINK l _bookmark1 1.2.1 2. (4)寻求进一步帮助如果上述方法不能确定问题，请联系技术支持人员。问题解决链路故障请排除组网问题；因STP等协议引起的端口阻塞问题可以参见各协议配置手册更改配置或者根据需要关

12、闭相应协议；报文收发问题解决参见 HYPERLINK l _bookmark1 1.2.1 3. (3)。在网络比较拥塞的环境，可以适当增加Backup等待延迟时间；CPU占用率过高问题的解决请参见 HYPERLINK l _bookmark1 1.2.1 3. (4)。VRRP 备份组不能进行三层转发问题描述默认网关设为 VRRP 虚拟 IP 地址的主机不能访问外部网络。问题定位请按如下步骤依次检查：检查 VRRP 备份组状态是否稳定查看同属一个备份组的各个路由器的状态是否是一主多备（通常是一主一备）。如果发现有两个或多个Master路由器，请参见“ HYPERLINK l _bookmar

13、k0 1.2.1 HYPERLINK l _bookmark0 配置VRRP之后出现多个 HYPERLINK l _bookmark0 Master”；如果VRRP状态有频繁切换的情况，请参见“ HYPERLINK l _bookmark1 1.2.2 HYPERLINK l _bookmark1 VRRP路由器状态不 HYPERLINK l _bookmark1 稳定”。检查互通性检查业务经过端口的配置信息，确定端口是否启用 802.1x，ACL 规则，端口是否允许 VRRP 路由器所在 VLAN 通过。使用命令 display stp brief 检查业务经过端口的 STP 状态，确定端口

14、 STP 状态是否正常，且端口 STP 状态是否稳定。检查端口是否因 STP、RRPP、Smart-link 或者 LACP 等协议而阻塞。在确认 vrrp ping-enable 使能的情况下，检查是否能 ping 通 VRRP 路由器的虚拟IP 地址。vrrp ping-enable 属于全局配置，只有在没有配置 VRRP 备份组的情况下才能更改此配置。检查 ARP 和MAC 地址表项学习情况当网络拓扑结构发生变化时，ARP 表项和 MAC 地址表项可能无法及时更新，导致报文不能正常转发。依次检查以下表项的正确性：使用命令 display arp 检查 Master 路由器上是否成功学习到

15、内部网络中主机的 ARP 表项。检查内部网络中主机的 ARP 表项学习情况。内部网络中主机学到的虚拟 IP 地址和 MAC 地址对应关系，应该与 VRRP 备份组配置的虚拟 IP 地址和 MAC 地址对应方式保持一致。即实 MAC 方式时，应为虚拟 IP 地址和 Master 路由器的接口 MAC 地址对应；虚 MAC 方式时，应为虚拟 IP 地址和 VRRP 备份组的虚拟 MAC 地址对应。确认连接路由器的交换机的 MAC 地址表项情况，确认 Master 路由器的 MAC（实 MAC 方式）或虚拟 MAC 地址（虚 MAC 方式）对应正确的交换机端口。检查三层互通使用 Ping 功能，在业

16、务的两端进行互 Ping，确定是否能够 Ping 通。如果能够 Ping通，证明三层转发没有问题，需要检查主机发送的业务报文是否正确。检查路由表项如果不能 ping 通，检查 VRRP 路由器的路由表项是否正确。是否配置了正确的静态路由，以及路由协议是否工作正常。检查报文接收通过打开 IP 报文调试开关，观察 TTL 等字段信息，确定是否因为报文填充错误而被丢弃。问题解决VRRP 状态不稳定请参见“ HYPERLINK l _bookmark0 1.2.1 HYPERLINK l _bookmark0 配置VRRP之后出现多个Master”和“ HYPERLINK l _bookmark1 1

17、.2.2 HYPERLINK l _bookmark1 VRRP路由器状态不稳 HYPERLINK l _bookmark1 定”中相应的问题解决过程。端口配置、STP 配置等故障请更改 trunk 或 hybrid 端口上 PVID 配置，删除无用的 ACL 规则、802.1x 配置，更改 STP 优先级等配置，保证二层互通。路由问题在设备上正确配置静态路由或动态路由协议。ARP 学习问题请参照ARP 故障处理手册。报文发送和接收问题确认是否发送的业务报文有误。如果无误，请联系技术支持人员。无法 ping 通 VRRP 虚拟 IP 地址问题描述VRRP 备份组中只存在一个处于 Master

18、状态的路由器，但是主机无法 ping 通该VRRP 备份组的虚拟 IP 地址。问题定位确认主机能否 ping 通设备接口的实际 IP 地址。通过 display vrrp 命令，查看“Virtual IP Ping”字段，确认备份组的虚拟 IP地址能否被 ping 通。如果在 vrrp ping-enable 使能的条件下不能 ping 通，输入 display ip routing-table 命令查看是否有 VRRP 虚拟 IP 地址对应的主机路由。问题解决如果无法ping通接口的实际IP地址，请确认链路连接是否正常，报文转发是否正常，解决方法请参见“ HYPERLINK l _bookm

19、ark0 1.2.1 HYPERLINK l _bookmark0 配置VRRP之后出现多个Master”。如果 display vrrp 的显示信息如下，需要执行 vrrp ping-enable 命令使备份组的虚拟 IP 地址可以被 ping 通。在系统视图下输入 vrrp ping-enable 命令。 display vrrp IPv4 Standby Information:Run Method: VIRTUAL-MACVirtual IP Ping : DisableThe total number of the virtual routers: 1InterfaceVRIDSta

20、teRunAdver.AuthVirtualPriTimeTypeIPGE0/01Master1551NONE 说明：vrrp ping-enable 命令只有在没有创建 VRRP 备份组的情况下才允许配置。如果通过上述步骤不能确定问题，请检查路由表中 VRRP 虚拟 IP 地址对应的路由。如果路由表中没有虚拟 IP 地址对应的路由，请通过静态路由或动态路由协议添加。检查对应的主机路由是否存在。如果不存在，说明是 VRRP 和路由的配合出现了问题，请联系技术支持人员。 display ip routing-table Routing Tables: PublicDestinations : 5

21、Routes : 5Destination/MaskProtoPreCostNextHopInterface/8Direct00InLoop0/32Direct00InLoop0/16Static600GE0/0/24Direct00GE0/0/32Direct00InLoop0VRRP 监视功能失效问题描述配置 VRRP 监视某链路，当该链路处于 down 状态时对端 VRRP 没有切换成为Master；或者链路处于 up 状态时，本地 VRRP 优先级降低。问题定位通过 display vrrp verbose 命令查看本地 VRRP 的运行优先级是否按预期降低。检查 VRRP 的配置是否

22、正确。如果 VRRP 不是直接监视接口，而是监视 Track 项（当前支持 BFD 和 NQA 两种探测协议），Master 监视自己的上行链路时， 需要通过 vrrp vrid track reduced 命令配置降低的优先级额度；Backup 监视Master 状态时，需要通过 vrrp vrid track switchover 命令配置 Backup 路由器工作在 switchover 模式。如果监视接口之后 VRRP 优先级始终降低，请查看所监视的链路协议状态。问题解决如果优先级已降低，但是对端没有切换，说明优先级配置不合理。通过命令行增大优先级降低的幅度，保证本地 VRRP 优先级

23、降低之后，低于对端的优先级。如果是监视 Track 项的模式配置错误，则需要更改配置；对于不同的监视接口类型，关注的链路层协议类型也有所不同。确保 VRRP 监视了正确的协议。对于上层协议来说，如果是 IPv4 版本的 VRRP，应该监视链路的 IPv4 协议状态；如果是 IPv6 版本的 VRRP，则应该监视链路的 IPv6 协议状态。对于监视 Track 项的情况，确认监视项的状态。故障处理过程故障诊断流程VRRP状态故障VRRP配置否是否正确？未解决是检查链路是否连通？否是未解决否检查VRRP报文收发是否正常？是检查ARP和否路由是否正常？未解决是否CPU占用率是否正常？是未解决寻求技术

24、支持解决解决解决故障排除更改VRRP 配置改善组网环境，减少不必要的组播业务参考ARP/路由故障处理过程更改组网、VLAN、STP等配置解决图1-1 故障诊断流程图故障处理步骤查看 VRRP 配置是否正确在接口视图下执行 display this 命令，观察两端配置是否对称、优先级设置（包括优先级配置和监视接口降低值）是否合理。VRRP 要求组成虚拟路由器的多个路由器必须配置一致，即要求虚拟 IP 地址、VRRP 报文广播间隔时间、认证方式和认证字的配置必须相同。此外，设备上能够支持的虚 MAC 下发的数目有规格限制。一台设备上处于 Master 状态的 VRRP 备份组数目超过了该规格限制后

25、，会导致部分虚拟 MAC 地址无法下发，相应的备份组回退到 Initialize 状态。检查链路互通检查端口配置（VLAN 配置、802.1x、STP 状态等），ping VRRP 所在接口实 IP 地址，观察是否能够 ping 通。检查互连端口的配置情况，如果是 trunk 或者 hybrid 端口，要确定端口 PVID 是否一致，是否允许 VRRP 备份组所在 VLAN 通过，端口是否配置 802.1x 等协议。使用命令 display stp brief 查看互连端口 STP 状态是否正常。检查端口是否因为 RRPP、Smart-link 或者 LACP 等协议而阻塞。检查报文收发打开

26、VRRP 报文调试开关，检查报文在指定接口的收发是否正常。可以打开以太网报文调试开关 debugging ethernet packet 和 IP 报文调试开关debugging ip packet 配合检查(以太网报文的目的 MAC 是 VRRP 的组播 MAC 地址 0100-5e00-0012，VRRP 报文的 IP 协议号为 112)。如果报文没有到达入端口， 请检查对端信息。检查 ARP 和路由在接入交换机上检查 ARP 表项和 MAC 表项（注意 MAC 地址和端口以及 VLAN 的对应关系）是否正确，在各网络主机上检查 VRRP 虚拟 IP 地址对应的 ARP 表项是否正确。如果

27、出现Master 不能 ping 通的情况，在 vrrp ping-enable 使能前提下，检查 VRRP 的 Master 路由器上虚拟 IP 地址对应的主机路由是否存在。如果出现转发问题，需要检查转发的路由。出现路由故障则需要借助路由故障处理手段检查路由协议是否正常运作，配置的静态路由是否正确。CPU 占用率使用 display cpu-usage 命令查看设备的 CPU 占用率。关闭不必要的业务，以降低 CPU 的利用率。典型案例VRRP 主备切换引起网络中断组网环境Router AMasterEth1/0NetworkEth1/1Host ASwitchRouter BBackup图

28、1-2 VRRP 主备切换引起网络中断故障现象如 HYPERLINK l _bookmark6 图 1-2所示，Router A和Router B上分别配置 50 个采用虚MAC方式的VRRP备份组。Router A为 50 个备份组的Master路由器，Router B为Backup路由器。Switch 上虚MAC地址对应的端口为Ethernet1/0。快速shutdown，并undo shutdown接口Ethernet1/0 ，稳定后发现个别虚MAC 地址对应的端口为Ethernet1/1 ，而不是Ethernet1/0。处理过程查看 Switch 的 MAC 地址表项，发现 VRRP

29、路由器的虚拟 MAC 地址对应的端口是Ethernet1/1，即切换后的 Backup 路由器 Router B 所连接的端口。问题原因可能是 Router A 切换到 Master 之后发送免费 ARP 没有生效。所以， 首先确认路由器 Router A 是否发送了免费 ARP。通过 debugging arp packet 命令打开 Router A 的 ARP 报文调试开关，重现切换过程，发现 Router A 切换到 Master 时发送了免费 ARP。问题原因还可能是 Switch 的 MAC 地址表项没有更新。由于配置较多 VRRP 备份组，会同时发送大量免费 ARP，超出了 Sw

30、itch 的处理能力，导致部分 ARP没有生效。减少备份组的数量，重现切换过程，该问题得到解决。接口 down 引起网络两次流量中断组网环境Router AMasterEth1/2 /24Eth1/1 /24Eth1/1 /24SwitchEth1/2 /24Router CEth1/2 /24Eth1/1 /24Loop0 00/32Router BBackup图1-3 接口 down 引起网络两次流量中断故障现象如 HYPERLINK l _bookmark7 图 1-3所示，Router A和Router B组成VRRP备份组，Router A优先级较高，作为Master正常运行。配置R

31、outer A监视连接上行链路接口Ethernet1/1。在Router A、Router B和Router C上运行OSPF协议。在 Switch 上进行 ping Router C 的操作，同时在 Router A 的接口 Ethernet1/1 上执行 shutdown 命令。 ping 00Reply from 00: bytes=56 Sequence=188 ttl=254 time=3 ms Reply from 00: bytes=56 Sequence=189 ttl=254 time=2 ms Reply from 00: bytes=56 Sequence=190 ttl

32、=254 time=2 ms Request time outRequest time outReply from 00: bytes=56 Sequence=193 ttl=254 time=3 ms Request time outReply from 00: bytes=56 Sequence=195 ttl=254 time=3 ms Reply from 00: bytes=56 Sequence=196 ttl=254 time=2 ms当接口 Ethernet1/1 由 up 变成 down 时，Router A 降低优先级，Router B 迅速切换为 Master。理论上，只应在接口 down 到 VRRP 的主备切换完成之间出现一次流量中断，但实际却出现了两次流量中断。处理过程打开 VRRP 报文和状态转换的调试信息开关，重现上述问题。没有出现 VRRP 状态的震荡。从 Master 监视接口 down 引起的优先级降低，到立刻发送优先级较低的通告报文，再到Backup 路由器迅速切换成Master 以及发送免费ARP 都完全正常。查看 Switch 上 ARP 的表项，检查 VRRP 虚拟 IP