H3C二层网络问题维护经验.ppt

ISSUE 1.0,日期：2013.5.26 武汉办事处 胡振,杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播,H3C 二层网络问题维护经验,了解二层网络故障诊断的一般方法 掌握日常二层网络问题维护方法,课程目标,学习完本课程，您应该能够了解：,环路问题的排查 查找故障源 STP震荡问题 MSTP线路感知问题,目录,环路问题排查,以太网二层环路问题不是什么新鲜事，但是到如今仍然是我们网络重大故障的主要原因之一。 对网络运行危害是致命性的，影响范围大。 网络规模较大时，二层环路问题牵扯面多，如硬件CPU、三层协议、VRRP、端口广播等，给故障排查带来困难；,环路问题排查,二层环路故障表现出的现象 登录设备缓慢，CPU占用率高。一般超过60%，甚至100%. 业务中断或时断时续，无法找到规律。 此时需要登录设备查看告警信息，打开terminal moniter,环路问题排查,设备的告警信息解读 %Mar 19 23:20:43:829 2013 HBDL-CSWS12518-A VRRP/4/MasterChange: IPv4 Vlan-interface1 | Virtual Router 2 : Master Backup reason: VRRP packet received %Mar 19 23:36:28:242 2013 HBDL-CSWS12518-A VRRP/4/MasterChange: IPv4 Vlan-interface1950 | Virtual Router 1 : Backup Master reason: Timer expired 设备VRRP主备反复告警切换，说明VRRP主备之间的CPU响应心跳出现问题,环路问题排查,设备的告警信息解读 %Mar 19 23:20:43:832 2013 HBDL-CSWS12518-A ARP/3/ROUTECONFLICT:Slot=13;Route conflict found, IP:10.228.0.250, VrfIndex:0 %Mar 19 23:20:43:832 2013 HBDL-CSWS12518-A ARP/3/ROUTECONFLICT:Slot=2;Route conflict found, IP:10.228.0.250, VrfIndex:0 大量ARP冲突告警信息，说明存在大量重复的ARP广播。,环路问题排查,设备的告警信息解读 %320622#Mar 19 21:03:11:747 2013 HBDL-CSWS12518-A OSPF/4/IF_BAD_RX:OSPF TrapID1.3.6.1.2.1.14.16.2.8: Non-virtual Interface 10.229.252.126 index 0 Router 10.228.249.2 received error packet from 10.229.252.126 PacketType 1. %320623#Mar 19 21:03:11:747 2013 HBDL-CSWS12518-A OSPF/4/IF_BAD_RX:OSPF TrapID1.3.6.1.2.1.14.16.2.8: Non-virtual Interface 10.229.252.126 index 0 Router 10.228.249.2 received error packet from 10.229.252.126 PacketType 1. 大量OSPF ID冲突告警信息，说明存在大量相同router id的报文，在二层环路中OSPF TYPE1组播报文也会形成广播风暴。可进一步查看，Display ospf errors分析router id error,环路问题排查,设备的告警信息解读 %May 14 08:54:14 2004 Quidway SYSM/5/IP MOVE:Rcv src IP 10.56.96.9 packet from port 24 but its nexthop arp 10.56.96.9 with 0002-55fa-96be resided in port 22 大量ARP迁移信息，转发数据包的是port24，但接收到ARP广播报文的却是PORT22。说明存在二层广播环路。,找到故障源,同时出现VRRP主备频繁切换、OSPF ID大量冲突、ARP冲突、ARP迁移这些告警信息时，基本确认网络中存在二层环路。 注：在没有启用VRRP、OSPF时，只会有ARP的告警，这时还需要注意是否是病毒攻击造成的。,病毒扫描攻击,找到故障源,%320622#Mar 19 21:03:11:747 2013 HBDL-CSWS12518-A OSPF/4/IF_BAD_RX:OSPF TrapID1.3.6.1.2.1.14.16.2.8: Non-virtual Interface 10.229.252.126 index 0 Router 10.228.249.2 received error packet from 10.229.252.126 PacketType 1. Ospf id 冲突中，找到收到错误报文的源为10.229.252.126，检查该三层接口所属VLAN是否有环路。 %May 14 08:54:14 2004 Quidway SYSM/5/IP MOVE:Rcv src IP 10.56.96.9 packet from port 24 but its nexthop arp 10.56.96.9 with 0002-55fa-96be resided in port 22 ARP迁移，找到报错的报文源为10.56.96.9，检查该三层接口所属VLAN是否有环路。,找到故障源,%Mar 19 23:20:43:832 2013 HBDL-CSWS12518-A ARP/3/ROUTECONFLICT:Slot=2;Route conflict found, IP:10.228.0.250, VrfIndex:0 ARP冲突，找到报错报文源10.228.0.250，检查该三层接口所属VLAN是否有环路。 VRRP频繁迁移是因为VRRP主备心跳丢失，往往只是问题表象，不能作为问题排查的实际依据。任何vlan的环路往往都会导致其它所有vlan的VRRP主备切换。因为二层广播风暴影响的是整个设备的CPU响应。,找到故障源,确定了造成故障的VLAN以后 把该vlan从核心网中隔离出去，看效果。 检查该vlan内是否存在二层环路连接 开启STP 楼层交换机双链路上行、HUB问题 服务器、PC双网卡,找到故障源,当网络骨干TRUNK线路出现环路时，会同时出现多个vlan都有环路。此时，可先暂时断开骨干TRUNK链路。检查配置，开启STP，注意开启 /关闭STP会导网络致暂时中断。 在紧急情况下，如设备已无法登陆、无法操作可以采取拔线处理。找到骨干设备上环路物理链路源头。快速恢复业务。,STP震荡问题,在已经启用了MSTP/RSTP/STP的网络中，时常会出现STP震荡问题。故障表现是：网络时断时续，业务不可用。 首先检查核心主备根桥STP状态 Display stp root 是否出现抢根现象 注：这里说的主根是指针 对MSTP单个实例说的， 如存在多个实例会有多个主根。,主根,备根,STP震荡问题,检查核心主备根桥STP 端口转发状态 Display stp brief 主根桥上的所有端口都是指定Designated端口，且都为Forwarding状态。命令重复操作几次，看状态是否频繁变化。,主根,备根,STP震荡问题,检查其它桥STP 端口转发状态 Display stp brief 非主根桥的端口状态，都有ROOT端口，且指向根桥的方向，Discarding端口正常应为末节端冗余链路。如端口Forwarding、Discarding、ROOT、 Designated状态频繁变化说明存在拓扑结构 频繁变化或者TC/TCN 报文频繁发送。,Root 方向,Root 方向,主根,备根,STP震荡问题,抢根的处理 Display stp root查出伪根桥ID 通过display stp brief，顺着ROOT指向找到伪根桥位置，隔离。 配置根保护。,STP震荡问题,抢根的处理 两个正常的启用STP个网络互连，也会造成抢根，导致网络STP震荡。比如此处网络一和网络二互连就会产生抢根，STP震荡。应该为三层，或者把端口stp disable,阻断两个大二层网络之间的BPDU报文透传。,网络一,网络二,stp disable,STP震荡问题,TOP频繁变化和TC/TCN报文频繁发送的处理 检查有无物理连接不稳定的链路，频繁UP/DOWN,特别是核心网设备链路。 配置边缘端口 配置TC/TCN/BPDU攻击报文保护,STP震荡问题,检查单个端口下的环路影响,STP震荡问题,检查单个端口下的环路影响 OSPF组播报文被二层环路大量广播，影响三层设备的CPU响应，导致三层路由设备OSPF状态异常。,经验,加强网络接入的准入控制，特别是PC服务器、双网卡的，虚拟机、正式接入网络前必须验证后网卡设置、杀毒； 尽量把非核心业务三层网关下移，不要把全部的三层接口都放在核心上，这样即使出了问题，不会直接影响核心网。网络以三层方式延伸。 设备互联注意二层环路，尽量用三层路由互联，并且采用不同vlan；或者设备全局开启STP协议，在三层互联接口处把STP disable掉。两个大二层网络之间互联,端口关闭STP。,MSTP链路感知问题,MSTP网络改造后，普遍存在链路故障感知问题 例如: 当RTC上行链路故障，此时RTA并不能感知，如配置静态路由，无法自动切换到备份链路，业务不可达。,MSTP,RTA,主线路,备线路,MSTP,RTD,RTC,RTB,MSTP链路感知问题,NQA或者BFD探测方式来解决。 例如: STATIC+NQA，STATIC+BFD,RTA检测到对端RTC中断时，主动抑制掉关联的静态路由，使该路由失效，实现自动切换。,MSTP,RTA,主线路,备线路,MSTP,RTD,RTC,RTB,RTA-GigabitEthernet1/1/1 bfd min-echo-receive-interval 10 RTA-GigabitEthernet1/1/1 bfd detect-multiplier 5 RTA bfd echo-source-ip 1.1.1.1 RTA ip route-static 22.0.0.0 24 12.0.0.2 bfd echo-packet preference 1,问题：通过网管如何监控MSTP网络链路状态？,MSTP链路感知问题,网