GPON网络OLT下部分用户无法上网问题处理案例.doc

GPON网络OLT下部分用户无法上网问题处理案例【问题描述】:7月9日中午，接用户故障申诉，发现衢州中立交机房OLT下挂部分ONU拨号用户产生678错误，无法上网，同一小区同一单元存在A用户可以拨号成功，B用户无法拨号成功的故障现象，整个OLT下挂的ONU上的拨号用户都存在此问题。中立交OLT直接下挂在衢州NE80下面，从现象看，属于二层互通的问题，通过比对NE80与MA5680T的MAC表项，发现两端MAC学习有差异，无法拨号成功的用户在OLT上可以学习成功，但在NE80上无法学习到，造成GPON用户拨号失败。【故障初步分析】:检查NE80 vlan 1248的MAC表项发现只能学习到22个MAC，但OLT上的vlan 1248可以学习到44个用户MAC，说明在二层转发上有一半被丢弃了，经过分析，问题原因可能有以下几个方面；1、 两端端口的硬件故障导致；2、 NE80接收有问题，NE80丢弃了其中的部分用户MAC；3、 MA5680T异常导致二层转发丢失。【处理过程】:1、 更换OLT与上行NE80两端端口，问题还是同样存在，排除硬件故障；2、 检查NE80端口数据发送和接收情况，通过连续两次查看端口数据报文发送和接收情况来看，发现与OLT对接的端口每秒增加的广播报文非常多（请见红色字体部分），如下所示；=OLT广播报文=dis inter gi 3/0/0 GigabitEthernet3/0/0 current state: up Hardware is WAN-GigabitEthernet, Address is 00e0-fc96-b4dd Description: To_Zhonglijiao_HWGpon The Maximum Transmit Unit is 1500 bytes, the BandWidth is 1000000 Kbits Send-frame-type is Ethernet_II, loopback not set Negotiation disabled, full-duplex, 1000Mbps Flow control disabled, Trust 802.1p This port works as a Switch Statistics last cleared: never Traffic statistics: Last 5 minutes input rate 3489814 bytes/sec, 5593 packets/sec Last 5 minutes output rate 2231951 bytes/sec, 4059 packets/secpackets input, 11952437753799 bytespackets output, 9186214045782 bytes Input: 0 shorts, 3565908 jumbos, 0 giants, 0 pauses 16954197469 unicasts, 13641355 multicasts, 149190707 broadcasts 0 MulticastOctets, 0 MulticastPkts 0 input fragments, 0 jabbers 0 CRC, 0 errors, 0 overruns Output: 0 shorts, 17279482 jumbos, 0 giantsunicasts, 10815501 multicasts, 13253467 broadcasts 0 MulticastOctets, 0 MulticastPkts 0 runts, 0 jabbers, 0 CRC 0 deferrals, 0 underruns, 0 aborts 0 collisions, 0 lates, 0 singles 0 multiples, 0 excessives PVID is 0, port is hybrid port MSTP configured to disable Port priority is 0 dis inter gi 3/0/0 GigabitEthernet3/0/0 current state: up Hardware is WAN-GigabitEthernet, Address is 00e0-fc96-b4dd Description: To_Zhonglijiao_HWGpon The Maximum Transmit Unit is 1500 bytes, the BandWidth is 1000000 Kbits Send-frame-type is Ethernet_II, loopback not set Negotiation disabled, full-duplex, 1000Mbps Flow control disabled, Trust 802.1p This port works as a Switch Statistics last cleared: never Traffic statistics: Last 5 minutes input rate 3476729 bytes/sec, 5600 packets/sec Last 5 minutes output rate 2284702 bytes/sec, 4088 packets/secpackets input, 11952530823500 bytespackets output, 9186295267053 bytes Input: 0 shorts, 3565908 jumbos, 0 giants, 0 pauses 16954334819 unicasts, 13641358 multicasts, 149212368 broadcasts 0 MulticastOctets, 0 MulticastPkts 0 input fragments, 0 jabbers 0 CRC, 0 errors, 0 overruns Output: 0 shorts, 17279482 jumbos, 0 giantsunicasts, 10815584 multicasts, 13253590 broadcasts 0 MulticastOctets, 0 MulticastPkts 0 runts, 0 jabbers, 0 CRC 0 deferrals, 0 underruns, 0 aborts 0 collisions, 0 lates, 0 singles 0 multiples, 0 excessives PVID is 0, port is hybrid port MSTP configured to disable Port priority is 0 =3、 再查看NE80其他端口，发现正常，说明该端口众多的广播报文来自于中立交的OLT，因此初步估计拨号失败的原因是由于广播报文太多导致pppoe拨号的第一个广播报文PADI被主控板广播抑制丢弃，造成拨号失败；通过查看OLT LSW发现0/2槽位的PON板收发的广播报文异常，达到25,262/s，进入单板透明传输模式，抓取各协议报文的传送情况，确认原因是由于单板受到ARP报文的攻击，而主机为保证网络报文健康传送，在广播报文超过主机广播抑制门限时，主机将做丢弃处理，丢弃的报文中正包括了部分用户拨号的PPPOE的第一个PADI报文，导致拨号失败；OLT的广播抑制默认设置如下；=OLT的广播抑制默认设置=ZJQZ_ZhongLiJiao2F_MA5680T(config)# display traffic-suppress allCommand: display traffic-suppress all Traffic suppression ID definition: - NO. Min bandwidth(kbps) Max bandwidth(kbps) Package number(pps) - 1 6 145 12 2 12 291 24 3 24 582 48 4 48 1153 95 5 97 2319 191 6 195 4639 382 7 390 9265 763 8 781 18531 1526 9 1562 37063 3052 10 3125 74126 6104 11 6249 148241 12207 12 12499 296483 24414 13 0 0 0 - - F/S Broadcast_index Multicast_index - 0/1 7 OFF 0/2 7 OFF 0/3 7 OFF -=4、 至此，问题原因已经明确，解决该问题的关键是查询0/2的PON板下，哪一个ONU的流量异常，即为问题根源，通过查看ONU的流量发现，0/2/1/1的ONU流量异常,该ONU没有下行流量但是上行流量确很大，如下；=0/2的PON板下流量异常=ZJQZ_ZhongLiJiao2F_MA5680T(config-if-gpon-0/2)#display ont traffic 1 1 |ontportid : Command: display ont traffic 1 1ZJQZ_ZhongLiJiao2F_MA5680T(config-if-gpon-0/2)# - Traffic Information - Up traffic (kbps) : 13723 Down traffic (kbps) : 0 -=5、 将该ONU去激活后，再次检查0/2槽位下广播报文统计，业务恢复正常，同时查看CPU使用率降低30%；【解决措施】:1、 为了防止硬件转发的ARP报文过多冲击到上层网络，广播抑制的功能是防止网络广播报文泛滥的有效机制，若全部放开，当设备收到攻击时，将对网络造成致命的堵塞，若广播全部抑制，将使得正常的报文被丢弃，如PPPOE拨号的第一个报文，正常的A