以太网故障处理

1、以太网故障处理课程目标学习完此课程，您应能：掌握以太网故障定位常用手段熟悉与理解以太网故障定位思路了解一些常见典型案例Page 2以太网故障定位手段以太网故障定位思路以太网故障案例分析内容提纲Page 3以太网单板维护手段扁鹊看病是望、闻、问、切定位以太网故障也需要熟练掌握几种常见的手段: 告警与性能分析 RMON(Remote Network Mmonitoring 远程监控)性能分析 网管操作日志分析 测试帧功能通过以上几种常见的维护手段可以帮助定位大部分的问题,在一些特殊或复杂的情况下可以借助其他方式来定位问题: 单板还回功能 测试仪表测试 捕获报文分析,既抓包分析 数据设备PINGTR

2、ACERT功能Page 4以太网单板维护手段告警与性能分析 SDH告警及性能检查影响SDH业务的告警：LOP、AIS、UNEQ等SDH性能统计：误码、 B3SD、LPBBE等 映射层告警LCAS带宽减少告警及LCAS实际协商时隙查询 封装层告警FCS_ERR及GFP帧失步告警 以太网告警和性能检查影响业务的告警：ETH_LOSRMON性能告警：错误报文计数及性能统计越限告警注意：底层性能劣化可能引起上层告警Page 5T2000网管告警显示以太网单板维护手段T2000V002R002版本截图,推荐使用网管F1联机帮助Page 6以太网单板维护手段RMON性能分析以太网统计组(Ethernet

3、statistics) 统计组的作用是查询以太网端口的当前实时性能统计数据;历史控制组(History control) 历史控制组的作用是控制各以太网端口历史数据的获取方式，设置的属性包括：历史表类型：30秒/30分/可设周期，对于可设周期，需要设置采样周期；每个统计值保存的项数；以太网历史组(Ethernet history) 历史数据组保留对以太网性能的历史时段的统计，满足用户对查询过去某些时间段内的以太网端口统计数据的要求，其支持的性能项和以太网统计组相同;告警控制组(alarm control) 实现告警功能。完成告警事件的上报。需要提供告警事件的设置、查询，告警的设置包括告警的上报

4、方式，告警上限/下限，告警数据的采集时间间隔;Page 7以太网单板维护手段T2000网管RMON性能分析-统计组通过端口实时速率统计功能，可以大致了解本端口的报文收发速率网管入口Page 8以太网单板维护手段T2000网管RMON性能分析-告警组注意：首先必须启动性能监视功能Page 9以太网单板维护手段 推荐使用网管F1联机帮助T2000网管RMON性能分析-参数含义 A类错包事件AlignmentErrors对齐错误:碰撞引起或硬件故障（对端居多）;FCSErrors CRC校验错:碰撞（全双工VS半双工）、网线质量差或受到干扰、对端硬件故障; B类碰撞相关事件Collisions冲突事

5、件:端口实际工作在半双工模式，建议调整到全双工模式；CSMA/CD算法所决定，非故障; C类流控事件反映了通道的“拥挤”程度; D类硬件异常DropEvents：由于FIFO溢出而导致的丢包;Page 10以太网单板维护手段网管操作日志分析对事故前的操作记录查询对快速定位问题有很好的帮助Page 11以太网单板维护手段 以太网单板提供一种验证VCTRUNK端口之间互通性的,使用GFP管理帧实现的测试帧功能.测试帧功能 通过测试帧请求和应答的交互，可以验证单板之间VCTRUNK连接的配置正确性, 即SDH业务配置和VCTRUNK通道绑定配置，以及SDH线路侧通断情况.Page 12以太网单板维护

6、手段T2000网管实现测试帧功能业务正常情况下,发送测试帧的数量和收到的测试帧数量应该相同.网管入口Page 13以太网单板维护手段MACMACVCTRUNK测试包VCTRUNKMACMACVCTRUNK测试包VCTRUNKNE1NE2命令行实现测试包功能-只有EFGS系列支持定义测试包:ethn-cfg-set-testpktpara:bid,vctrunk,length,testtype,datatype,dstmac,srcmac,dstip,srcip,vlanid; （0 xFFFF表示不带VLANID） 发送测试包: ethn-cfg-set-testpkten:bid,vctru

7、nk/ip,number ;注意：此功能需要谨慎使用Page 14以太网单板维护手段以太网单板还回功能环回位置及方向封装GFPLAPSHDLCMLPPP映射VCGLCASSDHVC12VC3VC4虚通道MPLSQinQ以太网透传二层交换SDHVC12VC3VC4映射VCGLCAS封装GFPLAPSHDLCMLPPP虚通道MPLSQinQ以太网透传二层交换SDH交叉与线路PHY环回MAC环回SDH时隙外环回SDH时隙内环回交叉/线路环回注意：二层交换模式下不能使用环回功能此功能需要谨慎使用Page 15以太网单板维护手段测试仪表测试 利用外接仪表的强大功能，可以实现模拟以太网业务数据流；测试以太

8、网业务的四个性能指标；也可以实现报文捕获分析；常用的仪表有SMARTBITS6000,Tesgine2000等；捕获报文分析,既抓包分析 利用仪表，或是PC+抓包软件（SNIFFER）等工具捕获数据流，并提供分析报文分析，可以让维护人员深入分析业务异常原因；数据设备PINGTRACERT功能在和数通设备配合组网，借助数通设备或是利用PC机的PINGTRACERT来定位故障点；Page 16维护手段：PING 命令的使用方法可以通过PING命令发送各种长度、数量的ping包，参数解释如上图所示。Page 17维护手段以太网OAM功能简介引入：随着以太网业务的发展，运营商对设备的可维护性越来越关注

9、，在以太网向城域、广域网扩展的时候，迫切需要解决传送网的OAM(OAM-Operations, Administration and Maintenance)问题。而当前以太网二层的维护手段非常有限，于是以太网OAM功能便应运而生。Page 18维护手段以太网OAM功能简介以太网OAM主要具有一下几个功能：故障的自动发现故障的定位故障的隔离提供一些供用户、用服定位问题的手段；替代私有的测试帧功能，解决测试帧和数通设备之间不能互通的问题；二层交换业务不能支持还回功能；现有的专线业务报文环回处理，不能对报文选择性的环回;能够比现有的定位手段发现更低级的错误;Page 19维护手段以太网OAM功能简

10、介网管单站操作：功能入口：网元管理器-某块以太网单板-以太网OAM管理Page 20维护手段以太网OAM功能简介网管操作：用户首先创建各维护节点（MEP_A/MEP_B/链路上各MIP），并设置维护点相关属性（输入MPID、Type、Level、Direction、OAM时间参数）。注意：创建维护点之前需要首先创建业务，Link或者LSP。Page 21维护手段以太网OAM功能简介如图：在MEP_A下发启动LB命令（需要指定目的节点MPID，假设为MEP_B），启动LB检测定时器。网络无故障则MEP_B返回LBR，MEP_A收到此LBR后上报成功，否则返回超时。Page 22以太网故障定位手段

11、以太网故障定位思路以太网故障案例分析内容提纲Page 23以太网故障定位可以参照“先性能后告警、先SDH后以太网、先日志后测试、先内部后外部”的原则，充分利用告警、性能事件、逐段环回、测试帧、替换法等定位手段，结合工具软件、测试仪表、PING功能等进行有计划、有步骤的定位除了遵照上述原则外，还应尽可能采取其它的应急措施（如提供、切换备用链路），以减少业务中断时长以太网故障定位思路以太网故障定位原则故障定位并没有一种固定不变的思路，完全可以根据自己的经验和对定位手段的熟悉程度，灵活的运用Page 24以太网故障定位思路以太网故障定位界面内部外部SDH以太网Page 25以太网故障定位思路以太网故

12、障定位思路业务中断Page 26以太网故障定位思路端口TAG属性(TAG/UNTAG)设置不当 该种故障出现概率较大，常见原因是以太网端口未能与数据设备进行端口属性同步更改，导致业务中断;端口工作模式引起的故障 物理层出现故障，表现为实际端口工作模式不正确，或者端口某些参数异常，或接口板故障，物理层寄存器被随意改写等。当端口设置为自协商时，要求在link上后查询端口实际工作模式，杜绝半双工VS全双工的情况出现;网线或者光纤出现故障 以太网端口LINK灯（绿色）不亮,网线可能坏了，或者是交叉和公网线弄混了; 通过查询以太网RMON实时性能，如果存在较多的CRC错误等异常错包，在首先排除端口工作模

13、式问题的前提下，也可能是网线光纤存在问题;需重点查询VC通道捆绑情况 在非LCAS状态下捆绑错或不一致也可致使业务中断;以太网故障定位思路业务中断常见问题Page 27以太网故障定位思路以太网配置的静态路由错误或者丢失 检查配置后修改;单板硬件故障 一般都会有上报TU-AIS,TU-LOP等SDH层告警，现象比较好判断;封装协议不匹配 对于EFGS系列单板，N1单板支持LAPS和GFP，N2只支持GFP，不同的封装协议是无法对接成功的;GFP帧失步或GFP封装FCS_ERROR 可能GFP封装的参数设置不一致造成的问题，如N1的EFGS单板默认的GFP封装是“小字节序”而N2的单板默认值是“大

14、字节序”;因为大量丢包造成的业务中断 参考下”业务劣化”的处理思路;端口的默认vlan id设置 关注端口PVID和业务VLAN ID之间的关系;对于EFGS单板的Hybrid端口的PVID设置也要注意两端设备的一致问题；以太网故障定位思路业务中断常见问题Page 28以太网故障定位思路以太网故障定位思路业务劣化Page 29以太网故障定位思路以太网故障定位思路业务劣化常见问题业务量大，配置带宽不够 通过以太网端口性能统计数据进行判别，一般对端设备可以接收到比较多而且持续的PAUSE帧;如果实际流量接近我们配置的带宽，也证明我们的带宽资源不足了。可以尝试多绑定几个2m来验证问题。带宽足够，但是

15、业务突发比较大流量很可能平均流量远小于我们配置的带宽，但对端设备还是在时不时收到我们设备发出的PAUSE帧，此时一是增加带宽，但是更主要的是要求对端的设备做一下流量整形，这样效果会好很多。业务量过大的时候，对端设备不响应流控造成丢包 一端支持使能流控，对端设备不响应流控，引起大量丢包;建议对于业务量较大的站点，要不和对端设备同时使能流控，要不同时都不使能，不要出现一方使能另一方不使能的情况;单板设置的最大传输包长MTU小于实际设备的传输包长 这种情况不太常见，但是发生了也很难确认。常出现在有VPN或是MPLS网络中,通过测试仪表可以测试出网络最大的MTU.Page 30以太网故障定位思路端口模

16、式和对端设备不匹配，造成工作在异常状态 这种情况多半会导致AUTO一端被错误协商成100M HALF，引起工作模式不匹配。小业务流量还是可以传输，但是数据量一大就会导致大量的碰撞和冲突包被检测到，可以通过性能统计查询到。 网线或者光纤出现故障 通过告警基本上可以判断出,如果存在较多的CRC错误等异常错包，在首先排除端口工作模式问题的前提下，也可能是网线光纤存在问题;单板硬件故障 一般都会有上报TU-AIS,TU-LOP或BBE等SDH层告警或性能;交换业务存在回路，而未启动生成树 以太网业务层可能存在环路，例如人为的原因在以太接口上插环回电缆等，或是业务配置错误，如该情况未启用生成树就会存在广

17、播风暴消耗网络带宽资源;网络存在异常 通过抓包分析,如存在超量的广播报文或是病毒报文，占用大部分转发带宽，后果与广播风暴类似;以太网故障定位思路业务劣化常见问题Page 31知识回顾以太网故障定位原则以太网故障定位分界以太网故障定位的思路以太网常见故障现象和原因Page 32以太网故障定位手段以太网故障定位思路以太网故障案例分析内容提纲Page 33以太网故障案例分析EFS单板瞬报ETH_LOS告警的问题处理【问题现象】 某局EFS单板瞬报ETH_LOS告警，通过网管检查有多个站点出现过5秒的ETH_LOS告警，然后告警结束。通过对照发现只要是10MFull连接到用户的计费系统的EFS单板MA

18、C端口会出现瞬报ETH_LOS告警的现象，其他端口均正常【问题分析】 由于单板上报ETH_LOS告警，属于网口连接丢失告警，与SDH系统无关，且多块单板均瞬报告警，单板故障的可能性也非常的小。通过深入的观察分析发现故障原因为用户偶尔关闭或重启计算机，导致Link偶尔中断：每次重启或关闭计算机时，由于网卡有暂时的掉电，在网管上就会反映出几秒钟的瞬断告警。由于EFS单板对端口的Link状态是5秒左右的周期巡检一次，所以会出现5秒的ETH_LOS告警【问题解决】 属正常现象，不需要处理。Page 34以太网故障案例分析【问题现象】 用户反映上网速度很慢，ping外部网站出现较多丢包。【问题分析】 思

19、路：端口模式问题？线路故障 ？单板故障？数通故障？1、端口模式不一致引起大量丢包，此种情况可以迅速通过以太网性能事件确认：如果本端为全双工且收到大量CRC错包，可确认为对端工作在半双工模式所导致，当然，也有可能是网线故障或受到干扰所致；2、线路如果出现误码，从而导致以太网帧所在的VC虚通道产生误码，而单板在从VC虚通道恢复以太网帧的时候会进行CRC校验，此时必然CRC校验不过而丢弃改帧；3、单板硬件故障导致丢包，通过还回和测试来定位，确认后更换单板解决；【问题解决】处理此类故障时，首先查看SDH侧是否产生了误码，其次通过以太网性能事件来判断是否存在端口工作模式不一致的问题，再次隔离数通设备通过

20、PC直连来定位是否数通产品故障，如定位为以太网问题，则更换以太网单板继续观测。以太网业务丢包严重Page 35以太网故障案例分析以太网业务FTP测试速率不达标【问题现象】用户FTP测试速率只有几K字节50KM【问题分析】分析过程：线路无误码，FCS校验正常，网络流量也比较小，没有超过绑定带宽，但在进行仪表测试时，发现网络时延很大FTP软件采用TCP传输方式，和TCP的窗口机制有关，时延越大，该TCP的服务速率会相应降低，和设备带宽无关。一种简单的计算方法：假设PC机的MTU=1500,最大窗口数w16；则每次最大可以传送的字节数1615008192000bits，时延192000/测试速率 =

21、Nms；【问题解决】尽量减少网络传输的时延，加大FTP传输的TCP窗口，如用FTP软件多进程下载功能Page 36以太网故障案例分析EGS2每个vctrunk只支持4个VC4，转发不能线速用户采选了SSN2EGS2数据单板组网, 却无法实现千兆流量的传送.【问题现象】【问题分析】OSN设备数据单板N2EGS2的VCTRUNK带宽因为受到芯片的限制，一个VCTRUNK只能支持622M（4*VC4）的带宽。因此当组网出现一个MAC（GE端口）口或是多个MAC（GE端口）对应一个SDH系统侧端口（VCTRUNK端口）时，并且用户流量超过622M的情况下，就会出现SDH系统侧端口（VCTRUNK端口）带宽瓶颈问题！【问题解决】1、这应该是一个已知的规格限制，所以建议在组网时规避，尽量采用一个GE端口对应多个VCTRUNK的组网方式，来缓解带宽瓶颈问题。2、流量比较大的专线接入业务建议采用EGT单板组网。Page 37以太网故障案例分析【故障现象】某局计划使用SSN1EFS0单板,开通以太网业务两端都采用了GFP的封装方式，在配置完成后，业务始终不通；查看线路侧上无任何异常告警，但有时存在FCS_ERR告警【问题处理】FCS_ERR告警是由封装方式触发FCS校验出错告警，可能的原因是封装协议一致但是协议