网络丢包经典分析案例

1、网络丢包，请离我远去1网络丢包-烦恼网络是多种设备的集合体，一个较为完善的网络除去网络终端大量的客户机以外，冇众多的设备穿插 集屮，包括二层交换机、三层交换机、dslam. bas、路由器、服务器、存储设备等。而涉及到的网络协议、 技术更为繁朵，要维护这么庞大以及技术复朵的网络，很多时候是雾里看花，总是看不清楚问题的实质， 尤其是网络丢包问题，让多少网络专家为之彻夜难眠却乂束乎无策。本案例汇集了经常遇到的网络丢包案 例，希望这些小的案例能够为我们的日常网络维护提供一些启发。2网络丢包惨案-案例1某客户的服务器端局部网络连接图（图中略去了交换机上行连接设备）如下：服务器服务器两台服务器连在分別连

2、接在s5100交换机的gl/0/3和gl/0/4端口。服务器是第三方网管服务器，两 台服务器之间有数据调用。客户反馈访问网管服务器速度很慢，两台服务器之间ping大包吋有大量丢包。网络故障范围己经缩小至两台服务器之间的丢包，问题就变得比较简单，这种情况下，首先确认是故 障点，那么我们看两台服务器ping报文的转发流程，总体上可以分为三部分：有两部分是服务器与交换机 之间的转发、另外一部分是交换机之间的数据转发。那么要排除该问题我们釆取逐段分析排查的方法：1：首先在两台交换机z间互相ping各白的管理ip地址，测验结果为不丢包，因此这两台交换机之 间的问题可以排除在外；2：排查服务器与交换机之间

3、问题：这部分的问题乂可以细分为三个点：服务器、网线、交换机端口。 而这三个点的排查难度是由难到易，因此我们先排査交换机端口的问题；3：首先更换左端服务器与交换机连接的端口，更换后，丢包问题依然存在，可以排除左端交换机端 口的问题，用同样的办法测试右端服务器与交换机端口，依然可以排除交换机端口的问题；4：那么接下来排查网线的问题，如果是线路的问题，那么在交换机的端口一定会产生大量的crc错 误，那么首先甥录到左边交换机上查看端口 g1/0/3的状态，没冇发现冇crc错误，然后等到右边交换机上 查看端口 g1/0/4的状态，发现端口有大mcrc错误，而且crc错误包的数量还在增长，因此初步怀疑该接

4、 口下的网线有问题，于是更换j条生产发货的网线更换后，丢包问题解决。tips：做网线是网络工程师的基本技能，甚至任何一个it卖场的售货人员都会做网线，但是网线的 质量却千差万别，由网线引发的网络丢包无计其数，千里之堤毁于蚁穴，日常网络维护中不可忽视小小的 网线。而对于线路引发的丢包，如果交换机或者路由器接口上收到runts, giants, throttles, crc, frame 等错帧而且错帧的数量在不断的增长，那么需要检查对端设备或者中间的传输链路是否存在问题；如果收 到overruns等错帧，需要确定本端的链路带宽是否足够。3网络丢包惨案-案例2菜客户全国网项目在在北京中心通过配置c

5、p0s板卡通过拆分e1连接卞面31个省屮心实现省节点与中心节点的互联，某局点与中心节点连接示意图如下：在s省节点，客户反馈访问总部的业务很慢，通过ping检测发现网络冇不规律丢包，工程师查看s 省节点路曲器e1接口上有人量旳crc错误，如下： <rt_3016 l>disp int ser 5/1last clearing of counters: neverlast 300 seconds input rate 0. 00 bytes/sec, 0 bits/scc, 0< 00 packets/seclast 300 seconds output rate 0.00 by

6、tes/sec, 0 bits/sec, 0.00 packets/secinput: 57433 packets, 2314250 bytes0 broadcasts, 0 multicasts57338 errors, 0 runts, 0 giants46901 crc, 23 align errors, 0 overruns 0 dribbles, 0 aborts, 0 no buffersoutput:211 packets, 49547 bytes0 errors, 0 underruns, 0 collisions0 dcferrc根据如上的输出信息，工程师认定是线路问题，于是

7、客户协调运营商排查线路，但是运营商经过一个 星期的艰苦卓绝的辛苦工作，非常确认线路没有问题。运营商为了证实自己的线路没有问题，自己携带了 一台新的路由器替换s省节点客户的msr路由器，替换的结果让所冇的人意外，替换后，网络不再有丢包！ 看起来crc错误并不一定是线路的问题？难道问题是msr路由器引发的？工程师仔细检查了两台设备坏境 的不同之处，发现最大的区别是hsr路由器接地了，而新替换的路由器没冇接地而且客户机房中的光端机 以及其他传输设备都没冇接地，那么意味着msr与网络中的英他设备不共地，由丁电磁干扰对e1线路影响 较大，因此工程师确认是接地因比的丢包问题，于是在现场将msr路由器上的接

8、地取消后，网络不再丢包。tips：对于网络设备，最好全部共地，避免由于不共地而引起的丢包，而在雷雨较多的南方城市，接 地更是强制的，而在北方地区由于气候干燥，那么静电引起的丢包或者其他问题对网扩设备影响较大；对 于e1线路引发的丢包问题，一般可以从三方面着手，一是可以通过打环，二是确认e1或者cpos的时钟 设置、三是接口 crc或者是其他字段的参数设置是否一致；而如果是pos链路问题，那么要查看pos接口 的字段c2、j0以及加扰设置是否一致。4网络丢包惨案一案例3某客户的对外服务办公网络通过大屋二层交换机连接终端，这些终端对外捉供实时服务，而所冇的二层交换机都通过双上行的方式连接到核心交换

9、机上，客户网络示意图如下：1i蔑 $ 屯9屯 总戛卫客户的网络是局域网典型网络结构，整个网络通过stp來避免环路并实现双上行链路备份，整个网络 设计合理规范，但是突然冇段时间客户反馈下面的终端业务办理很慢，iff且冇时断时续的现象。工程师首 先明确网络现象，确认网络屮所冇的终端业务都受到影响，因此工程师怀疑网络中冇环路导致引发广播风 暴从而影响网络的正常转发。因此工程师将处于备份状态的一台s7500下行连接业务的端口都断开，断开后，终端业务恢复，因此可以确认为网络环路导致了业务丢包，但是依然不能具体的问题点在那里。接下 來工程师在晚上网络没业务流量的惜况下，对s7500下行连接的l2交换机进行

10、逐个排查，也即逐个将下行 的l2交换机上行恢复到双上行结构同时开通过个ping窗口对业务进行监测。果不共然，再将某台l2交换 局恢复到双上行结构时，ping业务出现丢包现象。工程师对该接入l2交换机的接口状态进行査看，发现 两个上行端口都处于stp forwcirding状态。这种惜况下必然导致网络环路。最后工程师确认是光模块硬件 问题导致状态错误而引起stp计算错误。tips：对于局域网的问题，由于局域网有大量的l2交换局、hub以及接入很多终端，因此局域网的 问题要特别注意广播风暴引发的全网振荡，而广播风暴的引发的局域网问题，可能是由于环路产生，而arp flooding.病毒、非法软件也都有可能引发局域网振荡，对于局域网网络问题建议如下；d 尽可能将l3网关下移，增加路由l3层次的报文处理，减少l2交换层次的连接；a 避免网络中单个vlan下交换机或者hub级联层次太多，减少广播风暴以及网络环路的影响；a 在接入终端服务器或者pc的交换机端口上配置stp边缘端口、bpdu