疑难故障解决实例.ppt

目录,ping大包丢包故障 在线视频不定时异常中断故障,ping大包丢包故障,故障环境 故障现象 故障分析 故障解决 技巧小结,故障环境,说明： 1、办公机器都属于/24网段； 2、办公机器通过一个二层的接入交换机、光电转换器接入 集团核心交换机。,连接拓扑：,故障现象,Ping大包丢包严重 ping小包正常 前期使用单机ping大包未出现丢包现象,故障前期简单分析,链路测试、策略检查均无异常，该故障非一般连通性故障 此类丢包问题，主要是需要定位出丢包的位置 可能故障点主要有：,故障分析-分析方法,数据包分析法,对比分析法,在此次的故障解决过程中，我们主要使用对比分析法分析 出将大数据包丢弃的中间设备或链路。,主要通过专有的网络分析工具（科来网络分析系统）将故障 时相应的数据包捕获下来进行深度分析，并通过分析发现相 应的异常，从而定位故障原因的方法,主要指通过对网络中传输的数据包的对比，分析出数据包在 传输过程中各个中间设备对数据包的相应处理过程，包括更 改、丢弃和转发等,故障分析过程-选取抓包故障点,在实际的分析过程中，我们需要考虑到抓包的方便性和相 应中间设备的功能特性选取数据包捕获点,在这个故障环境下，我们主要选在接入交换机与核心交换 机上抓取数据包,故障分析过程-重现故障,在测试机器6上使用如下命令测试网络的大包传输情况：ping -l 10000 t 。 我们可以简单计算一下ping10000字节的大包在以太网中会被分成多少个分片： PING产生的IP负载=10000(ping负载）+8（icmp头长度） 一个以太网IP包的最大有效负载=1500（以太网MTU)-20（IP包头长度）=1480B 产生IP分片数的计算方式为： 10008/1480=6余1128，即一个1500B的icmp报文，5个1500B的ip分片包，1个1148B的ip分片包,通过该测试命令重现了故障现象：大文件传输丢包情况较为严重。,故障分析过程-抓包,我们分别在核心交换机6509、接入交换机上做端口镜像（端口镜像的详细命令和过程在此不再描述），将其相应链路的数据包镜像到我们选取的监听口，我们再通过科来网络分析系统捕获相应的数据包,故障分析过程-对比分析,1.分析接入交换机上抓取的数据包,1个1500字节icmp包,5个1500字节ip分片包,1个1148字节ip分片包,接入交换机数据包分析结论,Ping超时的原因为中间某个大包在传输的过程中 被丢弃了，导致接收端重组超时 接入交换机转发了所有的分片包，即某个分片包不 是在接入交换机上丢弃的,1个1500字节icmp包,4个1500字节ip分片包,故障分析过程-对比分析,2.分析核心交换机6509上抓取的数据包,1个1148字节ip分片包,结论： 这个被丢弃的某个分片在到达核心交换机6509前就 被丢弃,对比分析结果,根据前面的对比分析，结合拓扑结构，我们可以知道，某个 分片包是在接入交交换机转发之后、核心交换机6509接收之 前被丢弃的，那么可能被丢弃的位置只剩下光电转换器了！,故障解决,使用替换法，将接入交换机端的光电转换器更换为一个全新的光电转换器，测试一切正常,技巧小结,定位可能故障点 数据包分析法 对比分析法 使用到的知识点： 分片计算 icmp重组超时,在线视频不定时异常中断,故障环境 故障现象 故障分析 故障解决 技巧小结,故障环境,故障拓扑：,说明： 1.VOD在线视频是通过web页面观看的，通 讯流全部使用HTTP的80端口传输数据 2.客户端与服务器是纯路由环境下完成数据 交互的,故障现象,客户端通过浏览器在线观看VOD视频时，不定时（有时几分钟、有时十几分钟，没有规律）的出现中断情况。 使用ping命令长时间测试VOD服务器的连通性，一直正常。 异常时，VOD服务器的web页面访问正常,前期简单分析,Ping命令测试正常，说明不存在连通性问题 不定时出现、无规律性说明应该不是策略（时间控制等）原因导致的 其他应用未反应异常,通过简单分析，没有什么明显的突破口，此类故 障应属于较高层次的故障，只能借助科来抓包分析 来找突破口了,客户端抓包分析可能原因,首先在客户端在线视频时，开启科来抓包，在故障出现后停止抓包，并分析 故障时间段的数据包，看能否找到一些突破口。,一般而言，这种应用都是服务器向客户端传输数据， 而客户端仅对服务器端发送确认即可，这种确认不 包含任何的数据，其大小在填充完后只有64B,而在故障发生时，我们竟然发现了客户端向服务器 发送的大小为70B的ack,TCP选项字段导致的70B的ack,TCP选项解码,1.选项字段解码，显示为客户端 使用的为SACK选项，其左右边 边界都已表示出,2.科来抓包显示客户端多次向服 务器发送带SACK选项的ACK包,3.通过科来解码，显示SACK左 左边界内容一致,4.显示客户端没有收到来自服务器的某个数据段,服务器端抓包确认问题原因,1.查看服务器端是否收到客户 端的带有SACK选项的ACK报文,2.查看服务器端是否重传了客户 端未收到的数据段,3.通过查看服务器给客户端传输数据的次序与序 列号，我们可以看出服务器重传了客户端未收到 的数据包,可能故障点,可能故障点,通过前面的深入分析，我们可以知道，客户端由于没有收到某段来自服务器的 数据，导致了在线电影视频的异常中断，但是客户端向服务器端发送看带有SACK 选项的ACK报文，告知服务器端重传其未收到的数据段，服务器端收到了这个重传 信息，也重传了客户端要求的数据段，但客户端还是未收到，可见，该故障与端系 统无关，是中间系统导致的，接下来明确中间系统可能故障点：,由于交换机丢弃数据包的 可能性极小，因此，我们 应该将分析的重点放在网 关设备上,抓包分析定位故障点,首先，已经明确了是服务器发送给客户端的某个数据段被丢弃了，那么我们只 需要在服务器、防火墙进出接口分别抓包，并做对比分析即可定位出是否是防 火墙将数据包丢弃的，确认三个捕包位置分别如下：,数据包捕获点,捕包工作的开展,捕包位置已经定下来了，接下来就是如何以最简单便利的方式部署开展捕包工作了， 在此，我们一般可以通过在防火墙两端链路上分别部署科来来完成抓包，但是在这 个案例中，我们使用了一些防火墙的特点：中间设备自带命令行的捕包功能！,在此两台防火墙均为天融信的，一个为老4000平台，另一个为TOS平台，两台均支 持命令行下的tcpdump抓包功能，那么我们只需要直接在两台防火墙上抓包即可， 无需对用户链路进行中断或更改。,天融信防火墙，Cisco的PIX、ASA，F5负载均衡，netsreen的防火墙，网域防火墙 等都带有捕包功能，能够满足我们一般的分析需要，合理利用这些中间设备的捕包功 能，可以大大降低我们的部署难度，提高我们分析的效率,客户端在线观看VOD服务器上的在线视频，同时在服务器、两台防火墙上分别抓包。,关于这些设备的抓包功能的使用在此不做详细介绍，有兴趣的可以私下沟通,对比分析,1.分析服务器端的包，定位丢弃的包,2.确定被丢弃的包的IP标识为28232,对比分析,3.通过IP标识，在防火墙上抓取的数据包中查找相应的IP标识的数据包,防火墙从ETH6口接收了这个IP标识为28232的数据包，并从 ETH0口转发了这个数据包，防火墙没有丢弃这个包，同样的 分析方法，我将两台防火墙都排除在外！,我们分析这个防火墙上抓取的数据包，可以发现：,交换机主要功 能为数据转发， 其丢弃数据包 的可能性是很 小的，我们决 定重新理一下 网络拓扑，发 现在互联网防 火墙与核心交 换机之间还串 接了1台IPS设 备。,在实际解决故障的时候，我们往往难以收集所 有的信息，有时需要我们在分析的过程中不断 的修正，这个过程往往都是很戏剧性的。,定位IPS异常丢包,通过在IPS进出接口间同时抓包，使用前面同样的方法即可定 位是否为IPS丢包。 在此不再详述，分析结果显示是IPS将数据包丢弃了。