网络慢分析实例

1、网络慢故障分析实例科来安徽办事处科来安徽办事处目录目录 零窗口导致应用间歇性停滞 打印慢故障 防火墙应用层检测导致FTP慢 网上申报故障 业务访问慢案例案例1-TCP窗口问题导致应用慢窗口问题导致应用慢故障现象：故障现象：应用在交互的过程中，经常出现数秒的停滞，然后应用在交互的过程中，经常出现数秒的停滞，然后恢复正常，过段时间后，又再次出现停滞现象，如恢复正常，过段时间后，又再次出现停滞现象，如此反复此反复数据交互过程分析数据交互过程分析C发送133B的数据C发送512B的数据S通告窗口大小为348BC发送53B的数据C发送348B的数据S通告窗口大小为0C对S的窗口探测报文S窗口仍未更新，大

2、小为0C对S的窗口探测报文S窗口仍未更新，大小为0S窗口更新为8192B窗口问题导致应用产生了窗口问题导致应用产生了3秒的延时秒的延时零窗口一般都是应用程序处理性能较差，来不及处理缓存中的数据或者应用服务器零窗口一般都是应用程序处理性能较差，来不及处理缓存中的数据或者应用服务器本身性能不足导致的本身性能不足导致的分析结论分析结论分析结论分析结论:应用出现停滞现象主要是由于服务器端出现窗口为导致应用出现停滞现象主要是由于服务器端出现窗口为导致的，肯定跟网络无关，可以从服务器本身性能或者服务器的，肯定跟网络无关，可以从服务器本身性能或者服务器端应用程序入手进行相应的检查端应用程序入手进行相应的检查

3、案例案例2-某应用打印慢故障某应用打印慢故障故障现象：故障现象：用户某个业务应用在执行打印操作时，打印速度很慢，一般需要等20多秒才可以正常打印。故障分析：故障分析：打印行为似乎跟网络无关，但是我们还是先抓包看看，我们发现，每次打印的时候，客户端均需要连接数据库服务器，如下图：这说明，这个打印操作这说明，这个打印操作是需要连接网络中的数是需要连接网络中的数据库，从数据库中调用据库，从数据库中调用相关的打印数据，也就相关的打印数据，也就是说，这个网络调用的是说，这个网络调用的过程，很可能就是产生过程，很可能就是产生打印时延的原因打印时延的原因分析过程分析过程1-定位异常定位异常TCP会话会话在科

4、来的在科来的“会话会话”视图中，我们查看视图中，我们查看TCP会话会话，我们可以发现有三个会话跟数据库有关我们可以发现有三个会话跟数据库有关我们可以根据我们可以根据TCP的的会话持续时间会话持续时间，来定位产生延时的，来定位产生延时的TCP会话会话分析过程分析过程2-定位延时产生的位置定位延时产生的位置原理：原理：我们通过我们通过时时间差间差来定位来定位延时产生的延时产生的位置。位置。我们可以发我们可以发现在时间差现在时间差视图中，存视图中，存在一个在一个22.9秒的延时秒的延时，这个数据包这个数据包是客户端向是客户端向服务器发送服务器发送的数据包，的数据包，那么这个延那么这个延时应该就是时应

5、该就是客户端产生客户端产生的的分析过程分析过程3-查看数据包内容查看数据包内容是客户端是客户端向数据库向数据库服务器进服务器进行查询的行查询的行为；行为；客户端在客户端在等待了近等待了近23秒才向秒才向服务器发服务器发出这个查出这个查询操作！询操作！分析结论与故障解决分析结论与故障解决分析结论：分析结论：1，客户端在执行打印操作时，需要向网络中的数据库服务器，客户端在执行打印操作时，需要向网络中的数据库服务器调用相应的打印数据调用相应的打印数据2，客户端在与数据库服务器交互的过程中，本身在执行一个，客户端在与数据库服务器交互的过程中，本身在执行一个查询操作前，等待了查询操作前，等待了22.98

6、秒的时间，从而导致了打印的延时秒的时间，从而导致了打印的延时故障解决：故障解决：卸载这个应用软件，重新安装，再次测试打印速度，已经恢卸载这个应用软件，重新安装，再次测试打印速度，已经恢复正常，至此，故障解决复正常，至此，故障解决小结：小结：其实，我们还可以通过对比分析法（对比分析正常打印的数其实，我们还可以通过对比分析法（对比分析正常打印的数据包与打印慢的数据包）来定位这个故障的原因。据包与打印慢的数据包）来定位这个故障的原因。案例案例3-防火墙应用层检测防火墙应用层检测BUG导致导致FTP慢慢 故障现象 故障环境 故障分析思路 故障分析过程 故障解决故障环境故障环境说明：说明：1、客户端的默

7、认网关是主路由器2、主路由上设置了相应的策略，凡是FTP/HTTP的应用均交由备路由处理3、备路由上会将访问国家局的网段指向国家局路由4、核心与路由间均部署防火墙，防火墙工作在透明模式下5、客户端访问服务器的数据流走向比较复杂，看演示思考：思考：服务器回包的数据流走向是如何的？故障现象故障现象 省局到国家局的FTP服务很慢，一般需要40多秒才可以登陆上去，有时根本登陆不上去 Ping测试延时很小 省局到国家局的HTTP应用正常前期简单分析前期简单分析 Ping延时很小，说明网络层的延时很正常 网络环境复杂，数据流走向复杂，数据包来回路径不一致，中间经过2台防火墙，可能存在状态检测的问题 HTT

8、P的数据流走向跟FTP的数据流走向应该是一样的，HTTP正常，FTP不正常，说明这个跟TCP的状态检测无关，应该是FTP应用层的问题 暂时没什么头绪，只能先从客户端下手，进行抓包分析，看看大体的情况登陆不上时的数据包分析登陆不上时的数据包分析TCP三次握手建立连接S响应：winsock readyC输入用户名C用户名第一次重传2.9S的延时S的第一次重传S的第二次重传C用户名第二次重传C用户名第三次重传S的第三次重传C用户名第四次重传S：用户名ok，需密码C输入密码S：超时关闭S“需密码”重传C重传密码5.9S的延时12S的延时23.9S的延时23.9S的延时6S的延时15.8S的延时C对”S

9、第一次重传“的确认C对”S第二次重传“的确认C对”S第三次重传“的确认登陆成功，但是很慢的数据包分析登陆成功，但是很慢的数据包分析TCP三次握手建立连接S响应：winsock readyC输入用户名C用户名第一次重传C用户名第二次重传C对”S第一次重传“的确认C对”S第二次重传“的确认S的第一次重传S的第二次重传S：用户名ok，需密码S“需密码”第一次重传C输入密码C密码第一次重传C密码第二次重传S“需密码”第二次重传C密码第三次重传S：登陆成功29.9S的延时23.9S的延时11.9S的延时5.8S的延时2.8S的延时交互过程示意图交互过程示意图用户名请求用户名请求用户名用户名请求用户名请求

10、用户名用户名请求用户名请求用户名请求用户名请求用户名S：winsock readyC输入用户名输入用户名C用户名第一次重传用户名第一次重传C用户名第二次重传用户名第二次重传S的第一次重传的第一次重传S的第二次重传的第二次重传S的第三次重传的第三次重传结论结论：客户端传输用户的数据包被中间设备丢掉了！定位是什么设备丢包定位是什么设备丢包原理：原理：一个目的地址不是中间设备的包进入一个中间设备，它必然会被中间设备转发到一个出口，否则，就是被中间设备丢弃了对比分析法：对比分析法：通过抓取中间设备进出口的数据包，结合数据包内IPID、五元组、内容等信息来判断是否属于同一会话，是否有数据包被丢弃双网卡笔

11、记本安装科来双网卡笔记本安装科来开启两个工程，分别针开启两个工程，分别针对中间设备进出口抓包对中间设备进出口抓包TAPTAP其实我们也可以利用中间设备本身自带的抓包功能进行分析和其实我们也可以利用中间设备本身自带的抓包功能进行分析和定位，具体可以参考我以前写的定位，具体可以参考我以前写的PPT：疑难故障解决实例疑难故障解决实例通过此种方法，我们定位出是防火墙丢包！通过此种方法，我们定位出是防火墙丢包！防火墙丢包原因分析防火墙丢包原因分析TIPS:防火墙中的两个概念防火墙中的两个概念状态检测：深度检测：原因分析：原因分析：1，数据包来回路径肯定是不一致的，那么对于基于状态检测的防火墙，是不会建立

12、TCP连接的但是HTTP应用正常，抓包显示FTP三次握手的过程也很正常，说明跟TCP状态检测无关2，抓包分析我们可以发现被丢弃的包都是FTP传输用户名和密码的包，这个肯定属于FTP应用层的包，防火墙丢弃FTP应用层的数据包，那么问题应该就出在防火墙的FTP应用层检测上故障解决故障解决故障解决：故障解决：1，在防火墙上取消FTP应用绑定，让防火墙不要对FTP的数据包进行深度的过滤和检测2，测试，FTP登陆正常思考：思考：除了在防火墙上取消针对FTP应用的应用层深度检测功能外，还有其他的解决方式吗？提示：提示：大家注意数据包中的ICMP重定向报文案例案例4-网上申报故障网上申报故障说明说明:n1，

13、网上申报服务器的地址是，网上申报服务器的地址是，经过网闸后转换，经过网闸后转换为为X.X.16.73；n2，前置机的，前置机的IP地址为地址为X.X.16.56，征管服务器的，征管服务器的IP地址为地址为X.X.16.200。业务访问流程：业务访问流程：p1，纳税人通过互联网登陆网上申报服务器，提交相关纳税信，纳税人通过互联网登陆网上申报服务器，提交相关纳税信息；息；p2，网上申报服务器将这些纳税信息转发给前置机的同时，将，网上申报服务器将这些纳税信息转发给前置机的同时，将相关信息写入征管服务器数据库；相关信息写入征管服务器数据库；p3，网上申报服务器与前置机的数据交互出

14、现问题，那么网上，网上申报服务器与前置机的数据交互出现问题，那么网上申报服务器会将征管服务器数据库相关的信息锁死申报服务器会将征管服务器数据库相关的信息锁死 拓扑：拓扑：故障现象故障现象故障现象：故障现象：p1，网上申报业务系统运行时，每天总有一部，网上申报业务系统运行时，每天总有一部分纳税人的申报表单数据无法正常上传，可以分纳税人的申报表单数据无法正常上传，可以通过征管服务器的业务软件看到这些用户的申通过征管服务器的业务软件看到这些用户的申报数据处于锁状态；报数据处于锁状态；p2，在没有网闸的情况下，网上申报服务器与，在没有网闸的情况下，网上申报服务器与前置机直接通讯，则故障现象消失，网上纳

15、税前置机直接通讯，则故障现象消失，网上纳税全部正常。全部正常。故障分析故障分析前期分析前期分析p1，结合故障现象与业务流程，我们可以清晰的发现，问题应该就是出现在，结合故障现象与业务流程，我们可以清晰的发现，问题应该就是出现在网上申报服务器经过网闸的地址转换后与前置机交互的过程。网上申报服务器经过网闸的地址转换后与前置机交互的过程。p2，在网上申报服务器不通过网闸的地址转换而是直接与前置机交互的时候，在网上申报服务器不通过网闸的地址转换而是直接与前置机交互的时候，业务应用一切正常，那么，是网闸在做地址转换的时候对某些数据报文做了业务应用一切正常，那么，是网闸在做地址转换的时候对某些数据报文做了

16、修改或者是网闸直接丢弃了某些业务报文导致的故障吗？修改或者是网闸直接丢弃了某些业务报文导致的故障吗？p3，网闸是最为可疑的故障关键点，我们决定在网闸前后部署网络分析系统，网闸是最为可疑的故障关键点，我们决定在网闸前后部署网络分析系统（在此环境下，可直接在申报服务器上和前置机上分别安装网络分析系统），（在此环境下，可直接在申报服务器上和前置机上分别安装网络分析系统），对网上申报业务数据交互过程分别进行抓包，如下图所示：对网上申报业务数据交互过程分别进行抓包，如下图所示： 数据分析数据分析-发现异常发现异常TCP会话会话我们通过科来网络分析系统捕获前置机交互的数据包，一段时间后，我们在我们通过科来

17、网络分析系统捕获前置机交互的数据包，一段时间后，我们在“TCP会话会话” 视图中，发现有几个视图中，发现有几个TCP会话持续的时间比一般的会话持续的时间比一般的TCP会话长会话长很多，如下图所示：很多，如下图所示： 这几个这几个TCP会话持续的会话持续的时间均超出时间均超出其他的会话其他的会话很多很多异常会话交互过程分析异常会话交互过程分析网闸地址网闸地址73首先发首先发送送RESET报文报文网闸地址向前置机发网闸地址向前置机发送（重传）报文，前送（重传）报文，前置机直接发送置机直接发送RESET报文重置连接。报文重置连接。这个过程，导致了该这个过程，导致了该TCP会话持续时间很会话持续时间很

18、长。长。第一个第一个reset报文解码报文解码这个数据报文的源这个数据报文的源MAC地址并地址并非网闸的非网闸的MAC，真实的网闸，真实的网闸MAC地址是地址是00:40:63:EF:43:DF 为什么网闸的为什么网闸的MAC发生了变化？难道网内存在会话劫持？发生了变化？难道网内存在会话劫持？查看整个交互过程的查看整个交互过程的MAC变化变化网闸源网闸源MAC为为00:40:63:EF:43:DF前置机发往网闸的确认数据前置机发往网闸的确认数据报文，封装的目的报文，封装的目的MAC却是却是00:21:5E:82:AF:86MAC为为00:21:5E:82:AF:86的的设备以网闸的设备以网闸的

19、IP向前置机发向前置机发送送RESET报文报文在交互的过程中，前置机将发给网闸地址的确认报文，封装了一个非网闸的在交互的过程中，前置机将发给网闸地址的确认报文，封装了一个非网闸的MAC地地址址00:21:5E:82:AF:86 ，为什么会突然出现了这种改变呢？为什么会突然出现了这种改变呢？前置机封装错误目的前置机封装错误目的MAC的原因的原因Internet Address Physical Address Type X.X.16.73 00-21-5E-82-AF-86 dynamicTIPS：ARP表的更新表的更新实际环境中，只有同时满足以下两个条件时，设备的实际环境中，只有同时满足以下两

20、个条件时，设备的ARP表项才会更新：表项才会更新：1，设备收到来自某，设备收到来自某IP的的ARP请求包或免费请求包或免费ARP包；包；2，设备的现有，设备的现有ARP表项中已经存在该表项中已经存在该IP对应的对应的ARP表项。表项。其他的非其他的非ARP报文不会对设备的报文不会对设备的ARP表项产生影响。表项产生影响。一般而言，主机是根据其一般而言，主机是根据其ARP表项来封装要发送的数据报文的目的表项来封装要发送的数据报文的目的MAC地地址，那么，这里前置机发往网闸数据报文的目的址，那么，这里前置机发往网闸数据报文的目的MAC地址出现改变是否地址出现改变是否是因为前置机的是因为前置机的ARP表项内容变化了呢？我们在前置机的表项内容变化了呢？我们在前置机的DOS窗口下，窗口下，使使用用arp a命令查看异常时的命令查看异常时的arp表项内容，发现网闸表项内容，发现网闸IP对应的对应的MAC地址的地址的确变成了确变成了00:21:5E:82:AF:86。前置机前置机ARP表更新的原因表更新的原因我们在科来网络分析系统的我们在科来网络分析系统的“数据包数据包”视图查看交互过程的所视图查看交互过程的所有数据报文有数据报文 来自来自MAC地址为地址为00-21-5E-82-AF-86的的ARP响应到达了前置响应到达了