网络故障案例手册簿Ver0

1、网络故障案例手册Ver 1.0w m u.cilicncsvcdgc.coHi目录 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 案例编号201302084交换机硬件故陣弓I起网络中断4典型症状4其它现玫4处暨方法4案例具体原因4扩展6 HYPERLINK l bookmark2 o Current Document 案例编号201306046症状6处;&方法6处;H结果8扩展8 HYPERLINK l bookmark16 o Current Document 案例编号201306149症状9处暨方法9处;H结果9扩展9 HYP

2、ERLINK l bookmark18 o Current Document 案例编号2013101611症状11处理方法11w m u.cilicncsvcdgc.coHi处贸结杲11扩展11w m M.cilicncsvcdgc.coHi案例编& 20130208交换机硬件故障弓I起网 络中断興起症状在交换机log中出现如下信息%SW_MATM-4-MACFLAP_NOTIF:Host 68b5.99cd.d276 in vlan 8 is flapping between port GiO/33 and port Po2;交换机在线检查各项参数未见异常，交换机重启后报错，无法加载I0S;

3、其它现豪交机机载高，网络延迟大，网络丢包。处Jt方法交换机离线与网络隔离，与故障交换机连接的服务器切换到备用交换 机中。如不确认弓I起此故障的具体交换机，可将交换机与主网络逐一隔离。案例具体原因管理网络端口 Port-ASIC芯片自检Fail。以下为故障交换机启动自检全过程Logfront_end/ (directory)w m u.cilicncsvcdgc.coHiend/tejype_l (34760 bytes)PortASIC CAM Subsystem Tests : Be(HTD POST: Basic Test FailedPOST: PortASIC CAM Subsyste

4、m Tests : End. Status FailedPOST Failed: disabling stack links and shutting down SDP driver class subsystem initialization tai*Mar 1 00:00:35.66& %SYS-3-LOGGER_FLUSHING: System pausing to ensure constdebugging output.Mar00:00:35.66&Assertiontailed:1DE66F4 1A2F5C8 1w m u.cilicncsvcdgc.coHi% Software-

5、forced reload扩展弓I起 Host Flapping不只上述情况，大家可参考下面的文档：cisco/en/US/products/hw/switches/ps4324/products_tech_note09186a008063c36f.shtml案例鑰号20130604互联网用户访问交易网关延迟大有客户反映通过互联网连接CTP电借网关交易延迟大。处置方法检查网络线路的连通性及模拟客户发起Ping值测试，并与其它期货公司 的网络延迟做对比。主要做了两种比较一是测试同一线路的不同网关的延迟情况，发现CTP电借网关相对其它网关延迟略大些，但在可接受围。通过与其它家期货公司的交易网关做比

6、较，发现我司的互耳关网延迟确通过检查，确认我方网络设备负载和带宽流呈并没有超出基准值。根据客户的网络迫踪情况发现有几跳延迟大，初步判断问题可能发现 在互耳关网的传输节点上。w m u.cilicncsvcdgc.coHi为进一步明确问题，我们联络了线路供应商数讯。要求其分析数据,数据通过分析认为未见明显问题，提出建议解决方案。为升级用户侧（即我端）接入光端机的固件，并给出了升级计划。我们同您了其您 见。并在升级前后做了数据包的迫踪对比，结果如下：升级前： C2 lJ 於3：UsersAdninistratortracert 203.110.179.220画过最多30个旺点跟踪，至| 17.22

7、0.DSNEI 20317丫22BJ 的路由：134ms1亳秒升级后：w m M.cilicncsvcdgc.coHiC： XUserssAdministratoptracert 203.110.179.220通过最多30个跃点跟踪到 179.220DSNET (202.179.2201 的路由:121*ms518nsns19毫秒 192.168.1.1ns116.247.96.1693*38me11ns124.74.97.944ms3ms2ms12474547?54ms8ns9ns124 ?4 209.2564ms4ns4ns1162472叽5761ms8ns13me2226825384ms

8、4ns3ns61.152.81.69979ns4ns5ns61.152.81.13810*请求超时。116ms5ns5ins208丄53DSNET211 1.44208：L53】12*5ms5ms208134DSNET2 144.208.134139ms9ns10ms179.220.DSNET203.110.179.22011414ms10ms10ms179.220.DSNET203.110.179.2201518ms9ms10IDS179.220.DSNET203 .JL1.8.JL79.220161Rms9ms9ms179.220DSNFTr2R2.l1fi17922R1G rllcq.y

9、、Cc ；0*9*小.、可以看到从11跳开始，12跳之后延迟有了较明显的减小。通过进一步确认，从11跳开始数据包才进入数讯网络，得到了网络优化。扩艮网络调优是需多方介入和合作的具有挑战性的技术难题，因为网络延 迟和不合乎客户预期是最为直接的反映，也是客户最直接的感受。因 此遇到问题应多芹度分析问题.不再局限于本公司的网络以至，从总 体上把握，配合好服务商，协作处理。w m u.cilicncsvcdgc.coHi案例编号20130614仿真交易软件登录一金就报超时症状有客户反映通过互耳关网连接仿真交易网关没过几分钟就报超时错误， 需要重新登陆。处置方法在自己电脑上登陆，确有相囘现象，客户反映无

10、误。检查网络线路的 连通性及模拟客户发起Ping包测试，发现时有丢包现象。于是检查 防火墙，CPU,存使用率都正常，线路也无中断，连接此防火墙的其 他应用都正常，怀疑是该服务器本身受到攻击或者网卡故障。登陆该 服务器检查，发现该服务器启用了两块网卡，且都配置了网关，导致 网绍故障。处置结臬删除新増的网关后故障解决。扩展对于双网卡的服务器，不能配鱼两个网关，建议一个网卡配置网关， 令一个配宜静态路由。例如要添加去往10.12.10.0/24网段，网关是10.12.10.1, Windows中添加静态路由的命令是:w m u.cilicncsvcdgc.coHi route add 10.12.1

11、0.0 mask 255.255.255.0 10.12.10.1 -p 注您最后要加 -p参数，确保重启后路由依旧有效。案例编号20131016弟二套CTP交换机硬件故陣w m u.cilicncsvcdgc.coHi症状OP网管软件报警显示SWX-B-DIR 这台交换机轮询三次无应答，连 接该交换机的服务器ip无法ping通。处置方法在自己电脑上telnet和ping该交换机均无反应，于是拿好笔记本和相 关工具进机房现场查看。发现该交换机为加电状态，但是除电源指示 灯外，网络指示灯和状态指示灯都为灭，用console线连接后也无任 诃反应。于是重启该交换机，重启多次后设备仍然工作异常，于是在 机