网络故障案例手册Ver1.0

网络故障案例手册Ver1.0目录案例编号 201302084交换机硬件故障引起网络中断4典型症状4其它现象4处置方法4案例具体原因4扩展6案例编号 201306046症状6处置方法6处置结果8扩展8案例编号 201306149症状9处置方法9处置结果9扩展9案例编号 2013101611症状11处置方法11处置结果11扩展11案例编号 20130208 交换机硬件故障引起网络中断典型症状A.在交换机log中出现如下信息%SW_MATM-4-MACFLAP_NOTIF: Host 68b5.99cd.d276 in vlan 8 is flapping between port Gi0/33 and port Po2；B.交换机在线检查各项参数未见异常，交换机重启后报错，无法加载IOS;其它现象交机机载高，网络延迟大，网络丢包。处置方法交换机离线与网络隔离，与故障交换机连接的服务器切换到备用交换机中。如不确认引起此故障的具体交换机，可将交换机与主网络逐一隔离。案例具体原因管理网络端口Port-ASIC芯片自检Fail。以下为故障交换机启动自检全过程Logfront_end/ (directory)extracting front_end/fe_type_1 (34760 bytes)extracting front_end/fe_type_2 (78400 bytes)extracting front_end/front_end_ucode_info (86 bytes)extracting ucode_info (76 bytes)POST: PortASIC CAM Subsystem Tests : BeginHTD POST: Basic Test FailedPOST: POST FailedPOST: PortASIC CAM Subsystem Tests : End, Status FailedPOST: CAM test failedPOST Failed: disabling stack links and shutting down SDPdriver class subsystem initialization failed*Mar 1 00:00:35.668: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.*Mar 1 00:00:35.668: %SYS-2-ASSERTION_FAILED: Assertion failed: reg_used_xdr_portid_to_lc_logical_slot() -Process= Init, ipl= 0, pid= 3-Traceback= 1DDA7F8 1DDAF44 1D46E6C 11EC2B0 11EC4A0 286CC78 286CD10 1DE64B8 1DE66F4 1A2F5C8 1A26098%Software-forced reload扩展引起Host Flapping不只上述情况，大家可参考下面的文档链接：/en/US/products/hw/switches/ps4324/products_tech_note09186a008063c36f.shtml案例编号 20130604互联网用户访问交易网关延迟大症状有客户反映通过互联网连接CTP电信网关交易延迟大。处置方法检查网络线路的连通性及模拟客户发起Ping值测试，并与其它期货公司的网络延迟做对比。主要做了两种比较一是测试同一线路的不同网关的延迟情况，发现CTP电信网关相对其它网关延迟略大些，但在可接受范围内。通过与其它家期货公司的交易网关做比较，发现我司的互联网延迟确实偏大。通过检查，确认我方网络设备负载和带宽流量并没有超出基准值。根据客户的网络追踪情况发现有几跳延迟大，初步判断问题可能发现在互联网的传输节点上。为进一步明确问题，我们联络了线路供应商数讯。要求其分析数据，并给出意见。数据通过分析认为未见明显问题，提出建议解决方案。为升级用户侧（即我端）接入光端机的固件，并给出了升级计划。我们同意了其意见。并在升级前后做了数据包的追踪对比，结果如下：升级前：升级后：处置结果可以看到从11跳开始，12跳之后延迟有了较明显的减小。通过进一步确认，从11跳开始数据包才进入数讯网络，得到了网络优化。扩展网络调优是需多方介入和合作的具有挑战性的技术难题，因为网络延迟和不合乎客户预期是最为直接的反映，也是客户最直接的感受。因此遇到问题应多角度分析问题，不再局限于本公司的网络以至，从总体上把握，配合好服务商，协作处理。案例编号 20130614仿真交易软件登录一会就报超时症状有客户反映通过互联网连接仿真交易网关没过几分钟就报超时错误，需要重新登陆。处置方法在自己电脑上登陆，确有相同现象，客户反映无误。检查网络线路的连通性及模拟客户发起Ping包测试，发现时有丢包现象。于是检查防火墙，CPU，内存使用率都正常，线路也无中断，连接此防火墙的其他应用都正常，怀疑是该服务器本身受到攻击或者网卡故障。登陆该服务器检查，发现该服务器启用了两块网卡，且都配置了网关，导致网络故障。处置结果删除新增的网关后故障解决。扩展对于双网卡的服务器，不能配置两个网关，建议一个网卡配置网关，令一个配置静态路由。例如要添加去往/24网段，网关是，Windows中添加静态路由的命令是：route add mask p注意最后要加p参数，确保重启后路由依旧有效。案例编号 20131016第二套CTP交换机硬件故障症状OP网管软件报警显示SWX-B-DIR这台交换机轮询三次无应答，连接该交换机的服务器ip无法ping通。处置方法在自己电脑上telnet和ping该交换机均无反应，于是拿好笔记本和相关工具进机房现场查看。发现该交换机为加电状态，但是除电源指示灯外，网络指示灯和状态指示灯都为灭，用console线连接后也无任何反应。于是重启该交换机，重启多次后设备仍然工作异常，于是在机房里找到一个备用