xx保险业务缓慢故障处理.pptx

XX保险业务缓慢故障处理,文档类型: 文档密级: 主送对象: 抄送对象: 文档编号: 审 核 人:,学习目标,掌握XX保险分公司网络架构 掌握故障处理的基本原则及方法,2,课程内容,第一章 XX保险地市分公司网络结构概述 第二章 XX保险故障处理过程 第三章 经验总结,3,OSPF area N,OSPF area 0,XX保险网络拓扑介绍,4,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,XX保险组网概述 1、省公司两台RSR08E汇聚全省17个分公司的上联路由器。 2、省公司申请2条155MCPOS线路，每个分公司申请4条E1，每2条E1做MP捆绑与省公司下联路由RSR08E相连。 3、客户生产业务与办公业务实现分流并相互冗余， 4、RSR50-40、RSR08E-1正常转发生产业务，RSR20-18、RSR08E-2转发办公业务，当其中广域网线路断时，业务将切换一条线路,组网概述,OSPF area N,OSPF area 0,XX保险网络拓扑介绍,5,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,OSPF协议规划 RSR50-40,RSR20-18路由器上行口、互联以太网口划入area0。 每个分公司一个area，area id 为电话区号。 在RSR50-40、RSR20-18做区域间路由聚合，向省网发布分公司聚合路由。 COST值全省统一规划，保证业务分流。,OSPF协议规划,OSPF area N,OSPF area 0,MP协议介绍,6,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,RSR08E-2,RSR08E-1,分公司,省公司,客户处于增加带宽考虑，将两条E1线路做了MP捆绑。链路层协议为PPP。 客户采用MP原因：1、增加带宽，2、链路负载均衡，任何一条E1线路故障，不影响业务转发。 接口配置如下： interface multilink 1 ppp multilink fragment maximum 2 ip ospf cost 40 ip address 10.248.113.18 255.255.255.252 ! interface Serial 1/0:0 encapsulation PPP ppp multilink ppp multilink group 1 interface Serial 1/1:0 encapsulation PPP ppp multilink ppp multilink group 1,OSPF area N,OSPF area 0,XX保险网络拓扑介绍,7,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生产下行流,RSR08E-1,分公司,省公司,生产上行流,办公上行流,办公下行流,1、正常情况，生产、办公业务分流。 2、当生产线路故障时，OSPF收敛，生产业务经过RSR50-40与RSR20-18互联线路切换至办公线路。 办公线路故障，与此类似。,RSR08E-2,XX保险生产、办公业务流量分流及冗余模型,课程内容,第一章 XX保险地市分公司网络结构概述 第二章 XX保险故障处理过程 第三章 经验总结,8,XX保险故障现象,XX保险XX分公司申报故障，称：客户业务办理非常缓慢，电信已检查，称线路没有问题，请设备厂商解决。 XX保险是我司重点客户，我司设备占很大比重，这样的故障，如何着手处理，快速恢复客户业务？,9,网络不会有无缘无故的故障 网络不会有解决不了的问题,网络故障处理基本步骤,1、故障处理系统化是合理地一步一步找出故障原因，并解决故障的总体原则 2、网络故障解决的处理流程是可以变化的，但故障处理有序化的思维模式是不可变化的。,故障现象观察,对网络故障做出完整、清晰的描述是必须的！ “业务慢”是一个不完整、不清晰的描述故障描述，追加客户问题： 1、办公业务慢吗? 2、全局问题还是局部问题？即分公司全部慢，还是个别网点慢?其它分公司业务状况？ 3、最近是否进行网络调整？,客户信息反馈： 1、分公司生产、办公所有业务都比较慢，业务高峰期明显 2、其它分公司业务正常 3、用户网络近期无调整 因此，可以推断：是分公司局部故障，全省地市分公司正常。,故障信息收集,根据对客户网络组网结构及网络运行原理的掌握，收集以下信息： 1、分公司访问省公司、总公司的路 由是否正确？ 2、分公司RSR50-40及RSR20-18设备状态信息，重点查看： 1、设备日志 2、路由器各接口是否正常。带宽占用情况。 3、OSPF邻居建立是否正常。 3、广域网电路是否正常？,OSPF area N,OSPF area 0,故障信息收集,14,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生产上行流,RSR08E-1,分公司,省公司,RSR08E-2,生产下行流,办公上行流,办公下行流,第一、查看办公、生产业务的路径信息。 1、 模拟分公司一台主机，tracert省公司生产及办公服务器，发现生产业务的路径绕行RSR20-18，如图所示，所有业务都走办公线路，业务未分流 2、查看RSR20-18的上行链路，发现链路带宽接近4M，链路出现拥塞 业务慢的原因已找到：全部业务走办公线路，造成办公线路拥塞所致。,测试机,OSPF area N,OSPF area 0,故障信息收集,15,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生产上行流,RSR08E-1,分公司,省公司,RSR08E-2,生产下行流,办公上行流,办公下行流,第二步、收集RSR50-40的设备信息： 1、路由表信息，发现去往省公司、总公司的路由全部指向RSR20-18。 2、查看RSR50-40上行接口的信息，发现带宽占用很小。 3、查看RSR50-40的OSPF邻居，发现与省公司的邻居未建立起来。 4、查看RSR50-40的日志，发现日志从昨天开始，邻居频繁UP及DOWN。 *Jan 21 01:37:37: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Full to Down, InactivityTimer. *Jan 21 01:37:40: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Down to Init, HelloReceived. *Jan 21 01:37:45: %OSPF-5-ADJCHG: Process 1, Nbr 10.32.16.6-multilink 1 from Exchange to Full, ExchangeDone.,经验判断及理论分析,业务慢的原因： 业务未分流，造成所有业务走办公线 路，造成线路拥塞所致 原因分析： 因RSR50-40与省公司RSR08E-1的OSPF邻居建立不稳定，导致RSR50-40去往省公司、总公司的路由表下一跳错误指向RSR20-18。,什么原因可以导致RSR50-40与RSR08E-1的OSPF邻居无法正常建立？,可能原因列表,OSPF邻居频繁UP、DOWN的原因 1、设备配置错误 2、OSPF运行故障 3、设备产品自身缺陷,对每一种原因实施排查方案,1、配置错误 与省公司、分公司网络维护人员确认，配置无人改动，该原因排除。 2、OSPF运行故障 可能原因列表： 生产线路故障，广域网线路故障，会导致OSPF报文交互异常，邻居建立 失败。 设备BUG，因全省路由器、型号、版本都一样，这个可能性很小。,OSPF area N,OSPF area 0,故障原因初步查明,19,省公司网络,网点1,网点2,网点n,2*E1,2*E1,RSR50-40,RSR20-18,H3C-S7506,生产下行流,RSR08E-1,分公司,省公司,生产上行流,办公上行流,办公下行流,RSR08E-2,生产线路丢包是造成OSPF邻居不稳定的原因！,RSR50-40与RSR08E-1之间OSPF邻居频繁up、down,导致RSR50-40路由重新选路，生产业务流迂回至RSR20-18，经办公线路上行至省公司,生产业务流及办公业务流都经过办公线路，在业务高峰期时，2*E1线路出现拥塞，业务办理缓慢。,登陆RSR50-40，ping与RSR08E-1的互联接口IP，发现丢包率在50%以上。E1线路的故障导致OSPF邻居频繁up及down,问题最终定位是广域网线路丢包，而广域网电路故障已超出我们的范围，且运营商称：其电路没有问题，如何有效排查呢?,广域网电路排查,21,本次RSR50-40互联接口相互ping丢包是哪条E1线路故障？最直接的方法是检查接口状态. show inter Serial 1/0:0 时，发现了问题 = Serial 1/0:0 = Index(dec):7 (hex):7 Serial 3/0:0 is UP , line protocol is UP Hardware is Serial Description: to-HN-DLR-RSR08E-1-e1-0/0/0:21-SDH-DianXin Interface address is: no ip address MTU 1500 bytes, BW 2000 Kbit Encapsulation protocol is PPP, loopback not set Keepalive interval is 10 sec , set Carrier delay is 2 sec RXload is 218 ,Txload is 8 LCP Open, Multilink Open Closed: ipcp Queueing strategy: FIFO Output queue 0/4096, 0 drops; Input queue 0/75, 0 drops Timeslot(s) Used:0-31, Transmitter delay is 0 flags 30 seconds input rate 75314 bits/sec, 156 packets/sec 30 seconds output rate 69373 bits/sec, 145 packets/sec 172967270 packets input, 82503848443 bytes, 0 no buffer, 0 dropped Received 0 broadcasts, 0 runts, 0 giants 43045 input errors, 0 CRC, 6 frame, 0 overrun, 0 abort 233022603 packets output, 38531458697 bytes, 0 underruns , 0 dropped 0 output errors, 0 collisions, 6 interface resets 0 output errors, 0 collisions, 6 interface resets,入方向有错误包，且一直增加！,广域网电路故障排查,接口有错误包，造成线路丢包发生，可能原因列表： 1、E1线缆接口故障。 路由器接口-E1非平衡线缆-运营商广域网线路，任何一个节点出现问题，都有可能产生错误包。 2、运营商SDH设备故障 运营商SDH设备故障也会引起故障，此类故障需运营商的配合。,广域网电路故障排查,故障排错过程： 1、shutdown该接口Serial 1/0:0故障线路，查看OSPF邻居是否正常，ping包是否正常，根据MP协议运行机理，单条E1线路的故障，不会引起业务的中断。 Shutdown故障线路后，ping包正常，OSPF邻居建立稳定。业务正常。因此确定该线路Serial 1/0:0 线路故障，另外一条E1线路正常。 2、更换该Serial 1/0:0线路路由器接口线缆，故障依旧。 3、联系运营商E1电路运维人员，重新制作该E1的BNC接头后，错误包不在增加。OPSF邻居正常建立 ，业务恢复 ！,广域网电路故障排查,两条E1做了MP捆绑，其中一条E1故障，为何另外一条E1也无法工作？,MP是将两条PPP链路捆绑起来，扩容带宽的技术，数据流负载均衡，平均分配到两条E1线路上。两条E1虚拟成一个multilink接口 当数据流分配到有故障的E1线路时，数据包丢失，造成互联接口相互ping丢包。相当于multilink接口故障！ MP捆绑只有检测到E1线路down时，才将业务全部切换到另外一条E1线路上，而本次故障，不会引起E1线路的down，MP协议的负载均衡反而成了故障的帮凶！,故障原因,E1线缆接头故障,生产线路丢包,OSPF邻居UP/DOWN,RSR50-40路由收敛,生产线路拥塞，全部业务变慢,生产业务切换至办公线路,26,运营商称：广域网线路正常。该结论直接将故障原因推给了锐捷网络。 事后与运营商维护人员沟通：他们只是通过打环路来测试线路的通断，并没有采用误码测试仪来测试电路的质量。 该信息一定程度误导了故障的处理进程。,故障处理过程的干扰,课程内容,第一章 XX保险故障现象 第二章 故障处理过程 第三章 经验总结,27,28,故障处理技能的培养包括以下方面： 加强技术理解 对协议准确而深入的理解有助于快速确定故障原因，并能够减少和避免由于网