路由器产品应急处理指导书

紧急故障快速恢复总体步 故障定 高危告警处 高危操作检 业务抢通方 故障场景七：故障范围限定在BGP路由协议出现问 故障场景八：故障范围限定在MPLS协议出现问 业务恢复确 ：路由器紧急故障快速恢复抢通切换复位 要缩略语参考资料4个步骤进行业务恢复：承载网元（故障）定界阶段、业是业务还是网业务；是面还是信令面；2IP地址对，例如是哪个IP地址到哪个IP地址不通，或者哪个IP地址到注意确认清楚IP（即清楚描述该IPloopback地址还是接口地址IPIP地IP地址是否是对应的。IP地址也分接口地址和逻辑地址，一定要给出确定故障的IP地址对（IP地址IP地址。UMGSOFTX2ARPSCTP链路故障，ARPMACARPIPSCTPUMGSOFTX使用哪些IP地址都需要确认清楚。IP地址对，在路由器上确定故障路径，通过查询路由表、LSP、ARP等信息，确认出故障涉及的路由器，单板，接口等信息。displayiprouting-table displayvrrpinterfacevlanifvlan编号displayarpinterfacevlanifvlantracertdisplaymplslspincludez.z.z.z

此时已经确定端到端的L3转发路径，开始采取逐段的方法来确定从PE1带本端BGP的RouterID PE2的BGP的RouterID，观察是否存在丢包或者不通的情况，建议选择不同的包长、不同填充值、不同tos值进行-c100-m100- - 名称-c100-m100-s500- 名称y.y.y.y-c100-m100-s2000- 名称y.y.y.y-c100-m100-p00- 名称y.y.y.y-c100-m100-pff- 名称y.y.y.y-c100-m100-paa- 名称y.y.y.y注：如果普通正常，但是带填充值丢包，则有可能是某设备改 丢包，但是带tos 如果 通，则证明PE到PE间的P设备转发不存在问题 丢包，则证明可能PE到PE间的P设备转发存在问题，此时按照如下顺序逐段：P3->P4->PE2(从P3P2->P3->P4->PE2(从P2P1->P2->P3->P4->PE2(从P1从CE1设备带本端的业务网元网关地址 对端CE2的业务网元网关地址，值进行测试，例如：-c100-m100- - 名称-c100-m100-s500- 名称y.y.y.y-c100-m100-s2000- 名称y.y.y.y-c100-m100-p00- 名称y.y.y.y-c100-m100-pff- 名称y.y.y.y-c100-m100-paa- 名称y.y.y.y注：如果普通正常，但是带填充值丢包，则有可能是某设备改 丢包，但是带tos 如果 如果不通，或者丢包，则证明可能两个PE的转发存问题，此时应该从CE1带本端业务网元的网关地址对端PE2的私网地址，如果存在不同或者丢包，则基本确认是PE1转发存在问题；从CE2带本端业务网元的网关地址对端PE1的私网地PE2转发存在问题。从PE1设备下挂网元，建议选择不同的包长、不同填充值、不同tos值行测试，例如：-c100-m100 -instancexxx-c100-m100-s500 -instancexxx-c100-m100-s2000 -instancexxx-c100-m100-p00--instancexxxy.y.y.y-c100-m100-pff--instancexxxy.y.y.y-c100-m100-paa--instancexxxy.y.y.y注：如果普通正常，但是带填充值丢包，则有可能是某设备改 丢包，但是带tos 如果出现不通或者丢包，则基本确认是CE1设备问题（但是很多业务网 CE进行业务切换，达到快速恢复业务目的。11登录设备后执行查displayalarm2、存在单板cpu%%01VOSCPU/4/CPU_USAGE_HIGH(l):Slot=7;TheCPUisoverloaded,andthetaskswithtopthreeCPUoccupancyareSOCK,PES,NonDopraTask.(CpuUsage=83%,7CPU1登录设备后执行查cpu占用率2通过溯源命查看该槽位上送displayattack-source-traceslot槽位号CPU的可能为3查看该槽位某一类CPUdisplaycpu-defendcarprotocol协议名statisticsslot槽（丢弃报文数）、actualCIRinNP（上送带宽以判断该类协议报文的异常CPU高。4根据步骤2、3，可以基本判断的来源网络下层将连接源的接口shutdown；cpu-defendpolicy编号car协议号cir上送带宽slot槽位号cpu-defend-policy编因此处理应该以阻断源为主3、存在“inligentloopbackheartbeathasdetectederror”告警的处1确认单板业务转发L/LPUG/LPUF-10<slotID>isfailed,inloopbackheartbeathasdetected如果出现此告警(displayalarmallhistory命24、存在“ingress/egressSPI4isabnormal1确认单板业务转发L/LPUG/LPUF-10<slotID>isfailed,ingress/egressSPI4isabnormal,出现此告警(displayalarmallhistory查看)，是硬件内部SPI4时钟不稳导致SPI4数据传输出25、存在“XScaleofingress/egressNP-2isabnormal1确认单板内部L/LPUG/LPUF-10<slot-id>isfailed,XScaleofingress/egressNP-2isabnormal.26、存在“loopbackheartbeatshavelostfor30seconds1确认单板业务转发heartbeatshavelostfor3027、存在“GCM-AofNP-3isabnormal1确认单板NP-3LPU15<slotID>isfailed,GCM-AofNP-3abnormal28、存在“GCM-BofNP-3isabnormal1确认单板NP-3LPU15<slotID>isfailed,GCM-BofNP-3abnormalalarmallhistory查看)，说明单板转发2shutdown该单板的所有接口切换业务，9、存在“LineBuffer-AofNP-3isabnormal1确认单板转发linebuffer是否异LPU15<slotID>isfailed,LineBuffer-AofNP-3isLPUK/LPUN单板上的告警，如果出现此告警210、存在“LineBuffer-BofNP-3isabnormal1确认单板转发linebuffer是否异LPUN单板，LPU15<slotID>isfailed,LineBuffer-BofNP-3isabnormal。LPUN单板上的告警，如果出现此告警(displayalarmallhistory查看)，说明单板转发linebuffer器件存在异常。建议进行业务切换。211、路由器存在“thecommunicationchannelofloopbackheartchannel1<or0>isfailed”告警1确认单板业务转发BetweenLPU1<slotID>andSFU,thechannelofloopbackheartchannel1<or0>isfailed212、存在“TMisabnormal1存在告警“LPUxisfailed,TM[x]ofTMis如果单板在出现TM30分钟内单板被复位，则说明TM异常其它故障导致单板复21FPGA异常告存在告警“MPU/LPUxisfailed,FPGAxxis214、存在“synclkisabnormal1查找同步时钟异常215、存在“CR53C2CF-ZAKAofPIC3isabnormal1告警信息“LPU1isfailed,CR53C2CF-ZAKAofPIC3isabnormal”。AALU13为，根据具设备而示不同出现该216、存在“CR53C2CF-FramerofPIC3isabnormal1monitor”和“terminaldebugging”2告警信息“LPU1isfailed,CR53C2CF-FramerofPIC3isabnormal”。317、存在“theFIBmoduleisoverloaded1检查出现超限的接告警信息“TheinterfaceboardisintheoverloadforwardingstatebecausetheFIBmoduleis2执行命令把接口板从超限转发状态恢复为正常工作状执行命令recoverfiboverloadforward3执行命令把策略及转项重新下执行refreshfibslotslot-number命令，用来对IPv4FIB策略及转项进行下发刷新操作时对正default（GTL1确认当前设备是否GTLlicenselicense2。2GTLlicense文在用户视图执行命令dir*.dat，查看当前设备注：如果cfcardGTLlicense文件，需要cfcard上。3GTLlicense文licenseactivelicensefilenameGTLlicense文件；任何试图下执行命令displaylicense路由器操作命令查询方1查看最近使用_displayhistory mandall-2登录设备后显示用1more logfile-path命令查看。3登录设备后输入命令对比当前配置和1compare障、BGP协议故障、MPLS故障等。下面将针对故障范围来逐条给出快向备份链路/向备份链路/ShutdownIGPcost值调大，使得业务切换到备costospfcostisiscostiproute-staticpreference255业务侧网元包含但不限于：网网元，如SGSN、GGSN、MGW等；1查看接口信息，找到错包持续增长的<Quidway>displayinterface2查看接口上错包增<Quidway>displayinterfaceGigabitEthernetoutputpause帧，说明本CRC或Symbol错误，需要按3、4、5步骤排查。CRC或Symbol错误，存在inputoverflow、outputoverrunoutputsystem3查看设备光模块的接收光功率是否在<Quidway>displayinterfaceGigabitEthernet（V600R001SPCe00版本后光模<55.59>displayoptical-moduleextendinformationinterfaceGigabitEthernet6/0/04与客户确认是否存在备用路径，在存在备用路径的情况将业务切换的备用[Quidway-5在中间有传输设备的情况下，确认传输设备是否存在异2、POSSDH1查看POS接口的告<Quidway>displayinterfacepos2LOF、LRDI告警3接口上只存在4接口上只存在需要登录对端设备，查看对端设备的SDH告警，5[Quidway-31登录设备后查看接1displayport-queuestatisticsinterfacex回显结果会显示该接口82无法的情况如果net路径5-20reset 用户视图下执行reset 用户视图下执行power 5-10分钟5-10slave slave 对出现问题1的交换网板（NE5000E2块，或是业务不能限速转发。导致ms 备的接口的COST值，使IGP不10s响本机所有业务5-10分5-10shutdownTEFRR的端口或是HSB明确路径和保护方式，shutdownTEFRR的端口或是HSBshutdown在接口试图下配置ospf xxx或者isis shutdownTEFRR的端口或是HSB进入接口试图，进入接口试图，undoshutdown故障场景六：故障范围限定在IGP1、存在“OSPF邻居Down1判断是否与建立邻Down，如果接口正常，请在Server上确认邻居两端的接口上配置的odeadinterval值是否一致；接口两端的认证1判断是否与建立邻Down，如果接口正常，请在Server上确认邻居两端的接口上配置的odeadinterval值是否一致；接口两端的认证2网络类型NBMA况下，是否配置正确34Stub或5是否存在在RouterID及IP地址的可能需要排查配置67ospf邻居，或者邻居恢复ospf路由有误，则在用户视图下resetospf<process-2、存在“isisAdjacencyChange”ISIS邻居状态变化告警的处理trapbuffer中可以看到如下示例告警：13的不用关注。213的不用关注。2displayisisinterface进程号IP:Dn：请检测接口IP状态是否能通Lnk:DnMtu:DnISISLSPLenMTU值，ISISLSPLen小于等于接口3isisisis路由有 isis<process- 故障场景七：故障范围限定在BGPlogBGP%%01BGP/3/STATE_CHG_UPDOWN(l):Peerx.x.x.xstatewaschangedfromESTABLISHEDtoIDLE.(BGPaddressfamily=public)恢复BGPresetbgpBGPresetresetbgp故障场景八：故障范围限定在MPLS1、存在“TETunneldownLSPM/2/TRAP:OID[1.3.6.1.2.1.10.166.3.0.2]TunnelChanges1TETunnel是UP现在是否UP2TETunnel已displaymplstetunneldown/updownTETunneldownTETunnel已UP，不需要恢复操作。3TETunnel没TETunnel经displaymplsteexplicit-path<explicit-path-name>Tunnel期望经过的路由器及接口；检查接口状态是否为downdown，恢复4如果接口状态正常，判断路由状态displaymplstecspfdestination<ip-address>explicit-pathexplicit-path-name>命令行检查目的2、存在“ThesessionwentDown（LDPDown）告警的处理trapbuffer中可以看到如下示例告警：OID[1.3.6.1.2.1.10.166.4.0.4]ThesessionwentDown.1判断是否与建立邻mplsldp。2查看是否和路由相3通过检验到达对端的转发是否正常4mplsresetmpls硬件故障1检查上线用户所属displaythis检查是否有显示信user-groupuser-group-namebindnatinstanceuser-groupuser-group-namebindnatinstanceinstance-name绑定用户组与实例。2检查NAT业务下是否有正确的会话信displaynatsessiontableslotslot-idcpu-d命令检查NTNT存过的常配置进行置对比，3检查NAT设备到外网目的主机的可达4检查NAT设备绑定ACL规则displayaclacl-number命令查看当前具体ACL配置。ACL规则一般配置比较严格，只根据当配置了NAT后，如果内网主机无法通外网的主机，注意检查ACLICMP5NATALG功用displaynatinstanceinstance-name命令查看是否alg命令使能。6NAT当采用以上相关处理方式后，仍无法解决NAT业务故障时，建议暂时放弃NAT方式，改故障场景十：DHCPSEVER1DHCPSERVER1首先判断设备对应15displayalarmall的业务槽位是否有硬件告警。（的步骤都是非硬件2判断当前地址池是否还有空闲地址，如果没有空闲地址就需要扩充地址displaydhcpserverfree-ip，检查是否有剩ip地址。sub地址。2、增加新的地址池：1、V600R003dhcpserverip-poolnetwork10.1.2.0maskgateway-listippoolpoolagateway10.1.1.1b）basippoolpoolabasgateway10.10.10.2section010.10.10.3dns-server10.10.10.1isp1ip-poolpoola3如果地址池有空闲地址但是客户端还是获取不到地址，就需要打开dhcp的调试开关，确认V600R003前的版本debuggingdhcpserverpacketdebuggingdhcpspacketdhcpdhcp四种报文的交互情况，如果路由器没有收到客户的dispcovery4如果判断是路由器不能响应客户端的DHCP设备能够做DHCPSERVER可以把地址池切换到DHCPSERVER的设备，本端路由器做DHCPRELAY，修改方式为：1、V600R003dhcpserverip-poolnetwork10.1.2.0maskgateway-listippoolpoolagateway10.1.1.1b）basippoolpoolabasgateway10.10.10.2section010.10.10.3dns-server10.10.10.1isp1ip-poolpoola5DHCPRELAY也不能处理客户端或者DHCPSERVER设备进行主备倒换slaveswitchover2、路由器做DHCPRELAY1首先判断设备对应15displayalarmall的业务槽位是否有硬件告警。（的步骤都是非硬件2通过打开调试开关确认DHCP的丢弃位置，如果路由器没有收到客户端的discovery或者request是下边二层网络问题，就需要下边二debuggingdhcprelaydhcpdhcp四种报文的交互情况，如果路由器没有收到客户的dispcovery3如果判断是DHCPSERVERDHCPRELAYDHCPSERVER可以临时把路由器更改DHCPdebuggingdhcprelaydhcpDHCPSERVER的配置方法。1a）V600R003之前的版本interfaceGigabitEthernet2/0/0.1undoiprelayaddressX.X.X.X(SERVERip地址)undodhcpselectdhcpserverip-poolnetwork10.1.2.0maskgateway-list10.1.2.1interfaceGigabitEthernet2/0/0.1undoiprelayaddressX.X.X.X(SERVERip地址)undodhcpselectippoolpoolagateway10.1.1.1c）BASippoolpoolabasgateway10.10.10.2section010.10.10.3dns-server10.10.10.1isp1ip-poolpoola4如果判断是路由器DHCPRELAY处理客户端或者说明是路由器的软件问题，可以通过对路由器进行主备倒换或者复位解slaveswitchover故障场景十一：L3业务故1检查路由下一跳是在路由的发送端(本端PE)执行displaybgpv4-instance-instance-namerouting-tableipv4-addressmask|mask-length路由（ipv4-address表示目标路由前缀，确认路EE。displaybgpv4-instancearouting-tableBGPy.y.y.y（Originalnexthop）z.z.z.z（RelayIPNexthop）。BGP下一跳（Originalnexthop）的路由，如果不存在说明BGP路由不发布是由于路由下一跳BGP下一跳在路由接收端执行displaybgpv4routing-tablenetworkmask|mask-length查看是2检查路由策略是否current-configurationconfigurationbgp3检查是否迭代不到隧道导致路由不活allrouting-tableipv4-address[mask|mask-length]RelayTunnelOut-InterfaceRelay如果迭代不到隧道请执行displayip-instanceverbose[-in