交换机CPU使用率高问题定位

交换机CPU使用率高问题定位,目录,诊断工具display工具log工具报文冲击导致的CPU使用率高问题CPU使用率高问题信息采集,displaycpu-usageslotx,displaycpu-usageCPUUsageStat.Cycle:60(Second)CPUUsage:40%Max:54%CPUUsageStat.Time:2008-05-2709:21:46CPUutilizationforfiveseconds:50%:oneminute:49%:fiveminutes:47%MaxCPUUsageStat.Time:2008-05-2609:30:07.TaskNameCPURuntime(CPUTickHigh/TickLow)TaskExplanationBOX0%0/35090BOXOutput_TIL0%0/0Infiniteloopeventtask_EXC0%0/0ExceptionAgentTaskbcmRX2%0/3b69abcmRXVIDL50%0/af3cd700DOPRAIDLETICK0%0/1414bbFOAM0%0/0FOAMFTS25%0/416FTSIPCQ0%0/10105fIPCQIPCtaskforsinglequeueSOCK10%0/ecb2fcSOCKPacketscheduleandprocess,空闲任务,任务描述,displaycpu-defendstatistics,displaycpu-defendstatisticsallStatisticsonslot0:-PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-arp-miss0000arp-reply384060arp-request3468256648361958454191511306556dhcp-client0000dhcp-server1427040igmp22400350nap0000nd14240160snmp0000tcp0000telnet0000ttl-expired0000unknown-multicast0000-,对于报文冲击导致CPU高的情形，可进一步通过cpu-defend统计查询功能确认具体的协议类型。协议上送过多判断标准：该协议对应的Drop列有大量计数，且相对于Pass计数占比较高，例如上表中的arp-request类型。,displaylogbuffer,displaylogbufferLoggingbufferconfigurationandcontents:enabledAllowedmaxbuffersize:1024Actualbuffersize:512Channelnumber:4,Channelname:logbufferDroppedmessages:0Overwrittenmessages:0Currentmessages:395Feb28201216:37:40Quidway%01SNMP/4/DECODE_ERR(l):FailedtologinthroughSNMP,becauseofthedecodedPDUerror.(Ip=9,Times=4)Feb28201216:35:36Quidway%01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;TheCPUisoverloaded,andthetaskswithtopthreeCPUoccupancyareFTS(40%),SNPG(30%),bcmRX(5%).(CpuUsage=99%,Threshold=80%),CPU使用率高往往还伴有告警、日志出现，可以通过查看日志缓冲区的历史记录，搜索CPU_USAGE_HIGH日志，以便确认CPU占用率TOP3的任务。,目录,诊断工具报文冲击导致的CPU使用率高问题定位思路故障举例第一步：检查CPU占用率TOP任务第二步：检查上送过多的协议类型第三步：按协议类型分别处理CPU使用率高问题信息采集,定位思路,CPU使用率检查,确认TOP任务,确认报文类型,协议分类处理,其它情形信息采集,最常见协议冲击CPU致使用率高主要表现在bcmRX、FTS、SOCK等任务上。bcmRX是设备硬件中断触发的的收包任务，它会将收取到的报文立刻转交软件层面的FTS任务进行分发处理。对于属于三层协议处理的报文，往往还伴随有SOCK任务占用率高的情况出现。,故障举例,故障描述：交换机产生CPU_USAGE_HIGH告警：,备注：如果网管需要主动监测CPU使用率，可通过OID：.4.1.20.1.5获取。,Feb28201216:35:36Quidway%01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;TheCPUisoverloaded,andthetaskswithtopthreeCPUoccupancyareFTS(27%),VPS(15%),bcmRX(5%).(CpuUsage=99%,Threshold=80%),第一步：检查CPU占用率及TOP任务,displaycpu-usageslotxCPUUsageStat.Cycle:60(Second)CPUUsage:85%Max:99%CPUUsageStat.Time:2001-04-2516:15:00CPUutilizationforfiveseconds:90%:oneminute:85%:fiveminutes:86%MaxCPUUsageStat.Time:2001-04-2417:17:07.TaskNameCPURuntime(CPUTickHigh/TickLow)TaskExplanationBOX0%0/dad772BOXOutput_TIL0%0/0Infiniteloopeventtask_EXC0%0/0ExceptionAgentTaskVIDL15%8/b51c8f1bDOPRAIDLETICK0%0/91e2d7fCLKI0%0/0CLKIDEV0%0/12202d9DEVDevicebcmRX5%0/cb817afbcmRXCHAL0%0/0CHALFTS23%0/5a876FTSMOD0%0/0MODModuleManagement,通过故障现象中的告警信息，可以确认CPU占用率TOP任务中包含有bcmRX、FTS报文收取任务，基本可以确认属于协议收报过多导致CPU占用率上升。可以通过CPU使用率查询功能进一步核实TOP任务中是否包含有收包任务；可以通过slot指明查询的槽位号。,第二步：确认报文类型,通过cpu-defend统计查询功能，确认哪类协议存在冲击情形，可以通过各类协议的Drop列计数进行确认。如果某类协议Drop计数非常大，且Drop列计数相对于Pass列计数占比较高(例如达到20%以上)，则认为属于此类协议存在冲击CPU情况。例如上表中的arp-request，后续按照第三步中的ARP协议对应处理方式进行处理。注意，查看统计时，需要关注协议冲击位于哪个槽位，即“Statisticsonslotx”。,displaycpu-defendstatisticsallStatisticsonslot0:-PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-arp-miss0000arp-reply384060arp-request3468256648361958454191511306556dhcp-client0000dhcp-server1427040dhcpv6-reply0000dhcpv6-request0000icmp0000icmpv60000igmp22400350,第三步：按协议类型分别处理-1,ARP通过displayinterface检查哪些接口存在Broadcast数量异常，并在此接口配置广播流量抑制，限制单个接口广播速率(例如限制为50pps)：#broadcast-suppressionpps50.#DHCP请确认本机是否需要开启DHCP，如果不需要请在全局undodhcpenable；如果需要，建议在下行接口开启dhcperror-down功能(具体信息请参考用户手册)：#dhcpsnoopingcheckdhcp-rateenabledhcpsnoopingcheckdhcp-ratetriggererror-down#并建议通过基于dhcp报文的流量统计功能，来发现哪个接口发送了过多的DHCP报文。,第三步：按协议类型分别处理-2,TCP/ARP-MISS此种情况一般是由于网络中存在针对不存在的某些直连网段IP地址进行扫描导致的.当有数据报文发送到这些不存在的IP地址时，会将数据上送CPU处理，以触发ARP学习过程，建议此时在每个vlanif接口下调整ARP学习延迟时间：#interfacevlanif1000arp-fakeexpire-time30#TTL-EXPIRED如果不需要本机在tracert中显示，建议丢弃此类报文：#cpu-defendpolicytestdenypacket-typettl-expired#Cpu-defend-policytestglobalCpu-defend-policytest#,第三步：按协议类型分别处理-3,Reserved-multicast此类报文一般属路由协议报文，目的IP地址224.0.0.X，如果设备不需要此类报文(或者启用OSPF路由但未起组播功能)，可以直接丢弃处理(或者升级到最新版本)：#cpu-defendpolicytestdenypacket-typereserved-multicast#Cpu-defend-policytestglobalCpu-defend-policytest#,第三步：按协议类型分别处理-4,ND/ICMPV6/DHCPV6如果本机不需要IPV6功能，建议直接丢弃此类报文：#cpu-defendpolicytestdenypacket-typenddenypacket-typeicmpv6denypacket-typedhcpv6-requestdenypacket-typedhcpv6-reply#Cpu-defend-policytestglobalCpu-defend-policytest#,第三步：按协议类型分别处理-5,OSPF请检查是否存在路由表项过大，或者OSPFPEER过多情形，并根据实际情况考虑对路由进行优化，以降低路由表项数目或OSPFPEER数目。SNMP检查是否存在频繁的网管操作，例如获取接口流量，建议适当降低网管获取交换机信息的频率。,如果不属于上述常见协议类型，或者其它情况导致的CPU高情形，建议立刻搜集设备当前诊断信息、日志信息、本次定位过程的操作记录等，并返回华为服务处理。,目录,诊断工具报文冲击导致的CPU使用率高问题CPU使用率高问题信息采集,信息搜集,搜集cfcard中的logfile目录下的日志信息，针对没有cfcard的盒式设备，请通过如下命令搜集：displaylogbufferdisplaytrapbuffer搜集设备诊断信息，命令为：displaydiagnostic-information搜集cpu-defend统计信息(10分钟内多搜集几次)displaycpu-defendstatisticsall,信息搜集,搜集TOP任务的监控信息：1.通过_hidecmd或diagnose进入诊断视图；2.通过displaycpu-usage检查cpu占用较高任务，例如EOAM较高：Quidway-hidecmddisplaycpu-usageslotx-可指定槽号检查CPUUsageStat.Cycle:10(Second)CPUUsage:38%Max:99%CPUUsageStat.Time:2013-01-0603:08:57CPUutilizationforfiveseconds:38%:oneminute:33%:fiveminutes:35%.TaskNameCPURuntime(CPUTickHigh/TickLow)TaskExplanationBOX0%0/18f78eBOXOutput_TIL0%0/0Infiniteloopeventtask_EXC0%0/0ExceptionAgentTaskVIDL61%0/b7abe65cDOPRAIDLETICK0%0/143074eSTND0%0/b3412STNDStandbytaskEOAM24%0/4994c174EOAMEthernetOAM802.1ag,信息搜集,3.通过displaytask查找任务对应的taskid，例如EOAM的taskid为79:Quidway-hidecmddisplaytaskslotx-可指定槽号nameTidVOS_TidpriorityStatusCPUTotal(Millsecs)=BOX0 x6ec523018sleep36830_TIL0 x6ebaf902250eventblock0_EXC0 x6eb0cf03135eventblock0VIDL0 x6ea6a5041preemptready79669745TICK0 x6e9c7b05205preemptready476396STND0 x6daa8b0680eventblock18097FTPS0 x6dbc2407100sleep230536DEV0 x6e7ffd08140eventblock14818TCTL0 x6c6a46077100eventblock45NAP0 x6c601c078100eventblock45EOAM0 x6c55f2079100eventblock29468818TRAF0 x6c4bc8080100eventblock25659SLAG0 x6c419e081100eventblock56,信息搜集,4.根据taskid设