Cisco网络设备以及故障排查讲解

Cisco网络设备日常维护与故障诊断,目录,一.序言二.Cisco产品线三.设备信息收集四.密码恢复五.IOS确认以及升级六.故障处理七.设备配置以及优化八.设备性能参数,三.设备信息收集,1.系统版本信息2.设备序列号a).机箱序列号b).模块序列号3.端口信息a).IOS操作系统设备b).CatOS操作系统设备c).E1或POS端口4.CPU使用信息5.内存使用信息6.日志信息a).配置打开日志功能b).显示日志记录c).日志记录时间,1.系统版本信息,-showversion-CiscoInternetworkOperatingSystemSoftwareIOS(tm)3600Software(C3640-IS-M),Version12.2(2)XT3,EARLYDEPLOYMENTRELEASESOFTWARE(fc1)TACSupport:,2.设备序列号,机箱序列号设备序列号是获得厂商技术支持和换修备件的唯一标识，因此如何查找各种设备或模块的序列号需要关注。当然有个别情况设备中通过命令显示的序列号不正确，或者有些机型无法通过命令显示，那么只有从设备外部所贴的条码标签来查看。通常机箱标签会在电源附近，模块标签会在板卡芯片一面，多为黄色条形码。格式大多为8位连续数字或者11位连续字母数字的组合（前三位为字母）,a).机箱序列号,1).12000系列路由器ShowgsrchassisRouter#shgsrchassisBackplaneNVRAMversion0 x20Contents-Chassis:type12406FabVer:2ChassisS/N:TBA061500102).7600，6500，4500，3500，2900系列交换机，7300系列路由器Showversion3).7500系列路由器在高版本IOS支持ShowRSPchassis4).7200，3600，2600系列路由器无法通过命令获得5).4000,5000系列CATOS交换机Showversion6).PIX500系列防火墙Showversion,b).模块序列号,1).12000系列路由器ShowdiagSLOT0(RP/LC0):3PortGigabitEthernetMAIN:type68,800-6376-01revE0Deviation:0HWconfig:0 x00SWkey:00-00-00PCA:73-4775-02revE0ver2DesignRelease2.0S/NCAB0443FB002).7600，6500，5000，4000系列ShowmoduleModPortsCardTypeModelSerialNo.-124CEF72024port1000mbSFPWS-X6724-SFPSAD0805062B52SupervisorEngine720(Active)WS-SUP720-BASESAD081502DB3).2600，3600，7200，7500系列Showdiag,3.端口信息IOS操作系统设备,ShowinterfaceSerial1/0:0isup,lineprotocolisupHardwareisMultichannelE1Description:XiTai(No.3926)Internetaddressis9/30MTU1500bytes,BW2048Kbit,DLY20000usec,reliability255/255,txload113/255,rxload197/255EncapsulationHDLC,crc16,Datanon-invertedKeepaliveset(10sec)Lastinput00:00:08,output00:00:00,outputhangneverLastclearingofshowinterfacecountersneverInputqueue:0/75/0/0(size/max/drops/flushes);Totaloutputdrops:0Queueingstrategy:weightedfairOutputqueue:0/1000/64/0(size/maxtotal/threshold/drops)Conversations0/13/16(active/maxactive/maxtotal)ReservedConversations0/0(allocated/maxallocated)5minuteinputrate1587000bits/sec,319packets/sec5minuteoutputrate915000bits/sec,262packets/sec164240packetsinput,108936956bytes,0nobufferReceived0broadcasts,0runts,0giants,0throttles0inputerrors,0CRC,0frame,0overrun,0ignored,0abort126688packetsoutput,59191590bytes,0underruns0outputerrors,0collisions,0interfaceresets0outputbufferfailures,0outputbuffersswappedout1carriertransitionsnoalarmpresentTimeslot(s)Used:UNFRAMED,transmitdelayis0flags,3.端口信息CatOS操作系统设备,对于CatOS来说，交换引擎是用showMAC和showCAM命令来检查端口状态和累计计数的（注意不是实时的）。如果希望即时统计，可以先clearcounters清除计数再观察。*showport*PortNameStatusVlanLevelDuplexSpeedType-1/1notconnect1normalfull1000NoGBIC1/2notconnect1normalfull1000NoGBIC2/1connectedtrunknormalfull10001000BaseSX2/2connected1normalfull10001000BaseSX2/3notconnect1normalfull10001000BaseSX2/4notconnect1normalfull10001000BaseSX2/5connectedtrunknormalfull10001000BaseSX2/6connectedtrunknormalfull10001000BaseSX*showmac*PortRcv-UnicastRcv-MulticastRcv-Broadcast-2/1545760010912/2353105822/5457809169385202/6024403/11201201655382,3.端口信息E1或POS端口,对于E1和POS端口，我们还需要关注showcontroller的信息。例如B1,B2,B3的错误计数，PSE，NSE的错误计数都与物理层和时钟的故障有关,4.CPU使用信息,CPU利用率是我们经常关注的信息，如果cpu利用率升高会导致整个设备的转发性能下降1.我们可以用showprocesscpu来检查当前的cpu利用率-showprocesscpu-CPUutilizationforfiveseconds:38%/20%;oneminute:33%;fiveminutes:34%2.对于过去72小时内的cpu利用率，可以用showprocesscpuhistory来观察。分为过去60秒，过去60分钟，和过去72小时三个表来记录平均利用率变化-showprocesscpuhistory-bj7301-103:41:36PMThursdaySep82005UTC3.对于PIX系列防火墙，显示cpu利用率的命令为showcpuusage-showcpuusage-CPUutilizationfor5seconds=2%;1minute:1%;5minutes:1%,5.内存使用信息,我们可以通过showprocessmemory和showmemorysummary命令检查内存使用情况。需要注意的是我们不光要注意系统free内存，还要关注mempool中的largest内存（最大可用内存块），两者要都足够才能确保系统运行,环境变量检查,查看环境变量showenvironment确认温度、电压、风扇等环境变量值是否在正常范围内Slot#HotSensorInletSensor(degC)(degC)040.029.0SlotMBUS|CARD|PLIMVoltageLines#5V|3.3V5.0V2.5V|V3V4V5V6V7V8049523292-1496-24961788Slot#48VAMP_48(Volt)(Amp)PEM1544PWR-GSR16-DC=StandardDCPEMSlot#Fan0Fan1Fan2(RPM)(RPM)(RPM)28297029192922GSR16-BLOWER=,路由表检测,查看路由信息命令如下：#Showiproute-查看当前所有路由表#Showiproutesummary-查看路由表汇总信息#Showiproutestatic-查看静态路由表#Showiprouteconnect-查看直连端口路由表#Showiprouteospf-查看ospf路由表#Showiprouteisis-查看isis路由表#Showiproutebgp-查看BGP路由表#Showipcef-查看cef转发表注：在检查ospf和bgp路由表时，要重点查看缺省路由的状态。,OSPF路由协议检查,查看路由信息命令如下：#showipospfneighbour-查看OSPF邻居状态#showipospfinterface-查看OSPF端口信息#showipospfdatabase-查看OSPF数据库#showipospfborder-routers-查看OSPF域边界路由器#Showiprouteospf-查看ospf路由表,中继状态观察检测,CISCO路由器中继状态的检查和监测（命令、输出查看内容等）查看中继信息命令如下：#showinterfacesdescription#showipinterfacebrief#showinterfacePOS/#showcontrposX/X(详细介绍）(可以查看光的衰耗)可以看到当前中继的描述信息和端口状态,系统软件和系统配置的备份查看,查看系统软件命令如下：#dir看到当前flash:中的IOS软件如果需要备份IOS，命令如下#copydisk0:filenametftp将IOS备份到当地的TFTP服务器上系统配置的查看命令如下：#showrunning-config查看当前运行配置#showstartup-config查看启动配置注意：两个引擎间的关系seconddisc。running-config和startup-config关系,思科常见的2个端口隐匿命令,ROUTERshintgi1/0/0switching路由器接口交换方面的信息GigabitEthernet1/0/0to-xx-12012-1-Gi9/3-GE:1Throttlecount0DropsRP0SPSPDFlushesFast12SSE0SPDAggressFast0SPDPriorityInputs2486570Drops0ProtocolPathPktsInCharsInPktsOutCharsOutOtherProcess002423483145417722ROUTER#showintgi1/0/0statsGigabitEthernet1/0/0SwitchingpathPktsInCharsInPktsOutCharsOutProcessor254428862963566834672542217930765Routecache0000Distributedcef1305467672144161049864725813542311325959106724315984Total1305493115024161112828292613542658051359108942246749注：交换模式分为处理器、路由缓存和分布式交换缓存。后者的数据包独立于前两者而单独计算,6.日志信息,日志对于设备维护是一个非常重要的信息，因此建议打开设备的日志功能，如果有可能的话最好建立日志服务器，将日志信息记录到外部服务器，避免由于设备重启而丢失日志信息,1).配置打开日志功能,对于IOS设备来说，我们通过配置loggingbuffer来打开日志输出到buffer内存的记录功能，也可以配置loggingconsole打开输出到console口的日志功能可以在loggingbuffer后面加上记录日志的级别，级别越高，记录的信息越多。比如loggingbuffer6，对应information级别，那么会将一些普通的日志信息也记录下来。最高级别为debug，如果要对系统进行debug，需要将日志打开到debug级别才能将debug信息记录到buffer,2).显示日志记录,对于IOS设备来说，通过showlog来查看日志记录，我们可以看到在前面会显示当前各种日志所记录的级别Router#shologSysloglogging:enabled(9messagesdropped,1messagesrate-limited,0flushes,0overruns,xmldisabled)Consolelogging:leveldebugging,21messageslogged,xmldisabledMonitorlogging:leveldebugging,0messageslogged,xmldisabledBufferlogging:leveldebugging,21messageslogged,xmldisabledLoggingExceptionsize(8192bytes)Countandtimestamploggingmessages:disabledTraplogging:levelinformational,26messagelineslogged*Feb1217:26:24.507:%SYS-5-CONFIG_I:ConfiguredfromconsolebeLogBuffer(8192bytes):*Feb1217:19:50.739:%LINK-3-UPDOWN:InterfaceFastEthernet0/0,changedstatetoup*Feb1217:19:50.743:%LINK-3-UPDOWN:InterfaceSerial1/0,changedstatetoup*Feb1217:19:50.751:%LINK-3-UPDOWN:InterfaceSerial1/1,changedstatetoup*Feb1217:19:50.755:%LINK-3-UPDOWN:InterfaceSerial1/2,changedstatetoup*Feb1217:19:50.759:%LINK-3-UPDOWN:InterfaceSerial1/3,changedstatetoup对于CatOS设备来说，可以用showloggingbuffer-1023查看全部日志,3).日志记录时间,有时我们会发现日志中的时间格式我们看不懂，例如3W9D之类，这是一个时间格式问题，这种格式表示从开机以来的第3周第9天如果我们想换成我们习惯的标准日期时间格式，可以在配置种加入命令：servicetimestampslogdatetimelocaltime,四.密码恢复2950,3550等系列非模块化交换机,1.将终端或PC(使用超级终端)连接到交换机console端口2.将连接速度设为96003.将交换机电源拔掉4.按住mode键，同时将交换机加电。当端口1X上的等灭掉后1-2秒可以松开mode键。如下的几行软件信息将会显示出来，提示你密码恢复功能是否被禁止如果显示信息如下所示：Thesystemhasbeeninterruptedpriortoinitializingtheflashfilesystem.Thefollowingcommandswillinitializetheflashfilesystem，andfinishloadingtheoperatingsystemsoftware:flash_initload_helperboot可以进行密码恢复进程如果显示信息如下所示：Thepassword-recoverymechanismhasbeentriggered,butiscurrentlydisabled.请遵照后面的禁止密码恢复机制情况,四.密码恢复2950,3550等系列非模块化交换机,密码恢复进程第一步：初始化flash文件系统switch:flash_init第二步：加载一些helper文件switch#load_helper第三步：显示flash内存中的内容switch:dirflash:交换机文件系统显示如下：Directoryofflash:13drwx192Mar01199322:30:48c3550-i5q3l2-mz-121-0.0.5311-rwx5825Mar01199322:31:59config.text17-rwx27Mar01199322:30:57env_vars5-rwx90Mar01199322:30:57system_env_vars18-rwx720Mar01199302:21:30vlan.dat16128000bytestotal(10003456bytesfree)第四步：将配置文件名改为config.text.old，这个文件包含定义的密码。switch:renameflash:config.textflash:config.text.old第五步：启动系统switch:boot将会提示你进入setup程序，在提示处回答NContinuewiththeconfigurationdialog?yes/no:N,四.密码恢复2950,3550等系列非模块化交换机,第六步：在switch提示符下，进入特权模式switchenable第七步：将配置文件改回初始名switch#renameflash:config.text.oldflash:config.text第八步：copy配置文件到内存switch#copyflash:config.textsystem:running-configSourcefilenameconfig.text?Destinationfilenamerunning-config?一律回车确认，现在配置文件已经加载了，可以更改password第九步：更改passwordswitch#configterminalswitch(config)#enablesecretorswitch(config)#enablepasswordswitch(config)#exitswitch#switch#copyrunning-configstartup-config禁止密码恢复机制情况如果密码恢复机制被禁止，提示信息如下：Thepassword-recoverymechanismhasbeentriggered,butiscurrentlydisabled.Accesstothebootloaderpromptthroughthepassword-recoverymechanismisdisallowedatthispoint.However,ifyouagreetoletthesystemberesetbacktothedefaultsystemconfiguration,accesstothebootloaderpromptcanstillbeallowed.Wouldyouliketoresetthesystembacktothedefaultconfiguration(y/n)?,四.密码恢复2600,3600,7200,7500,12000等系列路由器,1.将终端或PC(使用超级终端)连接到交换机console端口2.将连接速度设为96003.关机重新启动，启动过程中60秒内按break中断启动过程，系统会进入rommon提示符在rommon模式下键入confreg0 x2142使系统不加载配置文件启动rommon1confreg0 x2142Youmustresetorpowercyclefornewconfigtotakeeffect在rommon提示符下键入reset使系统重启系统启动后，对所有setup的提问回答no或按ctrl-C跳过此时设备启动为出厂设置，没有任何配置，可以enable进入特权模式进入特权模式后执行copystartuprun，将原来的配置复制到当前的内存中此时已经恢复原来的配置，可以进入配置模式更改密码Configthostname(config)#enablesecret在配置模式下将寄存器值改回原来的0 x2102hostname(config)#config-register0 x2102改完后退出配置模式，write存盘再重启设备，将恢复为改过密码的配置,五.IOS确认以及升级,IOS是网络产品的灵魂，它提供丰富的特性功能支持，但也和其他操作系统软件一样，有着改之不完的bug。我们选择Cisco，并非它足够稳定，而是相对稳定。cisco对于大部分bug都有相应的说明和回避方法提供，也会相对及时地在下一版本改正。毕竟没有一切完美的产品嘛。Cisco在下一代的软件中采用了软件的分布式结构，将不同的功能分布到不同的软件模块去执行，这样即使某一个软件模块出现问题，不至于影响到整个系统的运行。特性越复杂的ios相对bug也越多，通常我们遇到的一些系统自动重启或者日志中的告警多半都与软件bug相关，因此选择一个相对稳定的ios版本是非常重要的。Cisco的路由交换设备分为IOS和CatOS两种系统，早期的4000,5000,6000是混合型的操作系统，即在交换层上还采用CatOS，而路由层采用IOS。但Cisco在逐渐取消这种结构，6500和4500已经可以转换成和其他的路由设备一样的单一NativeIOS结构。,IOS选择的原则,对于IOS的版本选择并非越高越好，因为对于一个新版本的推出，由于使用的人少，还不能验证其稳定性。因此我们需要的是一个稳定的版本，而不是一个很新的版本。当然除非您需要新版本中新支持的特性或者出于回避某些漏洞的需求。在ciscoIOS版本下载页面都会标注每个版本的分类，包括ED、LD、GD或DF,IOS选择的原则,ED代表“早期部署”。早期部署版本提供新的特性、平台或接口支持。多数非主要版本都包含ED版本。GD代表“普遍部署”。如果Cisco认为CiscoIOS软件的主要版本适合在客户网络中需要这些特性和功能的任何地方使用，则这种主要版本进入“普遍部署”阶段。进入“普遍部署”阶段的标准基于但并不限于从采用这些版本的生产和试验网络中获得的客户反馈调查、客户工程师故障报表以及报告的现场实际运行情况。只有主要版本才能进入普遍部署阶段。LD代表“有限部署”。介于初次发售到进入GD阶段之间，CiscoIOS软件的主要版本处于其生命周期的“有限部署”阶段。DF代表“延期”。因为存在众所周知的缺陷，DF版本不可以下载。在您的路由器上不要安装这些版本。在选择版本时，我们建议尽量采用GD版本。只有在您的硬件和软件特性使您无法作出其它选择时，才采用ED版本,IOS选择的原则,对不同的产品，IOS分为11.0，12.0，12.1，12.2，12.3，12.4等几个大的系列，每个IOS系列又细分S，SX，E，T等不同小的系列，对于每个小的系列又会有不同的小版本号，这个小版本号的递增，表示不断升级的补丁例如12.0(28)S1，12.0(28)S212.0(28)S6，表示在12.0(28)S这一系列已经升级过6次补丁，他们支持的特性是相同的，只是越靠后的版本越稳定，因此我们在升级IOS时首选我们原来使用的系列中小版本号高的版本，它肯定与我们原来的应用环境兼容，并更加稳定针对每个IOS版本还区分不同的属性，一般有IP，IPPLUS，ENTERPRISE，SERVICEPROVIDER等属性，每个属性所包含的支持特性都不同，分别对应普通用户，企业用户，运营商等不同的应用环境,IOS选择的原则,IOS的选择是一个比较复杂的事情首先要判断什么版本才能支持您设备上要使用的硬件板卡；其次您需要支持什么特性，比如vpn,mpls,qinq；最后选定了版本还要看您的内存和flash是否足够大虽然在cisco网站上有相应的工具(softwareadvisor)可以在一定程度上帮助您分析，但确实是一件比较麻烦的工作，有些特性还是要到相应的releasenotes去查找下面是softwareadvisor的链接，需要cco帐号,IOS升级方法,1.准备tftpserver软件放在pc上，如果要升级的软件大于16M，请不要用cisco的tftpserver软件。将下载的ios文件放在tftpserver目录下。2.将pc连接到网络中，最好是通过局域网连接，确保可以ping通网络设备的地址。3.在网络设备上showflash查看原来的ios文件。对于不同设备可能存储在不同位置，flash，bootflash或disk0上。如果剩余间不足，那么需要将原来的文件删除例如deletebootflash:c7200-boot-mz.120-2.XE2再次showflash，系统有可能只是在文件上标注了一个D，-showbootflash:all-#-ED-type-crc-seek-nlen-length-date/time-name1.D.image187949112FB1D0232863440Jan01200000:00:54c7200-boot-mz.120-2.XE22.config25FF6D893236749164897Jan15200203:09:40crashinfo3.config7127DD9A34BCE09165356Nov12200400:54:13crashinfo4.crashinfo27D3746A37EC2025208573Mar27200505:59:14crashinfo_20050327-0559145088bytesavailable(3402784bytesused)那么需要执行squeezebootflash：命令将标记D的文件彻底擦除。注意此时由于bootflash中已经没有ios文件，设备一定不要重起，否则系统中没有ios文件将无法启动，只能通过xmodem方式从console口上传文件，会非常慢。4.在空间足够的情况下，在网络设备上执行copytftpbootflash：系统会提示输入源文件地址，即pc机ip地址；输入源文件名，即要上传的文件名，例如c7200-is-mz.122-23.bin输入目的文件名，c7200-is-mz.122-23.bin。系统会上传该文件到bootflash中。5.如果原来的配置中有启动变量配置，需要更改。例如bootsystemflashbootflash：c7200-is-mz.121-21.bin，需要将该配置no掉，重新配置bootsystemflashbootflash：c7200-is-mz.122-23.bin，存盘重启即可。6.启动后showversion检查是否版本已经变更。,由于设置不正确导致的无法启动,如果设备启动进入rommon提示符，那么有可能是某些设置的不正确导致无法启动。首先确认ios文件是否存在：在rommon提示符下dirbootflash：或dirflash：dirdisk0：检查是否文件存在。Dirbootflash：-#-ED-type-crc-seek-nlen-length-date/time-name1.image187949112FB1D0232863440Jan01200000:00:54c7200-is-mz.122-23.bin5088bytesavailable(3402784bytesused)如果文件存在，可以键入bootbootflash:c7200-is-mz.121-21.bin指定系统从该文件启动，通常系统可以引导起来。一般是启动变量设置不正确导致的。当系统进入正常模式后再通过上一节的配置方法改正启动变量（bootsystemflashXXXX）。另一种情况是即使启动变量正确，系统仍然每次重启都自动进入rommon状态，这有可能是寄存器值设置不正确。如果是在rommon状态下，可以通过confreg0 x2102来改正寄存器值，如果是在正常模式下，可以在配置中配置config-register0 x2102，存盘重启即可。最糟糕的一种情况是检查flash发现文件都不存在了，或者由于文件损坏在系统启动过程中就跳回rommon状态而无法进入正常模式。那么只有通过xmodem来恢复ios文件了。,用TFTPDNLD方式恢复IOS文件,1.通过console线将pc与网络设备console口连接，用超级终端登录系统，系统在rommon模式。2.将pc通过交叉线连接到路由器的以太口，并启动tftpserver，将IOS文件放在相应目录下。3.在路由器上可以通过set命令查看当前参数设置。rommon3setPS1=rommon!IP_ADDRESS=6IP_SUBNET_MASK=92DEFAULT_GATEWAY=5TFTP_SERVER=TFTP_FILE=quake/rel22_Jan_16/c2600-i-mz4.分别设置几个相关参数rommon16IP_ADDRESS=rommon17IP_SUBNET_MASK=rommon18DEFAULT_GATEWAY=rommon19TFTP_SERVER=29rommon20TFTP_FILE=c2600-is-mz.113-2.0.3.Q5.执行tftpdnld将IOS文件下载到路由器。rommon21tftpdnldIP_ADDRESS:IP_SUBNET_MASK:DEFAULT_GATEWAY:TFTP_SERVER:29TFTP_FILE:c2600-is-mz.113-2.0.3.QInvokethiscommandfordisasterrecoveryonly.WARNING:allexistingdatainallpartitionsonflashwillbelost!Doyouwishtocontinue?y/n:n:yReceivingc2600-is-mz.113-2.0.3.Qfrom29!.!.!Filereceptioncompleted.Copyingfilec2600-is-mz.113-2.0.3.Qtoflash.Erasingflashat0 x607c0000programflashlocation0 x60440000rommon22,用Xmodem方式恢复IOS文件,1.通过console线将pc与网络设备console口连接，用超级终端登录系统，系统在rommon模式。2.键入xmodem命令rommon1xmodem-cc2600-is-mz.122-10a.binDonotstartthesendingprogramyet.Invokethisapplicationonlyfordisasterrecovery.Doyouwishtocontinue?y/nn:y(选择yes)Readytoreceivefile.3.此时，在超级终端的菜单上的“传送”-“发送文件”-选择IOS镜像文件所在地以及选择使用“xmodem”协议，点击“发送”即可由于系统等待接收文件的时间有限，因此在菜单选择的时候要快一些，如果发现系统已经提示超时了，只有再执行一遍xmodem命令，再选择发送。4.然后等待几十分钟左右就把IOS灌进去了，具体时间与ios文件大小相关，由于console口当前只有9600速率，因此会很慢，而且最好不要在这台pc上操作其他命令，否则有可能导致传送中断。5.将文件发送完成后，dirbootflash：检查文件是否存在，再设置启动变量启动即可。,六.故障处理,在网络中，即使两个现象完全相同的故障也可能是不同的原因造成的，因为我们的网络千差万别，引起故障的原因也就千遍万化，有些是设备的原因，有些是人为的原因。我们所能提供的也就是对故障分析的一些方法和原则，以及一些常见故障原因供您参考，具体故障还要根据具体情况判断,六.故障处理,1.故障信息的收集在故障发生的时候，由于已经影响到了业务，因此很多人急于恢复故障，总是直接将设备重启。原则上说业务为首要保证，因此并不能说这么做有问题。但同时带来的后果是由于设备重启，故障现象和故障日志都会随着重启而丢失，这对于查找故障原因来说是非常不利的，如果没有这些数据，我们只能凭空猜想故障的可能性。如果不能正确分析出原因，很有可能下次仍然出现同样问题，反而造成更大的损失。诚然我们需要尽快恢复业务，但仍希望能在最短时间内登录设备，将最基本的showtech和showlog信息保留下来,六.故障处理,Tech-support和crash文件Cisco的大部分设备信息都可以通过showtech显示出来，而showlog可以记录一段时间内的系统日志信息，这两项数据对于故障诊断来说是最基本的信息来源对于设备自动重启这类故障，cisco会自动生成一个crashinfo文件，存放在bootflash或flash中，我们可以用more命令查看该文件的内容或者用tftp拷贝出来。该文件会记录在自动重启前发生过什么，是什么原因导致的系统重启。但该文件并不是每次自动重启都能生成，有时候来不及生成就已经crash了，有时候是由于bootflash空间不足，无法保存下来。该文件只要生成就不会由于重启而丢失，是诊断这类故障的一个很有效的记录,六.故障处理,故障描述和测试对于正确描述故障现象，很对人认为是一件简单的事情，通常认为自己只是使用者，我只需要告诉我的技术支持者我受到的影响就行了，其实这是远远不够的，您所提供的信息越详尽，越准确，对于故障的分析和解决来说就越有效率实际上要准确描述故障点和现象并不简单。需要多进行一些测试才能准确地定位故障点大致在哪里，大概与什么相关。这些对于其他工程师的进一步分析和判断是很重要的，避免延误时机或走偏了方向,故障分类,硬故障链路问题,硬件故障,性能不足,环境问题,软故障配置错误,软件bug,病毒攻击,故障关注内容,故障推导,故障信息收集,拓扑信息测试定位故障范围ShowtechShowlogCrashinfo文件网管/日志服务器记录,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,孤立故障点,故障现象:pc1访问svr1不通,测试1:pc1到R1,R2通吗?测试2:pc1到R3通吗?测试3:Svr1到R3通吗?测试4:Svr1到R1,R2通吗?,如何确定故障点在哪里?,确定故障点为R2到Svr1的路由不正确?,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,静态路由,谨慎配置静态路由，通常不恰当的静态路由是导致路由环路的根源,Fa0/0:,Fa0/0:,Iproute,,Iproute,静态路由,1.路由器将会发送192.168.x.x的arp请求到防火墙2.防火墙只能对接口地址，global地址作arp代理的应答(开启arp代理)3.如果防火墙上如果没有地址转换（路由模式），将不会对到192.168.x.x的arprequest作应答,%SPANTREE-2-RECV_1Q_NON_TRUNK:Received802.1QBPDUonnontrunkFastEthernet0/22onvlan1.,Spanning-tree,IntFa0/1switchportmodeaccessSwitchportaccessvlan1,IntFa0/1switchportmodetrunkswitchporttrunkencapsulationdot1q,802.1Qbpdu,setspantreeportfastbpdu-filterx/xenablespanning-treebpdufilterenable,Fa0/1,Fa0/1,FirewallNAT,故障现象:防火墙部分用户无法上网或访问缓慢测试：排除物理故障故障原因：Firewall上只配置了一个global地址，最多只支持65535个xlate转换，当连接数过大的时候就会出现xlate分配不足的现象解决方法：再分配一个global地址,asa5540(config)#showrunglobalglobal(outside)103global(outside)104,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,%SONET-4-ALARM:POS2/6:B1BERbelowthreshold,TCalarmcleared%SONET-4-ALARM:POS2/6:B1BERexceedsthreshold,TCalarmdeclared%SONET-4-ALARM:POS2/6:B2BERbelowthreshold,TCalarmcleared%SONET-4-ALARM:POS2/6:B2BERexceedsthreshold,TCalarmdeclared%SONET-4-ALARM:POS2/6:B3BERbelowthreshold,TCalarmcleared%SONET-4-ALARM:POS2/6:B3BERexceedsthreshold,TCalarmdeclared,传输问题,Showlog,POS5/1isup,lineprotocolisupHardwareisPacketoverSONETReceived0broadcasts,13runts,0giants,0throttles0parity400inputerrors,387CRC,0frame,0overrun,0ignored,0abort7875284684packetsoutput,4776917679075bytes,0underruns0outputerrors,0applique,0interfaceresets0outputbufferfailures,0outputbuffersswappedout0carriertransitions,Showinterface,传输问题,POS5/0SECTIONLOF=0LOS=0BIP(B1)=12345LINEAIS=0RDI=0FEBE=0BIP(B2)=12345PATHAIS=3RDI=4FEBE=1579BIP(B3)=12345LOP=0NEWPTR=12PSE=0NSE=55,Showcontroller,传输问题,传输,传输问题,由近及远分段打环测试，排除故障点,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,拓扑连接,故障现象：客户端到网关不通或丢包测试：影响范围在12个vlan，或者12台交换机,FastEthernet0/2isup,lineprotocolisup(connected)5minuteinputrate0bits/sec,0packets/sec5minuteoutputrate1000bits/sec,1packets/sec581325packetsinput,141272501bytes,0nobufferReceived210438broadcasts(0multicast),拓扑连接,分析受影响的设备各端口，发现有些端口上广播包比例过大,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,温度过高环境原因16-20槽csc,sfc温度高通常是过滤网脏板卡没有插但并未封上挡板机房温度过高机房风路阻塞,12016温度问题,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,目录,孤立故障点配置合理性传输问题拓扑是否正确环境问题产品性能影响硬件表像及隐性故障攻击流量分析方法软件bug,硬件表象及隐性故障,故障现象：12016上一块pos卡端口丢包，甚至板卡crash测试：排除链路故障问题：是否一定是这块板卡的硬件故障？,流量分析方法,路由器开启netflow监控