Crash信息排错(二)-abort.doc

Crash信息排错（二）BUS ERROR1. 现象描述总线错误是：系统在试图访问一个内存位置的时候，如果这个内存地址不存在（软件错误），或者没有正确的响应（硬件问题）。总线错误可以在电源没有重置或者手工重新启动的情况下，使用Show version命令查看。例如：Router uptime is 2 days, 21 hours, 30 minutes System restarted by bus error at PC 0x30EE546, address 0xBB4C4 System image file is flash:igs-j-l.111-24.bin, booted via flash 在console口输出如下信息，同样提示着总线错误：* System received a Bus Error exception * signal= 0xa, code= 0x8, context= 0x608c3a50PC = 0x60368518, Cause = 0x20, Status Reg = 0x34008002这样的信息通常伴随路由器重新启动。一些情况下，路由器会进入一个崩溃和重启的死循环，并且需要你手工干预来解除这个循环。另外一种情况是VIP卡的CRASH。通常伴随如下信息：%VIP2 R5K-1-MSG: slot0 System reloaded by a Bus Error exception%VIP2 R5K-1-MSG: slot0 caller=0x600BC974%VIP2 R5K-1-MSG: slot0 System exception: sig=10, code=0x408,context=0x605B51E02. 总线错误排错2.1 准备工作首先要做的是， 找出当出现总线错误的时候，路由器试图访问哪个内存位置。通过这个信息，你可以了解是IOS软件的问题还是硬件的问题，例如在上面的例子中System restarted by bus error at PC 0x30EE546, address 0xBB4C4显示路由器试图访问的内存地址是0xBB4C4。第二件需要做的事情是，测定路由器的处理器类型。处理器类型不同，内存为路由器提供的地址位置也不一样。CISCO路由器有两种主要类型的处理器：u 68000 Processors下面show version信息，显示出该路由器使用68000处理器：cisco 2500 (68030) processor (revision D) with 8192K/2048K bytes of memory.使用68000系列处理器的路由器平台有：l Cisco 1000 Series Routersl Cisco 1600 Series Routersl Cisco 2500 Series Routersl Cisco 4000 Series Routersl Route Processor (RP) Modules on Cisco 7000 (RP) Series Routersu RISC（Reduced Instruction Set Computing ）处理下面show version信息，显示出该路由器使用RISC处理器：cisco 3640 (R4700) processor (revision 0x00) with 49152K/16384K bytes of memory.使用RISC系列处理器的路由器平台有：l Cisco 3600 Series Routersl Cisco 4500 Series Routersl Cisco 4700 Series Routersl Route Switch Processor (RSP) Modules on Cisco 7500 Series and Cisco 7000 (RSP7000) Series Routersl Network Processor Engine (NPE) Modules on Cisco 7200 Series Routersl Multilayer Switch Feature Card (MSFC) on the Cisco 7600 Series Routers or Catalyst 6000 Switchl Performance Routing Engine (PRE) Modules on Cisco 10000 Series Internet Routersl Gigabit Route Processor (GRP) Modules on Cisco 12000 Series Internet Routers一旦确定了地址和处理器类型，你就可以更精准的进行排错了。2.2 6800处理器平台总线错误crash排错当出现总线错误的时候，使用show region命令来查找相应的内存地址。如果总线错误所报告的地址不在show region显示范围之内，这意味着路由器试图访问的地质不正确。因此意味着IOS软件问题。使用output interpreter tool来输入show stacks信息确定IOS软件BUG问题。以下是show region的输出显示：Router#show region Region Manager: Start End Size(b) Class Media Name 0x00000000 0x007FFFFF 8388608 Local R/W main 0x00001000 0x0001922F 98864 IData R/W main:data 0x00019230 0x000666B3 316548 IBss R/W main:bss 0x000666B4 0x007FEFFF 7965004 Local R/W main:heap 0x007FF000 0x007FFFFF 4096 Local R/W main:flhlog 0x00800000 0x009FFFFF 2097152 Iomem R/W iomem 0x03000000 0x037FFFFF 8388608 Flash R/O flash 0x0304033C 0x037A7D3F 7764484 IText R/O flash:text注：有些早期版本的IOS可能没有这个命令，在IOS12.0(9)以后，show region输出是show tech-support输出的一部分。地址以16进制格式显示，在 start和end之间的内存地址是正确的地址。Main：表示主内存地址或动态RAM（DRAM）iomen：表示不同平台的I/O内存，例如，cisco2500的DRAM，cisco4000的SRAM。仍然使用先前的例子 System restarted by bus error at PC 0x30EE546, address 0xBB4C4，这个总线crash来自Cisco2500路由器。根据上面的show region信息 0xBB4C4 等于0x000BB4C4，这个地址落入show region信息的“main”，更确切的说是 main:heap，（0x000666B4-0x007FEFFF），刚才提到main表示主内存或者DRAM，所以DRAM需要检查。如果一个新的路由器被从一个位置挪动到另外的位置，内存条通常会松动，重新插拔内存条是个好办法，多数情况下可以解决不同类型的crash问题。2.3 RISC处理器平台上的总线错误CRASH排错在RISC处理器上，CISCO IOS软件使用虚拟地址，通过TLB（Translation Lookaside Buffer ）将虚拟地址翻译到物理地址。和68000处理器使用物理地址不同，RISC处理器使用虚拟地址。用show region命令检查帝制错误报告的总线错误，举个例子：System was restarted by bus error at PC 0x60104864, address 0xC使用show region显示地址如下，你可以验证0xC不是一个正确的虚拟地址，因此可以判断总线错误是一个软件问题，使用output interpreter tool工具来分析show stacks或show technical-support命令来验证IOS软件bug。Router#show region Region Manager: Start End Size(b) Class Media Name 0x40000000 0x40001FFF 8192 Iomem REG qa 0x40002000 0x401FFFFF 2088960 Iomem R/W memd 0x48000000 0x48001FFF 8192 Iomem REG QA:writethru 0x50002000 0x501FFFFF 2088960 Iomem R/W memd:(memd_bitswap) 0x58002000 0x581FFFFF 2088960 Iomem R/W memd:(memd_uncached) 0x60000000 0x63FFFFFF 67108864 Local R/W main 0x60010908 0x60C80B11 13042186 IText R/O main:text 0x60C82000 0x60F5AF1F 2985760 IData R/W main:data 0x60F5AF20 0x610E35FF 1607392 IBss R/W main:BSS 0x610E3600 0x611035FF 131072 Local R/W main:fastheap 0x61103600 0x63FFFFFF 49269248 Local R/W main:heap 0x80000000 0x83FFFFFF 67108864 Local R/W main:(main_k0) 0x88000000 0x88001FFF 8192 Iomem REG QA_k0 0x88002000 0x881FFFFF 2088960 Iomem R/W memd:(memd_k0) 0xA0000000 0xA3FFFFFF 67108864 Local R/W main:(main_k1) 0xA8000000 0xA8001FFF 8192 Iomem REG QA_k1 0xA8002000 0xA81FFFFF 2088960 Iomem R/W memd:(memd_k1)使用 show region命令的另外一个优势是，内存映射依靠安装在路由器上的内存。例如，如果你使用64M的DRAM，DRAM范围是0x60000000 - 0x63FFFFFF，这可以通过show region命令来证实。Router#show version | i of memory cisco RSP2 (R4700) processor with 65536K/2072K bytes of memory. 如果一个总线错误在0x65FFFFFF，show region输出显示是一个非法地址（软件问题）。2.4 特殊类型的总线错误CRASH一个特殊类型的总线错误CRASH是当CRASH由一个中断程序计时器program counter(PC)引起的。PC值是当总线错误发生的时候，处理器指示的位置。当总线错误由于一个PC中断而发生，会出现如下信息：%ALIGN-1-FATAL: Corrupted program counter pc=0x0, ra=0x601860BC, sp=0x60924540, at=0x60224854在这个例子里，PC值跳到地址0x0，（可能因为一个空的指示器），但是这不是指示器指示的位置。这是一个软件问题，因此不需要检查show region命令。另外一种总线错误CRASH是发生在PC值等于地址值的时候，频繁发生，例如：System returned to ROM by bus error at PC 0x606B34F0, address 0x606B34F0crashinfo文件显示：Unexpected exception, CPU signal 10, PC = 0x606B34F0 $0 : 00000000, AT : A001A24A, v0 : 00000000, v1 : 00000000 a0 : 00000000, a1 : 429CC394, a2 : 00000000, a3 : 62544344 t0 : 6069F424, t1 : 3400FF00, t2 : FFFFFFFB, t3 : 00000000 t4 : 606B8E68, t5 : 80000000, t6 : AA5C1022, t7 : 62FDE9D4 s0 : 62300000, s1 : 6281A1B8, s2 : 80007E20, s3 : 00000001 s4 : 00000001, s5 : 00000000, s6 : 62310000, s7 : 62544344 t8 : 62FDEA1C, t9 : 0D0D0D0D, k0 : 623079C0, k1 : 00000014 gp : 620B9E20, sp : 61E7E300, s8 : 00000000, ra : 606B8E68 EPC : 606B34F0, ErrorEPC : 606B8E68, SREG : 3400FF02 Cause 00004018 (Code 0x6): Instruction Bus Error exception -Traceback= 606B34F0 606B8E683. 总线错误引导循环排错技术l Cisco IOS 软件加载不支持安装的硬件l 软件失败l 硬件Mis-seated l 硬件失败Cisco IOS 软件加载不支持安装的硬件验证所有的网络板卡支持IOS软件。CISCO网站 Software Advisor可以提供IOS软件支持的硬件。如果有boot