技术文档01-linux kdump 网卡dump初级

1、Kdump 简介kdump 是在 linux 系统、死锁或者死机的时候用来转储内存运行参数的一个工具和服务。如果系统一旦那么正常的内核就没有办法工作了。而仅仅从硬件日志和系统的 message 日志并不够分析和确认故障的原因，在这个时候将由 kdump 产生一个用于 capture 当前运行信息的内核，该内核会将此时的内存中的所有运行状态和数据信息收集到一个 dump core 文件中以便于后线工程师分析原因，一旦内存信息收集完成，系统将自动重启。本文介绍常用的 linux 系统 rhel 6 和suse11 的 kdump 配置。一、rhel 6 Kdump1，进bios 关闭服务器的 AS

2、RASR 简介Automatic Server Recovery (ASR) 服务器自动恢复功能。当操作系统出现 性故障时，ASR 特性可以使服务器自动重启。比如出现蓝屏，ABEND，内核 等。当调用系统管理驱动程序（也叫做健康驱动程序），一个系统自动防故障装置计时器，当操作系统运行正常，ASR 计时器会不断被重置，以保证计时器正确的设置。当操作系统后，计时器不能被重置，时间到达设置的阀值后即重新启动服务器。由于将内存的dump core 文件写到硬盘中需要30 分钟甚至更长的时间，为了保证dump 文件的完整， 所以需要将 ASR 功能关闭。2，升级hpsa 驱动至最新hpsa 驱动版本早于

3、 3.0.0-1 会导致 dump 不能正常收集。3，检查 kexec 工具是否安装：执行# rpm -qa |grep kexec 显示Kexec-tools-2.0.0-145.e16.x86_64 为已安装如未安装，在系统盘中找到该工具包执行安装。4，修改 kdump 配置文件：4.1 执 行 # vim /etc/kdump.conf修改压缩值： 将以下字段添加到 kdump.conf 文件中core_collector makedumpfile -d 31 -c -message -level 1并去掉 /var/crash 前面的#4.2 在/etc/sysctl.conf 中增加

4、以下字段kernel.panic_on_io_nmi = 1 kernel.sysrq = 1kernel.panic = 10kernel.panic_on_oops = 1kernel.unknown_nmi_panic = 1kernel.panic_on_unrecovered_nmi = 15，修改启动参数，执行 vim /boot/grub/grub.conf ，在内核行的末尾添加 nmi_watchdog=0 crashkernel=512M 。例：下面是一个带有 kdump 选项的/boot/grub/grub.conf# grub.conf generated by anac

5、onda # Note that you do not have to rerun grub after making changes to this file # NOTICE: You have a /boot partition. This means that#all kernel and initrd paths are relative to /boot/, eg. #root (hd0,0)#kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-LogVol01 #initrd /initrd-generic-version.i

6、mg#boot=/dev/sda default=0 timeout=5splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenutitle Red Hat Enterprise Linux (2.6.32-131.0.15.el6.x86_64) root (hd0,0)kernel /vmlinuz-2.6.32-131.0.15.el6.x86_64 ro root=/dev/mapper/VolGroup-LogVol01 rd_LVM_LV=VolGroup/LogVol01 rd_LVM_LV=VolGroup/LogVol00 rd_NO_

7、LUKS rd_NO_MD rd_NO_DM LANG=zh_CN.UTF-8 KEYBOARDTYPE=pc KEYTABLE=us nomodeset crashkernel=auto rhgb quiet nmi_watchdog=0 crashkernel=512Minitrd /initramfs-2.6.32-131.0.15.el6.x86_64.img6， 执行 chkconfig kdump on，使 kdump 服务开机自动运行。7，重启系统，内核参数在启中加载，所以配置完成必须重启一次。8，测试 kdump 配置是否成功echo c /proc/sysrq-trigger

8、执行完此命令，系统重启后会在/var/crash 下生成 dump core 文件。生成时间 30 分钟至 60 分钟，具体时间和具体环境有关。如果 hang 机时没能触发 dump，可在 ilo3/4 的界面中 Diagnostics 选择 Generate NMI to system 手工触发。二、SUSE 11Kdump1，进bios 关闭服务器的 ASR2, 检查并安装以下三个工具包kernel-kdump, kdumpkexec-tools3，kdump 配置与 rhel 基本类似：3.1 , 执 行 # vim /etc/kdump.conf修改压缩值： KDUMP_DUMPLEV

9、EL=15注：默认为 0 也就是不压缩，最大压缩比的值为 31，suse 官方推荐使用 153.2 , 在/etc/sysctl.conf 中增加以下字段kernel.sysrq = 1kernel.panic = 10kernel.panic_on_oops = 1kernel.unknown_nmi_panic = 1kernel.panic_on_unrecovered_nmi = 1kernel.panic_on_io_nmi = 14, 修改启动参数，vim /boot/grub/menu.lst在内核行的末尾添加 nmi_watchdog=0 crashkernel=128M关于

10、crashkernel 的值，和内存大小相关，配置时参考 suse 官方给的参数。Memory crashkernel= 0 - 12 GB 128M 13 - 48 GB 256M 49 - 128 GB 512M 129 - 256 GB 1G *(896M, 768M or 512M)5，执行 chkconfig kdump on，使 kdump 服务开机自动运行。6，重启服务器。7，测试方式与 rhel 6 相同。echo c /proc/sysrq-trigger 或者在 ilo 中使用手动触发。三、网卡 dump网卡 dump 收集需要相应网卡的 dump 脚本。以下nx_nic（nc375i）网卡为例：脚本文件：nx_nic_fw_hang_linux_dump.zip1. 确认网卡驱动已正确安装 ，#lsmod | grep nx_nic2. 解压，#tar -xvzf nx_nic_fw_hang_mon_tool_linux.tgz3. 进入解压后的目录#cd nx_nic_fw_hang_mon_tool_linux4. 运行脚本#./nx_nic_mon.sh 中需