中国移动南方基地双机测试方案

1、中国移动南方基地4A 系统重置超级用户密码实施方案起草：吴熙中国惠普技术服务部中国惠普有限公司广州分公司广州市天河北路233 号中信广场67 楼 0208 单元邮编：510613日期：文档资料信息服务名称：客户支持工程师：服务阶段：准备者：审定者：发送列表发送者：4A 系统超级用户密码重置实施方案吴熙文档版本号：V1.0文档版本日期：2013-05-08吴熙准备日期：2013-05-08宋明哲审定日期：日期：电话 / 传真：吴熙2013-05-0918627728665接受者：目的：日期：电话 / 传真：参考参考参考版本历史版本号：版本日期：修订者：描述：文件名：V1.0吴熙实施方案中国移动南

2、方基地4A 系统超级用户重置密码实施方案v1.0 注意事项本报告中的观点和决定都不代表任何官方立场。它仅用于交流科技信息。中国移动南方基地；以下简称南方基地；中国惠普有限公司：以下简称中国惠普或HP；本文中所有内容均属 南方基地 和 HP 的商业秘密。未经允许，不得作任何形式的复制和传播。2目录1实施事项列表 .41.1备份操作系统 .41.2重启主机进入恢复模式移走security 文件 .41.3重启主机进入单用户模式重置root 密码 .41.4重启主机检查 root 账户以及应用是否正常， .42需求概述 .42.1本次变更涉及服务器 .43准备工作 .43.1HP 准备工作 .43.

3、2南方基地准备工作 .53.3测试 .53.4备份系统 .53.5备份应用 .54实施工作 .54.1重启主机进入恢复模式 .54.2重启主机进入单用户模式 .124.3重启主机正常模式 .125回滚操作 .125.1系统出现问题则恢复操作系统.125.2操作过程硬件出故障 .135.3操作过程中遇其他故障 .135.4变更不成功分析和后续工作.136附表 1（系统检查表） .137附表 2（系统配置信息收集脚本）.1431 实施事项列表1.1 备份操作系统1.2 重启主机进入恢复模式移走security文件1.3 重启主机进入单用户模式重置root 密码1.4 重启主机检查 root 账户以

4、及应用是否正常，2 需求概述4A 系统一台主机超级用户密码遗失，由于中国移动的安全加固工作导致 console 口无法进入系统，重启系统进入单用户也无法重置密码，需要从恢复磁带进入恢复模式进行技术手段的重置密码工作。安全加固修改参数涉及如下：?BOOT_AUTH启用或禁用引导身份验证功能。如果指定BOOT_AUTH=1，将启用引导身份验证功能。缺省情况下，将禁用身份验证(BOOT_AUTH=0)。?BOOT_USERS定义能够在启用引导身份验证功能后以root用户身份登录的用户。BOOT_USERS中列出的姓名以逗号分隔。例如：BOOT_USERS=root,mary,jack,amy,jan

5、eBOOT_USERS=root为缺省值。系统设置BOOT_AUTH=1即是要求进入单用户模式下仍要求尽是身份验证2.1 本次变更涉及服务器南方基地4A 系统主机名IP 地址COLLECTION23 准备工作3.1 HP准备工作准备详细的实施方案，并制定好应急措施申请实施时间约2 个小时协调安排有相关工作能力的HP 工程师进行现场实施工作准备维修相关涉及到的工具、软件等资源和南方基地协商，讨论实施的方案以及确定实施时间安排、配合人员安排43.2 南方基地准备工作指定实施时间并安排相关工作人员协同工作3.3 测试执行人：惠普驻场工程师预计耗时：无测试环境3.4 备份系统执行人：惠普驻场工程师预计

6、耗时： 80min#make_tape_recoveryAv有磁带机备份整个操作系统#make_net_recoverys NFJD-BAKSERVERAv无磁带机用ignite备份操作系统查看 /var/opt/ignite/recovery/latest/recovery.log,最后一行有complete字样为备份成功；网络备份查看备份服务器上：NFJD-BAKSERVER/var/opt/ignite/clients/“客户机名” /recovery/“备份日期”/recovery.log3.5 备份应用执行人：泰岳预计耗时： 60min无需做备份4实施工作4.1 重启主机进入恢复模式

7、执行人： HP 工程师预计耗时： 30min由于无法进入系统，只能在MP 卡重启系统：co->3确认需要重启的系统分区是否为npar3ctrl+b退出 console口cm->rs->3确认后重启系统分区重启至 EFI boot manager界面，选择 boot option Maintenance Menu5选择 Boot from a file选择之前的Scsi(Pun2,Lun0) HPC7438AZP8B即磁带机地址进入以下选择 Y6选择 Run an Expert Recovery shell选择 Recovery an unbootable HP-UX syst

8、em7选择 The above information is correct选择 Mount the root disk and exit to a shell only8选择 Run fsck -y输出如下：log replay in progressreplay complete - marking super-block as CLEANMounting /dev/dsk/c0t6d0s4 to /ROOT/stand as read only.Loading /sbin/mount.Creating temporary ROOT partition.Loading /sbin/umou

9、nt.umount /ROOT/stand.Executing fsck on /ROOT file system.Loading /sbin/fsck.fsck -F vxfs -y /dev/rdsk/c0t6d0s59log replay in progressreplay complete - marking super-block as CLEANMount /ROOT file system./sbin/fs/vxfs/mount /dev/dsk/c0t6d0s5 /ROOTLoading /sbin/mount.Mount /ROOT/stand again/sbin/moun

10、t -F vxfs /dev/dsk/c0t6d0s4 /ROOT/stand=The root disk has been mounted under /ROOT. If you would like tochroot to this directory, execute the commands:loadfile chrootchroot /ROOT /sbin/shTo exit from the above optional chroot: use 'exit'.To exit from this shell: use 'menu' to return

11、to the menuenvironment and select (b) Reboot.#loadfile chroot#chroot /ROOT /sbin/sh内存文件系统/ROOT以及 /sbin/sh#vgchange -a y /dev/vg00将 vg00激活Activated volume group.Volume group "/dev/vg00" has been successfully changed.# mount -aUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lv_collect iscorrupted

12、. needs checkingUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lvol8 is corrupted.needs checkingUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lvol7 is corrupted.10needs checkingUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lvol6 is corrupted.needs checkingUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lvol5 is co

13、rrupted.needs checkingUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lvol4 is corrupted.needs checkingUX:vxfs mount: ERROR: V-3-21264: /dev/vg00/lvol1 is alreadymounted, /stand is busy,allowable number of mount points exceeded# ll/sbin/sh: ll: not found# fsck -y /dev/vg00/lvol1; fsck -y /dev/vg00/lvol4

14、log replay in progressreplay complete - marking super-block as CLEANUX:vxfs fsck: INFO: V-3-20948: /dev/vg00/lvol4 is currentlymounted# fsck -y /dev/vg00/lvol5 log replay in progressreplay complete - marking super-block as CLEAN# fsck -y /dev/vg00/lvol6log replay in progressreplay complete - marking

15、 super-block as CLEAN# fsck -y /dev/vg00/lvol7 log replay in progressreplay complete - marking super-block as CLEAN# fsck -y /dev/vg00/lvol8 log replay in progressreplay complete - marking super-block as CLEAN11# mountaUX:vxfs mount: ERROR: V-3-21268: /dev/vg00/lv_collect iscorrupted. needs checking

16、mount: /dev/vg00/lvol4 is already mounted on /tmpUX:vxfs mount: ERROR: V-3-21264: /dev/vg00/lvol1 is alreadymounted, /stand is busy,allowable number of mount points exceeded# cd /etc/default#mv security* /tmp/将所有的security文件都暂时移到tmp目录下#ll检查是否还有security文件#shutdownry 0重启系统准备进入单用户模式4.2 重启主机进入单用户模式执行人： H

17、P 工程师预计耗时： 15min第二次 10 秒中断时中断启动进程：#boot vmunix -is启动到单用户模式# passwd root#New password:#Re-enter new password:修改 root密码# shutdown -ry 0重启进入正常模式4.3 重启主机正常模式执行人： HP 工程师预计耗时： 15min进入系统检查按照附表1 检查系统情况，并请应用方检查应用：5 回滚操作5.1 系统出现问题则恢复操作系统执行人：hp预计耗时： 60min如果系统当机，重启主机，从磁带启动恢复操作系统125.2操作过程硬件出故障立即报修，通过 HP 备件库房调备件及

18、时由专人于备件库 24 小时待命，确保备件随提随送5.3操作过程中遇其他故障HP 升级工程师进行现场诊断北京 HP7x24 小时技术响应中心协同现场工程师远程诊断通过 HP 专用 WTEC 网寻求全球专家技术支持，确保故障100 定位解决5.4变更不成功分析和后续工作执行人： 神州泰岳 &HP预计耗时： 30 min变更不成功原因分析后续工作跟进6 附表 1 （系统检查表）检查项目责任人结果注释server front panel lighthp红灯，橙灯不正常file system usagehpBdf （90 以下）vgdisplay vhp无stale 逻辑卷、无 unavail

19、able PV/var/adm/syslog/syslog.loghpVi（无 error ,fail ）/var/adm/rc.loghpVi( 无error)/var/adm/shutdownloghpVi( 无系统自动停机记录 )/var/adm/crash/*hpLs（无新文件）Ioscanfnhp无unkown,no-hw状态ioscankfnCdiskhp无unkown,no-hw、unclaim 状态ioscankfnClanhp无unkown,no-hw、down 状态Lanscanhp无down 状态netstatinhp与服务实施前保持一致netstatanhp与服务实施前

20、保持一致/var/opt/resmon/log/event.loghp无硬件报错137 附表 2 （系统配置信息收集脚本）注：该脚本请在一空闲空间大于100MB的空目录运行# HOST Information #echo "# uname -a" > $PWD/uname.txt | uname -a >> $PWD/uname.txtecho "# model" > $PWD/model.txt | model >> $PWD/model.txt# IO Map #echo "# ioscan -fnk&q

21、uot; > $PWD/ioscan_fnk.txt | ioscan -fnk >> $PWD/ioscan_fnk.txtecho "# ioscan -fnkCdisk" > $PWD/ioscan_disk.txt | ioscan -fnkCdisk >> $PWD/ioscan_disk.txtecho "# ioscan -fnkCext_bus" > $PWD/ioscan_ext_bus.txt | ioscan -fnkCext_bus >> $PWD/ioscan_ext_bus

22、.txt echo "# kmtune"> $PWD/kernel.txt| kmtune >>$PWD/kernel.txt# LVM Configuration #echo "# bdf" > $PWD/bdf.txt | bdf >> $PWD/bdf.txtecho "# strings /etc/lvmtab" > $PWD/lvmtab.txt | strings /etc/lvmtab >> $PWD/lvmtab.txtecho "# vgdisplay

23、-v " > $PWD/vgdisplay_v.txt | vgdisplay -v >> $PWD/vgdisplay_v.txtecho "# vgdisplay " > $PWD/vgdisplay.txt | vgdisplay >> $PWD/vgdisplay.txtecho "# ll /dev/*/group" > $PWD/vg_minor.txt | ll /dev/*/group >> $PWD/vg_minor.txtecho "# ll /dev/*/r*

24、" > $PWD/lv_minor.txt | ll /dev/*/r* >> $PWD/lv_minor.txtecho "# swapinfo " > $PWD/swapinfo.txt | swapinfo >> $PWD/swapinfo.txtecho "# lvlnboot -v " > $PWD/lvlnboot.txt | lvlnboot -v >> $PWD/lvlnboot.txtecho "# fstab " > $PWD/fstab.txt

25、 | cat /etc/fstab >> $PWD/fstab.txt# account information #echo "# cat $HOME/.profile" > $PWD/profile.txt | cat $HOME/.profile >> $PWD/profile.txt echo "# cat /etc/passwd" > $PWD/passwd.txt | cat /etc/passwd >> $PWD/passwd.txt echo "# cat /etc/group&qu

26、ot; > $PWD/group.txt | cat /etc/group >> $PWD/group.txtecho "# cat /etc/oratab" > $PWD/oratab.txt | cat /etc/oratab >> $PWD/oratab.txt# Software information #echo "# swlist" > $PWD/swlist.txt | swlist >> $PWD/swlist.txtthenecho "# swlist -l patch&q

27、uot; > $PWD/swlist_patch.txt | swlist -l patch >> $PWD/swlist_patch.txtelseecho"#swlist-lfileset|greppatch">$PWD/swlist_patch.txt|swlist-lfileset|greppatch>>$PWD/swlist_patch.txtfi14# Network Configuration #echo "# lanscan -v" > $PWD/lanscan_v.txt | lanscan -v >