日常维护作业指导书_集中备份系统.doc

广东电信计算机系统日常维护作业指导书_硬件平台_集中备份系统分册V1.0广东电信计算机系统日常作业维护指导书硬件平台_集中备份系统分册version 1.0广东省电信有限公司2007年04月修订控制页修订号修订日期修订内容简述修订人版本号12007.4.25制定初搞唐彪叶俊凌汪国宏0.122007.04.26广东电信计算机系统日常维护作业指导书编写小组对初稿进行会审汪国宏黄书成陈 军唐 彪叶俊凌0.232007.04.28提交硬件小组长审核梁振宇0.342007.04.30终稿审核贺景锋1.0目 录1.总则51.1.概述51.2.适用范围51.3.编制依据51.4.编写人员名单51.5.解释权51.6.版权62.维护作业计划62.1.日维护作业计划表62.2.周维护作业计划表62.3.月维护作业计划表62.4.季度维护作业计划表62.5.半年维护作业计划表62.6.年维护作业计划表62.7.不定期维护作业计划表73.日维护作业指导73.1.磁带库检查73.1.1.维护目的73.1.2.建议周期73.1.3.注意事项73.1.4.操作指引73.1.5.参考指标113.1.6.参考维护表格113.1.7.关联项目113.1.8.其他事项113.2.备份软件检查113.2.1.维护目的113.2.2.建议周期123.2.3.注意事项123.2.4.操作指引123.2.5.参考指标153.2.6.参考维护表格153.2.7.关联项目153.2.8.其他事项154.周维护作业指导155.月维护作业指导155.1.异地备份检查155.1.1.维护目的155.1.2.建议周期155.1.3.注意事项165.1.4.操作指引165.1.5.参考指标165.1.6.参考维护表格165.1.7.关联项目165.1.8.其他事项166.季度维护作业指导167.半年维护作业指导168.年维护作业指导178.1.磁带更换178.1.1.维护目的178.1.2.建议周期178.1.3.注意事项178.1.4.操作指引178.1.5.参考指标188.1.6.参考维护表格188.1.7.关联项目198.1.8.其他事项198.2.备份恢复测试198.2.1.维护目的198.2.2.建议周期198.2.3.注意事项198.2.4.操作指引198.2.5.参考指标228.2.6.参考维护表格228.2.7.关联项目238.2.8.其他事项239.不定期维护作业指导231. 总则1.1. 概述本手册的编写目的是为了指导各分公司加强计算机系统的基础维护工作，及时发现系统的隐患，为日常维护工作提供指导。对于IT内控的相关要求，请各分公司按照相关控制点进行。1.2. 适用范围本分册主要适用于备份恢复日常维护工作。1.3. 编制依据中国电信计算机设备维护规程（试行稿），中国电信集团公司广东电信IT维护服务管理办法V1.65，广东电信有限公司中山、惠州等分公司计算机系统维护作业指导书1.4. 编写人员名单一、广东电信计算机系统日常维护作业指导书编写工作小组人员名单：工作小组组长：贺景锋副组长：杜涛、许群路成员：徐文罕、梁振宇、陈辉、叶俊凌、陈宇聪、林群辉、黄书成、刘长成、陈军、汪国宏、周玉珍、陈琦（普信）、唐彪（普信）、张志伟（普信）、庞耀华（斯凯文）、梁瑞豪（亿迅）二、本分册主要编写人员名单：叶俊凌、汪国宏、唐彪1.5. 解释权本规范的解释权属于广东省电信有限公司。1.6. 版权本规范的版权属于广东省电信有限公司。2. 维护作业计划2.1. 日维护作业计划表序号维护作业项目周期1检查备份软件情况日2检查磁带库情况日2.2. 周维护作业计划表无。2.3. 月维护作业计划表序号维护作业项目周期1异地备份检查月2.4. 季度维护作业计划表无。2.5. 半年维护作业计划表无。2.6. 年维护作业计划表序号维护作业项目周期1磁带更换年2备份恢复情况年2.7. 不定期维护作业计划表无。3. 日维护作业指导3.1. 磁带库检查3.1.1. 维护目的确保数据能够正常写入磁带和读取出来，是实现系统备份的基础和前提。3.1.2. 建议周期建议每天一次，具体视各分公司情况而定。3.1.3. 注意事项无。3.1.4. 操作指引这里以HP的MSL 2/20为例子进行说明1通过浏览器查看带库状态。 方法：直接通过带库IP用浏览器登陆。如图状态为正常：正常：状态为Ok表示正常异常：状态为bad表示异常2现场查看带库状态。正常：如亮绿色指示灯，表示带库现在处于正常工作状态，无硬件故障情况异常：如亮红色告警灯，表示带库不能正常工作，此时需到带库上面的液晶面板查看显示的ErrorCode。将错误代码报给800。3、在备份软件中检查磁带库状态方法一：通过HP-DP来检查（A）检查driver的状态：在HP-DP登陆界面中，选择“Device and media”“Device”“Drivers”，如下图：正常：无红色错误标志，表示driver目前运行正常异常：如有红色错误标志，表示driver出现故障（B）检查磁带的状态在HP-DP登陆界面，选择“Device and media”“Device”“slots”，如下图：正常：绿色标志，表示磁带状态正常，可以继续使用预警：黄色标志，表示磁带使用期已经达到最大可用天数的80%，需要进行更换准备。异常：红色标志，表示磁带过旧，需要更换磁带方法二：通过NBU来检查（A）检查driver的状态：在master server或media server上执行tpconfig -drootsun220r # tpconfig -d Index DriveName DrivePath Status * * * * 0 HPUltrium2-SCSI0 /dev/rmt/1cbn DOWN TLD(0) Definition DRIVE=1 1 HPUltrium2-SCSI1 /dev/rmt/0cbn UP TLD(0) Definition DRIVE=2 正常：状态为up表示driver为正常异常：状态为down表示driver出现异常，需要进行处理（B）检查磁带的状态rootsun220r #./available_media media media robot robot robot status ID type type # slot - - JZU126 HCART2 TLD 0 13 ACTIVE JZU105 HCART2 TLD 0 12 FROZEN JZU116 HCART2 TLD 0 23 FROZEN NetBackup pool JZU107 HCART2 TLD 0 5 AVAILABLE JZU119 HCART2 TLD 0 2 AVAILABLE JZU118 HCART2 TLD 0 1 ACTIVE None pool CLN274 HC2_CLN TLD 0 25 AVAILABLE Oracle pool JZU102 HCART2 TLD 0 10 ACTIVE JZU103 HCART2 TLD 0 9 ACTIVE JZU115 HCART2 TLD 0 6 ACTIVE JZU128 HCART2 TLD 0 15 ACTIVE JZU113 HCART2 TLD 0 20 FROZEN JZU100 HCART2 TLD 0 22 FULL JZU101 HCART2 TLD 0 11 FULL JZU106 HCART2 TLD 0 7 FULL JZU108 HCART2 TLD 0 4 FULL JZU110 HCART2 TLD 0 17 FULL 正常的状态有：Available：表示磁带可用Active：表示磁带正在使用中Frozen：表示磁带被冻结FULL：表示磁带已经写满异常状态：unavailable4、磁带库driver的清洁方法一：通过HP-DP进行driver清洁（A）查看清洁磁带的状态 清洁带的状态不能为黄色或红色，表示清洁状态正常。（B）driver清洁 将清洁带移入driver，driver将会自动进行清洁方法二：通过NBU进行driver清洁（A）查看清洁磁带的状态rootsun220r #./available_mediaCLN274 HC2_CLN TLD 0 25 AVAILABLE（B）driver清洁在NBU的“media and devices”“Devices”“drivers”中选择一个drivers，如下图：点击确认后就开始进行driver的清洁。3.1.5. 参考指标无。3.1.6. 参考维护表格无。3.1.7. 关联项目请参考备份软件检查3.1.8. 其他事项无。3.2. 备份软件检查3.2.1. 维护目的确保各个备份策略能够正常运行，保持数据备份的完整性和准确性。3.2.2. 建议周期建议每天一次。3.2.3. 注意事项如果oracle数据库的归档日志无法正常备份，将会由于日志文件的积累，导致操作系统中存放归档日志的目录空间不足而引起数据库停止运行，等待空间的释放。请每天及时观察备份。3.2.4. 操作指引1 、Veritas NetBackup维护指引 a确认NBU进程状态： 需要每天监控activity monitor，确认在备份服务器上运行的进程有：avrd、vmd、tldd、ltid、bprd、nbdbd、bpdbm、bpsched、bpjobd。如果前四个进程avrd、vmd、tldd、ltid有一个没有运行，则备份系统工作不正常。rootsun220r # bpps -aNB Processes- root 240 /usr/openv/netbackup/bin/bprd root 258 /usr/openv/netbackup/bin/bpdbm root 275 /usr/openv/netbackup/bin/bpjobdMM Processes- root 226 4:20 /usr/openv/volmgr/bin/ltid root 235 2:40 vmd root 298 0:09 tldcd root 293 2:18 avrd root 290 0:02 tldd root 2111 0:06 rdevmi -sockfd 7 -r root 6006 0:00 rdevmi -sockfd 7 r b确认备份进程状态： 需要每天监控activity monitor，观察已经发生备份的任务状态图标颜色或者是返回值。 图标颜色：蓝色备份成功绿色正在备份红色备份失败黄色备份部分成功 备份状态返回值：0备份成功、其他数字备份失败 c确认文件系统状态 在备份服务器和其它服务器上使用如下命令# df k确认文件系统有可以使用的空间。文件系统如果写满，备份系统将工作不正常。而且必须保证归档日志所在的目录不能写满。 d备注：如果经过了很长时间（如7,8个小时）一个备份任务一直处于active或者queued状态，同时显示此任务的字节数没有增长，需要把此任务kill掉。因为这样会阻止下一个任务的执行。2、 HP Omniback DataProtecter a确认DP进程状态： 在备份服务器上面输入以下命令以确认DP服务正常运行： # /opt/omni/sbin/omnisv status 正确的状态如下： ProcName Status PID = rds : Active 14861 crs : Active 14864 mmd : Active 14863 omnitrig: Active Sending of traps disabled.=Status: All Data Protector relevant processes/services up and running.如果有任何一项服务状态不是Active，则可能造成备份失败。 b确认备份进程状态： 需要每天监控activity monitor，观察已经发生备份的任务状态图标颜色 图标颜色：绿色打勾备份成功墨绿色图标正在备份红色打叉备份失败黄色感叹号备份有告警 如下图： c确认文件系统状态 在备份服务器和其它服务器上使用如下命令# df k确认文件系统有可以使用的空间。文件系统如果写满，备份系统将工作不正常。而且必须保证归档日志所在的目录不能写满。 d备注：如果经过了很长时间（如7,8个小时）一个备份任务一直处于active或者queued状态，同时显示此任务的字节数没有增长，需要把此任务abort掉。因为这样会阻止下一个任务的执行。3.2.5. 参考指标无。3.2.6. 参考维护表格无。3.2.7. 关联项目请参考磁带库检查3.2.8. 其他事项无。4. 周维护作业指导无。5. 月维护作业指导5.1. 异地备份检查5.1.1. 维护目的按照IT内控要求，必须每月执行一次数据库的异地备份。5.1.2. 建议周期每月一次。5.1.3. 注意事项对数据库的数据进行一次全备份，然后将磁带存放至异地。5.1.4. 操作指引通过备份软件对数据库和关键文件系统的数据进行一次全备份，待全备份成功后，取出磁带，帖上标签，存放至异地。5.1.5. 参考指标无5.1.6. 参考维护表格5.1.7. 关联项目请参考磁带库检查5.1.8. 其他事项6. 季度维护作业指导无。7. 半年维护作业指导无。8. 年维护作业指导8.1. 磁带更换8.1.1. 维护目的及时更换磁带，让磁带的读写效率和备份得以保证8.1.2. 建议周期在达到磁带最大使用次数时，需要更换。如果没有达到最大使用次数，一般超过两年需要进行更换8.1.3. 注意事项更换磁带时需要确保该磁带上的数据已经无效或已经备份到其他介质上8.1.4. 操作指引1 、Veritas NetBackup更换磁带NBU更换磁带主要步骤：第一步：打开带库,将要更换的磁带取出,换入新的磁带。第二步：在volumn pools里面新建一柄磁带.配置好磁带信息。第三步：右键点击新建的磁带,选择Rescan/Update BarCodes.更新条形码。第四步：右键点击新建的磁带,选择Label可对磁带进行格式化。第五步：如果所属的Volumn Pools不正确,可以通过右键菜单的change选项进行更改。2、 HP Omniback DataProtecter更换磁带 DP备份系统更换磁带的方法： 第一步：打开带库,将要更换的磁带取出,换入新的磁带。 第二步：在slot中选择“Barcode scan”扫描新加入的磁带。 第三步：在新磁带上点击右键，选择“Format”，进行磁带格式化，选择容量、media pool，完成格式化。8.1.5. 参考指标无。8.1.6. 参考维护表格无。8.1.7. 关联项目请参考磁带库检查、备份软件检查8.1.8. 其他事项无。8.2. 备份恢复测试8.2.1. 维护目的定期进行备份恢复测试，以备系统出现故障时应急恢复生产。8.2.2. 建议周期建议每年一次。8.2.3. 注意事项备份恢复测试演练要求要据各应用系统要求具备硬件和系统环境。8.2.4. 操作指引1 、oracle数据库备份恢复测试第一步：对数据库进行全备份通过HP-DP进行数据库的全备份。在“Backup”中选择相应的备份策略，本例中选择全备份，如图：选择“start bakcup”就开始备份，备份完成后，会出现以下信息：第二步：恢复全备份数据到测试环境在测试环境上搭建好数据库，参照以下步骤从磁带库的全备份中恢复数据。以下脚本仅供参考，需要根据各本地网的环境进行更改。恢复控制文件在oracle9i用户下，起ora9i实例于nomount$sqlplus “/as sysdba”sqlstartup nomount pfile= /oracle/app/oracle/product/9.2.0/dbs/ initora9i.oraRMANRUN allocate channel dev_0 type sbt_tapeparms ENV=(OB2BARTYPE=Oracle8,OB2APPNAME=cntjs,OB2BARLIST=Ora_Full_Thu);allocate channel dev_1 type sbt_tapeparms ENV=(OB2BARTYPE=Oracle8,OB2APPNAME=cntjs,OB2BARLIST=Ora_Full_Thu);RESTORE CONTROLFILE;Release channel dev_0;restore 数据库在oracle9i用户下，起ora9i实例于mount$sqlplus “/as sysdba”sqlalter database mountRMANRUN allocate channel dev_0 type sbt_tapeparms ENV=(OB2BARTYPE=Oracle8,OB2APPNAME=cntjs,OB2BARLIST=Ora_Full_Thu);allocate channel dev_1 type sbt_tapeparms ENV=(OB2BARTYPE=Oracle8,OB