国税TSM巡检日常监控维护手册.doc

国家税务总局 国家税务总局 SAT 数据备份服务项目数据备份服务项目 作者作者 日期日期 版本版本 保密范围保密范围 等级等级 签字批准签字批准 SAT 项目经理 TJHQ 项目经理 EMC 项目经理 ADIC 项目经理 IBM 项目经理 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 II 修订修订 日期日期作者作者版本版本描述描述 1 0 创建该文件 审查审查 姓名姓名职位职位 分发分发 姓名姓名职位职位 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 III 目录目录 1前言前言 1 2TSM 巡检操作手册巡检操作手册 2 2 1查看 TSM 服务器 2 2 2查看 TSM MANAGE CONSOLE 2 2 3在 TSM 服务器上登录到管理界面 3 2 4在 TSM CLIENT端检查 4 3TSM 常见问题的处理常见问题的处理 4 3 1TSM SERVER的故障处理 4 3 1 1所有的备份和恢复操作都无法进行 4 3 1 2如何获得TSM错误描述 5 3 1 3系统出现无法读写磁带或磁盘的故障 5 3 1 4处理带库故障后TSM工作不正常 5 3 1 5a tape in library does not display in q libv 6 3 1 6reclaim process not run 6 3 1 7how to delete archive log files after backup 6 3 1 8windows device manager found a drive mark as yellow 6 3 2TSM CLIENT的故障处理 7 3 2 1TSM Client无法连接TSM Server 7 3 2 2TSM Client备份大文件时经常不成功 7 3 2 3ANS1312E error in dsmerror log 7 3 2 4when backup data error media can not mount 7 3 2 5ANR8779E Unable to open drive mt0 3 0 3 error number 170 8 4日常维护日常维护 8 4 1启动和停止 TSM 服务器 8 4 2进入管理员界面 9 4 3进入 TSM CLIENT文件备份 恢复界面 9 4 4管理数据库和日志 9 4 5管理磁带库 9 4 5 1查看带库中磁带驱动器状态 10 4 5 2磁带的分配 10 4 5 3检查活动日志 有可能要求作出回应 10 4 5 4查看磁带上的备份内容 10 4 5 5从磁带库中取出已使用的磁带放到异地保存 11 4 5 6将取出的磁带重新放入磁带库中 11 4 5 7向磁带库中增加新的供TSM使用的磁带 11 4 5 8将新磁带添加到storage pool 中 可选 11 4 5 9重复利用磁带库中的磁带 11 4 6管理磁带库存储池 11 4 7管理客户端节点 12 4 7 1删除一个客户端节点 12 4 7 2修改节点密码 12 4 8定时备份维护 12 4 8 1TSM Clien TDP节点定时备份守候进程 12 4 8 2客户端停止定时备份 12 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 IV 4 8 3查看定时备份日志 12 4 9建立策略域 POLICY DOMAIN 12 4 10监控 TSM SERVER运行情况 13 4 11其它维护 13 4 12扩展配置 14 5电话支持流程电话支持流程 16 5 1IBM 客户支持服务流程 16 6日常监控表日常监控表 17 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 1 1 1前言前言 本文档是 TSM 巡检操作手册 常见问题的处理和日常维护 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 2 2 2TSMTSM 巡检操作手册巡检操作手册 2 1 查看查看 TSM 服务器服务器 查看 TSM 服务器和 ADIC 带库的连接状态 如下图为正常 主要为其它设备可以看到 ADIC 的 SNC 介质变换器 磁带驱动器都有设备显示 2 2 查看查看 TSM manage console 在 开始 菜单 程序 Tivoli Storage Manager 中选择运行 Management Console 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 3 可以看到带库和驱动器的信息 2 3 在在 TSM 服务器上登录到管理界面服务器上登录到管理界面 在 cmd 的窗口里进入到 TSM 的安装目录 baclient 下 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 4 运行 dsmadmc 输入口令 密码 admin admin 进入管理员界面 2 4 在在 TSM client 端检查端检查 检查 lanfree 的进程 使用命令 ps ef grep dsmsta 如果进程没有启动 需要启动这个进程 方法 IBM 服务器的路径 usr tivoli tsm StorageAgent bin nohup dsmsta HP 服务器的路径 opt tivoli tsm StorageAgent bin nohup dsmsta 3 3TSMTSM 常见问题的处理常见问题的处理 在解决问题的过程中 需要具体问题具体分析 首先需要检查各种错误日志 定位问 题 然后参考以下解决问题的办法 同时也可直接联系 800 技术支持热线 寻求专业的技 术支持 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 5 3 1 TSM Server 的故障处理的故障处理 3 1 13 1 1 所有的备份和恢复操作都无法进行所有的备份和恢复操作都无法进行 问题描述 TSM Server 启动正常 但所有的备份和恢复操作都无法进行 问题处理建议 检查 TSM 本身的数据库是否已满 query database 3 1 23 1 2 如何获得如何获得 TSM 错误描述错误描述 问题描述 在 TSM 的日志中发现有类似 ANR7800I 的错误信息 如何得到该错误号的详细描述 问题处理建议 使用 TSM 的文档查找错误描述 或直接使用命令查找 help 7800 3 1 33 1 3 系统出现无法读写磁带或磁盘的故障系统出现无法读写磁带或磁盘的故障 问题描述 在日常备份过程中或 TSM 日志中出现无法读写磁带或磁盘的故障 问题处理建议 检查磁带库是否正常 TSM q library 查看是否 Online 状态 检查驱动器是否正常 TSM q drive 查看是否 Online 状态 检查磁带是否正常 TSM q libvolume 查看磁带状态 看是否是读写状态 TSM q vol f d 查看磁带状态 看是否是读写状态 检查 Path 是否正常 TSM q path 看 online 是否为 yes 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 6 检查详细的 TSM 活动日志 TSM QUERY ACTLOG BEGINTIME NOW 30 ENDTIME NOW 检查操作系统下关于设备的日志 在操作系统下检查设备状态 AIX lsdev Cc tape 3 1 43 1 4 处理带库故障后处理带库故障后 TSM 工作不正常 工作不正常 问题描述 当带库出现故障后 如更换 driver 后 TSM 工作不正常 问题处理建议 按照配置步骤重新检查 path drive 的定义 状态 检查磁带机的 s n 号 3 1 53 1 5 a tape in library does not display in q libv 问题描述 a tape in library does not display in q libv 问题处理建议 checkin libv libname search yes checkl b status scr 3 1 63 1 6 reclaim process not run 问题描述 reclaim process not run check stgpool reclaim threashold the value was 100 问题处理建议 modify threashold less than 100 3 1 73 1 7 how to delete archive log files after backup 问题描述 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 7 how to delete archive log files after backup 问题处理建议 using rman delete input all option 3 1 83 1 8 windows device manager found a drive mark as yellow 问题描述 In windows device manager found a drive mark as yellow so many operations is not successful 问题处理建议 重起 TSM 服务器 重新安装 library driver 重起 Tape Library 3 2 TSM Client 的故障处理的故障处理 3 2 13 2 1 TSM Client 无法连接无法连接 TSM Server 问题描述 TSM Client 无法连接 TSM Server 问题处理建议 检查服务器配置文件 并检查服务器是否绑定配置文件中规定的端口 查看服务器的状态 Query Status 确保设置好了 Availability Enabled 检查客户端配置文件中端口号和 IP 地址是否与服务器端一致 检查节点是否被服务器端锁定 LOCK 系统管理员检查网络状况和服务器的内存利用状况 如果内存不够用了 则新的连接 肯定无法建立 3 2 23 2 2 TSM Client 备份大文件时经常不成功备份大文件时经常不成功 问题描述 TSM Client 在备份大文件时经常报如下错误 但备份小文件没有问题 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 8 2006 03 13 11 50 37 ANS1005E 在套接字 636 处 TCP IP 读取错误 错误号 10035 原因 无法立即完成一个非阻挡性套接字操作 2006 03 13 11 50 37 ANS1809W 会话丢失 正在初始化会话的再打开过程 2006 03 13 11 50 53 ANS1811S TSM 会话无法重建 问题处理建议 检查服务器端 dsmserv opt 中有一项 IDLETimeout Commtimeout 设置 调大后进行测 试 注 要求 TSM Server 和 storage agent 端设置一致 3 2 33 2 3 ANS1312E error in dsmerror log 问题描述 ANS1312E error in dsmerror log 问题处理建议 delete old path re define 3 2 43 2 4 when backup data error media can not mount 问题描述 when backup data error media can not mount 问题处理建议 re define drive path audit library 3 2 53 2 5 ANR8779E Unable to open drive mt0 3 0 3 error number 170 问题描述 On Windows actlog ANR8779E Unable to open drive mt0 3 0 3 error number 170 问题处理建议 检查 library 状态 检查 path 发现 path offline 无法 online 在操作系统下删除设备 重新识别 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 9 重新定义 path 4 4日常维护日常维护 4 1 启动和停止启动和停止 TSM 服务器服务器 启动 TSM 服务器 系统中 TSM Server 作为一项系统服务已设置为在系统启动时自动启动 停止 TSM 服务器 停止 TSM 服务器操作步骤为 1 运行 dsmadmc 输入口令 密码 admin admin 进入管理员界面 2 禁止服务器接收新的客户端访问 TSM disable sessions 3 查看当前客户端与服务器的连接 TSM query session 4 等待客户端结束备份或直接中断连接 TSM cancel session XX all 5 查看服务器进程 TSM query process 6 等待服务器进程结束或直接中断进程 TSM cancel process q mount 检查是否有磁带被使用 q request 检查是否有需要人工干预的操作 7 停止服务器 TSM halt 4 2 进入管理员界面进入管理员界面 字符界面访问 在 TSM 服务器上运行 dsmadmc 输入管理员 ID 密码 4 3 进入进入 TSM client 文件备份文件备份 恢复界面恢复界面 字符界面访问 在 TSM 客户端运行 dsmc 输入密码 GUI 界面访问 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 10 在 TSM 客户端运行 dsmj 点击 backup restore 按钮既可 要求有图形支持 4 4 管理数据库和日志管理数据库和日志 查看 tsm 数据库和日志使用率 查看数据库使用率 使用命令为 TSM query db 查看 PctUtil 项是否接近 100 查看 日志使用率 使用命令为 TSM query log 查看 PclUtil 项是否接近 100 扩充数据库和日志容量 如 PctUtil 接近 100 则必须扩充容量 扩数据库为 TSM define dbvolume dsmdb02 dsm formatsize XX wait yes TSM extend db XX 扩日志容量为 TSM define logvolume log03 formatsize XX wait yes TSM extend log XX XX 为大小 例如 200 代表 200MB 扩充之后 用 query db 和 q log 查看扩充后 PctUtil 的值 4 5 管理磁带库管理磁带库 由于 TSM 对磁带库以独占方式访问 所以 在 TSM Server 运行的时候 不要用任何其 他命令或方式对磁带库进行操作 以免冲突 4 5 14 5 1 查看带库中磁带驱动器状态 查看带库中磁带驱动器状态 在磁带驱动器状态正常情况下 TSM 才能正常的备份数据 TSM query drive 查看磁带驱动器状态 其中 OnLine 列应皆为 Yes 表明磁带驱动器 可以使用 若 TSM 启动后观察到 OnLine 项不为 Yes 检查磁带库是否已上电 或者请求 IBM 支持 4 5 24 5 2 磁带的分配 磁带的分配 磁带的分配是自动的 系统中有 2 个存储池 某个池需要磁带时 系统就会从当前的 空闲磁带目录中分配磁带给它 1 盘供 TSM 备份自身数据库 由于已在设定存储池 stgpool 时指定 MaxScratch 所以其余带子可以需要时自动加入 向磁带库中增加新的供 TSM 使用的磁带 1 在磁带库 I O 槽中放入新磁带 2 label libvolume LIBRARY 这里是使用 q library 查看到的磁带库名称 A000XXX 这里是使用 q libvol 查看到的磁带的名称 overwrite yes checkin scratch 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 11 参考 label libvolume 3584lib search yes labelsource bar checkin scratch overwrite yes 3 tsm TSM q actlog 4 tsm TSM TSM reply 2 5 将磁带从带库中取出 TSM checkout libv libname a00047 4 5 34 5 3 检查活动日志 有可能要求作出回应 检查活动日志 有可能要求作出回应 TSM q request TSM reply 1 label a00047 4 5 44 5 4 查看磁带上的备份内容 查看磁带上的备份内容 在 TSM 字符管理界面下运行 TSM q content TAPE LABEL 其中 TAPE LABEL 为备份使用的磁带标签 可用 q vol 或 q libvolume 看到 所看到的文件名格式为 XXmmddhhmm x 其中中间一串时间对应上述 所以也可以通过这里知道要恢复的备份的时间戳 4 5 54 5 5 从磁带库中取出已使用的磁带放到异地保存 从磁带库中取出已使用的磁带放到异地保存 TSM checkout libvolume LIBRARY 这里是使用 q library 查看到的磁带库名称 TAPE LABEL remove yes 然后从磁带库前面的 I O 窗口中取出退出的磁带妥善保存 这时用 q vol 命令可以看到这盘磁带的信息 但用 q libvolume 看不到 4 5 64 5 6 将取出的磁带重新放入磁带库中 将取出的磁带重新放入磁带库中 将欲放回的磁带放入前面的 I O 窗口中 注意条码一边向内 TSM checkin libvolume LIBRARY 这里是使用 q library 查看到的磁带库名称 search bulk status private 4 5 74 5 7 向磁带库中增加新的供向磁带库中增加新的供 TSM 使用的磁带 使用的磁带 将欲放回的磁带放入磁带库前面的 I O 窗口中 注意条码一边向内 TSM label libvolume LIBRARY 这里是使用 q library 查看到的磁带库名称 search bulk labelsource barcode checkin scratch 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 12 4 5 84 5 8 将新磁带添加到将新磁带添加到 storage pool 中 可选 中 可选 TSM define volume POOL NAME TAPE LABEL 4 5 94 5 9 重复利用磁带库中的磁带重复利用磁带库中的磁带 1 自动重复利用 当以前的备份随时间流逝而过期 磁带上相应的空间会腾空 但由于磁带属于流设备 只要后面还有数据存在 前面的空闲空间就不可使用 缺省状态下 当一盘磁带上这样的可回收空间达到 90 时 TSM 会自动将这盘磁带上的 全部数据转移到同一存储池的另一盘有足够可用空间的磁带上 使这盘磁带可以被重复利 用 这种方式不需要人工干预 2 快速重复利用 如果用 q content 命令查看某盘磁带上的备份内容后 认为这些备份数据都可以删除 了 我们就能快速清空这盘磁带 使它可以被重复利用 TSM delete vol TAPE LABEL discarddata yes TSM define volume POOL NAME TAPE LABEL 4 6 管理磁带库存储池管理磁带库存储池 查看数据存储池利用率 例如 vobpool TSM query stgpool vobpool format detail PctUtil 的值表示其利用率 4 7 管理客户端节点管理客户端节点 4 7 14 7 1 删除一个客户端节点删除一个客户端节点 删除一个客户端节点 只需在服务器上将节点删除 但必须要有足够权限 1 除该节点在服务器端的数据 使用命令 TSM delete filespace NODENAME wait yes 2 节点定义 使用命令 TSM remove node Nodename 4 7 24 7 2 修改节点密码修改节点密码 使用命令 TSM update node Nodename NewPasswd 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 13 4 8 定时备份维护定时备份维护 4 8 14 8 1 TSM Clien TDP 节点定时备份守候进程节点定时备份守候进程 1 后台启动定时器 cd usr tivoli tsm client ba bin nohup dsmc schedule se password 2 dev null 2 以在 etc inittab 中加入如下行使其自动启动 Tsm once usr bin dsmc schedule se password dev null 2 1 TSM Scheduler 4 8 24 8 2 客户端停止定时备份客户端停止定时备份 1 ps ef grep dsmc grep schedule 得到所有 dsmc schedule 进程号 2 kill 9 将其中止 4 8 34 8 3 查看定时备份日志查看定时备份日志 dsmsched log 该文件存在运行 dsmc schedule 命令的目录 4 9 建立策略域建立策略域 Policy Domain 策略域定义备份保存的版本及版本保存的时间 是 TSM 存储管理的核心 1 NDARD 策略域 COPY 为一个新的策略域 3 修改 Backup Copy Group 属性 指定 Storage Pool 对象存在时保留版本数 Verexist 对象删除后保留版本数 Verdeleted 额外版保留天数 Retextra 最后版 本保留天数 Retonly 4 检验 激活上述配置 4 10监控监控 TSM Server 运行情况运行情况 使用 query status 命令查看 server 当前状态 使用 query actlog 命令查看近期内服务器和客户端的活动 可以设定具体的查看 时间段 使用 query volhist type dbbackup 查看 TSM 服务器数据库备份情况 使用 query event 命令查看客户定时器状态 成功 失败或将来状态 使用 query event type admin 命令查看 TSM 服务器定时器状态 成功 失败或将 来状态 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 14 查看 usr Tivoli tsm server bin dsmerror log 和 dsierror log 中的出错信息 查看客户端的 usr Tivoli tsm client ba bin dsmsched log 中定时备份的信息 可以使用 dsmadmc consolemode 命令开一个窗口 窗口中会记录服务器和客户端 的活动情况 使用 query content A00047 这里是使用 q vol 查看到磁带卷名称 查看磁带中的 备份内容 4 11其它维护其它维护 另外可以在 TPC 服务器上通过 Reporting Tools 对操作进行报告和监控的查看 目录 是 C IBM TSMReport Console 文件分别为 HB TSMSVRHB TSMSVRReptDailyReport htm HB TSMSVRHB TSMSVRMonHourlyMonitor htm 国家税务总局数据备份服务项目 27735ea93bee5c472ec22768494d5 be5 pdf V1 0 草案 15 4 12扩展配置扩展配置 基于备份平台的扩展设计可以参考设计文档中的功能设计 架构设计 逻辑设计和管 理设计部分 并注意其中针对性的资源和配置需求 重点如下 1 扩展的目标是否仅为备份应用服务器的数量 那么需要重点考虑架构设计中的 软件许可数 数据量 时间和其它需求 资源限制 依据逻辑设计和管理设计 进行相应的扩展配置 2 扩展的目标是否包含其它的数据保护功能需求 那么首先考虑功能设计是否可 以进行有效的实现 然后考虑上述扩展需要考虑的重点 另外 扩展的考虑除了重点参考本文档的技术实现外 还需要考虑环境描述 实施流 程和项目组织因素 国家税务总局数据备份服务