技术维护规程(单服务器版)

AAAAAA XXX 广电局大洋广电局大洋 IP-SAN 网络技术维护规程网络技术维护规程 大洋安徽技术支持部大洋安徽技术支持部 2009 年年 2 月月 12 日日 AAAAAA 目目 录录 技术维护规程和值班巡检日志技术维护规程和值班巡检日志 .1 一、系统维护管理规范一、系统维护管理规范.1 二、系统日常巡检科目二、系统日常巡检科目.1 三、基础网络三、基础网络.2 1、综合布线系统的维护要求、综合布线系统的维护要求.2 2、核心交换机日常检查内容、核心交换机日常检查内容.2 四、存储及服务器四、存储及服务器.3 1、IP-SAN存储阵列检查存储阵列检查.3 2、SQL、MDC服务器服务器.4 五、日常检查内容五、日常检查内容.4 1、MDC系统部分系统部分.4 2、数据库系统部分、数据库系统部分.5 六、系统日常巡检记录表参考六、系统日常巡检记录表参考.6 XXX 台网络故障及排查方法台网络故障及排查方法.7 1、基础网络故障、基础网络故障.7 2、存储系统及、存储系统及MDC故障故障.9 3、数据库故障、数据库故障.11 主控部分启动关闭操作说明主控部分启动关闭操作说明 .12 AAAAAA 技术维护规程和值班巡检技术维护规程和值班巡检日志日志 一、系统维护管理规范一、系统维护管理规范 1. 明确以不停止业务生产为主要目的。 2. 本系统属于技术相对复杂的节目制作平台，其用途是为满足电视 台专业性节目制作的业务需要而构建。 3. 网络管理员对问题应采取主动认真的态度，事无大小，均应纳入 问题处理流程，严禁回避掩盖。 4. 系统维护过程中，网络管理员应严格按照所有大洋或第三方产品 的技术文档进行操作，严禁违规操作。 5. 网络管理员应执行日常巡检工作，即每天按照系统日常巡检项 目清单所列的项目检查系统；并填写系统日常巡检项目记录表 。 6. 网络管理员在日常巡检发现系统问题，或者接收到使用人员反馈 的问题后应填写到问题汇总及跟踪表 ；以便跟踪处理结果。 二、系统日常巡检科目二、系统日常巡检科目 重要提示：重要提示：网络管理员每天应详细检查所有巡检科目，并认真填写 淮北矿区台大洋制作网系统日常巡检记录表 。 巡检时间：巡检时间：全部科目的完整巡检工作应在每日系统开始使用前至少 进行一次；此外，建议每日下午系统使用高峰期前及每日晚间节目 生产工作结束后，再进行所有科目的再次巡检。 巡检科目见下表， （后面会介绍具体科目的巡检方法） 淮北矿区台大洋 IP-SAN 制作网系统日常巡检科目清单 序号类别科目 AAAAAA 1基础网络检查以太交换机的状况 2存储阵列检查 IP-SAN 阵列的状况 3检查服务器的状况 4 SQL/MDC 域 服务器检查网络磁盘的共享脚本运行状况 5检查数据库服务的状况 7检查数据库存储磁盘空间的使用状况 8 数据库系统 检查每个表状态与表空间的使用状况 9检查 Sanergy 服务的状况 10检查 MDC 及共享服务的运行状况 检查共享存储卷空间容量的使用状况 11 MDC 系统 定期对共享存储卷空间执行 Chkdsk /F 12检查操作系统日志状况 14检查数据库备份服务的运行状况 15 后台服务 检查 FTP 或其它传输服务器或服务的状况 三、基础网络三、基础网络 基础网络由综合布线系统及核心交换机系统两部分组成。 1、综合布线系统的维护要求、综合布线系统的维护要求 综合布线系统作为基础线路工程，除非发生人为触碰或鼠咬等 情况；一般较少发生故障。系统正常运行中，应注意以下几点： . 保证线路连接清楚，定期进行机柜除尘。 . 不轻易移动、震动机柜中的所有设备。 . 设备检修时先断开外接电源线，再断开所有外接连线； 2、核心交换机日常检查内容、核心交换机日常检查内容 该网络核心由一台 DELL5424 以太网交换机构成，共对外提供 AAAAAA 24 个连接端口。 （另有 4 个 SFP 模块插口可扩展，暂不使用）日常 检查工作如下： 2.1、请检查所有以太交换机 SYS 指示灯；显示绿色为正常。如 该灯为橙色或未亮状态，请及时核对交换机相关技术材料，同时联 系大洋公司售后人员，并记录。 2.2、请检查以太交换机的端口指示灯，已正常开启的服务器和 工作站连接的相应端口应显示为绿色；如果站点已启动而相应交换 机端口状态为橙色或未亮状态，请按以下顺序测试以便定位问题： A）换到该交换机另一端口；B）更换以太跳线；C）检查该站点的 以太网口。 四、存储及服务器四、存储及服务器 除核心交换机外，网络中最重要的部分还有 IP-SAN 存储及主 备域服务器。 1、IP-SAN 存储阵列检查存储阵列检查 本系统中使用的存储阵列主要负责提供整个网络的数据存储空 间。日常检查内容如下： 1.1、查看 IP-SAN 磁盘阵列上的所有指示灯，包括：硬盘状态 灯（状态灯为绿色，有数据交互时为蓝色） 、IO 模块状态灯、电源 状态灯；显示绿色为正常。 （小液晶面板显示的为蓝色灯，有数据交 互时 BUSY 灯会闪烁白色）如有某个硬盘指示灯为红色或未亮，请 立即使用 IP 方式或超级终端，登录到 IP-SAN 盘阵进行进一步检测。 1.2、内部参数检查（该环节并非日常巡检内容，在此处提及主 要是提醒网管人员一定要做好记录并保存，以备日后核对） AAAAAA 通常，我们使用 IP 方式或超级终端登录到 IP-SAN 盘阵。 （当共 享存储卷发生故障时，才需要进行此操作） 1.2.1、查看磁盘卷识别情况，网卡 IP 情况。Logs 日志情况； 1.2.2、对 IP-SAN 盘阵，查看磁盘在线情况，如果有硬盘掉线 或 Failed，请立即确认热备盘是否已开始 Replace。如未正常开始， 请手动选择启动 Replace。Replace 开始后，并联系大洋公司售后人 员，以进一步处理问题。 1.2.3、如未发现磁盘掉线故障，请查看 host luns 表是否 Mapping 正常，若不正常请立即联系大洋公司售后人员，以进一步 处理问题。 2、SQL、MDC 服务器服务器 本系统中的 SQL、MDC 服务器兼做 Windows 域存储；本节检 查内容是针对 SQL、MDC 服务器本身的工作状态的。SQL、MDC 日常检查内容如下： 2.1、查看 SQL、MDC 服务器上的所有指示灯，包括：系统状 态灯、硬盘状态灯、网卡状态灯；显示绿色为正常。如有某个灯为 橙色或未亮，请立即联系大洋公司售后人员，以进一步处理问题。 2.2、查看 SQL 、MDC 的系统卷 C 盘空间。C 盘已使用量在 11GB 以下为正常。如过高，请按以下顺序测试以便定位问题：A） 请检查是否新安装程序；B）可能是由于病毒导致。请立即联系大洋 公司售后人员，以进一步处理问题。 2.3、打开事件查看器，查看是否有新产生的报错，如有不明 “错误”类信息；请立即联系大洋公司售后人员，以进一步处理问 题。 AAAAAA 五、日常检查内容五、日常检查内容 本系统中使用单服务器实现 SQL 数据库及 MDC 功能。如资源 状态异常，请记录并立即联系大洋公司售后人员。 1、MDC 系统部分系统部分 使用服务器打开 SANergy 管理软件，对全部 IP-SAN 共享卷进 行测速。在没有其它站点使用的状况下， （尽量在没有其它站点使用 情况下测试）测速数据结果在 60MB 以上为正常；如测速结果在 60MB 以下，请按照下面环节检查磁盘剩余空间。若剩余空间不足， 请立即着手清理空间。 共享存储卷空间容量日常检查内容共享存储卷空间容量日常检查内容 （请按下面 MDC 共享存储卷空间-安全阀值表标准检查） 卷名称格式化后容量安全阀值（80%以下） UTBTB VTBTB WTBTB 2、数据库系统部分、数据库系统部分 2.1、在线数据库日常检查内容 2.1.1、在服务器上打开任务管理器，查看 CPU，内存信息； CPU 占用率在 55%以下，物理内存占用在 1750MB 以下均为正常， 但要注意内存是否主要被 sqlservr 进程占用。 （SQL 为了提高服务访 问调用速度，比较占内存，sqlservr 进程所占用内存一般不低于内存 占用总量的 60）如 CPU 占用过高，可能是由于病毒导致。请立 即使用第三方线程查看工具，检查当前线程启用情况；并立即联系 大洋公司售后人员，以进一步处理问题。 AAAAAA 2.1.2、查看共享盘（包括数据库空间盘，如 S：盘）上的空间 使用情况；如：SQL 盘为 465GB，已用空间应小于总空间的 85， 即小于 372GB 为正常。如有如果空间使用过多，请立即联系大洋公 司售后人员，以进一步处理问题。 2.1.3、在在线 SQL 服务器上打开企业管理器，检查 SQL 数据 库中每个库的工作状态，如出现质疑等错误；请立即联系大洋公司 售后人员，以进一步处理问题。 2.2、数据库备份日常检查内容 本系统数据库采用每天自动备份一次的方式，备份数据库文件。 针对备份检查如下： 2.2.1、在服务器上，检查 E：盘中按时备份出的数据库备份文 件时间是否为当天的。如遇数据库问题，应第一时间将其手动拷贝 一份到其它地方保留。 （建议按星期建立七个文件夹，并以一星期为 周期，每天手动拷贝五个数据库备份文件到对应星期文件夹中，第 二周覆盖第一周，周而复始） 2.2.2、检查保存备份文件的磁盘，确保磁盘有足够的空间。 AAAAAA 六、六、系统日常巡检记录表参考系统日常巡检记录表参考 XXX 台大洋 IP-SAN 制作网系统日常巡检记录表 填表单位淮北矿区电视台技术制作中心 填表日期填表人 序号类别科目结果备注 1机房环境机房温度检查；空调工作状态；UPS 状态 2基础网络检查以太交换机的状况 3存储阵列检查 IP-SAN 的状况 4SQL/MDC 域服务器检查服务器的状况 6检查数据库服务的状况 8 数据库系统 检查数据库存储空间的使用状况 AAAAAA 9检查每个表状态与表空间的使用状况 10检查 MDC 中 Sanergy 服务的状况 11检查 MDC 及共享服务的所属及运行状况 12检查共享存储卷空间容量的使用状况 13 MDC 系统 定期（如每周末）对共享存储卷执行 Chkdsk /F 14检查操作系统日志状况 15检查 FTP 服务或服务器的硬件及操作系统状况 16 后台服务 检查数据库备份服务的运行状况 XXX 台网络故障及排查方法台网络故障及排查方法 本网络系统主要由基础网络及 IP-SAN 存储、MDC/SQL 服务器 构成。这里就以各个构件为单位，分类介绍各种故障及排除方法。 1、基础网络故障、基础网络故障 基础网络是由综合布线系统以及各类交换机构成。 1.1 核心交换机故障 系统中的核心以太网络交换机，常见故障类型分为 2 类，具体 如下： 1.1.1、以太交换机故障 当核心以太交换机出现故障时：（第一步）应首先关闭所有安 装了 SANergy 管理软件的服务器及客户端工作站；（第二步）关闭 IP-SAN 存储；（第三步）断电并重新启动核心交换机，让交换机重 AAAAAA 新自举；（第四步）等交换机自检完成，再根据主控设备启动顺序， 逐个开启 IP-SAN 存储及相关服务器，并在 SQL、MDC 服务器上分 别进行数据库及带宽测试。 （第五步）服务器测试通过后，逐台启动 已关闭的所有工作站，启动后逐台测速确认带宽正常； 1.1.2、以太交换机端口故障 当以太交换机的某个端口出现故障时，应首先判断当前在线服 务器是否链接到该故障端口。 （若是连接在 IP-SAN 存储的 4 个端口， 则需全网关闭，剔除故障交换端口） 、如果该故障端口正巧链接到在线服务器，则：（第一步） 首先应关闭所有客户端工作站；（第二步）关闭在线服务器（即链 接到故障交换机端口的服务器） ，更换到任一正常以太交换机端口， 再次开启该服务器并确定已执行 MDC 服务及 SQL 资源；（第三步） 逐台重新启动所有客户端工作站，启动后逐台测速确认带宽正常。 、如果该故障端口链接的不是在线服务器，则：（第一步） 应关闭故障端口链接的工作站；（第二步）将链接到该故障端口的 工作站的双绞链接线缆转移到以太交换机上的任一正常端口；（第 三步）重新启动已关闭的该工作站即可。 1.2 综合布线线路故障 系统中的综合布线线路为六类双绞线；一般情况下，六类双绞 线出现故障的几率极低。若某条六类双绞线缆出现故障时，应首先 判断该条双绞线缆是否链接到在线服务器。 1.2.1、如果在线服务器正巧使用该条故障双绞线缆，则：（第 一步）应首先关闭所有客户端工作站；（第二步）关闭故障服务器， （即有链接故障的服务器）所有资源将自动接管到备服务器上； AAAAAA （第三步） ，更换该条双绞线缆，再次开启该服务器并执行 MDC 服 务及 SQL 资源。 （第四步）逐台重新启动所有客户端工作站，启动 后逐台测速确认带宽正常。 1.2.2、如果该条故障双绞线缆链接的不是在线服务器，则： （第一步）应关闭故障双绞线缆链接的工作站；（第二步）更换备 用双绞线缆；（第三步）重新启动已关闭的该工作站即可。 2、存储系统及、存储系统及 MDC 故障故障 一般意义上，存储系统是由 IP-SAN、服务器构成。这里我们将 这两部分放到一起说明： 2.1、 IP-SAN 故障 由于 IP-SAN 为系统核心素材数据存储设备。故任何异常均需高 度关注，网络管理人员一旦发现 IP-SAN 出现任何异常迹象，均应 第一时间与大洋公司售后技术人员取得联系，共同定位；如在大洋 公司售后技术人员指导下，定位故障是情节严重的，应启动本维护 规范紧急重大故障处理流程。 IP-SAN 常见故障类型分为 3 类，具体如下： 2.1.1、IP-SAN 故障 当 IP-SAN 整体瘫痪，不能提供数据访问时；应立即逐台修改客 户端工作站上对数据库的本地指向，即可应急使用本地备份数据盘 中的素材，恢复正常的节目生产工作。 2.1.2、IP-SAN 存储故障 当 IP-SAN 存储发生故障时，则：（第一步）应首先关闭所有服 务器及客户端工作站；（第二步）登录查看 IP-SAN 存储当前状态， 确认可检查到所有共享存储卷，并查看 LUN Mapping 状态是否正常； AAAAAA （第三步）启动 SQL、MDC 服务器，测试确认带宽正常；（第四步） 逐台重新启动所有安装了 SANergy 管理软件的客户端工作站，启动 后逐台测速确认带宽正常即可。 2.1.3、IP-SAN 阵列 Disk 故障 当 IP-SAN 阵列中某块 Disk 发生故障时，IP-SAN 阵列会立即使 用在线热备盘替换并重建故障磁盘，将故障 Disk 的数据替换到热备 盘上。 用户只需等重建完成后，在线替换故障磁盘即可。 （重建过 程带宽稍受影响，但仍可满足节目制作需求） 2.2、MDC 故障 MDC 常见故障分为 2 类，具体如下： 2.2.1、MDC 卷索引信息异常 当 MDC 服务器中的卷索引信息异常时（卷中部分文件夹或文 件不能访问） ，则：（第一步）应首先关闭客户端工作站；（第二步） 在在线 MDC 服务器上打开命令符执行界面（在运行栏输入 CMD） ， 执行 Chkdsk /F 命令；（第三步）执行完毕后，逐台启动所有安装了 SANergy 管理软件的客户端工作站，启动后逐台测速确认带宽正常 即可。 重要提示：因为 IP-SAN 中的素材数据为多站点并发共享使用， 故卷索引信息检索的例行维护工作非常重要。请网络管理人员按照 日常检查与维护工作的要求，严格执行磁盘索引信息检索的例行维 护工作。在正常执行维护工作的前提下，一般不会发生卷索引信息 异常的情况。 2.2.2、其它软硬件及设置故障 、当 MDC 系统或硬件出现故障，立即关闭服务器。 AAAAAA 注：调整 MDC 时，网络中的客户端工作站必须全部关闭，只 有 MDC 正常运行后，客户端工作站才能开启。 、磁盘空间限制 通过检查大洋网管软件的磁盘配额，如果发现接近安全限额， 必须通知相关人员清理素材，保证安全余量。 （切记！） 3、数据库故障、数据库故障 数据库系统为本系统元数据存储中心，故任何异常均需高度关 注，网络管理人员一旦发现数据库系统出现任何异常迹象，均应第 一时间与大洋公司售后技术人员取得联系，在指导下处理；如在大 洋公司售后技术人员指导下，定位故障是情节严重的，应启动本维 护规范紧急重大故障处理流程。 数据库常见故障类型分为 2 类，具体如下： 3.1、数据库服务器故障 数据库服务器出现故障时，尝试手动启动数据库服务。若数据 库服务恢复正常；客户端重新启动各大洋应用软件，即可重新恢复 正常节目生产。 3.2、在线数据库某个或多个大洋数据库表项丢失或停止 在线数据库某个或多个大洋数据库表项丢失或停止，可能造成 的原因有多种；如：IP-SAN 盘阵数据库盘写满、大洋数据库表项异 常中断等。无论何种原因，只要表现为工作站非编系统都不能正常 启动，即应紧急采取如下处理：（第一步）在服务器上验证 SQL 服 务正常工作，验证数据库的最新数据备份为当天早晨最新恢复； （第二步）恢复故障数据库表项；（第三步）重新启动各大洋应用 软件，即可恢复正常节目生产。 AAAAAA 重要提示：由于该恢复操作的耗时是与数据库大小相关，故可 能耗时约 1 小时甚至以上。一旦事故发生，恢复过程可能将会延长 至 2 小时甚至以上。 （可能需要提前考虑启用单机紧急预警方案） 主控部分启动关闭操作说明主控部分启动关闭操作说明 主控部分为整个 IP-SAN 网络的核心组成部分，原则上主控部分需要定期通过关机重启 来自检自身硬件及服务正常情况。一般建议服务器每一至三个月关闭重启一次；存储、盘 阵每三到六个月重启一次；每半年重启一次交换机。 A A启动顺序：（如未特殊说明，必须逐项依次完成） 1、 启动以太交换机。启动以太交换机。直接插上交换机电源通电，启动交换机。 （交换机可以优先或和 第一项同时启动，以节约时间。 ）检测表相视交换机而定， （如先交换机所有端口 频闪，然后逐个检索）整个启动过程约需 3 到 4 分钟。 2、 启动磁盘阵列。启动磁盘阵列。打开磁盘背后的电源开关（双电源、双开关，同时打开）启动阵 列，待阵列前端液晶屏上显示“Ready”字样，表示启动完成。 AAAAAA 3、 启动服务器：启动服务器：启动服务器（日常提供 SQL 和 MDC 服务的服务器）到登录界面，并 登录。 （此时可观察盘阵液晶面板的 BUSY 灯状态，若出现白色灯频繁闪烁，说明 磁盘正在被识别