技术维护规程(单服务器版)

1、XXX 广电局大洋IP-SAN 网络技术维护规程大洋安徽技术支持部2009年 2 月12日目录技术维护规程和值班巡检日志1一、系统维护管理规范1二、系统日常巡检科目1三、基础网络21、综合布线系统的维护要求22、核心交换机日常检查内容2四、存储及服务器31、IP-SAN 存储阵列检查32、SQL 、MDC 服务器4五、日常检查内容41、MDC 系统部分42、数据库系统部分5六、系统日常巡检记录表参考7XXX台网络故障及排查方法81、基础网络故障82、存储系统及MDC 故障93、数据库故障11主控部分启动关闭操作说明13技术维护规程和值班巡检日志一、系统维护管理规范1. 明确以不停止业务生产为主

2、要目的。2. 本系统属于技术相对复杂的节目制作平台，其用途是为满足电视台专业性节目制作的业务需要而构建。3. 网络管理员对问题应采取主动认真的态度，事无大小，均应纳入问题处理流程，严禁回避掩盖。4. 系统维护过程中，网络管理员应严格按照所有大洋或第三方产品的技术文档进行操作，严禁违规操作。5. 网络管理员应执行日常巡检工作，即每天按照系统日常巡检项目清单所列的项目检查系统；并填写系统日常巡检项目记录表 。6. 网络管理员在日常巡检发现系统问题，或者接收到使用人员反馈的问题后应填写到问题汇总及跟踪表 ；以便跟踪处理结果。二、系统日常巡检科目重要提示：网络管理员每天应详细检查所有巡检科目， 并认真

3、填写淮北矿区台大洋制作网系统日常巡检记录表。巡检时间：全部科目的完整巡检工作应在每日系统开始使用前至少进行一次；此外，建议每日下午系统使用高峰期前及每日晚间节目生产工作结束后，再进行所有科目的再次巡检。巡检科目见下表，（后面会介绍具体科目的巡检方法）淮北矿区台大洋IP-SAN 制作网系统日常巡检科目清单序号类别科目1基础网络检查以太交换机的状况2存储阵列检查 IP-SAN 阵列的状况3SQL/MDC 域服检查服务器的状况4务器检查网络磁盘的共享脚本运行状况5检查数据库服务的状况7数据库系统检查数据库存储磁盘空间的使用状况8检查每个表状态与表空间的使用状况9检查 Sanergy服务的状况10MD

4、C 系统检查 MDC 及共享服务的运行状况检查共享存储卷空间容量的使用状况11定期对共享存储卷空间执行 Chkdsk /F12检查操作系统日志状况14后台服务检查数据库备份服务的运行状况15检查 FTP 或其它传输服务器或服务的状况三、基础网络基础网络由综合布线系统及核心交换机系统两部分组成。1、综合布线系统的维护要求综合布线系统作为基础线路工程，除非发生人为触碰或鼠咬等情况；一般较少发生故障。系统正常运行中，应注意以下几点：. 保证线路连接清楚，定期进行机柜除尘。. 不轻易移动、震动机柜中的所有设备。. 设备检修时先断开外接电源线，再断开所有外接连线；2、核心交换机日常检查内容该网络核心由一

5、台DELL5424 以太网交换机构成，共对外提供24 个连接端口。（另有 4 个 SFP模块插口可扩展，暂不使用）日常检查工作如下：2.1、请检查所有以太交换机SYS 指示灯；显示绿色为正常。如该灯为橙色或未亮状态， 请及时核对交换机相关技术材料，同时联系大洋公司售后人员，并记录。2.2、请检查以太交换机的端口指示灯，已正常开启的服务器和工作站连接的相应端口应显示为绿色；如果站点已启动而相应交换机端口状态为橙色或未亮状态，请按以下顺序测试以便定位问题：A）换到该交换机另一端口；B）更换以太跳线；C）检查该站点的以太网口。四、存储及服务器除核心交换机外，网络中最重要的部分还有IP-SAN 存储及

6、主备域服务器。1、IP-SAN 存储阵列检查本系统中使用的存储阵列主要负责提供整个网络的数据存储空间。日常检查内容如下：1.1、查看 IP-SAN 磁盘阵列上的所有指示灯，包括：硬盘状态灯（状态灯为绿色，有数据交互时为蓝色）、IO 模块状态灯、电源状态灯；显示绿色为正常。 （小液晶面板显示的为蓝色灯，有数据交互时BUSY 灯会闪烁白色）如有某个硬盘指示灯为红色或未亮，请立即使用 IP 方式或超级终端，登录到IP-SAN 盘阵进行进一步检测。1.2、内部参数检查（该环节并非日常巡检内容，在此处提及主要是提醒网管人员一定要做好记录并保存，以备日后核对）通常，我们使用IP 方式或超级终端登录到IP-

7、SAN 盘阵。（当共享存储卷发生故障时，才需要进行此操作）1.2.1、查看磁盘卷识别情况，网卡IP 情况。 Logs 日志情况；1.2.2、对 IP-SAN 盘阵，查看磁盘在线情况，如果有硬盘掉线或Failed，请立即确认热备盘是否已开始Replace。如未正常开始，请手动选择启动 Replace。Replace开始后，并联系大洋公司售后人员，以进一步处理问题。1.2.3、如未发现磁盘掉线故障， 请查看 host luns 表是否 Mapping正常，若不正常请立即联系大洋公司售后人员，以进一步处理问题。2、SQL 、MDC 服务器本系统中的 SQL、MDC 服务器兼做 Windows 域存储

8、；本节检查内容是针对 SQL、MDC 服务器本身的工作状态的。 SQL、MDC 日常检查内容如下：2.1、查看 SQL、MDC 服务器上的所有指示灯，包括：系统状态灯、硬盘状态灯、网卡状态灯；显示绿色为正常。如有某个灯为橙色或未亮，请立即联系大洋公司售后人员，以进一步处理问题。2.2、查看 SQL 、MDC 的系统卷 C 盘空间。C 盘已使用量在 11GB以下为正常。如过高，请按以下顺序测试以便定位问题：A ）请检查是否新安装程序； B）可能是由于病毒导致。请立即联系大洋公司售后人员，以进一步处理问题。2.3、打开事件查看器， 查看是否有新产生的报错， 如有不明 “错误”类信息；请立即联系大洋

9、公司售后人员，以进一步处理问题。五、日常检查内容本系统中使用单服务器实现SQL 数据库及 MDC 功能。如资源状态异常，请记录并立即联系大洋公司售后人员。1、MDC 系统部分使用服务器打开SANergy 管理软件，对全部 IP-SAN 共享卷进行测速。在没有其它站点使用的状况下，（尽量在没有其它站点使用情况下测试）测速数据结果在60MB 以上为正常；如测速结果在60MB以下，请按照下面环节检查磁盘剩余空间。若剩余空间不足，请立即着手清理空间。共享存储卷空间容量日常检查内容（请按下面 MDC 共享存储卷空间 -安全阀值表标准检查）卷名称格式化后容量安全阀值（ 80%以下）UTBTBVTBTBWT

10、BTB2、数据库系统部分2.1、在线数据库日常检查内容2.1.1、在服务器上打开任务管理器，查看CPU，内存信息； CPU占用率在 55%以下，物理内存占用在1750MB 以下均为正常，但要注意内存是否主要被sqlservr 进程占用。（SQL 为了提高服务访问调用速度，比较占内存， sqlservr 进程所占用内存一般不低于内存占用总量的 60）如 CPU 占用过高，可能是由于病毒导致。请立即使用第三方线程查看工具， 检查当前线程启用情况； 并立即联系大洋公司售后人员，以进一步处理问题。2.1.2、查看共享盘（包括数据库空间盘，如S：盘）上的空间使用情况；如： SQL 盘为 465GB，已用

11、空间应小于总空间的85，即小于 372GB 为正常。如有如果空间使用过多，请立即联系大洋公司售后人员，以进一步处理问题。2.1.3、在在线 SQL 服务器上打开企业管理器，检查SQL 数据库中每个库的工作状态， 如出现质疑等错误； 请立即联系大洋公司售后人员，以进一步处理问题。2.2、数据库备份日常检查内容本系统数据库采用每天自动备份一次的方式，备份数据库文件。针对备份检查如下：2.2.1、在服务器上，检查E：盘中按时备份出的数据库备份文件时间是否为当天的。 如遇数据库问题， 应第一时间将其手动拷贝一份到其它地方保留。（建议按星期建立七个文件夹，并以一星期为周期，每天手动拷贝五个数据库备份文件

12、到对应星期文件夹中，第二周覆盖第一周，周而复始）2.2.2、检查保存备份文件的磁盘，确保磁盘有足够的空间。六、系统日常巡检记录表参考XXX 台大洋 IP-SAN 制作网系统日常巡检记录表填表单位淮北矿区电视台技术制作中心填表日期填表人序号类别科目结果备注1机房环境机房温度检查；空调工作状态；UPS 状态2基础网络检查以太交换机的状况3存储阵列检查 IP-SAN 的状况4SQL/MDC 域服务器检查服务器的状况6检查数据库服务的状况8数据库系统检查数据库存储空间的使用状况9检查每个表状态与表空间的使用状况10检查 MDC 中 Sanergy 服务的状况11检查 MDC 及共享服务的所属及运行状况

13、MDC 系统12检查共享存储卷空间容量的使用状况13定期（如每周末）对共享存储卷执行Chkdsk /F14检查操作系统日志状况15后台服务检查 FTP 服务或服务器的硬件及操作系统状况16检查数据库备份服务的运行状况XXX 台网络故障及排查方法本网络系统主要由基础网络及IP-SAN 存储、 MDC/SQL 服务器构成。这里就以各个构件为单位，分类介绍各种故障及排除方法。1、基础网络故障基础网络是由综合布线系统以及各类交换机构成。1.1 核心交换机故障系统中的核心以太网络交换机，常见故障类型分为2 类，具体如下：1.1.1、以太交换机故障当核心以太交换机出现故障时： （第一步）应首先关闭所有安装

14、了 SANergy 管理软件的服务器及客户端工作站；（第二步）关闭IP-SAN 存储；（第三步）断电并重新启动核心交换机，让交换机重新自举；（第四步）等交换机自检完成，再根据主控设备启动顺序，逐个开启 IP-SAN 存储及相关服务器，并在SQL、MDC 服务器上分别进行数据库及带宽测试。 （第五步）服务器测试通过后，逐台启动已关闭的所有工作站，启动后逐台测速确认带宽正常；1.1.2、以太交换机端口故障当以太交换机的某个端口出现故障时，应首先判断当前在线服务器是否链接到该故障端口。 （若是连接在IP-SAN 存储的 4 个端口，则需全网关闭，剔除故障交换端口）、如果该故障端口正巧链

15、接到在线服务器，则：（第一步）首先应关闭所有客户端工作站； （第二步）关闭在线服务器（即链接到故障交换机端口的服务器） ，更换到任一正常以太交换机端口，再次开启该服务器并确定已执行MDC 服务及 SQL 资源；（第三步）逐台重新启动所有客户端工作站，启动后逐台测速确认带宽正常。、如果该故障端口链接的不是在线服务器，则：（第一步）应关闭故障端口链接的工作站； （第二步）将链接到该故障端口的工作站的双绞链接线缆转移到以太交换机上的任一正常端口；（第三步）重新启动已关闭的该工作站即可。1.2 综合布线线路故障系统中的综合布线线路为六类双绞线；一般情况下，六类双绞线出现故障的几率极低。

16、若某条六类双绞线缆出现故障时， 应首先判断该条双绞线缆是否链接到在线服务器。1.2.1、如果在线服务器正巧使用该条故障双绞线缆，则： （第一步）应首先关闭所有客户端工作站； （第二步）关闭故障服务器，（即有链接故障的服务器） 所有资源将自动接管到备服务器上；（第三步），更换该条双绞线缆，再次开启该服务器并执行 MDC 服务及 SQL 资源。（第四步）逐台重新启动所有客户端工作站， 启动后逐台测速确认带宽正常。1.2.2、如果该条故障双绞线缆链接的不是在线服务器，则： （第一步）应关闭故障双绞线缆链接的工作站； （第二步）更换备用双绞线缆；（第三步）重新启动已关闭的该工作站即可。2、存储系统及M

17、DC 故障一般意义上，存储系统是由IP-SAN、服务器构成。这里我们将这两部分放到一起说明：2.1、 IP-SAN 故障由于 IP-SAN 为系统核心素材数据存储设备。故任何异常均需高度关注，网络管理人员一旦发现IP-SAN 出现任何异常迹象，均应第一时间与大洋公司售后技术人员取得联系，共同定位；如在大洋公司售后技术人员指导下， 定位故障是情节严重的， 应启动本维护规范紧急重大故障处理流程。IP-SAN 常见故障类型分为3 类，具体如下：2.1.1、IP-SAN 故障当 IP-SAN 整体瘫痪，不能提供数据访问时；应立即逐台修改客户端工作站上对数据库的本地指向， 即可应急使用本地备份数据盘中的

18、素材，恢复正常的节目生产工作。2.1.2、IP-SAN 存储故障当 IP-SAN 存储发生故障时， 则：（第一步）应首先关闭所有服务器及客户端工作站；（第二步）登录查看 IP-SAN 存储当前状态，确认可检查到所有共享存储卷， 并查看 LUN Mapping 状态是否正常；（第三步）启动 SQL、MDC 服务器，测试确认带宽正常；（第四步）逐台重新启动所有安装了 SANergy 管理软件的客户端工作站，启动后逐台测速确认带宽正常即可。2.1.3、IP-SAN 阵列 Disk 故障当 IP-SAN 阵列中某块 Disk 发生故障时， IP-SAN 阵列会立即使用在线热备盘替换并重建故障磁盘，将故

19、障 Disk 的数据替换到热备盘上。 用户只需等重建完成后，在线替换故障磁盘即可。（重建过程带宽稍受影响，但仍可满足节目制作需求）2.2、MDC 故障MDC 常见故障分为 2 类，具体如下：2.2.1、MDC 卷索引信息异常当 MDC 服务器中的卷索引信息异常时（卷中部分文件夹或文件不能访问），则：（第一步）应首先关闭客户端工作站； （第二步）在在线 MDC 服务器上打开命令符执行界面（在运行栏输入CMD ），执行 Chkdsk /F 命令；（第三步）执行完毕后，逐台启动所有安装了 SANergy 管理软件的客户端工作站， 启动后逐台测速确认带宽正常即可。重要提示：因为 IP-SAN 中的素材

20、数据为多站点并发共享使用，故卷索引信息检索的例行维护工作非常重要。 请网络管理人员按照日常检查与维护工作的要求， 严格执行磁盘索引信息检索的例行维护工作。在正常执行维护工作的前提下， 一般不会发生卷索引信息异常的情况。2.2.2、其它软硬件及设置故障、当 MDC 系统或硬件出现故障，立即关闭服务器。注：调整 MDC 时，网络中的客户端工作站必须全部关闭，只有MDC 正常运行后，客户端工作站才能开启。、磁盘空间限制通过检查大洋网管软件的磁盘配额， 如果发现接近安全限额，必须通知相关人员清理素材，保证安全余量。 （切记！）3、数据库故障数据库系统为本系统元数据存储中心，

21、故任何异常均需高度关注，网络管理人员一旦发现数据库系统出现任何异常迹象， 均应第一时间与大洋公司售后技术人员取得联系， 在指导下处理； 如在大洋公司售后技术人员指导下， 定位故障是情节严重的， 应启动本维护规范紧急重大故障处理流程。数据库常见故障类型分为2 类，具体如下：3.1、数据库服务器故障数据库服务器出现故障时，尝试手动启动数据库服务。 若数据库服务恢复正常； 客户端重新启动各大洋应用软件， 即可重新恢复正常节目生产。3.2、在线数据库某个或多个大洋数据库表项丢失或停止在线数据库某个或多个大洋数据库表项丢失或停止， 可能造成的原因有多种；如： IP-SAN 盘阵数据库盘写满、大洋数据库表项异常中断等。无论何种原因，只要表现为工作站非编系统都不能正常启动，即应紧急采取如下处理：（第一步）在服务器上验证 SQL 服务正常工作，验证数据库的最新数据备份为当天早晨最新恢复； （第二步）恢复故障数据库表项；（第三步）重新启动各大洋应用软件，即可恢复正常节目生产。重