广电播出机房服务器巡检维护指南

广电播出机房服务器巡检维护指南广电播出机房是电视台、广电网络公司的核心区域，承载信号采集、编解码、复用、调制及传输等关键业务。服务器一旦宕机，直接导致黑屏、静帧、马赛克甚至停播，属于重大播出事故。本指南旨在规范巡检维护动作，将「凭经验看」转变为「按表查」，把隐患消灭在触发事故之前。一、适用范围与职责划分本指南适用于各级广播电视播出机房在用服务器（含视频服务器、数据库服务器、应用服务器、迁移服务器及存储节点）的日常巡检、深度维护及异常处置。1.1角色与权限界定•播出技术部值班员：负责每2小时一次的例行巡检（日检），填写《机房日巡检记录表》，发现一级告警立即上报，负责执行应急切换的物理操作。•系统运维工程师：负责每周深度巡检（周检）及每月系统级维护（月检），处理值班员上报的复杂告警，审核系统日志与性能趋势，拥有服务器操作系统级登录与配置权限。•技术主管：负责审批周/月检报告，协调跨部门资源（如动力机房空调、网络部链路），在发生二级及以上告警时担任现场指挥，拥有紧急停播及业务调度审批权。•厂家技术支持：负责硬件级更换、固件升级及核心数据库底层维护，操作前必须由系统运维工程师全程旁站监督并录像。1.2操作红线•播出时段（06:00至次日02:00）严禁进行任何可能导致业务中断的物理操作（拔插硬盘、重启服务、断网线）。•进入核心服务器机柜操作必须2人同行（1人操作、1人监督），监督人负责核对动作与口令。•严禁在业务网内直接运行性能压测工具，必须使用独立运维网段。二、巡检前准备巡检前的准备是发现隐患而不引发事故的前提。任何未经准备的「随手一查」都可能误触线缆导致断播。2.1工具与资料清单•防静电装备：防静电手环（阻值1×106Ω至•监测终端：预装SNMP协议网管软件的笔记本电脑，连接机房独立运维网段（VLAN隔离），严禁接入播出业务网。•记录工具：《机房日巡检记录表》（纸质版，防止电子系统宕机无记录）、《应急联络通讯录》、红蓝双色记号笔（红记异常、蓝记正常）。•标准备件：万兆光模块2个、SAS硬盘2块（与现网同型号同批次）、冗余电源模块1个，置于机房防静电备件柜。2.2安全前置确认操作前必须执行双人核对口令制度：1.操作人：「现在对[机柜号]-[服务器号]进行[操作内容]，预计[X]分钟，请确认主备状态。」2.监督人核对主备服务器状态灯及监看大屏信号后回复：「主备正常，可以操作。」3.得到回复后方可动手。操作完毕后，操作人需回复：「操作结束，信号恢复正常。」三、日常巡检项目与标准（日检）日检的核心是「望闻问切」，通过物理感官与系统监控比对，在15分钟内完成对机房全局态势的判断。3.1环境与动力巡检机房环境是服务器健康的外部基底，温湿度失衡或粉尘积聚会直接引发大面积设备宕机。•温度监控：冷热通道隔离系统下，热通道回风温度控制在28∘C±2∘◦处置原则：发现温度异常，优先检查精密空调回风过滤网是否脏堵；若空调正常，检查机柜盲板是否缺失导致热气回流。严禁擅自调节空调设定温度，必须联系动力机房处理。•湿度监控：相对湿度维持在40%∼55%。低于•UPS电源：查看UPS主机液晶屏，输入电压应在220V±10%（即198V3.2服务器硬件外观与指示灯巡检指示灯是服务器状态最直观的晴雨表，必须在1米外清晰可辨，任何异常灯色必须在5分钟内定位。•电源指示灯（绿色）：常亮正常。若闪烁，表明双电源中一路中断。◦处置步骤：检查PDU插头是否松动；若未松动则用万用表测量PDU输出电压，低于200V•硬盘状态灯（绿色）：常亮表示在位，规律闪烁表示读写。若转为黄色常亮或闪烁，表明该盘存在坏块或即将失效。◦处置步骤：立即在网管系统中定位盘位号，查看SMART报警日志。若处于RAID重建状态，严禁拔盘（拔盘将导致阵列崩溃）。必须等待重建完成（监控重建进度条至100%），后在停播时段更换新盘。•告警灯（黄色/琥珀色）：一旦亮起，表明发生内部硬件故障（如内存CE错误超阈值、风扇停转）。◦处置步骤：登录iBMC/IPMI管理口查看SystemEventLog(SEL)，根据日志代码对照《服务器硬件故障代码手册》定位故障件。若为风扇停转，必须在30分钟内更换备件，防止CPU过热降频导致信号处理延迟。3.3操作系统与业务软件状态巡检系统层面巡检依赖远程监控，重点排查资源耗尽与僵尸进程，防止「假活」状态。•CPU利用率：业务峰值期单核负载≤70%为正常。若持续5分钟高于90%•内存使用率：总使用率≤80%为正常。关注Swap分区使用情况，严禁Swap使用率超过•磁盘空间：播出缓存盘使用率≤85%。到达90%•关键进程存活：使用systemctlstatusbroadcast_service检查播出主进程。若进程状态非active(running)，且自动重启脚本3次拉起失败，判定为业务级故障，直接触发主备切换。四、深度维护规程（周检与月检）周检与月检是将隐患清零的关键，重点在于系统日志分析、数据一致性核查及备份链路验证，通常安排在周二凌晨02:00至04:00的停播检修时段进行。4.1每周深度巡检（周检）周检聚焦系统日志与性能基线对比，需在2小时内完成全量核查。•系统日志审查：导出近7天的/var/log/messages及dmesg日志。搜索关键字error、fail、panic。◦发现I/Oerror必须追查至具体磁盘设备号，结合SMART监控数据判断是否为物理坏道。错误做法：直接dd修复低级格式化，会导致全盘数据丢失。正确做法：在停播时段更换硬盘，由RAID自动重建。◦发现OOMKiller记录，说明业务进程存在内存泄漏，必须联系研发提供补丁，临时方案为设置cron任务每4小时平滑重启该服务。•主备数据库同步校验：在备库执行showslavestatus\G，检查Seconds_Behind_Master参数。必须为0，若>60◦处置步骤：检查网络带宽是否被打满或是否存在大事务阻塞，必要时杀掉阻塞线程。严禁在同步延迟超过60秒时进行主备切换演练，否则将导致数据丢失。•RAID阵列健康度检查：使用厂商工具（如MegaCLI、storcli）查看阵列状态。Controller状态必须为Optimal，所有VirtualDrive状态必须为Optimal。若出现Degraded（降级），说明已有盘失效且正在重建，必须密切监控重建进度（每小时记录一次），重建完成后立即更换新盘。4.2每月系统级维护（月检）月检涉及性能容量分析与灾备演练，是对系统健壮性的全面体检。•性能基线对比：调取Zabbix近30天的性能曲线，对比上月数据。若发现磁盘IOPS峰值较上月增长超过20%•素材库与数据库一致性核查：在数据库中随机抽取50条素材路径，验证物理文件是否存在；反向从存储中抽取50个物理文件，验证数据库是否存在元数据。不一致率必须为0。若发现孤立文件（有物理文件无数据记录），移入/quarantine目录待人工确认后删除，严禁直接rm-rf。•灾备切换演练：每月选择一个停播日，模拟主服务器宕机（切断主节点心跳线），验证备节点是否在5秒内接管业务。若切换失败，检查Keepalived或双机热备软件的配置及仲裁盘状态。演练结束后，必须生成《灾备演练报告》并归档。五、常见异常判断与处置流程异常处置的核心是「先恢复播出，后定位原因」，任何纠结于排查而拖延断播的行为均属于严重违规。5.1服务器宕机无响应•现象：服务器指示灯全灭或全亮，远程登录超时，业务中断。•风险演化路径：服务器宕机→播出进程终止→视频流中断→机顶盒端黑屏→观众投诉激增→构成重大播出事故。•处置步骤：1.立即接管（0-1分钟）：值班员按下副控台「应急切换」按钮，将播出信号源切至备服务器或应急垫片，确保画面恢复。2.物理检查（1-3分钟）：到达机柜前，检查电源指示灯。若全灭，检查PDU开关及电源线连接；若正常，尝试短按电源键开机。3.强制重启（3-5分钟）：若电源正常但系统死机（黑屏无响应），长按电源键10秒强制断电，等待15秒后重新开机。必须记录强制重启的时间与当时播放的节目单。4.故障定位（5分钟后）：系统启动后，第一时间查看/var/log/messages最后100行，定位死机前最后一条异常日志。•上报要求：断播超过5秒即为重大播出事故，必须在恢复播出的同时，10分钟内电话上报技术主管。5.2视频读写卡顿与马赛克•现象：监看大屏出现马赛克、画面卡顿，但服务器CPU/内存正常。•风险演化路径：存储I/O瓶颈→视频帧读取超时→解码器丢包→画面出现马赛克→持续超时导致黑屏。•处置步骤：1.检查光纤交换机端口指示灯，若黄灯闪烁或出现Fault灯，判定为SFP光模块故障或光纤跳线弯折过度。优先更换备用光模块；若不具备备件，切换至备用链路；严禁强行掰直弯折的光纤跳线（会导致纤芯断裂）。2.在服务器端执行iostat-x1，若%util持续100%且await>3.应急限流：在迁移服务器上暂停所有后台迁移任务及素材预览任务，将I/O带宽全让给播出通道。4.若仍未解决，判定为存储阵列缓存电池失效（BBU故障），RAID降级为Write-Through模式导致性能骤降，需联系厂家更换BBU。六、应急联络与文档管理规范的台账与通讯录是保障应急响应时效性的最后防线，确保任何人在任何时间都能找到对应的操作指引与责任人。6.1应急联络通讯录通讯录张贴于机房门内侧及值班台前，更新频率为每季度一次。遇人员变动须于24小时内更新纸质版。职责姓名职务24小时联系电话现场指挥张某某技术主管138******系统支持李某某运维工程师139******动力保障王某某动力班长137******厂家响应赵某某驻场工程师186******6.2附件清单•附件1：《广电机房服务器日巡检记录表（样表）》•附件2：《服务器硬件故障代码对照速查表》•附件3：《主备切换操作标准SOP》•附件4：《机房日巡检记录表（样表）》附件1：广电机房服务器日巡检记录表（样表）巡检时间机柜号服务器IP温度(​∘湿度(%)电源灯状态硬盘灯状态告警灯状态CPU(%)内存(%)磁盘(%)进程状态异常描述处置记录巡检人08:00A-0110.1.1.126.548绿(常亮)绿(常亮)灭356270Active无无张某某10:00A-0210.1.1.227.050绿(常亮)绿(闪烁)灭426572Active无无张某某12:00B-0110.1.2.129.552绿(闪烁)绿(常亮)黄(常亮)858891Active硬盘告警,磁盘满已切备机,清理缓存李某某附件2：主备切换操作标准SOP1.确认主备状态：在监看大屏确认主服务器信号中断，备服务器信