通信机房断电数据保护脚本

通信机房断电数据保护脚本1.适用范围与触发机制机房断电数据保护的成败，往往取决于UPS续航时间内的毫秒级响应与自动化接管能力，而非事后的补救措施。本脚本及配套规程适用于通信机房核心业务服务器、数据库集群及NFV（网络功能虚拟化）节点的断电数据保护工作。1.1适用环境本脚本部署于Linux内核版本不低于3.10的CentOS/RHEL或Ubuntu操作系统，物理机及KVM虚拟机均适用。依赖组件包括：SNMP协议栈（用于接收UPSTrap告警）、systemd服务管理器、以及各主流数据库的CLI命令行工具。1.2触发条件分级数据保护动作的触发必须依赖明确的双控判定条件：UPS电池剩余容量（SOC）与市电中断持续时间。严禁单一条件触发，以防误动作导致业务非计划中断。Ⅰ级预警（市电中断，UPSSOC≥60%）：市电中断，UPS正在放电，系统仅触发告警，不执行关机脚本。值班人员需在3分钟内响应并排查市电。Ⅱ级响应（UPSSOC降至30%，或持续放电达15分钟）：系统自动触发数据保护脚本，进入应用优雅降级与数据落盘流程。Ⅲ级强制（UPSSOC降至15%，或持续放电达25分钟）：强制终止所有未完成进程，执行文件系统同步，设备硬下电。2.核心保护策略与动作机理断电过程中的数据损坏通常源于存储阵列Cache未刷盘导致的RAID一致性破坏，以及数据库事务日志截断异常。因此，必须建立“应用停层-文件系统停层-硬件停层”的三级递进保护机制。2.1应用层：事务平滑终结数据库（如MySQLInnoDB引擎）在接收到关机信号时，会触发优雅关闭流程。其物理动作为：将内存缓冲池中的脏页写入表空间文件，完成正在执行的事务并记录RedoLog，最后标记ibdata文件为Clean状态。若强行使用kill-9终止进程，会导致未提交事务的回滚段数据丢失，重启时必须执行崩溃恢复，严重时引发数据字典损坏。2.2文件系统层：强制同步与只读重挂当进程结束后，操作系统VFS（虚拟文件系统）层可能仍缓存着大量脏页。必须显式调用sync系统调用，将脏页块设备层刷入物理磁盘。随后将关键数据盘以只读模式重挂载，防止设备在UPS电量耗尽硬关电的瞬间，内核发生Oops错误并尝试向磁盘写入崩溃日志，从而破坏静态数据。3.自动化保护脚本设计与实现脚本的执行逻辑必须具备超时熔断机制。UPS续航时间有限，不能无限等待某个僵死进程的退出。以下Bash脚本实现了完整的PDCA闭环保护流程。3.1环境变量与参数配置#!/bin/bash

#==========================================

#ScriptName:power_loss_protection.sh

#Description:通信机房断电数据保护执行脚本

#Version:2.1

#==========================================

#超时参数配置（单位：秒）

APP_STOP_TIMEOUT=120

SYNC_TIMEOUT=30

#关键服务列表（按依赖顺序倒序排列）

APP_SERVICES=("nginx""redis""mysql""zabbix_agent2")

#数据库与核心数据挂载点

DATA_MOUNT_POINTS=("/data/mysql""/data/logs""/app/nfv_storage")

#日志输出路径

LOG_FILE="/var/log/power_protection_$(date+%Y%m%d_%H%M%S).log"3.2核心执行逻辑#!/bin/bash

log_msg(){

echo"[$(date'+%Y-%m-%d%H:%M:%S')]$1"|tee-a$LOG_FILE

}

#步骤1：应用层优雅停止

stop_applications(){

log_msg"开始执行应用服务停止流程..."

forsvcin"${APP_SERVICES[@]}";do

log_msg"正在停止服务:$svc"

#优先使用systemd优雅停止；若超时则发送SIGTERM；严禁直接SIGKILL

systemctlstop$svc--no-block

#等待进程退出，超时强制SIGTERM

localcount=0

whilesystemctlis-active--quiet$svc;do

sleep5

count=$((count+5))

if[$count-ge$APP_STOP_TIMEOUT];then

log_msg"警告:$svc优雅停止超时，发送SIGTERM信号..."

pkill-SIGTERM-f$svc

sleep10

break

fi

done

log_msg"$svc停止完成。"

done

}

#步骤2：文件系统层数据落盘与只读重挂载

sync_filesystems(){

log_msg"开始执行文件系统数据同步..."

#强制将内存脏页刷入物理磁盘，超时则放弃但继续执行后续步骤

timeout$SYNC_TIMEOUTsync

if[$?-eq124];then

log_msg"警告:sync操作超时，可能存在IO瓶颈，强行进入下一步。"

fi

log_msg"将数据挂载点切换为只读模式..."

formntin"${DATA_MOUNT_POINTS[@]}";do

#机理：防止UPS电量耗尽瞬间内核崩溃日志写入破坏静态数据

mount-oremount,ro$mnt

if[$?-eq0];then

log_msg"$mnt已成功重挂载为只读。"

else

log_msg"错误:$mnt重挂载失败，可能存在进程占用或IO错误！"

fi

done

}

#步骤3：执行系统挂起或关机

execute_power_action(){

log_msg"数据保护动作执行完毕，准备关机。"

#预留10秒供系统写入最后的日志

sleep10

#严禁使用halt-p，其会尝试二次同步所有挂载点，耗时不可控

#优先使用systemd的poweroff指令，直接切断电源逻辑

systemctlpoweroff

}

#主执行流

main(){

log_msg"===断电数据保护脚本触发==="

stop_applications

sync_filesystems

execute_power_action

}

main"$@"4.断电应急执行SOP（标准操作规程）自动化脚本无法覆盖所有极端故障场景（如SNMP链路自身断开、脚本所在服务器高负载无响应）。值班人员的标准化手动介入是最后的安全兜底。4.1计划性停电场景计划性停电具有预期性，重点在于“可控停机”与“状态核对”。通知与准备（停电前2小时）：运维人员登录堡垒机，确认所有业务节点SSH连接正常。检查UPS电池组单体电压，压差不得超过0.5V。手动触发降级（停电前30分钟）：在业务低峰期，手动将核心路由器业务流量切至异地灾备机房。执行流量监控确认本机入向流量降至0bps。执行保护脚本（停电前15分钟）：以root权限执行sh/opt/scripts/power_loss_protection.sh。物理验证（停电前5分钟）：进入机房，观察服务器前面板硬盘指示灯。正常状态下应为绿色常亮或熄灭，严禁出现红灯狂闪（表示正在进行IO操作）。逐一拔除服务器电源线，完成物理隔离。4.2突发性市电中断场景突发断电的重点在于“快速响应”与“防止恐慌性误操作”。告警确认（市电中断后1分钟内）：值班人员接到动环监控告警后，必须立即通过SSH登录核心网管平台，确认UPS处于电池放电状态，预计续航时间。脚本触发判定（市电中断后5分钟）：若自动化系统未触发脚本，值班人员须手动执行sh/opt/scripts/power_loss_protection.sh。严禁在未确认业务流量是否完全切走的情况下，直接按服务器Power键硬关机。异常卡死处理：若脚本执行中卡死在systemctlstopmysql阶段超过180秒，值班人员须执行mysqladmin-uroot-pshutdown强制下达关闭指令；若依然无响应，执行pkill-SIGKILLmysqld（此时数据存在损坏风险，属极端保命措施，需在事后开具事故报告单），随后手动执行sync&&sync&&sync并关机。4.3严禁事项与替代方案严禁在UPS供电期间进行服务器硬件热插拔操作。后果：PCIe总线瞬间电压波动可能触发KernelPanic，导致正在运行的内存数据彻底丢失。替代方案：必须等待服务器完全下电（所有状态灯熄灭至少30秒后）方可开盖操作。严禁使用reboot或init6命令尝试重启设备。后果：设备将在重启自检（POST）阶段因UPS电量耗尽而硬断电，导致BIOS配置丢失或RAID卡固件损坏。替代方案：必须使用systemctlpoweroff指令，确保设备停留在关机等待状态。5.复电后数据恢复与完整性校验复电恢复的终点不是服务器开机亮灯，而是所有业务数据事务的一致性确认与对外服务能力的恢复。恢复过程必须遵循“底层先启、上层后启”的原则。5.1底层存储与文件系统校验服务器上电自检完成后，首先进入单用户模式或救援模式检查文件系统。XFS文件系统检查：优先使用xfs_repair-n/dev/sdb1进行只读检查。若报告存在不一致日志，必须先执行mount/dev/sdb1/mnt触发日志重放，卸载后再次执行xfs_repair/dev/sdb1。严禁直接对已挂载的XFS文件系统执行强制修复。Ext4文件系统检查：执行e2fsck-fy/dev/sdc1。参数-f强制检查，-y自动回答yes。此过程可能极其漫长（对大容量SATA盘可能达数小时），严禁中断操作，否则会导致文件系统超级块彻底损坏。5.2数据库一致性恢复与回放MySQL/PostgreSQL启动恢复：数据库进程启动时，InnoDB引擎会自动读取RedoLog进行崩溃恢复。运维人员须执行tail-f/data/mysql/logs/mysqld.err监控输出，重点关注[Note]InnoDB:Databasewasnotshutdownnormally!与[Note]InnoDB:Startingcrashrecovery.日志。数据抽检校验：恢复后，必须抽取核心表进行记录数核对。执行SELECTCOUNT(*)FROMuser_infoWHEREcreate_time>='断电前一天日期';，与灾备机房数据比对，误差率≤0.01应用层服务拉起：依次启动mysql->redis->nginx，观察journalctl-umysql-f确保无异常报错。启动后验证Web服务返回HTTP状态码200。6.演练与PDCA闭环改进预案不演练等于废纸。必须通过常态化的断电演练验证脚本的健壮性，并基于演练结果持续优化。6.1演练周期与要求桌面推演（每季度1次）：研发与运维团队在无实际断电条件下，推演SOP步骤，核对RACI矩阵，确保责任人知晓操作指令与SSH登录路径。实战断电演练（每年1次）：在业务低峰期（如凌晨02:00-04:00），人工切断机房市电总闸，真实触发UPS放电与数据保护脚本。6.2演练评估指标演练结束后24小时内，须输出《断电保护演练复盘报告》，核心考核以下SLA指标：告警触发延迟：从市电断电到脚本启动的时间差。标准：≤30数据落盘成功率：sync执行成功且无IO超时的服务器比例。标准：100%。复电恢复时长（RTO）：从市电恢复到核心业务全量对外提供服务的时长。标准：≤45数据丢失量（RPO）：业务层核对的数据差异量。标准：0。6.3隐患归零处理针对演练中暴露的脚本超时、进程卡死等问题，必须开具《机房基础设施缺陷整改单》，明确责任人与闭环时限（如：7个工作日内修改脚本超时参数并重新提交代码审查）。7.附录工具表7.1断电保护应急联络通讯录职责角色岗位名称联系方式（脱敏）备份联系人备份联系方式现场指挥机房运维主管138******副主管139******脚本执行夜间值守工程师137******系统管理员135******电力抢修设施运维组136******外包驻场150******业务协调IT服务