系统恢复应急处置细则

系统恢复应急处置细则第一章总则与适用范围1.1制度定位本细则是《××公司信息安全管理制度》的第三级文件，与《生产变更管理办法》《数据备份管理办法》并行，适用于公司全部生产环境、准生产环境、灾备环境以及研发测试环境中所有承载业务数据或对外提供服务的操作系统、虚拟化平台、容器平台、数据库、中间件、网络设备、安全设备。1.2触发条件出现下列任一情形即启动本细则：a)操作系统无法正常启动，业务中断>5分钟；b)核心配置文件被篡改、加密、删除，导致服务不可用；c)勒索病毒、挖矿程序、Rootkit等恶意代码感染，且无法通过在线查杀清除；d)人为误操作导致系统文件、注册表、引导扇区损坏；e)存储故障、掉电、火灾、水浸等不可抗力造成系统盘物理损坏；f)安全合规检查发现系统完整性校验值（SHA-256）与基线库不一致且无法回滚。1.3目标在30分钟内完成“可复原性”确认，在2小时内完成“临时恢复”并对外提供降级服务，在24小时内完成“完全恢复”并达到RPO≤15分钟、RTO≤2小时的双活指标。第二章组织与职责2.1应急指挥组（IncidentCommander，IC）由基础设施部总监担任，拥有“一键下线”“切换流量”“动用灾备预算”最高决策权；负责对外发布正式公告。2.2系统恢复小组（SystemRecoveryTeam，SRT）共8人，分三梯队：a)第一梯队（值班组，7×24）：主机运维工程师2人，虚拟化运维1人，网络工程师1人；b)第二梯队（技术专家，30分钟内到岗）：DBA1人、安全工程师1人、存储工程师1人；c)第三梯队（厂商支持，2小时内到场）：服务器原厂、存储原厂、云厂商TAM各1人。2.3业务验证小组（BusinessValidationTeam，BVT）由质量保障部、核心业务线、客服中心共6人组成，负责在恢复后15分钟内完成28条黄金交易链路验证。2.4法律与合规接口人法务部1人，负责在恢复后4小时内判断是否触发《个人信息保护法》第57条“数据泄露通知”义务，并在72小时内向省级以上网信办书面报告。第三章预防与准备3.1基线镜像库a)每月第1个工作日由SRT制作“黄金镜像”，包含：操作系统最新补丁、公司Agent、监控插件、加固脚本；b)镜像格式：qcow2、vmdk、iso三份；c)存储位置：主备对象存储桶（Bucket名称：prod-golden-master/prod-golden-slave），启用WORM（一次写入多次读取）锁90天；d)校验方式：SHA-256值写入区块链存证平台，防止篡改。3.2快照策略虚拟化集群：–系统盘：每日00:30创建，保留7天；–数据盘：每6小时创建，保留3天；–内存快照：关闭，防止勒索病毒落盘。裸金属服务器：–采用LVM-thin快照，每4小时一次，保留12份；–快照脚本由Ansible统一推送，执行账号为snapuser，密钥托管在Vault。3.3备份验证每周三凌晨02:00随机抽取10%备份做“冒烟恢复”，记录指标：–恢复耗时、启动耗时、服务端口可达、业务返回码200比例≥99.5%；–失败案例需在8小时内修复备份链，否则禁止下周任何变更。3.4应急工具箱每台宿主机本地目录/opt/emergency/固定存放：–SystemRescueCD10.0镜像、WinPE11镜像；–最新版ClamAV、Rkhunter、GSmartControl、TestDisk；–公司自研脚本：fast-restore.sh、boot-repair.sh、hash-check.sh；–以上文件做SHA-256校验，任何改动立即触发告警。第四章事件分级与通报4.1分级标准P1：核心支付/交易链路中断，影响金额>1000万元/小时；P2：非核心生产系统中断，影响金额≤1000万元/小时；P3：测试/开发环境中断，无直接资金损失。4.2通报时限P1：5分钟内电话通知IC+短信通知CTO；P2：15分钟内电话通知运维经理；P3：30分钟内Jira创建INC单即可。4.3通报内容模板“事件单号+发现时间+现象+已影响业务+已采取措施+下一步计划+需协助事项”，禁止出现“正在处理中”等模糊字眼。第五章现场处置流程（可照做）5.1隔离阶段（0–5分钟）a)值班工程师立即登录跳板机，使用ansible-iproductionall-mshell-a"iptables-AOUTPUT-jDROP-d恶意IP"封禁外联；b)若无法远程，则通过带外管理口（iDRAC/iLO/IPMI）执行“强制关机”或“网络隔离”；c)记录时间戳，拍照截屏，保存第一现场。5.2评估阶段（5–15分钟）a)使用SystemRescueCD启动，执行fsck-y/dev/sda1，查看文件系统错误；b)运行公司脚本hash-check.sh，与区块链存证比对，输出报告/tmp/integrity.log；c)若SHA-256不一致文件>5%或关键二进制（/bin/sshd、/lib/libc.so.6）被篡改，直接进入“重建阶段”；d)若仅引导扇区损坏，进入“修复阶段”。5.3修复阶段（15–45分钟）适用场景：文件系统轻微损坏、GRUB丢失、WindowsBCD损坏。Linux：1)执行grub2-install/dev/sda，grub2-mkconfig-o/boot/grub2/grub.cfg；2)若/etc/fstabUUID改变，使用blkid获取新UUID并替换；3)重启后验证systemd目标multi-user.target可达。Windows：1)使用WinPE启动，打开命令行：bootrec/fixmbrbootrec/fixbootbootrec/rebuildbcd2)若提示“拒绝访问”，先执行diskpart将系统分区设为活动，再bcdbootc:\windows/ss:/fALL；3)重启后验证事件查看器无0xc000000e错误。5.4重建阶段（15分钟–2小时）适用场景：系统文件大面积被加密/篡改、Rootkit感染、硬件损毁。步骤：1)在虚拟化平台新建同名VM，CPU/内存/磁盘规格与原配置完全一致；2)将最近一份“黄金镜像”挂载为系统盘，数据盘挂载最近快照；3)启动后执行cloud-init自动注入新主机密钥、IP、主机名；4)使用Ansiblerole=base-hardning重新加固；5)数据库层通过pitr-restore.sh恢复到事件前15分钟；6)由BVT执行28条黄金验证用例，全部通过后方可上线；7)原主机硬盘做全盘镜像（ddif=/dev/sdaof=/nas/evidence/inc_XX.rawbs=1M），交安全部封存180天。5.5回退阶段（重建失败时启用）若重建后验证失败，立即：a)将流量切换至异地双活集群（DNS解析TTL设为30秒）；b)保留重建失败VM，克隆一份用于后续根因分析；c)事件等级自动升为P1，IC需在30分钟内召开MIM（MajorIncidentMeeting）。第六章数据一致性校验6.1数据库使用pt-table-checksum对比主备库checksum，差异>0则通过pt-table-sync修复；记录耗时、差异行数、修复语句，写入Jira备注。6.2对象存储使用s3cmdsync--dry-run对比本地与Bucket的ETag，若不一致，列出对象清单，使用s3cmdrestore拉取缺失对象。6.3消息队列Kafka：运行kafka-run-class.shkafka.tools.GetOffsetShell对比分区offset；RabbitMQ：使用rabbitmqctllist_queues对比消息条数；差异>1%则视为数据丢失，需从备份重放或补单。第七章根因分析与复盘7.1时间线必须精确到秒，来源包括：–jump-serveraudit.log；–zabbix/grafana监控；–WAF/IPS告警；–云平台APIEvent。7.2五问法模板1)为何文件被篡改？2)为何篡改5分钟未被发现？3)为何基线镜像未覆盖该目录？4)为何备份恢复耗时>2小时？5)为何验证用例未包含该接口？每问必须写出“事实”与“缺失控制点”，禁止写“加强管理”等空话。7.3改进工单每条缺失控制点对应一张JiraIMP单，指派到具体人，截止期限≤30天；SRE每周五review完成率，未完成则自动升级至部门VP。第八章法律与合规要求8.1数据跨境若恢复过程涉及将快照传至海外灾备区，需提前24小时向省级网信办做“数据出境安全评估”备案，否则禁止传输。8.2证据保全对疑似入侵的磁盘镜像、内存转储，按《网络安全法》第28条保存6个月；任何个人不得擅自删除，违者按《员工手册》第5.2条“重大违纪”处理。8.3日志留存系统日志、数据库审计日志、网络流量PCAP需留存12个月，加密写入WORM存储；超过期限由合规部发起销毁流程，双人双钥操作。第九章培训与演练9.1演练频率桌面演练：每月最后一个周五；实际切换演练：每季度末月，随机抽取5%业务做“盲演练”（不提前通知值班）。9.2演练评分表a)通报用时>5分钟扣10分；b)隔离失败扣20分；c)恢复用时每超10分钟扣5分；d)数据校验不一致直接判0分；满分100，<80分需重练并提交整改报告。9.3培训档案所有培训录像、签到表、考试卷保存至Confluence空间，retention3年；新员工入职1个月内必须通过“系统恢复open-book考试”，分数≥90方可申请生产权限。第十章常用脚本与命令清单（可直接复制使用）10.1Linux快速备份引导扇区ddif=/dev/sdaof=/boot/sda.mbr.backupbs=512count=1sha256sum/boot/sda.mbr.backup>/boot/sda.mbr.backup.sha25610.2Windows在线备份BCDrobocopyC:\Boot\\nas\backup\Boot/mir/r:0/w:0certutil-hashfile\\nas\backup\Boot\BCDSHA25610.3批量检查文件完整性!/bin/bashwhilereadfilehash;doecho"hadone</etc/golden.sha256|grep-v"OK">>/tmp/fail.log10.4一键恢复GRUBgrub2-install--target=i386-pc/dev/sdagrub2-mkconfig-o/boot/grub2/grub.cfgsystemctlreboot-i10.5数据库PITR恢复脚本（PostgreSQL）!/bin/bashTARGET_TIME="$1"systemctlstoppostgresqlrm-rf/var/lib/pgsql/12/data/rm-rf/var/lib/pgsql/12/data/tar-xzf/backup/full/latest.tar.gz-C/var/lib/pgsql/12/data/cat>/var/lib/pgsql/12/data/recovery.conf<<EOFrestore_command='cp/backup/wal/%f%p'recovery_target_time='$TARGET_TIME'recovery_target_timeline='latest'EOFsystemctlstartpostgresql第十一章附表与模板附表A：应急通讯录（24小时有效）IC总监RT值班厂商TAM表B：黄金镜像版本清单CentOS7.9-20240601-01WindowsServer2022-20240601-02Ubuntu22.04-20240601-03附表C：验证用例（节选）1)下单API/order/create返回200且耗时<500ms；2)支付回调/pay/callback能正常更新订单状态；…28)对账文件生成差异率<0.01%。附表D：应急物资清单USB-C转串口线5根；2TB移动硬盘10块（已加密）；SystemRescueCDU盘10个；一次性防静电手套50副。第十二章实施案例（2024年3月真实记录）事发系统：订单中心裸金属服务器10.255.1.47现象：GRUB提示“error:unknownfile