数据中心运行与管理自查报告

数据中心运行与管理自查报告本次自查依据《数据中心设计规范》GB50174-2017、《网络安全等级保护第三级基本要求》以及公司内部《数据中心运维管理规程》要求，对公司核心生产数据中心（总面积1200平米，设计机柜189架，当前部署142架，承载公司全部核心业务系统，包括交易系统、客户管理系统、核心账务系统共27套业务应用）开展全覆盖运行与管理自查，自查范围覆盖基础设施运行、IT资源运维、网络与信息安全管理、应急管理、人员管理五个核心模块，现将自查情况逐一说明。首先是基础设施运行状态自查，本次自查结合过去12个月的日常巡检记录、动环监控历史数据，开展了现场全点位复核，整体来看核心基础设施满足A级数据中心运行要求：两路10kV市政进线分别来自不同区域变电站，自动切换装置现场测试动作时间0.8秒，符合≤2秒的规范要求，过去12个月未发生切换失败故障，高压柜触头季度红外检测最高温度32度，远低于70度的报警阈值，不存在过热风险；低压侧4台进线柜最大输出负载率为42%，N+1冗余设计满足扩容需求；2台200KVAUPS组成2N冗余架构，过去12个月平均负载率分别为31%和29%，去年10月完成的蓄电池核对性放电试验显示，整组放出容量达到额定容量的92%，符合≥80%的运行要求；4台行间精密空调组成N+1冗余，冷通道封闭设计，过去12个月平均PUE为1.32，优于设计值1.35，冷通道平均温度稳定在22度，符合18-24度的A级要求；七氟丙烷气体灭火系统124个烟感温感月度报警测试全部正常，钢瓶压力全部处于合格区间，2022年完成全部气瓶检测，有效期到2027年；动环监控平台实现了温湿度、烟感、水浸、门禁、供电参数的全覆盖监控，过去12个月报警响应率100%。但现场复核也发现了多类潜在问题，部分问题属于日常巡检疏漏积累的风险：3号低压柜出线端子存在轻微积尘，1块母线排绝缘垫片有1mm左右的开裂，长期运行可能引发绝缘故障；有3节12V100AH蓄电池端电压偏差达到0.3V，超过了0.15V的允许偏差范围，存在容量提前衰减的风险；8号冷通道末端2个挡风帘因长期随机柜门开关拉扯，出现脱胶开裂，导致冷量泄漏，该区域局部热点温度达到26.8度，超过规范阈值；1号空调过滤网已经4个月未更换，积尘导致送风效率下降约8%；2个手动火灾报警按钮防尘盒破损，机房主出入口的气体喷放指示灯故障不亮，紧急情况下无法提示人员疏散；地下电缆沟入口的2个水浸传感器因安装位置靠近潮湿区域，普通传感器受潮频繁误报，过去一个月共发生7次误报警，干扰了运维正常响应秩序。其次是IT资源运行与管理自查，本次自助完成了全资产台账核对、运行参数梳理、合规性校验，全中心现有427台物理服务器，其中x86服务器412台、小型机15台，全部纳入Zabbix监控平台，过去三个月CPU平均负载率32%、内存平均使用率41%，不存在资源瓶颈，所有服务器均建立了唯一资产编号，标注了位置、责任人、上线时间信息；3套集中式存储总可用容量2.8PB，已使用1.62PB，使用率57.9%，预留了足够的扩展空间，所有存储均为双控冗余配置，核心系统执行每日增量备份、每周全量备份，每季度开展一次恢复测试，最近一次测试恢复成功率100%；网络层面2台100G核心交换机做虚拟化冗余，32台接入交换机全部双链路上联，南北向平均带宽使用率21%、东西向平均使用率27%，不存在带宽瓶颈。本次自查也发现了多项管理和配置层面的问题：7台半年前完成测试的下线服务器未做资产下架和断电处理，一直处于空转状态，每年浪费约1200度电力；12台2018年上线的服务器硬盘累计运行时间超过4万小时，已经超过厂商设计的5年使用寿命，虽然未出现硬件故障，但坏道发生率会提升3倍以上，存在突发宕机风险；核心账务系统去年11月完成的年度全量备份离线介质，未按要求转移到异地灾备仓库，一直存放在机房杂物间，一旦发生机房火灾、水灾，会导致备份数据全部丢失，无法恢复业务；6条2年前已经下线的旧业务链路，未在核心交换机删除配置，也未做物理拆线，配置冗余不仅增加了配置管理复杂度，还存在误操作引发业务中断的风险；所有核心交换机的Console口都没有做物理封锁，未加装防护锁，非授权人员可以直接接入修改配置，不符合等级保护的安全要求；3套非核心业务系统因原开发团队离职，已经半年没有做过漏洞扫描和版本更新，存在未被发现的安全漏洞；核心交易系统当前日志存储周期仅为90天，不符合监管部门要求的180天存储规定，存在合规风险。本次自查梳理出的所有具体问题整理如下：模块分类问题具体描述风险等级整改要求责任部门计划完成时间基础设施3号低压柜出线端子积尘、1块母线排绝缘垫片开裂中风险停电清理积尘，更换开裂绝缘垫片，完成后做绝缘耐压检测基建运维组2024.10.31基础设施3节蓄电池端电压偏差超标，存在容量衰减突发宕机风险中风险更换故障蓄电池，完成后重新做整组端电压一致性检测基建运维组2024.10.20基础设施8号冷通道挡风帘脱胶开裂，局部热点温度达到26.8℃中风险更换定制挡风帘，整改后重新对所有测温点做温度校验基建运维组2024.10.15基础设施1号空调过滤网4个月未更换，积尘导致送风效率下降8%低风险更换全部4台空调过滤网，调整全网过滤网更换周期为2个月/次基建运维组2024.10.10基础设施2个手动报警按钮防尘盒破损，机房出入口气体喷放指示灯不亮低风险更换防尘盒和故障指示灯，测试报警和指示功能正常基建运维组2024.10.15基础设施2个地下电缆沟水浸传感器受潮出现误报，月误报7次低风险更换防水型水浸传感器，调整传感器安装位置远离高湿度区域基建运维组2024.10.25IT资源管理7台下线测试服务器未下架断电，空转浪费电力低风险完成设备下架和资产核销，整理闲置服务器资源池统一调度IT运维组2024.10.15IT资源管理12台超期服役服务器硬盘过设计寿命，存在坏道突发故障风险中风险逐盘检测坏道记录状态，制定分批更换计划，三个月内完成全部硬盘更换IT运维组2024.12.31IT资源管理核心账务系统离线备份介质未按要求存放异地灾备仓库，违规存放于机房杂物间高风险立即转移备份介质到异地灾备仓库，完善介质归档流程，每次归档后双人签字确认归档位置IT运维组2024.10.10IT资源管理6条下线旧业务链路未删除配置未物理拆线，存在误操作中断业务风险中风险删除冗余配置，完成物理拆线，梳理全网络所有链路配置，清理全部过期冗余配置网络组2024.10.20IT资源管理核心交换机Console口未做物理封锁，不符合等保三级安全要求高风险全部核心网络设备、存储设备的Console口加装物理防护锁，非授权运维情况下禁止接入网络组2024.10.15IT资源管理3套非核心业务系统半年未更新未做漏洞扫描，原开发人员离职无人维护中风险评估业务可用性，无使用需求立即下线，有使用需求安排专人接手，完成全量漏洞扫描和必要版本更新IT运维组2024.11.15IT资源管理核心交易系统日志仅存储90天，不符合监管要求的180天存储要求中风险扩展日志存储节点容量，调整日志存储周期为180天，完成历史日志补齐归档开发运维组2024.10.31安全管理19条过期防火墙访问策略未清理，规则冗余增加安全风险中风险全量梳理所有访问控制策略，删除全部过期冗余策略，优化规则排序提升防火墙运行效率安全组2024.10.25安全管理外网出口抗DDoS清洗阈值未随业务流量增长调整，上个月出现误清洗拦截正常业务流量12分钟中风险重新评估近半年基线流量，调整清洗阈值，明确每季度定期复核阈值设置的要求安全组2024.10.15安全管理4个离职人员账号未禁用，含1个第三方厂商工程师的核心设备管理员账号高风险立即禁用全部离职账号，梳理全平台所有账号权限，每季度做一次全量账号复核清理安全组2024.10.10安全管理12个开发人员项目上线结束后未回收生产数据库查询权限，不符合最小权限原则中风险回收所有多余权限，梳理所有开发人员生产环境权限，只保留必要的运维排查权限安全组2024.10.20安全管理堡垒机运维审计日志仅存储6个月，不符合等保三级要求的12个月存储要求中风险扩展堡垒机存储容量，调整日志存储周期为18个月，满足合规冗余要求安全组2024.10.31安全管理3个第三方厂商遗留中高危漏洞因厂商停止更新无法打补丁，未采取任何防护措施高风险部署WAF虚拟补丁，通过防火墙策略限制漏洞端口访问，协调厂商出具安全替代方案安全组2024.11.10安全管理合规抽查发现3台运营办公电脑存储未加密的客户敏感数据，去年同类问题整改后仍复发高风险删除违规存储的未加密敏感数据，给所有接触敏感数据的办公电脑启用全盘加密，部署DLP数据防泄露系统管控外传行为合规组2024.10.31安全管理核心数据库新增3个敏感字段未纳入脱敏范围，开发测试环境使用未脱敏的生产数据中风险更新数据脱敏规则，对开发测试环境所有生产数据完成全量脱敏，完成脱敏效果验证数据安全组2024.11.15完成显性问题梳理后，本次自查还针对管理体系层面开展了深度排查，在应急管理模块，当前中心共有12项专项应急预案，覆盖市电中断、火灾、核心系统宕机、数据泄露等常见突发事件，每年固定开展2次全流程应急演练，今年4月完成市电中断演练、9月完成核心系统故障演练，但自查发现应急预案末次更新为2021年，近三年数据中心新增了72架机柜、替换了3套核心业务系统，应急处置的责任分工、处置流程都发生了变化，预案内容未同步更新，实际应急情况下无法直接使用；应急物资储备盘点发现，缺少2块核心交换机的100G光模块，备用蓄电池储备量仅为总容量的5%，达不到制度要求的10%储备标准，突发故障无法快速替换；此外，演练发现的问题整改闭环不到位，今年4月演练中就发现动环监控平台的报警推送存在延迟，最长延迟达到3分钟，该问题一直未安排整改，至今仍然存在。在人员管理模块，当前中心共有专职运维人员12人，其中基础设施运维4人、IT运维5人、安全运维3人，全部持有对应岗位的资质证书，高压电工、消防设施操作员、等保测评师等资质全部在有效期内，符合岗位要求，但自查发现，今年入职的3名新运维人员未完成完整的合规安全培训，也未签署岗位保密协议，不符合内部管控要求；第三方运维人员管理不规范，厂商工程师上门运维，多数时候仅提前口头告知，未走正式的入场审批流程，部分上门运维没有安排内部人员全程陪同，上个月存储厂商工程师上门更换硬盘，单独在机房停留2小时无人跟进，存在违规操作风险；核心运维岗位轮岗制度未执行，当前负责核心网络和核心数据库的2名运维人员已经在同一岗位任职4年，未按制度要求每2年轮岗一次，存在内部管控风险。针对本次自查发现的所有问题，我们梳理了问题产生的根源：一是日常运维精细化程度不足，多数问题都是日常巡检只关注核心参数、忽略物理状态和配置细节，小问题长期积累形成潜在风险，比如挡风帘开裂、端子积尘这类问题，只要日常巡检细致就能提前发现；二是制度执行打折扣，很多管理要求都有明确的制度规范，比如备份介质异地存放、离职账号禁用、敏感数据加密，但一线人员嫌流程繁琐，不按制度执行，导致同类问题反复出现；三是合规风险意识不足，很多合规要求是等级保护和监管部门明确规定的，但部分人员认为只要不影响业务运行，没必要严格执行，比如Console口封锁、日志存储周期这类要求，长期被忽略；四是全生命周期管理不到位，老旧硬件超期服役、预案不更新这类问题，本质是没有建立动态更新的管理机制，资源和流程随业务变化后没有同步调整。针对上述问题，我们已经制定了完整的整改落地计划，首先是按风险等级推进问题整改，高风险问题要求10个工作日内全部完成整改，中风险问题30个工作日内完成，低风险问题15个工作日内完成，每个问题明确责任人和完成时限，整改完成后由合规部门逐一复查，复查不合格的重新整改，整改结果纳入责任人月度绩效考核；其次是优化日常运维巡检机制，将原来的“只查参数”调整为“物理状态+运行参数”双检查，基础设施每周开展一次现场全点位巡检，IT资源每两周开展一次全资产扫描，每个月月末开展一次问题复盘，当月发现的小问题当月整改，避免风险积累；第三是强化制度执行的刚性约束，每季度开展一次全流程合规审计，覆盖账号权限、备份管理、数据安全、第三方管理所有模块，发现违规操作直接考核责任人，同时将合规要求嵌入运维流程，比如备份介质归档流程，必须上传异地存放的签字凭证才能闭环，没有凭证流程无法结束，从流程上避免违规；第四是完善应急和人员管理体系，每年更新一次应急预案，每半年开展一次应急物资盘点，补充缺失物资，每次应急演练后10个工作日内完成问题整改，形成“演练-复盘-整改-优化”的闭环，新入职人员必须完成安全合规培训、签署保密协议才能上岗，第三方运维必须走审批流程，入场后全程专人陪同，核心岗位严格执行每2年一次的轮岗制度；第五是建立全生命周期风险预判机制，所有硬件资产从上线开始就记录运行时间和寿命周期，