信息系统可用性监测管理办法

信息系统可用性监测管理办法一、第一章总则第一条为及时发现信息系统服务中断、性能降级和容量异常，规范可用性监测、预警、处置和复盘工作，保障业务连续运行，制定本办法。第二条本办法适用于本单位建设、运维或使用的各类信息系统，包括业务应用系统、数据库、中间件、主机、容器平台、网络设备、安全设备、机房环境以及第三方SaaS、云主机、专线等外部服务。第三条可用性监测遵循以下原则：•业务导向：以用户能否正常使用核心业务功能作为最终判断标准，不只监测设备是否在线。•全栈覆盖：监测范围覆盖机房、网络、服务器、平台、应用、接口、数据和外部依赖。•主动预警：通过阈值、基线、趋势和拨测，在故障影响用户前发现风险。•快速恢复：优先恢复业务，再定位根因；涉及数据损坏时，先保护现场和数据，再实施恢复。•闭环改进：每次告警、故障和变更均须记录、复盘、整改和验证。第四条本办法所称可用性，是指信息系统在规定时间和条件下处于可正常提供服务状态的能力。月度可用性计算公式为：A其中，A为月度可用性，Ttot第五条下列时间不计入可用性考核，但必须履行审批和通知程序：•经审批的计划内维护、升级、割接时间；•已提前向用户公告的例行停机时间；•因不可抗力导致且已按应急预案处置的时间；•第三方运营商故障中本单位已履行监测、通报和追偿义务的时间。未经审批的超时维护、回退失败、变更引发的业务中断，均计入不可用时长。二、第二章组织与职责第六条可用性管理实行“业务归口、技术主管、运维执行、监督评价”相结合的工作机制。第七条各角色职责如下：角色主要职责关键交付物信息化分管领导审批可用性目标、重大故障应急预案、年度演练计划和重大整改方案审批意见、资源协调记录信息化管理部门制定监测策略，组织平台建设、告警处置、故障复盘、考核评价监测报表、故障报告、整改台账运维团队7×24小时监测、告警响应、巡检、备份恢复、应急处置和监控配置维护值班记录、处置工单、巡检表开发团队应用健康检查接口开发、性能问题修复、应用级监控埋点、发布质量保障监控指标清单、修复版本、发布记录业务部门确认关键业务时点、核心功能清单、可接受中断窗口和业务影响等级业务影响分析表、恢复优先级确认单网络安全团队负责攻击、勒索、异常流量等安全事件与可用性事件的协同处置安全分析报告、封堵策略第三方服务商按合同提供监控接口、故障响应、备件和技术支持，参加复盘服务商处理报告、整改证明值班人员接收告警、初步判断、升级通报、执行标准处置步骤告警工单、值班日志第八条关键系统必须明确系统责任人、运维责任人、业务责任人和厂商联系人。责任人变更后1个工作日内更新应急联络通讯录；联系电话无人接听时，依次升级至其部门负责人和信息化管理部门负责人。三、第三章系统分级与可用性目标第九条根据业务影响范围、经济损失、社会影响和数据敏感性，将系统分为三级：级别判定标准典型系统月度可用性目标RTORPOA级，核心系统中断直接影响面向公众服务、核心生产、资金交易或重大政务活动；可能造成重大经济损失或严重社会影响核心交易、统一门户、办公登录、主数据库、关键政务服务系统不低于99.95%不超过30分钟不超过5分钟B级，重要系统中断影响内部主要业务运转，短时间内可通过人工方式替代业务管理后台、报表平台、接口平台、一般管理信息系统不低于99.9%不超过4小时不超过1小时C级，一般系统中断影响有限，可延后恢复或存在替代流程测试系统、内部知识库、非实时统计系统不低于99.5%不超过24小时不超过24小时RTO为恢复时间目标，即从故障发生到业务恢复的最长允许时间；RPO为恢复点目标，即故障后允许丢失数据的最大时间范围。第十条A级系统应当采用高可用架构，包括但不限于双机或集群部署、负载均衡、主备数据库、跨机柜或跨可用区分布。严禁将A级系统长期部署在单台物理服务器或单条专线上。第十一条每年至少开展一次业务影响分析。出现下列情形之一时，应当在10个工作日内重新评定系统级别：•业务用户量增长超过原评估值50%；•系统接入新的关键业务流程或对外服务接口；•系统由内网使用转为互联网访问；•发生三级及以上可用性故障；•监管部门、上级单位提出更高保障要求。四、第四章监测对象与指标第十二条监测指标必须覆盖用户体验、应用服务、接口交易、系统资源、数据复制、机房环境和外部依赖七类，不得只监测CPU、内存和设备在线状态。第十三条各类对象的最低监测要求如下：监测类别监测对象关键指标采集间隔用户体验首页、登录、查询、提交、支付等关键页面或操作拨测成功率、首屏时间、操作耗时、可用性1至5分钟应用服务应用进程、端口、事务、线程、连接池存活率、错误率、平均响应时间、并发数、队列堆积15至60秒接口交易内部API、第三方接口、批处理任务调用量、成功率、超时率、P95耗时、限流次数1分钟系统资源主机、虚拟机、容器、存储、数据库CPU、内存、磁盘、IOPS、网络吞吐、表空间、锁等待15至60秒数据复制主备库、备份任务、同步链路复制延迟、断点、备份成功率、日志缺口1至5分钟网络与安全路由器、交换机、防火墙、负载均衡、VPN、专线端口状态、丢包率、时延、带宽利用率、会话数30秒至5分钟机房环境配电、UPS、空调、温湿度、消防、水浸温度、湿度、负载、电池状态、告警干接点1至5分钟第十四条A级系统应当对核心业务链路实施端到端拨测。拨测脚本至少模拟登录、查询、提交三类真实操作；不得仅使用互联网控制报文协议ping或传输控制协议TCP端口探测作为应用可用性的唯一判据。第十五条性能阈值分为预警阈值和故障阈值。示例如下：指标预警阈值故障阈值首页或关键接口可用性连续3次拨测失败或成功率低于99%连续5分钟无法访问或成功率低于95%接口P95响应时间超过基线2倍持续3分钟超过10秒持续5分钟应用错误率大于1%持续3分钟大于5%持续5分钟CPU利用率大于70%持续10分钟大于90%持续5分钟内存或文件系统使用率大于80%大于90%或剩余空间不足30分钟增长量数据库主备延迟大于60秒大于RPO对应时间或复制中断网络丢包率大于1%持续3分钟大于5%持续5分钟机房温度超过27℃超过30℃或空调全部失效具体阈值可结合历史基线调整，但必须经运维负责人审批，并记录调整原因、调整前后阈值和生效时间。严禁为降低告警量而随意提高阈值、关闭监控或删除告警规则。五、第五章监测平台与数据管理第十六条监测平台应当具备数据采集、实时展示、告警通知、报表统计、拓扑关联、日志检索和工单联动功能。A级系统监测数据应当跨故障域存储，避免被监测系统故障时监测平台同时不可用。第十七条监测数据保留期限应当满足下列要求：•秒级或分钟级原始指标：不少于3个月；•聚合后的小时、日指标：不少于2年；•告警记录、处置工单和故障报告：不少于3年；•与网络安全事件相关的日志：不少于6个月，关键系统不少于1年。第十八条监测账号实行实名制和最小权限管理。只读监控账号不得授予业务数据写入、删除权限；涉及数据库查询的监控语句必须限定指标范围，严禁直接导出身份证件号、银行卡号、手机号等敏感个人信息。第十九条监测平台自身纳入监测范围，至少监测平台进程、采集任务、告警通道、存储空间和时钟同步。监测平台发生故障时，值班人员必须执行人工巡检，每30分钟通过电话或即时通讯群报送一次状态。第二十条告警通知至少配置两种通道，优先使用短信或电话，辅以即时通讯、邮件。A级系统严重告警必须同时触发电话通知。告警通道每月进行一次真实拨测，拨测结果记录在《告警通道测试记录表》。六、第六章监测、预警与处置流程第二十一条日常监测按“采集、判定、通知、响应、处置、恢复、验证、复盘”八个环节闭环管理。1.采集：监控代理或拨测节点按规定周期采集指标。2.判定：平台根据阈值、基线和告警抑制规则生成事件。3.通知：按告警级别通知值班人员和责任人。4.响应：值班人员在规定时限内确认告警并初步判断影响。5.处置：按标准操作规程执行恢复动作或升级专家支持。6.恢复：业务功能恢复、关键指标回到阈值范围内。7.验证：通过拨测、业务抽验和日志检查确认故障不再复发。8.复盘：记录时间线、影响范围、根因和整改措施。第二十二条告警分为三级：级别判定标准响应时限通知对象处置原则一级，严重A级系统中断、核心交易全部失败、数据库不可用、机房断电或网络出口中断5分钟内响应，15分钟内升级值班人员、系统责任人、信息化部门负责人、分管领导立即启动应急预案，优先切换或恢复，每30分钟通报一次二级，重要部分用户受影响、关键接口错误率升高、主备延迟超限、B级系统中断15分钟内响应，30分钟内升级值班人员、系统责任人、开发或网络负责人30分钟内控制影响，必要时回退、限流或切换三级，预警资源使用率超预警值、性能变慢、单节点故障但业务未中断30分钟内响应值班人员、相关运维人员当日处置或纳入整改计划，防止演变为故障第二十三条告警发生后，值班人员必须按照下列顺序判断：1.是否为误报：对比至少两个监测点，检查监控代理、网络和采集任务；2.是否影响用户：查看真实拨测、交易成功率和业务反馈；3.影响范围多大：涉及哪些系统、用户、区域、接口和上下游依赖；4.是否存在安全事件：排查勒索、异常登录、Web攻击、DDoS和数据外传；5.是否需要变更回退或灾备切换。不得因监控图中单项指标短暂恢复，就直接关闭告警；必须连续观察不少于10分钟，并完成一次真实业务操作验证。第二十四条常见故障的处置优先级如下：•应用发布后故障：优先按变更回退方案回退，再分析代码缺陷；严禁在生产环境长时间调试。•数据库主库故障：优先保证数据一致性，按预案切换至状态明确的备库；严禁在主备数据不一致时强制写入。•网络出口中断：优先切换备用线路或运营商链路，再联系运营商报修并留存工单。•主机硬件故障：优先将业务漂移至集群节点，再下线维修；单机系统立即启用备机或冷备设备。•机房环境异常：优先将负载迁移至其他机房或可用区，不能迁移时有序关停非关键系统以保障核心设备电力和制冷。•遭受网络攻击：先隔离受影响区域、启用流量清洗和访问控制，再开展溯源；处置措施不得扩大核心业务中断范围。第二十五条故障通报应当包含下列要素：发生时间、影响系统、影响范围、当前状态、已采取措施、预计恢复时间、下一次通报时间和联系人。通报内容不得隐瞒、迟报或仅使用“正在处理”等无实质信息的表述。七、第七章可用性事件分级与复盘第二十六条可用性事件按影响程度分为三级：事件级别判定标准启动权限复盘要求三级事件C级系统中断超过2小时，或B级系统性能降级但未中断运维负责人2个工作日内完成工单复盘二级事件B级系统中断超过30分钟；A级系统部分功能受影响超过15分钟；数据RPO超目标信息化部门负责人3个工作日内提交事件报告一级事件A级系统整体中断；核心业务连续中断超过30分钟；发生数据损坏、泄露或重大舆情信息化分管领导5个工作日内召开专题复盘会并提交整改方案第二十七条故障时间线必须精确到分钟，至少记录首次告警、人工确认、业务影响确认、升级、决策、处置、恢复、验证和对外通知时间。所有时间以监控平台、工单系统或运营商记录为准，不得事后估算。第二十八条事件报告应当包括：•事件概述和级别；•影响系统、用户、业务量和经济损失估算；•详细时间线；•直接原因和根本原因；•处置过程及有效性评价；•应急预案和监控暴露出的问题；•整改措施、责任人和完成时限；•同类系统排查结果；•需要管理层协调的资源或制度调整。第二十九条整改措施分为立即措施、短期措施和长期措施：•立即措施须在24小时内完成，如重启、扩容、回退、封禁、切换；•短期措施须在10个工作日内完成，如修补程序、调整参数、补充监控；•长期措施原则上在30至90日内完成，如架构改造、双活建设、自动化切换。整改完成后由提出问题的运维或开发人员验证，信息化管理部门销号。逾期未完成的，须向分管领导说明原因并重新确定完成日期。八、第八章变更、备份与演练管理第三十条可用性风险最高的环节是生产变更。所有发布、割接、补丁、配置调整和网络策略变更必须执行变更审批，明确影响范围、回退条件、回退步骤和验证方法。第三十一条A级系统变更应当避开业务高峰和重要保障期，原则上安排在业务低峰窗口。变更前必须确认备份可用、监控正常、回退方案已演练；不具备回退条件的，不得实施变更。第三十二条备份管理执行下列要求：•A级系统数据库每日至少进行一次全量或增量备份，关键日志实时或每5分钟备份；•B级系统每日备份一次，备份保留不少于30天；•C级系统根据业务需要备份，备份保留不少于7天；•备份数据必须与生产系统分开存放，并进行访问权限控制；•每季度至少执行一次恢复演练，记录恢复时长、数据完整性和发现的问题。第三十三条每年至少组织一次综合应急演练，A级系统每半年至少开展一次专项演练。演练形式可包括桌面推演、切换演练、备份恢复演练和机房故障演练。未经批准，不得在真实业务高峰开展可能影响服务的破坏性演练。第三十四条演练结束后5个工作日内形成演练报告，重点评估RTO、RPO是否达标、切换步骤是否可执行、人员是否熟悉操作、监控是否能发现故障。演练失败项必须纳入整改台账。九、第九章第三方服务管理第三十五条第三方云服务、运营商线路、SaaS应用和外包运维服务必须在合同或服务级别协议中明确可用性目标、故障通报时限、数据备份、配合调查和违约责任。第三十六条对第三方服务的监测要求包括：•运营商专线监测端到端时延、丢包率和中断时长；•云主机和云数据库监测官方健康状态、实例性能、磁盘和账单异常；•SaaS服务监测登录、关键功能和接口拨测；•外部接口监测调用成功率和超时率。第三十七条第三方服务发生故障时，业务责任方必须在30分钟内取得服务商工单编号或正式受理记录，并在恢复后5个工作日内取得服务商故障证明。不得以服务商公告代替本单位内部故障记录和业务影响评估。十、第十章报表、考核与持续改进第三十八条信息化管理部门每月5日前形成上月可用性月报。月报至少包括：•各系统实际可用性及目标对比；•不可用次数、时长、影响范围；•一级、二级告警数量及平均响应、恢复时间；•RTO、RPO达标情况；•备份和恢复演练结果；•高负载、容量趋势和潜在风险；•整改措施完成率；•下月重点保障建议。第三十九条月度可用性考核指标如下：指标计算方式目标系统可用率按第四条公式计算达到分级目标告警响应及时率按时响应告警数÷告警总数×100%不低于98%故障恢复达标率RTO内恢复事件数÷故障事件总数×100%100%整改按期完成率按期完成整改项÷计划整改项×100%不低于95%备份成功率成功备份次数÷计划备份次数×100%不低于99%恢复验证通过率恢复验证成功次数÷恢复演练次数×100%100%第四十条对监控缺失、告警不报、迟报瞒报、违规变更、无备份、伪造记录或因处置不当导致故障扩大的，按单位绩效和责任追究制度处理。对主动发现重大隐患、有效避免故障或在应急处置中显著降低损失的团队和个人，可给予通报表扬或绩效激励。第四十一条每季度召开一次可用性分析会，对重复告警、容量增长、变更失败率和厂商履约情况进行趋势分析。对连续两个月超过预警阈值但尚未发生故障的指标，必须制定容量扩容或性能优化计划。十一、第十一章附则第四十二条本办法由信息化管理部门负责解释和修订。国家法律法规、监管规定或上级单位另有更高要求的，从其规定。第四十三条本办法自正式发布之日起施行。已有制度与本办法不一致的，以本办法为准。附件一系统可用性分级登记表字段填写内容系统名称系统编号业务部门系统责任人姓名：；电话：运维责任人姓名：；电话：厂商联系人姓名：；电话：建议级别A级/B级/C级核心功能登录、查询、提交、支付、审批等用户范围内部用户/公众用户/特定单位用户规模约人服务时段7×24小时/工作日时至时可用性目标RTORPO部署位置机房、可用区、机柜、服务器编号关键依赖数据库、接口、专线、第三方服务备份方式全量/增量/实时复制业务部门意见签字：日期：信息化部门审核签字：日期：分管领导审批签字：日期：附件二告警处置SOP清单序号告警场景第一步第二步第三步恢复判据1首页无法打开从两个外部拨测点复测检查负载均衡、Web服务和防火墙切换节点或回退近期发布首页连续10分钟拨测成功，真实登录正常2登录失败检查统一认证、目录服务和证书有效期查看认证接口错误日志切换认证节点或恢复证书测试账号登录、权限加载正常3数据库不可用确认实例、监听和存储状态检查主备复制状态按预案切换备库应用连接正常，复制恢复，数据校验一致4接口超时查看调用量、线程池和下游依赖限流或熔断异常下游扩容或重启应用实例P95耗时低于阈值，错误率低于1%5磁盘空间超过90%确认增长最快目录清理可回收日志或临时文件扩容磁盘并排查异常写入使用率低于80%，写入正常6主备延迟超阈值检查网络、备库负载和归档日志暂停非必要批处理恢复复制或重新搭建备库延迟低于60秒且无日志缺口7专线中断本地端口和运营商线路双向检查切换备用线路联系运营商并取得工单两端ping、业务拨测连续10分钟正常8机房温度超限检查空调、UPS和配电告警启动备用空调或迁移负载必要时关停非关键设备温度回落至22℃至27℃9疑似勒索病毒断开受感染主机网络保留内存和日志证据隔离账号、封堵横向访问安全团队确认无扩散，从干净备份恢复10监测平台故障切换平台备用节点安排人工巡检修复采集和告警通道平台指标、告警、通知均恢复正常附件三告警通道测试记录表测试日期通道类型告警级别发送时间接收时间接收人是否成功失败原因处理结果测试人短信一级是/否电话一级是/否即时通讯二级是/否邮件三级是/否附件四可用性事件报告模板项目内容事件标题事件级别一级/二级/三级发生时间年月日时分恢复时间年月日时分中断时长分钟受影响系统受影响用户内部用户约人；外部用户约人业务影响首次告警时间人工确认时间升级时间关键决策时间直接原因根本原因处置过程按时间线填写监控发现的问题应急预案问题整改措施措施、责任人、完成时限同类系统排查结果报告人审核人附件五应急联络通讯录角色姓名岗位移