it项目应急预案

精品文档 2016 全新精品资料 全程指导写作 独家原创 1 / 77 目应急预案 篇一： 急预案编写指南 _图文 系统应急响应及恢复预案编写指南 2011年 2011年 7月1 日第 1 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 2 / 77 目录修订说明： . 4 修订记录 . 6 1. 总则 . 目 的 和 依据 . 7 适用范围 . 7系统及资源 . 系统信息 . 9 精品文档 2016 全新精品资料 全程指导写作 独家原创 3 / 77 系统描述 . 10 运行指标 . 10 关联系统 . 12 物理架构 . 12 网络拓朴 . 12 端口 . 12 系统软硬件 . 12 后备资精品文档 2016 全新精品资料 全程指导写作 独家原创 4 / 77 源 . 14 用户分配 . 15 其他信息 . 15 标准处置预案 . 标准处置 . 18故障快速定位 . 快速 定位流程 . 21 第 2 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 5 / 77 定 位 流 程 描述 . 21 故障快速定位排查内容 . 21 系统应急场景分类及描述 . 故 障 场 景 分类 . 22 硬件故障场景 . 22 通用软件故障场景 . 26 应用软件故障场景 . 28 网路故障场景 . 29 其它故障场精品文档 2016 全新精品资料 全程指导写作 独家原创 6 / 77 景 . 30 恢复回切场景 . 30 附录 . 31 附 录 一 ： 人 员 联 系表 . 31 附录 二 ： 应 急 演 练 方案 . 32 附录三：应急演练报告 . 32 附录四：故障应急报告 . 32 附录五：故 障 现 场 收 集 脚本 . 32 第 3 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 7 / 77 修订说明： 修订说明：北京数据中心于 2011 年 3 月推出 北京数据中心总体应急预案 （简称总体预案）和中国建设银行 统应急响应及恢复 预案（模版 简称新预案模板） 。 总体预案主要适用于北京数据中心信息系统突发事件的处理， 并 指导各信息系统编制系统应急预案。在总体预案中，对事件分级及处 置原则、中心应急组织架构及职责、应急响应及恢复流程、应急预案 管理等内容进行了描述。 新预案模板主要用于指导数据中心各系统应急新版预案的修订 工作。新预案模板在 本基础上，对架构和内容进行了全面的 修订，重点加强 了系统应急管理、故障快速定位和故障场景等内容的 描述。可确保特定系统发生突发事件时，应急人员能依据预案预设内 容，规范处置和快速恢复应用。系统预案中相关的事件分级、处置和 应急流程等在总体预案中都有详细描述。在修订过程中，编制人员可 参照总体预案进行新版预案的修订。 新预案模板由六章组成，分别是总则、系统及资源、标准处置预 案、故障快速定位、系统应急场景分类及描述和附录。新预案模板与 预案在文档结构对照关系可参见下表：第 4 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 8 / 77 新版预案模板 总则旧版预案模板 注 新增内容 2 系统及资源 二章部 分内容 新增内容 新增内容 3 标准处置预案 4 故障快速定位 5 系统应急场景分类及 7. 技 术 应 急 维 护 操 作 对应旧预案第七章部分 描述 手册 内容 对应旧预案第九章部分 内容 相关内容将统一出现在 中心总体预案中 6 附录 9 附录 5系统应急管理 6应急处理流程 8. 预案演练和更新新预案模板保持了应急预案版本建设的连贯性， 减少了预案版本 升级所可能产 生的困难和产生的工作量，便于预案修订人员参考使 用。本编写指南在主体结构与预案模板也基本保持一致，希望能帮助 预案修订人员顺利完成新版应急预案修订工作。第 5 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 9 / 77 修订记录说明：每次系统升级及变更配置后，都必须对应急预案做相应的 修订， 确保这些变化造成的影响能够在应急预案模版中反映出来并使 之符合系统现有状况。预案维护人员严格执行版本控制，在预案内容 更新后时应该确保相关人员都能及时得到最新版本。 示例：修订日期 本号 订说明 建立数据中心应急预案模板 修订应急预案第五、六、七章节 修订第四、第七、第八章节 修订人 吴磊 吴磊 吴磊 审核 杨晓勤 张翔 张翔 付林全面修订应急预案结构和内容， 新增第三、 吴磊 第四章内容第 6 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 10 / 77 1. 总则 目的和依据 说明：请在此简要描述本预案编制的主要目的，本预案在建设银 行业务持续性突发事件应急响应及恢复工作（以下简称“应急响应及 恢复工作” 过程中所发挥的作用和执行的功能，以及编制本预案的主 ） 要依据。示例： 防 垃圾邮件网关系统（ 急预案（以下简称 案） 是邮件网关系统遇到紧急情况或运行中断后为恢复邮件网关服务 所采取的快速有效的应对手段。通过建立包含应急启动、执行、恢复 等流程、步骤和技术操作方案，为系统相关组织、人员处理应急情况 提供指导；并作为与总行其他应急相关人员进行协调的依据。 适用范围 说明：请在此明确本应急预案的具体适用范围。如指明该预案适 用于因 发事件所导致的建设银行 务发生中断， 需要采 取应急处置和恢复措施予以应对的操作风险事件。示例：第 7 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 11 / 77 本系统应急预案适用范围是北京数据中心与本系统有关的所有 组织体系和人员， 适用于北京数据中心邮件网关系统的运行所需的功 能，操作和资源。该预案适用于因邮件网关系统突发事件所导致的建 设银行邮件收发发生中断， 需要采取应急处置和恢复措施予以应对的 操作风险事件。邮件网关系统简称为 品英文名称为 件网关。第 8 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 12 / 77 系统及资源 2. 系统及资源 系统信息 系统信息 应用系统中文全称： 说明：请在此描述应用系统在北京数据中心（或 统中）的中 文全称。应用系统英文缩写： 说明：请在此描述应用系统在北京数据中心（或 统中）的英 文简称。应用系统负责部室： 说明：请在此描述应用系统在数据中心（或 统中）的负责部 室。 应用系统管理员：说明：请在此描述应用系统在数据中心（或 统中）的应用预 案修订人员 A/B 角或者管理团队。平台系统管理员： 说明：请在此描述应用系统在数据中心（或 统中）的平台预 案修订人员 A/B 角或者管理团队。第 9 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 13 / 77 网络管理员： 说明：请在此描述应用系统在数据中心（或 统中）的网络管 理员 A/B 角或者管理团队。系统描述 系统描述 系统功能： 说明：请在此描述应用系统的主要功能。支撑业务： 说明：请在此描述应用系统所支撑的所有业务应用。业务影响范围： 说明：请在此描述应用系统故障后可能影响的范围。 运行指标 运行指标 说明：请在此补充应用系统的常用的一些运行指标，如恢复时间目标 (恢 复 点 目 标 (运行维护级别、可用性要求，性能要求，业务连续性要 求，安全性要求，可管理性要求，可维护性要求等。 运行指标解释：第 10 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 14 / 77 1）恢复时间目标（ ：是指突发事件发生并导致业务或系统中断 后，从中断到必须恢复的时间要求。 2）恢复点目标（ ：是指突发事件发生并导致业务或系统中断 后，数据必须恢复到的时间点要求，即数据可容忍丢失的最大时间长 度。 注意：恢复时间目标（ 恢复点目 标（ 必填项。在 营业不同时间段 （业务高峰、 业务空闲和非业务时间） 如对 不同要求，请单独列举。示例： 邮件网关系统运行指标 恢复时间目标（ 分钟。 ： 0 恢复点目标（ ： 10 分钟。 运行维护级别： 5*8（ 8:30 - 17:30） 。 可用性要求：全年系统可用性达到 性能要求：系统最大并发连接数 8000 个 接，邮件处理速 度 150 封 / 秒 ， 邮 件 延 迟 时 间 平 均 值 业务连续性要求： 7*24 连续运行。 安全性要求：防攻击性能参数 170,000 次 /小时 包括字典攻击、目 录攻击、病毒攻击、压缩文件攻击等。第 11 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 15 / 77 关联系统 说明：请在此描述与该系统运行相关的其它关联系统情况，如：何种 关联系统？所涉及何种业务等。 物理架构 物理架构 说明：请在此描述系统物理拓朴结构及简要描述（包括放置在哪个机 房，物理如何连接、以及何其他系统的关联拓扑等）网络拓朴 网络拓朴 说明：请在此描述系统网络拓朴结构及简要 描述 端口 说明：请在此描述简要描述系统使用的 址及端口（请填写包括 带外管理在内的所有网络地址和端口）系统软硬 软硬件 系统软硬件 说明：请在此描述主机设备的具体配置及参数。第 12 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 16 / 77 示例：主机设备一：邮件网关系统主服务器，设备用途： 设备编号： 设备位置： 北京洋桥 2 层 设备型号： 备序列号： 99备微码： （主要设备） 数量： 操作系统及版本： 业版 数据库及版本：间件及版本： 地硬盘 别： 地硬盘大小及数量： 146*6 网卡一 00无 址 ) 内存大小： 8G 网卡二 00 址） 网卡：3 块网卡 网卡三 00 其他 说明：请在此描述系统安装的各种软件的具体信息及用途，请将系统 所用软件按系统软件、中间件、数据库、应用等进行划分。示例：软件类型 操作系统 产品名称 本号 2. 13 页 共 34 页用途说明 生产精品文档 2016 全新精品资料 全程指导写作 独家原创 17 / 77 据库 应用软件 生产 生产 磁盘阵列 磁盘 / 说明：请在此描述系统所用的磁盘及磁盘阵列。 说明：请在此描述系统所用的磁带 存储。网络设备（如路由器、交换机、负载均衡等） 路由器、交换机、负载均衡等） 说明：请在此描述系统专用的各种网络设备 其它硬件设备（如加密机等） 硬件设备 加密机等） 说明：请在此描述系统专用的各种硬件设备。 后备资源 说明： 请在此描述系统各种后备资源， 如系统的数据备份、 硬件配件、 软件备份等资源信息。 说明： 请在此描述系统可能有的操作系统、 应用系统和应用数据备份，第 14 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 18 / 77 要说明备份等级、备份时间、备份介质、存放位置和保管人等信息。 说明：请在此描述系统可能有的各种硬件配件，如大机、小机、服务 器、网络设备、计算机备件和其它相关配件。对这些配件要注明具体 型号、序列号、服务期限、保存位置和保管人等信息。 说明：请在此描述系统可能有的各种软件备份，如操作系统、数据库 系统、应用软件备份等。对这些备份要注明具体产品名称、版本号、 保存位置和保管人等信息。 用户分配 说明：请在此描述系统可能有的各种用户，包括系统原有和自建的用 户。 要明确用户角色、用户组及其它相关信息。 其他信息 说明：请在此描述其它与系统相关的需要描述的信息。第 15 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 19 / 77 标准处置预案 3. 标准处置预案 说明：请在此描述系统预设的一些标准处置预案，如主备机切换、应 急库切换、灾备环境标准切换、硬件设备标准关闭、硬件设备标准重 启等标准处置预案。 下面列举了常见的一些标准处置预案但不完善， 请预案编制人员根据 系统实际情况酌情修订。 在预案模板中，系统标准处置预案列举如下： 1） 主备机标准切换：该处置预案应包含系统各 种设备在运行中出 现意外时，所涉及的各种应急切换处置步骤。设备包含大机、 小机、服务器、网络设备、专用设备、存储等。 2） 应急库标准切换 : 该处置预案应包含系统切换应急库的相关处 置步骤。 3） 灾备环境标准切换：该处置预案应包含系统切换灾备环境的相 关处置步骤。 4） 硬件设备标准关闭：该处置预案包含系统硬件设备关闭时的相 关处置步骤。 5） 硬件设备标准重启：该处置预案包含系统硬件设备重启时的相 关处置步骤。 6） 数据库标准关闭：该处置预案包含系统数据库关闭时 的相关处 置步骤 7） 数据库标准重启：该处置预案包含系统数据库重启时的相关处第 16 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 20 / 77 置步骤。 8） 应用服务标准关闭：该处置预案包含系统应用服务关闭时的相 关处置步骤。 9） 应用服务标准重启：该处置预案包含系统应用服务重启时的相 关处置步骤。 10） 中间件标准关闭：该处置预案包含系统中间件关闭时的相关处 置步骤。 11） 中间件标准重启：该处置预案包含系统中间件重启时的相关处 置步骤。 12） 其它通用软件标准关闭：该处置预案包含系统其它通用 软件关 闭时的相关处置步骤。 13） 其它通用软件标准重启：该处置预案包含系统其它通用软件重 启时的相关处置步骤。 14） 硬件模块故障标准处置：该处置预案应包含系统设备出现硬件 模块故障，需要进行在线更换的相关处置步骤。涉及模块如电 源、 存、 、光纤卡等。 15） 恢复回切标准处置：该处置预案应包含系统通过故障救治，排 除故障后恢复到原生产环境所涉及的各种回切处置。第 17 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 21 / 77 标准处置 说明：请在此对标准处置的主要用途做简要描述。修订日 期： 说明：请在此描述该标准处置最近一次验证和修订的日期。处置时间： 说明：请在此描述完成操作需要的时间。操作步骤： 说明：请在此描述具体操作步骤，要求详细到具体的操作命令。验证步骤： 说明：请在此描述操作完后的验证步骤，也要求详细到具体的操作 命令。示例： 标准处置 1：主备机切换 该标准处置主要起如下作用： 生产环境邮件网关设备出现故障无法 工作情况下，邮件网关备机通过该标准处置可紧急接管服务。第 18 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 22 / 77 修订日期： 2011 年 3 月 10 日。 处置时间： 处置时间 操作步骤： 1） 进入运维终端 E:日常备份 月报 邮件网关邮件服务器策略明 细表，找到当日备份及证书备份； 2） 将备机的 址修改为生产主机地址 (重新 启动 网 络 ； 具 体 操 作 命 令 为 ： ，将 中的地址修改为生产 地址，存盘退出编辑。 3） 将邮件网关 31 主机的网线拔除并插到备机对 应网卡中； 4） 在 超 级 用 户 权 限 下 执 行 应 用 启 动 命 令 ： #/d/ 5 ） 用 户登录 ，进入系统设置 设置向导 入（验证）备份 的证书序号和激活码。 6） 继续在系统设置 立即更新反病毒库和反垃圾邮 件库。 7） 登录 ，在系统 备 份管理导入终端中的备份文件，恢复系统配置及策略设置为第 19 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 23 / 77 31 主机状态； 验证步骤： 1） 登录 、系统面板， 分别检查设置是否已经恢复成功， 对外连接的服务器状态是否 正常； 2） 继续在 ，统计与日志中，分别查 看邮件日志、投递邮件、系统状态、过滤统计等，测试收发邮 件是否正常 工 作 ， 过 滤 是 否 正 常 ； 3 ） 登录 ， 在系统历史统计 数据中，分别查看 盘、内存、 络接口卡等硬 件运行情况； 如以上三部分检查都正常，则说明系统主备机切换成功。第 20 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 24 / 77 4. 故障快速定位 快速定位流程 说明：请在此描述当系统出现未知故障情况下，应急人员因按照何种 预设流程进行故障排查，以便能快速定位系统故障。为规范和方便大 家填写故障快速定位流程， 在预案模版中预设一个空白的应急预案的 维护流程，预案修订人员需要根据系统特点修改完善。 定位流程描述 定位流程描述 说明：请根据上节的定位流程图，翔实描述各具体定位流程步骤。 ） 1、 2、故障快速定位排查内容 快速定位排查 故障快速定位排查内容 说明：请在此详细描述在系统故障排查时，可能涉及的检查的内容、 执行的命令、指标阀值等。在预案模板中预设了快速定位排查表，主 要涉及应用应用软件、网络状态、硬件状态、通用软件等检查内容。 预案修订人员要求认真考虑排查的优先顺序， 按照最快故障排查定位 的原则对优先顺序进行排序。每步排查步骤都要求有检查内容、操作 步骤、操作 /复核人、检查结果等具体信息。并要求根据排查结果指 定下一步检查内容。如故障定位检查需要相关系统配合，也请按照排 查顺序，将相关检查内容添加到排查表中。 如检查内容较多，可在排查表中简要描述检查项，详细内容放在预案 附录中。第 21 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 25 / 77 系统应急场景分类及描述 5. 系统应急场景分类及描述 故障场景分类 说明：请预案修订人员根据系统特点，在此对故障场景进行分类并简 要描述，要求故障场景分类应能覆盖系统所有可能出现的故障场景。示例： 系统故障场景按照故障特点 分为五类：硬件故障场景、通用软件 故障场景、应用软件故障场景、网络故障场景和其它故障场景。 要包含系统硬件方面的故障场景。例如。 。 要操作系统、数据库软件、中间件等方面的 故障场景。例如。 。 要包含业务应用系统方面的故障。例如。 。 要包含与网络相关的故障场景。例如。 。 要包含系统相关的外联系统、外部环境等方面的 故 障。例如。 。硬件故障场景 硬件故障场景 说明：请在此详精品文档 2016 全新精品资料 全程指导写作 独家原创 26 / 77 细列举并描述系统可能出现的各种硬件场景，在预案 模板中列举了一些常见的故障事件， 预案编制人员要根据系统实际情 况酌情修订。 修订后预案表中的列举的故障事件都要求在预案随后的 章节里进行详细描述。 （预案编制人员在修订应急步骤时，建议参考第 22 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 27 / 77 平台部编制的通用故障处理方案，该方案内包含 过故障处理流程和应急处理步骤。 ） 在预案模板中，系统硬件常见故障事件列举如下： 1） 2） 3） 4） 5） 6） 7） 8） 9） 大型机异常报错 小型机异常报错 加密机设备异常 服务器异常宕机 设备网卡异常 设备 常 设备硬盘异常 设备内存异常 设备光纤卡异常 10） 设备 异常 11） 设备 异常 12） 设备串口卡异常 13） 设备其它部件异常 障事件 说明：请在 补全具体故障事件名称。 修订日期： 说明：请在此描述该故障事件处置最近一次验证和修订的日期。 事件级别：第 23 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 28 / 77 说明：请在此设定该故障事件等级（一级 /二级 /三级 /四级 /五级 /六 级） 。划分原则请按照中国建设银行信息系统生产事件等级认定规 定 (试行 ) (建总发 2010 138 号 )对事件级别的划分。 授权级别： 说明： 请在此设定执行该故障救治步骤所需要的授权级别中心领导授 权 /部室负责人授权 /部室日常授权 )。 授权级别的设定可参照中心总体 预案中的授权级别设定原则。 处置时间： 说明：请在此在设定执行救治措施 ，完成故障处置该所需要的时间。 场景描述： 说明：请在此简要描述该故障场景可能出现的状况和现象。 验证方法： 说明：请在此简要描述可确认该故障事件验证方法和手段。 现场保护： 说明：请在此描述进行现场保护所使用的现场收集脚本。部分脚本 可见附录。 精品文档 2016 全新精品资料 全程指导写作 独家原创 29 / 77 救治步骤： 说明： 请在此此翔实描述故障救治步骤， 要求细化到具体的操作指令。 如救治步骤调用前面标准处置章节的内容， 则必须在此注明调用的具 体章节号及名称。第 24 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 30 / 77 示例： 邮件网关集群中一台设备硬件宕机 修订日期： 最近一次验证和修订的日期为 2011 年 3 月 11 日 事件级别： 五级事件 授权级别： 部室负责人授权 处理时间： 26 分钟 场景描述： 场景描述： 1. 应用监控人员通过邮件、短信、实时监控等渠道得知主机不 可用。 2. 应用用户可以 主机 址， 但不能从控制台登入操作 系统，且未发现硬件故障灯亮。 （ 3 验证方法： 3 分钟） （ 1. 进入 主机房检查主机上是否有硬件报错或是否有黄灯闪，如 果没有则说明不是因为硬件的损坏导致的主机不可用。 （ 3 现场保护： 3 分钟） （第 25 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 31 / 77 1) 如果系统无法响应且屏幕有信息，用手机将提示信息拍下，或者 用笔将文字记录下来； 2) 系统重启后，执行 本将系统相关的信息和日志收集 起来，以备分析故障时使用。 （ 20 救治步骤： 20 分钟） （ 1) 将备机的 址修改为生产主机地址 (重新启动 网 络 ； 具 体 操 作 命 令 为 ： vi/ 将 中 ， 的地址修改为生产地址，存盘退出编辑。 2) 将邮件网关 31 主机的网线拔除并插到备机对应网卡中； 3) 在超级用户权限下执行应用启动命令：#/d/ 4) 用 户登录 ，进入系统设 置 设置向导 入（验证）备份的证书 序号和激活码。 5) 继续在系统设置 即更新反病毒库和反垃圾邮件 库。 6) 登录 ， 在系统 备份管 理导入终端中的备份文件， 恢复系统配置及策略设置为 31 主机状 态；通用软件故障 故障场景 精品文档 2016 全新精品资料 全程指导写作 独家原创 32 / 77 通用软件故障场景 说明： 请在此详细列举并描述系统所有可能出现的操作系统、 数据库、第 26 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 33 / 77 中间件等通用软件故障场景。 在预案模板中列举了一些常见的故障事 件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的 列举的故障事件都要求在预案随后的章节里进行详细描述。 （预案编 制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方 案，该方案内包含 过故障处理流程和应急处理步骤。 ） 在预案模板中，系统通用软件常见故障事件列举如下： 1） 2） 3） 4） 5） 6） 7） 8） 9） 系统数据库崩溃 数据库存储损坏 数 据库无法正常处理请求 数据库表死锁 数据库表数据无法插入 逻辑日志满导致数据库挂起 数据库启动失败 数据库交易处理缓慢 数据库表空间 数据库无法连接或无响应 11） 数据库性能极剧下降 12） 数据库短时间内不可用 13） 数据库实例监听宕掉 14） 数据库实例出现大量等待事件 15） 数据库实例无法切换逻辑日志第 27 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 34 / 77 16） 务异常或僵死 17） 例异常或僵死 18） 作系统异常或报错 19） 作系统异常 或报错 20） 作系统异常或报错 21） 作系统异常或报错 22） 中间件异常或报错应用软件故障场景 应用软件故障场景 说明：请在此详细列举并描述系统所有可能出现的应用故障场景。在 预案模板中列举了一些常见的故障事件， 预案编制人员要根据系统实 际情况酌情修订。 修订后预案表中的列举的故障事件都要求在预案随 后的章节里进行详细描述。 在预案模板中，系统应用软件常见故障事件列举如下： 1） 2） 3） 4） 5） 6） 7） 8） 系统应用不能正 常运行 应用进程异常 系统应用无法启动 系统应用响应缓慢或无响应 易异常报错 易流量异常下降 易成功率异常下降 用户无法登陆应用界面第 28 页 共 34 页精品文档 2016 全新精品资料 全程指导写作 独家原创 35 / 77 9）用户连接应用异常报错 10） 应用服务队列堵塞 11） 应用出现大量繁忙，交易时间延长 12） 应用共享空间异常 13） 应用处理性能下降 14） 部分分行应用堵塞，无法连接总行 15） 某类特定交易成功率异常 16） 某类特定交易流量异