故障响应机制 借鉴资料

8 参考 8 故障响应机制故障响应机制 北京傻北京傻+ +逼信息技术有限公司逼信息技术有限公司 20142014 年年 1212 月月 8 参考 8 目目 录录 1引言 .1 1.1编写目的.1 1.2适用范围.1 2故障 .2 2.1故障分类.2 2.2故障响应时间表.4 3故障定级 .5 3.1故障累积升级.5 3.2处理能力不足.5 3.3客户关注程度.5 3.4客户反馈故障升级.6 3.5客户监控出现的问题.6 3.6故障定级矩阵.7 4现场人员注意事项 .8 5故障响应人员 .9 6处理流程 .10 6.1一级故障.10 6.2二级故障.11 6.3三级故障.13 6.4四级故障.14 7事后总结 .16 8 参考 8 1 1 引言引言 1.11.1 编写目的编写目的 由于生产环境中经常会出现各种故障，一般通过两种途径：公司方人员发 现、银行方人员告知。现场人员会发现问题不知道如何解决，也不知道该通知 谁解决，经常会出现处理延误、沟通不畅等问题，导致客户满意度下降，客户 信任度下降。 另外现场人员要加强自身的沟通能力，第一要安抚客户、告知客户公司已 经进行处理，第二要能简明扼要的说明现场情况、客户关注程度、问题导致结 果等。 本文档旨在提供一个规范化的流程，让现场人员做到有章可循，针对不同 的故障级别找到响应的处理人员。 从故障处理上，不仅可以体现公司的专业性，也能提高客户满意度。 1.21.2 适用范围适用范围 项目组的所有人员需要了解，在故障出现的时候能第一时间进行处理。 领导组需要进行了解，知道各种级别的领导需要沟通。 8 参考 8 2 2 故障故障 2.12.1 故障分类故障分类 故障按照产生的后果进行分类，共分为四类。 故障等级 故障说明 响应时间处理时间 一级一级 一级故障：客户端无法使用，影响用户正常 使用。 当系统出现下列相当严重的现象时，属一级 故障： 系统后台服务器整体瘫痪，全部操作失 去响应； 客户端（安卓、iPhone、iPad 等仅一种 出现）崩溃、无法进入用户界面； 发生间歇性、随机性、重复性的启动或 应用退出，无法保障客户业务的正常处理。 两个二级故障及以上，升级为一级故障 2 小时1 天 二级二级 二级故障：客户端整体可以使用，部分出现 问题，影响用户的部分业务处理。 当系统出现下列比较严重的现象时，属二级 故障： 3 小时2 天 8 参考 8 系统后台出现了部分问题，导致用户使 用出现问题； 客户端（安卓、iPhone、iPad 等仅一种 出现）部分功能失效，影响用户使用； 系统整体性能严重下降，无法自动恢复 正常运行状态； 重要数据、参数和配置信息损坏，无法 恢复，导致客户数据及业务记录严重损失； 三个三级故障及以上，升级为二级故障 三级三级 三级故障：客户端可以使用，出现的问题对 用户的业务处理影响不大。 当系统出现下列现象时，属三级故障： 服务器端软件或者硬件出现异常，局部 功能受限，系统整体仍可正常工作，对客户 业务影响不大或存在隐患； 关键备用设施因故障离线，主用设施仍 能正常工作； 后台日志发现有系统出现问题的趋势， 或者已经出现了交易成功率下降 6 小时3 天 8 参考 8 客户端性能小幅下降，但不影响使用； 系统运行指标（例如： I/O 效率、 CPU 效率）受到直接或间接影响，客户业务处理 受小量影响； 五个四级及以上，升级为三级故障 四级四级 四级故障：客户端可以使用，不影响业务处 理 当系统出现下列情况而不影响客户业务时， 属四级故障： 客户端界面出现显示问题，如 ui 不符合 设计； 后台系统中有大量的冗余信息，导致空 间不足； 系统硬件或者软件没有及时升级，不符 合安全策略等等 12 小时 5 天 故障响应时间表故障响应时间表 故障等级 通知公司响应人员作出解决方案赶到现场解决时间 一级一级15 分钟2 小时8 小时24 小时 二级二级30 分钟3 小时12 小时48 小时 8 参考 8 三级三级60 分钟6 小时 24 小时或无需 到现场 72 小时 四级四级90 分钟12 小时无需到现场120 小时 8 参考 8 3 3 故障定级故障定级 3.13.1 故障累积升级故障累积升级 按照不同的故障分类需要进行相应的处理，但是有时问题会重复出现或者 同类问题出现了多个，进行故障升级。 例如：开发人员发现了一个 ui 问题，这是一个四级故障，他应该通知他的 组长进行统筹处理，在该组长进行处理时发现了十个类似的问题，这个问题直 接升级到三级故障，由该组长负责向项目经理通知，并进行全面查找问题，进 行统一解决，做到故障的全部解决。 四级故障数 = 5，升级为三级故障 三级故障数 = 3，升级为四级故障 二级故障数 = 2，升级为二级故障 3.23.2 处理能力不足处理能力不足 现场人员如果在接到处理命令后，在两个小时内确认自己无能力处理该故 障，那么要求责任人将故障升级，联系更高级别人员，进行统筹工作。 如：发现一个后台日志异常，有明显变坏的趋势，且银行方已经发现了交 易量有少量下降，这应该是一个三级故障，在内部响应后项目经理和高级开发 人员进行了处理，但是找不到问题所在，那么直接上升故障等级，通知领导协 调更高级的技术人员进行处理。 3.33.3 客户关注程度客户关注程度 客户的关注程度较高时，故障等级应做升级，如果现场人员不能确定客户 是否关注程度比较高，可以通过以下几点进行判断： 客户语气焦急，明显有些不耐烦，明令快速解决 客户话语中透露出某某领导派他过来问，或者某某领导等着看，等等 8 参考 8 客户表明因为这个系统的问题，导致其他系统无法正常运作 客户已经直接联系领导反映情况（这是非常糟糕的情况，3.4 中会有说 明） 如果还不能判断出客户的关注程度，那么直接打电话给项目经理，如果项 目经理也不能判断出客户关注程度，则按照客户关注程度一般处理。 客户关注程度高时，故障+1 级（如原故障二级，+1 后变一级） ，已经是一 级的无法再升级。 关注程度一般时，不做故障升级。 客户反馈故障升级客户反馈故障升级 如客户遇到了故障，没有通知现场人员或者项目负责人员。而是直接联系 了部门领导或者公司领导，那么故障响应要做相应升级。 如果故障是用户发现的，故障一般都在三级以上，那么按照用户的响应级 别进行故障定级。例如：如果反馈用户是银行总经理级别的，即使是三级故障， 也要按照一级故障进行响应。 原则上是找到公司与用户级别对等的领导，该领导在响应机制的哪个级别， 故障就升级到哪个级别。 银行总经理对应公司总经理，定为一级故障 银行科技（信息）部经理对应公司交付中心总经理，定为一级故障 银行科长级别对应公司交付中心总监，定为二级故障 如果客户反馈的故障，按照故障标准认定的等级大于用户反馈认定的故障 大于，那么以故障标准认定为准。 3.53.5 客户监控出现的问题客户监控出现的问题 银行都有一些监控体系，可以从中查看到各种异常情况，这些异常情况可 能是已经出现了问题的，也可能是即将出现问题，这些一般都是由技术人员解 8 参考 8 决。 此类问题一般按照二级故障处理，如果客户关注程度较高，则需要公司相 应人员进行沟通，如果客户关注度不高，直接协调技术人员解决。解决后，须 告知银行相关负责人。 8 参考 8 3.63.6 故障定级矩阵故障定级矩阵 颜色说明 一级二级三级四级 故障现象故障现象按照标准按照标准 客户关注度客户关注度 一般一般 客户关注度客户关注度 高高 行方科长反行方科长反 馈问题馈问题 行方信息部行方信息部 经理反馈问经理反馈问 题题 行方总经理行方总经理 反馈问题反馈问题 故障积累故障积累 （按照（按照 3.13.1 所述）所述） 处理能力不处理能力不 足足 公司内部重公司内部重 视程度高视程度高 无法使用无法使用一级一级一级一级一级一级一级一级一级 部分无法使部分无法使 用用 二级二级一级二级一级一级一级一级一级 小部分无法小部分无法 使用使用 三级三级二级二级一级一级二级二级二级 不影响使用不影响使用四级四级三级二级一级一级三级三级三级 8 参考 8 4 4 现场人员注意事项现场人员注意事项 遵守银行现场的各项制度管理规范，维护公司声誉和形象，不允许有损 公司声誉形象的事情发生。 重视自身的沟通，日常工作中不要抱怨，不说一些可能会伤害客户的话， ，这样可能让用户积累一些怨气，在出现问题时候一并爆发。做到在现 场的人员工作期间少说些与工作无关的事情 在问题出现的时候，现场人员放下手头的原有工作（指原定的任务，与 本次故障无关的任务） ，全心的投入的故障处理工作中。第一，做好沟 通协调员，将现有问题向上汇报。第二，从容不迫应对，安抚客户心情， 告知公司已经处理（人员已经在路上等等） 。第三，积极配合客户，做 好现场工作。第四，小心谨慎，不要手忙脚乱，此时不能再犯错误。 技术人员提高技术能力，多了解公司的框架、操作系统和一些日常使用 的中间件，不要因为自己的粗心大意，导致系统瘫痪。做到修改前先备 份。修改后先检查，备份保留而不删除。 重视质量意识，加强代码自查，按照流程规范行事，从自身减少隐患 现场人员要留有各个内部联系人的电话，邮箱，必要时可以贴在工位上， 不要出现问题再去找人问电话号码 明确自己的职责，了解其他人员（特别是领导）的职务和职责，了解每 级别的责任人和联系人 8 参考 8 5 5 故障响应人员故障响应人员 按照华北交付中心的组织架构 一级故障对银行响应人员：交付中心总（副总）经理，责任人项目经理 二级故障对银行响应人员：交付中心总监，责任人：项目经理 三级故障对银行响应人员、责任人：项目经理 四级故障对银行响应人员：项目经理，责任人：项目组长（项目经理） 8 参考 8 6 6 处理流程处理流程 6.16.1 一级故障一级故障 一级故障是最高级别的故障，要求在我方的第一发现人在五分钟内告知项 目经理，在故障发生的 15 分钟以内联系到交付中心对应响应人员（交付中心总 经理） 。 在故障发生的 15 分钟内进行故障的现象及后果等的描述，之后交由领导统 一指挥。 在两个小时内对问题作出相应的处理方案，以最快速度组织人员到现场处 理工作。要求技术总监、项目经理、技术专家、硬件系统专家在故障发生的 8 小时内赶到现场。如人员无法到齐，可派同等级别人员替换。 领导无法到场，可以电话指挥。 如现场问题严重，可要求公司副总与银行方领导进行沟通协调。 一级故障要在 24 小时之内解决，避免银行方受到更大的损失。 8 参考 8 一级故障处理流程 项目经理交付中心领导公司职能领导一线员工 发现问题或者 客户反映问题 确定问题级别复核问题级别 组织去现场工 作人员并告知 银行方 电话及邮件向 上反映问题在十五分钟内反映 问题 告知银行方我方已 经进入故障响应流 程 组织现场处理 人员 上级领导协调 对银行方造成重大 后果，或者银行方 事态不能控制 人员基本包括：总 监、项目经理、技术 经理、硬件或系统专 家、软件专家 人员赴现场处 理 总结问题 八小时内人员到齐 电话指挥或到 现场指挥 处理完成 现场处理问题 看是技术问题还是 硬件问题，是否需 要提交bug，总结 成果。必要的话可 以全员培训，避免 在发生此类问题 24小时内处理完成 6.26.2 二级故障二级故障 二级故障是比较严重的故障，要求在我方的第一发现人在 10 分钟内告知项 目经理，在故障发生的 30 分钟以内联系到交付中心对应响应人员（交付中心总 监） 。 在故障发生的 30 分钟内进行故障的现象及后果等的描述，之后交由领导统 一指挥。 8 参考 8 在 3 个小时内对问题作出相应的处理方案，以最快速度组织人员到现场处 理工作。要求项目经理、技术经理、硬件系统高级工程师、高级软件工程师在 故障发生的 12 小时内赶到现场。如人员无法到齐，可派同等级别人员替换。 领导无法到场，可以电话指挥。 问题如果在两个小时内没有明确结果，故障直接升级为一级。 二级故障要在 48 小时之内解决，避免银行方受到更大的损失。 二级故障处理流程 项目经理交付中心总监一线员工 发现问题或者 客户反映问题 确定问题级别复核问题级别 组织去现场工 作人员并告知 银行方 电话及邮件向 上反映问题在30分钟内反映问 题 告知银行方我方已 经进入故障响应流 程 组织现场处理 人员 人员基本包括：项目 经理、技术经理、硬 件或系统高级工程 师、高级软件工程师 人员赴现场处 理 总结问题 12小时内人员到齐 电话指挥或到 现场指挥 处理完成 现场处理问题 看是技术问题还是 硬件问题，是否需 要提交bug，总结 成果。必要的话可 以全员培训，避免 在发生此类问题 48小时内处理完成 8 参考 8 6.36.3 三级故障三级故障 三级故障是严重的故障，要求在我方的第一发现人在 15 分钟内告知项目经 理，在故障发生的 60 分钟以内联系到交付中心对应响应人员（项目经理） 。 在故障发生的 60 分钟内进行故障的现象及后果等的描述，之后交由领导统 一指挥。 在 6 个小时内对问题作出相应的处理方案，确定问题是否需要到现场解决。 如果需要去现场则组织人员去现场，不需要的话就在公司内部解决。要求项目 经理、技术经理、硬件系统高级工程师、高级软件工程师在故障发生的下一工 作日内赶到现场。如人员无法到齐，可派同等级别人员替换。 项目经理如果无法到场，可以电话指挥。 问题如果在四个小时内没有明确结果，故障直接升级为二级。 三级故障要在 72 小时之内解决，避免银行方受到更大的损失。 8 参考 8 三级故障处理流程 项目经理交付中心领导一线员工 发现问题或者 客户反映问题 确定问题级别复核问题级别 在60分钟内反映问 题 人员基本包括：项目 经理、技术经理、硬 件或系统高级工程 师、高级软件工程师 总结问题 24小时内人员到齐 处理完成 现场处理问题 看是技术问题还是 硬件问题，是否需 要提交bug，总结 成果。必要的话可 以全员培训，避免 在发生此类问题 72小时内处理完成 记录汇总了解项目问题 是否需要现场 处理 否 6.46.4 四级故障四级故障 四级故障是一般的故障，要求在我方的第一发现人在 30 分钟内告知项目经 理，在故障发生的 90 分钟以内联系到交付中心对应响应人员（项目组长） 。 在故障发生的 90 分钟内进行故障的现象及后果等的描述，之后交由领导统 一指挥。 8 参考 8 在 12