信息系统应急预案0815

1、北京协和医院信息系统及网络应急预案目的四、五、六、目录适用范围 .部门及人员职责分工 .医院信息及网络系统应急预案指挥协调小组（简称应急指挥小组） 二） 技术保障组 .一）组织架构图 .应急事件处置方案 .发现信息系统故障 .应急事件处置原则 .一）二）1.2.3.三）1、2、3、4、5、6、7、8、 四）2.2.2.2.2.2.2.4.4.4.快速反应原则 .统一指挥原则 .团结协作原则 .应急系统启动 .应急系统启动流程门诊应急方案业务实施规范门诊数据恢复方案 .急诊应急方案业务实施规范急诊应急数据恢复 .住院系统应急业务实施规范 住院数据恢复方案 .应急系统终止流程 .信息故障处理 .东

2、华 HIS 故障 .网络故障 .服务器故障 .信息处应急处理人员通讯录1、2、3、医保应急预案 .组织形式： .四、出现故障的解决办法： .附实施小组名单： .门诊持卡挂号收费实时结算应急流程4.4.4.4.4.5.7.7.8.8.9.9.1.0.1.0.1.3.1.5.1.7.1.8.1.8.1.8.1.9.1.9.北京协和医院信息系统及网络应急预案目的北京协和医院信息系统已覆盖东、西两院区，已成为医院为医疗、科研和管理提供 信息化手段的根本，为保障北京协和医院信息系统的安全、稳定运行，特制定本应急预 案。二、适用范围本预案适用于我院因服务器软、 硬件故障，数据库故障， 数据损毁，存储设备损

3、坏， 网络链路损坏， 网络系统瘫痪以及计算机病毒的爆发等原因致医院信息管理系统运行停 止，严重影响局部或整体医院业务运行运转的突发事件。三、部门及人员职责分工（一）医院信息及网络系统应急预案指挥协调小组（简称应急指挥小组） 由主管院长总负责，业务院长、行政机关的科员和各相应职能部门的科主任组 成。其主要职责是负责 HIS 的安全领导，负责制定系统安全规章制度，检查督促安 全责任制和各项措施的落实情况，制定信息系统故障及应急预案并指挥实施演练。总指挥：王以朋副指挥：王以朋（代） 成员：韩丁、王晓波、赵丽珍、孙家林、吴欣娟、马进、邱杰、寇杰、李岩（二）技术保障组 该组由信息管理处承担， 结合院外资

4、源保证信息系统的各项资源尽快恢复功能。 主任：信息管理处处长 副主任：信息管理处副处长组员：信息管理处相关技术人员 信息管理处负责对应用系统、服务器系统、网络系统的日常维护。对使用周期 届满的设备、设施及配件进行维护及定期更换。四、组织架构图五、应急事件处置方案（一） 发现信息系统故障 全院医护人员发现信息系统故障后，请在第一时间拨打 24 小时运维支持热 线 5678，告知信息处故障问题的发生地。（二） 应急事件处置原则1.快速反应原则当信息管理处确定为信息系统整体故障， 信息处技术人员必须在 5 分钟内到 达突发事件现场进行紧急处理，并上报处领导；2.统一指挥原则 处理突发事件由院领导负责

5、统一指挥；3.团结协作原则 各协调科室需团结一致，紧密协作，本着先重后轻、先人后物，先恢复业务 工作、最大程度地减少损失，以尽快恢复医疗工作秩序为第一原则。（三）应急系统启动 门、急诊出现大面积网络瘫痪和系统问题， 严重影响医院就诊秩序。 经信息 管理处评测无法在 15 分钟内恢复，报门诊办和医务处，并上报主管院长，并通 知相关部门，转手工流程。住院系统出现大面积网络瘫痪和系统问题。经信息管理处评测无法在 2 小时内恢复，报医务处，由医务处上报主管院长，并通知相关部门，转手工 流程。1、 应急系统启动流程各业务科室信息管理处门诊部（门急诊）医务处（住院）院领导信息系统发生大面积系统故障，无法进

6、行业务操作（5分钟内报告） 联系电话： 信息管理处：5678 东华：4147、31462判断是否大面积故障，及故障类型L（5分钟）V上报院领导发生大处理故障，判断恢面积信息故障情况1i复时间（10分钟）上报院领导，卜申请启动应急预案同意启动信息系统应急预案（5分钟内反馈）J_J_車_、通知各部门立即启动信息系统应急预案（5分钟内完成）启动应急信息系统预案，按照预案进行操作2、门诊应急方案业务实施规范信息系统应急预案启动流程（1）门诊部Ja)准备告示栏，告示患者准备启动应急预案；b)通知保卫处，加强保安维持秩序；c)通知导医队，对病人进行疏导：对于已挂号未就诊病人，建议病人可以退号，如果愿意可改

7、日来就诊。如病 人坚持现在就诊，医生采用手工开处方、检查、检验申请单，一式两份，患者持 手工单到收费处交费，另一份留于护理人员做治疗单；对现有交费病人(指已开立电子单正在排队交费的患者)，建议病人第二天 再来缴费进行相应检查治疗； 如果病人坚持当天缴费， 则引导病人去诊间重新开 手写处方， 在收费窗口用单机版程序手工缴费； 缴费后通过各平台科室内部的应 急流程进行检查治疗。对已缴费病人，建议病人改日来进行治疗和检查，或拿收费清单和导诊单通 过各平台科室内部的应急流程进行检查治疗。对于还未挂号病人，进行疏导，建议病人改日来就诊。( 2) 挂号处暂停挂号和建卡，已挂号病人凭医生或护士台的盖章可选择

8、退号；针对紧急 病人进行手工挂号。( 3) 医生站医生只给当天已挂号的病人看病医生采用手工开处方、检查、检验申请单， 一式两份，患者持手工单到收费处交费，另一份留于护理人员做治疗单； ( 4) 收费处凭借医生开具的手工单在单机版系统进行收费，并保留好手工单；( 5) 检验科1)临床医生开具手工检验单2)收费处在单机版系统手工收取费用，盖收费章3)治疗室依据收费盖章进行抽血，并传送至检验科4)检验科收取临床开具的手工检验单和标本进行检验5)检验科根据原始结果进行打印或转抄，将结果返回申请治疗室( 6) 检查科室1)临床医生开具手工检查申请单2)收费处在单机版系统手工收取费用，盖收费章3)检查科室

9、收取临床开具的手工检查申请单，手工预约4)进行检查，报告给病人5)系统恢复后医生在系统内补开检查申请单，收费6）信息处提供手工开单的病人名单7）检查科室将报告与补录的医嘱进行对应，并回传结果（ 7） 药剂科：1）药房凭发票与手工处方发药2）应急期间药房不允许退药3、门诊数据恢复方案各信息点接到重新运行通知时，需重新启动计算机，整体网络故障的工 程恢复工作，由信息管理处严格按照服务器数据管理要求进行恢复工作。（ 1） 医保办 医保病人凭收费发票到收费处退费，收费处重新按照收费明细使用医保卡进行实时结算；（ 2） 挂号处 挂号室收取手工挂号条，由挂号室手工统计挂号工作量；（ 3） 各门诊单位补录工

10、作量，并补录综合查询信息数据源；（ 4） 临床科室补录患者医嘱。4、急诊应急方案业务实施规范（ 1） 急诊科 要做好告示栏或宣传图片，当系统瘫痪时告知患者情况，进行疏导；（ 2） 挂号处 采用手工挂号，并记录好患者的联系方式，日报结算时统计手工挂号数量；（ 3） 医生工作站a）医生采用手工开处方、检查、检验申请单，一式两份，患者持手工单到收费处交费，另一份留于护理人员做治疗单；b）已开电子单的患者返回临床科室，重新开具手工单；c）医生保留手工挂号条，出诊结束后交到分诊台，由分诊台负责人将手工挂号条交回挂号室，最后由挂号室进行挂号统计；（ 4） 收费处患者凭手工单到收费处用单机版系统进行收费，并

11、给患者收费凭据；（ 5） 检验科1）临床医生开具手工检验单2）收费处在单机版系统手工收取费用，盖收费章3）治疗室依据收费盖章进行抽血，并传送至检验科4）检验科收取临床开具的手工检验单和标本进行检验5）检验科根据原始结果进行打印或转抄，将结果返回申请治疗室（ 6） 检查科室1） 临床医生开具手工检查申请单2） 收费处在单机版系统手工收取费用，盖收费章3）检查科室收取临床开具的手工检查申请单，手工预约4）进行检查，报告给病人5）系统恢复后医生在系统内补开检查申请单，收费6）信息处提供手工开单的病人名单7）检查科室将报告与补录的医嘱进行对应，并回传结果（ 7） 药剂科：1） 药房凭发票与手工处方发药

12、2） 应急期间药房不允许退药5、急诊应急数据恢复各信息点接到重新运行通知时， 需重新启动计算机， 整体网络故障的工程恢 复工作，由信息管理处严格按照服务器数据管理要求进行恢复工作。（ 1） 挂号处 挂号室收取手工挂号条，由挂号室手工统计挂号工作量；（ 2） 收费处 将单机版录入的费用同步回生产系统；（ 3） 医保办 医保病人凭收费凭据重新按照收费明细使用医保卡进行实时结算；（ 4） 西药房 药房校查库存，应急收费系统数据上传数据库中后，发药数据自动传到药房 PIS 系统中，药房操作员凭手工处方在 PIS 系统中进行发药操作。6、住院系统应急业务实施规范（ 1） 医务处通知各病房准备启用应急系统

13、；2） 住院处收押金，给病人写押金条，手工开具住院手续发至病房，出院病人暂缓 出院结算；（ 3） 医生站 医生开纸质手写处方、纸质检验申请单、纸质检查申请单、纸质手写医 嘱；（ 4） 护士站 根据医生开具的纸质申请单进行抽血、送检，根据纸质检查申请单通知外勤进行检查预约或执行检查汇总本病房医生开具的处方，手工计算药品数 量去药房领药，根据纸质医嘱执行相关治疗和用药；（ 5） 药剂科 收取手工处方单进行发药；（ 6） 检验科 仪器正常做检验，报告在系统恢复后才出；（ 7） 检查科室 收取纸质检查申请单，安排做检查。7、住院数据恢复方案各病房接到重新运行通知时， 需重新启动计算机， 整体网络故障的

14、工程恢复工作，由信息管理处严格按照服务器数据管理要求进行恢复工作。 （1）病房医生、护士根据手工开具的单据、医嘱，补录入到系统中，并进行相关的执行；（2）住院药房发药处理根据系统中补录的医嘱进行发药确认；（3）检查科室 根据系统中补录的医嘱进行检查检验确认；（4）住院处 根据手工单据补录相关的费用，按正常流程进行结算。8、应急系统终止流程（四）信息故障处理1、东华HIS故障在 DTHealth 环境下系统所发生的故障，我们大致归为三个级别，具体定义 如下：（ 1） 三级故障a）不影响全体业务流程，可在短时间内解决的软硬件故障。b）影响正常使用。例如：? 磁盘阵列中一块盘发生故障；? 服务器有硬

15、件报错，出现红灯；? 交换机报红灯；? 数据库锁表空间不够；这类故障，及时联系信息处，诊断故障性质。对于硬件故障，在不影响 使用的同时，调集备品备件，及时修复。对于软件设置问题，远程指导，调 整配置参数即可解决。c）影响局部使用。例如：? 部分窗口不能进入系统；? 个别患者不能结帐；? 某台检验设备不能传回结果；这类故障，不影响全局，但影响局部。当出现局部网络不通等局部故障 时，及时更换分布层交换机。对于局部软件的Bug，东华支持人员可以及时排除，必要时，可以由东华公司技术支持远程调试。（ 2） 二级故障服务器出现影响业务，但在可估计的时间内恢复的故障。a）主机服务器单点故障。如：? 主机电源

16、坏了；? 主机发热异常；这类故障，影响全院使用。我们采用双机热备的技术方案，系统自动切换到另外一台服务器。东华公司专门技术人员去现场，诊断故障。并利用同 供应商良好的关系，尽快维修硬件，必要时，可以提供临时代替产品b）服务器集群故障，或主干网络部分故障。如：? 整个门诊系统不能登录；? 服务器主阵列出错；? 电源问题，主服务器不能启动；这类故障影响巨大，全院或很大一部分应用不能进行。如果主干网络故障,由相应Shadow月艮务器。列入通往门诊的主干网络不通 （门诊局域网完好） 就把放置门诊本地的 Shadow服务器充当主服务器，使得门诊业务得以继续。如果是服务器集群出现故障，我们就把主服务器集群

17、从系统中隔离（拆 除网络连接），然后把一级镜像服务器（Shadow）的IP地址改为主机地址,让Shadow服务器充当主服务器。等系统故障排除之后的夜间，在系统不繁忙的时刻，再把数据恢复到主服务器集群中。（ 3） 一级故障最严重故障，医院网络主干瘫痪。如：? 人为故障，数据表被删除；? 机房天灾人祸，如水灾；? 核心交换机组全面失效；此时系统全面瘫痪。采用的步骤如下：第一步、首先及时确认问题级别。向院领导汇报，并及时通知东华公司， 调集应急人员。第二步、采用门诊应急业务流程。 第三步、如果是硬件故障，修复硬件。或从备品库中调集应急设备。如 果是数据丢失，利用最近的 Backup 数据和有效的 J

18、ournal 文件，恢复数据 这个过程需要较长的时间。2、网络故障协和医院计算机网络采用核心双设备堆叠、汇聚双设备双链路捆绑上联 设计及建设，增加了网络链路带宽及设备的可靠性；同时，实现了北区、老 院区、西院到数据中心的双链路连接，增强了链路的可靠性。全院网络系统架构如下：协和医院网络拓扑示意图報抿中心JlB-tta_B)链路方面，实现了各物理区域的双链路互联，如西院通过两条不同的线 路和光纤与大院区连接，北区新大楼也通过两条不同的链路与数据中心实现 互联，老院区内部，通过环形网络架构增强链路的互备和冗余。在网络运行 过程中，不管哪条链路出现问题，另一条链路都会接管整个网络的数据流量, 不会出

19、现区域网络大面积中断的现象。设备方面，核心层、汇聚层、接入层，每层通过堆叠技术将多台冗余设 备虚拟化为单台逻辑设备，方便管理和使用，具有部署简化、路由简化、管 理简化、可靠性高等特点，实现网络不间断通信，在一个交换机成员发生故 障时，能够实现快速切换，不影响医疗应用。对于网络设备采取每日巡检，运维人员会对设备进行健康检查，提前发 现故障隐患;此外信息处对于重要的网络设备都存有备品备件，可以在设备故障时及 时更换，减少业务中断时间。（ 1） 三级预警部分网络故障，导致医院局部网络无法正常使用。有? 接入层交换机出现环路；? 接入层交换机掉电；? 网络配置丢失；? 光纤链路故障；对于此类故障运维人

20、员首先远程查找故障原因，调整网络参数，在不影 响使用的前提下快速恢复业务，具体步骤如下：尝试远程登录故障设备a）登录设备后查看相应互联接口状态b）查看设备log日志c）查看设备系统状态（cpu，内存）d）查看设备配置信息e）查看设备STP状态及接口端口f ）查看光纤模块工作状态（ 2 ） 二级预警 网络故障，造成门诊或住院的医疗工作全面停顿。其他业务仍可继续工 作，有? 接入层交换机板卡故障；? 接入层交换机电源故障；?机房停电，UPS电源供电耗尽；? UPS电源故障;对于此类故障处理步骤如下：a）向信息处领导汇报故障情况及影响范围b）尝试远程登录故障设备c）登录设备后查看相应互联接口状态d）

21、查看设备log日志e）查看设备系统状态（cpu，内存）f ）查看设备配置信息g）查看设备STP状态及接口端口h）查看光纤模块工作状态i ）对于硬件故障，及时更换配品备件j ）将用户连接到其他网络设备；或将用户切换到备份链路3） 一级预警当发生地区性网络安全事故造成医院计算机网络使用全面停顿，有? 核心、汇聚交换机故障；? 网络主干光纤链路中断；? 桌面病毒爆发导致网络带宽阻塞；? 设备软件 bug；对于此类故障处理步骤如下：a）向院领导汇报故障情况及影响范围，由于核心、汇聚层交换机采用双设备堆叠配置，当一台设备硬件故障时，系统会将业务自动切换 到另一台设备，对于业务影响极小；b） 对于网络主干

22、光纤链路故障，手工将链路切换到其他设备并更改网 络配置快速恢复业务；c ）对于桌面主机病毒爆发，配合桌面运维人员查找病毒主机，进行物 理隔离；d）对于设备软件bug，及时联系设备厂商进行处理；3、服务器故障协和医院数据中心是通过网络及防火墙与医院其他区域隔离的服务器放 置区域，通过网络及防火墙的配置，可以确保服务器区安全稳定运行。核心业务系统采用负载均衡及集群的方式，确保系统的不间断运行，对 数据库系统采用多种数据备份措施，确保数据的可靠性。通过对硬件及系统 定期人工巡检和对协和综合网管系统的监控，保障业务系统的健康运行。对于核心系统的数据库服务器冗余机制如下：东华HIS系统cache生产数据

23、库服务器配置为HACM的双机热备模式，即1台生产机 P1配置为20CPU80G内存，1台备机P2配置为12CPU48G内 存，备机平时不工作。同时为了保证数据的安全性，需要配置 1 台 cache 的 shadow 数据库 P3 服务器，对生产机的数据库进行数据复制，Shadow数据库不需要双机保护，将生产机的全备份文件系统以NFS方式共享给shadow服务器，定期做全备份的恢复性验证。与存储的连接采用双卡双连接，存储采用双控制器的多重冗余连接，确 保数据库服务器与存储的链路不间断。存储采用RAID10,在保障数据读写I/O的同时，最大限度的保证数据的 可靠性。根据发生事故的危害程度及影响范围

24、，信息系统及网络重大安全事故的 预警按以下情况分为三个等级：（ 1 ） 三级预警非医院业务系统如饮食中心饭卡系统、 宣传处视频管理系统等出现问题， 导致业务无法正常使用。当接报或此类故障，应立即通知信息管理处技术人员进行紧急处理a）到达现场，通过服务器状态灯确认服务器是否为硬件故障b）如硬件故障，须立刻联系供应商及厂商，停机更换硬件c）如硬件正常，检查操作系统，确认是否为系统故障d）如系统故障应由信息管理处技术人员进行处理e）如操作系统正常，检查应用系统故障，确认是否为应用系统故障f ）如应用系统故障，须立刻联系相关应用厂商技术人员处理故障g）事后由信息管理处将事情的发生基本情况和处理结果汇报

25、主管院长。（ 2） 二级预警医院 HIS 业务系统的接口系统及非 HIS 系统的业务系统（ LIS 系统、 SAP 药品等），财务、人事系统及相关系统出现问题，及HIS系统的局部出现运行问题。出现二级预警应由信息管理处技术人员迅速上报信息处领导，联系业务 运维厂商正确判断事故原因，恢复业务系统，当发现业务系统故障时，根据 故障恢复手段如下：a）系统如由双机或负载均衡支持，将业务系统切换到正常的服务器b）通过服务器状态灯确认服务器是否为硬件故障c）如硬件故障，须立刻联系供应商及厂商，停机更换硬件d）如硬件正常，检查操作系统，确认是否为系统故障e）如系统故障应由信息管理处技术人员进行处理f ）如操

26、作系统正常，检查应用系统故障，确认是否为应用系统故障g ）如应用系统故障，须立刻联系相关应用厂商技术人员处理故障h）同时由信息管理处将事情的发生基本情况和处理结果汇报主管院长并根据故障时间的估量决定是否转入手工操作，如有必要具体实行 时间及步骤由信息管理处通知（ 3） 一级预警当 HIS 系统出现问题造成医院业务系统出现全面停顿。当 HIS 系统出现全院无法运行故障，信息管理处技术人员立即报告信息管理处相关领导，同时联系硬件厂商及HIS技术支持人员，按照 HIS系统的应急预案，并配合 HIS技术支持人员对系统故障进行处理。a）系统如由双机或负载均衡支持，将业务系统切换到正常的服务器b）通过服务

27、器状态灯确认服务器是否为硬件故障c）硬件故障，须立刻联系供应商及厂商，停机更换硬件d）如硬件正常，检查操作系统，确认是否为系统故障e）如系统故障应由信息管理处技术人员进行处理f）如操作系统正常，检查应用系统故障，确认是否为应用系统故障g）如应用系统故障，须立刻联系相关应用厂商技术人员处理故障h）同时由信息管理处将事情的发生基本情况和处理结果汇报主管院长并根据故障时间的估量决定是否转入手工操作， 如有必要具体实行时 间及步骤由信息管理处通知六、 信息处应急处理人员通讯录全院统一 7X 24小时报障电话：5678应用组：孙国强 31098 朱雯31629运维组：张益钊 31143邱志刚31142网

28、络组：4377，31454服务器组：4375，31458东华：4147, 31462附：医保应急预案医保应急预案一、 组织形式：成立以院长为组长，主管医疗副院长为副组长，相关责任处（科）室负责人 为实施小组成员的领导小组。组 长：院长副组长：主管医疗副院长组 员：医务处（医保办）、门诊部、信息中心、财务处（住院处、门诊收 费处）、病案室二、 出现故障的解决办法：1.多次读卡失败，导致参保人员排队等候时间过长的应急处理办法：a）在收费大厅设置咨询台，引导多次划卡不成功的参保人员到咨询台由专 人进一步了解情况，并告知参保人员补卡程序及所需材料。b）由于窗口读卡设备等问题应马上通知信息中心解决设备问题，并启用备 用设备。2.由于 HIS 系统、通信网络出现故障引发问题的应急处理办法：a） 安抚病人在收费窗口稍等，并把错误记录下来，及时电话通知i.信息中心： 31140ii.医保信息： 59