上海浦东发展银行信息系统重大突发事件应急预案

上海浦东发展银行信息系统重大突发事件应急预案（试行版）上海浦东发展银行（版本号）上海浦东发展银行目录内部文档、信息系统重大突发事件的定义、应急组织架构、应急准备、应急处置流程附件一重大突发事件上报标准和格式附件二骨干网通信故障技术恢复步骤附件三核心系统主机设备故障技术恢复步骤附件四数据库不可工作故障技术恢复步骤附件五核心系统存储故障技术恢复步骤附件六机房基础环境非灾难性故障附件七核心业务系统应用应急操作步骤附件八核心业务系统应用应急操作步骤第1页共54页上海浦东发展银行内部文档为及时、妥善处置信息系统重大突发事件，切实防范和化解风险，落实我行与信息系统相关的重大突发事件处置，保障对外服务系统的安全稳定运行，结合监管单位要求，特修订上海浦东发展银行（以下简称“我行”）信息系统重大突发事件应急预案（以下简称预案）。1、信息系统重大突发事件的定义、信息系统的定义信息系统是指由计算机及其相关和配套的设备、设施构成的，按照一定的应用目标和规则对信息进行存储、传输、处理的系统或者网络。、信息系统事件的分类）信息系统软硬件故障；）信息系统网络通信故障；）供电等动力系统故障引发信息系统故障；）信息中心遭受自然灾害引发信息系统故障；）信息系统感染计算机病毒；）信息系统网络遭遇入侵和攻击；）敏感数据泄露，数据或数据处理设备失窃。、我行信息系统重大突发事件的定义本应急预案将不针对数据泄露，而针对其它信息系统事件造成我行业务不能正常开展而制定。我行信息系统重大突发事件指符合如下条件之一的事件）在我行业务营业期间，造成或即将造成全行范围内全部对外业务服务异常停止的信息系统事件，包括总行核心业务处理系统、总行核心网络系统、总行信息中心动力系统等故障导致的重大突发事件。）在我行业务营业期间，造成或即将造成一个或者多个分行异地第2页共54页上海浦东发展银行内部文档支行全部对外业务服务异常停止运行小时以上的信息系统事件，包括分行大前置系统、分行（异地支行）核心网络系统、分行信息中心动力系统等故障导致的重大突发事件。）在我行业务营业期间，造成或即将造成全行范围内一个或者多个对外业务服务异常停止运行小时以上的信息系统事件，包括外汇宝系统、银证通系统、基金系统、现代支付系统、系统、信用卡系统、银联卡系统、资金交易系统、网上银行系统等故障导致的重大突发事件。）在我行业务营业期间，造成或即将造成一个或者多个分行异地支行的一个或者多个对外业务服务异常停止运行小时以上的信息系统事件，包括分行自助银行系统、分行特色业务系统等故障导致的重大突发事件。）在我行业务营业期间，造成或即将造成一个营业网点对外业务服务异常停止超过小时以上的信息系统事件，包括网点主机系统等故障导致的重大突发事件。）造成或即将造成我行管理系统和重要办公系统在一个或多个分行异常停止运行小时以上，严重影响我行管理和办公工作正常开展的事件。重要办公系统包括传信系统等。2、应急组织架构信息系统重大突发事件的应急组织分总行和分行两个层面，每个层面均包括应急领导小组、应急技术小组、应急业务小组、应急保障小组、应急公共关系小组组成。分行层面的应急组织负责分行辖内信息系统事件的应急处理，在事件升级为信息系统重大突发事件后，事件的应急处理转由总行应急组织负责，分行应急组织在总行应急组织的指导下参加应急处理。信息系统重大事件应急组织架构图如下第3页共54页上海浦东发展银行、应急领导小组内部文档总行应急领导小组是我行信息系统重大突发事件应急处置的决策机构和管理机构，负责应急预案执行的总体指挥和协调，对重大应急措施进行决策，组织重大事件的应急处置和上报。应急领导小组的职责包括）组织信息系统重大突发事件应急预案的制订、审核、维护和演练工作；）指挥、协调、监督应急恢复工作的开展；）组织进行事件影响评估，评价业务中断的严重程度；）负责重大应急措施的决策，如启动业务应急等；）应急领导小组组长参加人民银行建立的银行重要信息系统应急协调领导小组，并履行有关职责。总行应急领导小组组长由分管运营与科技的副行长担任，第一副组长由信息科技部总经理担任，副组长由运营总监助理、产品开发部总经理担任，成员包括参加应急工作的相关部门负责人。组长和第一副组长互为备份。、应急技术小组第4页共54页上海浦东发展银行内部文档总行应急技术小组为具体处置信息系统应急技术恢复的执行机构，也是应急准备的日常工作机构。总行应急技术小组由总行信息科技部、产品开发部骨干人员为主组成，由信息科技部总经理担任角，分管系统运维管理的副总经理担任角，组员由总行信息科技部各条线经理、总行产品开发部应用系统维护负责人、分行应急技术小组组长组成，同时包含主要软硬件系统供应商。主要职责为）具体负责信息系统重大突发事件应急预案的制订、审核、维护和演练工作；）组织协调、指导跟踪信息系统应急恢复工作的开展；）开展系统中断程度的评估；）提出和完善应急措施；）应急技术小组派员参加人民银行建立的银行重要信息系统应急协调工作小组和执行小组，并履行有关职责。应急技术小组根据系统内容还分为应急网络恢复小组、应急系统平台恢复、应急数据库恢复小组、应急应用系统恢复小组等，分别由应急技术小组中的总行信息科技部和产品开发部人员担任组长。各个小组的主要职责为）具体负责信息系统重大突发事件应急技术恢复的制订、审核、维护和演练工作；）事件情况调研；）故障定位和原因分析；）隔离措施制订；）系统恢复等具体技术工作；）撰写事故技术分析报告等。、应急业务小组总行应急业务小组是业务应急处理的执行机构，负责组织总分行各有关业务部门执行业务应急预案，并负责业务应急预案的日常培训与演练。应急业务小组由各业务主管部门人员组成，组长由运营总监助理担任角，支付结算中心总经理担任角。主要职责为第5页共54页上海浦东发展银行内部文档）参与信息系统重大突发事件应急预案的制订、审核、维护和演练工作；）组织协调、指导跟踪业务应急工作的开展；）负责评估信息系统重大突发事件对业务影响；）提出和完善应急措施。、应急保障小组总行应急保障小组是应急措施实施的保障机构，由负责场地、线路、电力、消防、空调等机房基础环境和后勤保障的行政部门有关人员组成，由行政管理部负责人担任组长、角。主要职责包括）参与信息系统重大突发事件应急预案的制订、审核、维护和演练工作；）提供机房基础环境的保障和支持，以及有关应急恢复；）为应急工作人员的应急处置工作提供适当的工作环境；）为应急工作人员的应急处置工作提供必要的休息、餐饮、交通保障。、应急公共关系小组应急公共关系小组，由总行办公室公共关系人员、总行信息科技部服务管理人员、服务台人员、董事会办公室相关人员组成，由总行办公室主任和信息科技部分管服务管理的副总经理任组长、角。应急公共关系小组负责重大事件发生后的公共关系处理和我行内部信息沟通，小组下设服务台，具体负责我行内部信息沟通。应急公共关系小组主要职责包括）参与信息系统重大突发事件应急预案的制订、审核、维护和演练工作；）公共关系处理相关工作获得事件发展状况的信息；组织确定对外信息披露口径；负责信息披露，与客户服务中心沟通，统一对客户的信息披露口径，与媒体、主管单位、股东打交道；）内部信息沟通相关工作负责故障受理、记录；事件通知；信息搜集；受理行内对该事件的技术咨询电话和情况通知等联络工作；）应急公共关系小组组长参加人民银行建立的银行重要信息系统应第6页共54页上海浦东发展银行急协调工作小组，并履行有关职责。应急公共关系小组成员中设立新闻发布人角色。服务台实行小时人员值班。、其它内部文档应急组织的所有岗位均应实现角配置，总行人员名单最终由总行应急领导小组审核确定。分行应急组织参照总行设置，人员名单由分行应急领导小组审核确定，并向总行应急组织日常工作机构（总行应急技术小组）报备。分行应急组织应处理尚未达到所定义的突发事件，当事件成为的定义的重大突发事件，应上报总行应急组织，并配合总行应急组织处理。3、应急准备为保证信息系统重大突发事件发生后应急工作的顺利有序进行，必须在平时做好各项应急准备工作。、人员准备为保证应急情况下应急组织的迅速到位，应急人员在平时应作如下准备）应急组织所有岗位应为角双人配置。）任何时间，应急组织任何岗位应保证角中有一人在信息中心所在城市，即所有岗位角双人不能同时离开信息中心所在城市。由各组长负责组内人员离开的审批工作，并落实备份人员。）应急组织所有人员应在任何时间均保持电话联络的畅通，其中行内人员还应开通传信系统邮箱。）应急组织和信息系统主要产品和服务供应商的管理层、技术层建立畅通的沟通渠道。产品和服务供应商熟知并认可其在本应急预案中应承担的职责。）应急组织组成名单和应急联络方式应保持更新，并由应急技术小组负责维护。第7页共54页上海浦东发展银行、场地准备在重大突发事件发生后，应急工作应有合适的场地内部文档）应急场地应选取便于交通和通信、靠近机房的场地，总行应急场地应设在信息中心。）应急场地应至少包括讨论用的会议室、供应急人员接入办公网和因特网的办公场地。）应急场地应配备必要的通信设施，至少包括充足的电话和视频会议设备。）应急场地应配备必要的计算机及其辅助设备。、设备准备为尽快恢复信息系统，须在设备方面做好如下准备）重要信息系统的所有设备均应实现冗余配置，避免单点故障。）对重要部件和常见易损部件应在机房附近准备备件或者同设备供应商签订高级别的备件保障协议，便于应急取用。）重要信息系统的所有设备和软件、线路应购买高级别的小时保修服务，其中对核心业务系统有关软硬件应采购厂商最高级别响应时间的保修服务。）所有涉及银行支付结算业务的系统均属于重要信息系统。、文档准备应急前应做好如下文档准备工作，准备工作包括文档向相关应急人员的发布、硬拷贝的制作并保存在应急场地安全但易于获取的地方）本应急预案；）系统维护文档，至少包括各类故障定位、系统修复、系统关机、系统重启内容；）日常操作手册；）应急操作手册；）应急组织人员名单及其联系电话；）应急联络方式。、其他第8页共54页上海浦东发展银行需要完成的其他准备工作有内部文档）建立重大变更备案制度，对信息系统运行环境、系统、应用方面有重大影响的变更，以及来自电力、电信、安全单位的计划内维护通告，应进行登记备案，并告知应急技术小组所有成员。备案情况应同时放置在服务台备查，以利于应急处理中的故障定位工作。）本应急预案的内容应不断完善。新出现的重大事故，应在事故处理完成后，经过讨论形成处理预案，经过测试和审批后，补充到本预案中。已经发生过的事故，如果处理流程有变化，也应对其处理预案予以更新。）有关应急文档应妥善保存，并在应急场地备有多份硬拷贝；应急文件应该有醒目的颜色标示，如红色信封等。）本应急预案应经过演练，所有应急人员熟悉应急预案中与自己相关的内容。4、应急处置流程、事件上报在发现信息系统故障后，总分行相关技术人员等都应及时进行故障定位和排除，如果未能及时解决，达到所定义的重大突发事件后，应向总行服务台报告。、触发条件）发生信息系统重大突发事件；、工作步骤）核实故障的发生时间、主要现象、影响系统和范围、故障原因初步诊断等因素。）第一时间上报总行服务台。）总分行技术人员应继续努力，设法解决此故障，并密切关注事态发展，及时报送后续情况。第9页共54页上海浦东发展银行、方式）电话上报，可辅以邮件、传真等；内部文档）总行服务台电话，应急情况下增加（），（）。、执行人分行服务台；总行服务台；、事件通知总行服务台接到分行重大突发事件报告或者发现总行自身的重大突发事件后，应立即进行第一时间的事件通知工作。、触发条件）收到分行上报的重大突发事件报告；）发现总行自身的重大突发事件。、工作步骤）问明事件的情况发生时间、主要现象、影响系统和范围、初步诊断的故障原因；）由总行服务台按照预定程序通知应急技术小组有关成员，以及应急技术小组组长要求通知的其他人员，告知事件情况。一般地，主要故障优先通知系统故障按次序先后通知应急系统平台恢复小组组长、应急网络恢复小组组长的角；网络故障按次序先后通知应急网络恢复小组组长、应急系统平台恢复小组组长的角；总行信息中心报警按次序通知物业及信息中心管理办公室、应急保障小组组长的角；总行信息中心大面积停电故障（涉及主机及主要业务）按次序先后通知应急系统平台恢复小组组长的角、物业、应急动力恢复小组组长角、信息中心管理办公室、应急保障第10页共54页上海浦东发展银行小组组长角。内部文档）由总行服务台按照预定程序通知应急公共关系小组组长、应急业务小组组长、应急保障小组组长待命，并报告应急领导小组组长；）对于升级成为灾难的，将按照另行制定的灾难恢复处理流程执行。、方式）通过短信群发方式通知所有人员，收到短信后应回复到通知指定的手机号码中；）对于分钟内没有回复的，再通过电话通知，可辅以邮件；、执行人总行服务台；、影响评估和应急指挥接到通知后，应急技术小组人员应第一时间响应。条件许可情况下，经角沟通后确定，由角中一人赶赴现场，一人通过远程访问手段直接连接系统进行处理。赶赴现场人员为确保安全快速到达，应尽量选择快速公用交通，如出租车、轨道交通等。正常情况下，应在分钟内到达现场。应急技术小组人员应在接到通知后迅速进行影响评估，并根据评估结果，组织第二时间的人员通知和现场响应，并制订故障排除和系统恢复方案。应急技术小组组长应将评估结果报应急领导小组组长，并提出是否启动业务应急处理的建议。对于事件原因和影响清晰、处置措施明确的事件（如接到机房严重失电的通知），应急技术小组组长应立即授权处置人员按照预定技术恢复预案进行处置。、触发条件接通知后立即开展。、工作步骤第11页共54页上海浦东发展银行内部文档）影响评估系统故障原因、基础设施设备和数据受损情况、业务受影响状况、可以挽回什么损失、什么设备和数据需要修理、恢复和更换、预计恢复时间；）决定需要哪些人员（运维人员、厂商支持人员、业务人员、公共关系人员）进一步参与应急；）总行服务台通知这些人员现场响应（以下简称第二时间通知）；）报告应急领导小组组长。、执行人应急技术小组、总行服务台、技术恢复根据故障情况，开展技术恢复工作。、触发条件完成影响评估。、工作步骤）如可以实施问题隔离，则隔离问题，首先恢复系统运行；）如发生需要跨行业部门协调的重大通信、电力、信息安全、突发事件等，按照人民银行银行重要信息协调应急协调预案请求有关行业部门提供支持；）根据影响评估情况，借助厂商支持，按照预先制定的技术恢复预案，或者紧急制定问题解决具体技术方案，解决问题，彻底恢复系统。、执行人应急领导小组、应急技术小组、应急保障小组。、业务应急根据预计恢复时间等评估结果，在必要的情况下，启动业务应急。、触发条件第12页共54页上海浦东发展银行应急领导小组决定启动业务应急处理。、工作步骤）应急领导小组组长决策启动业务应急；内部文档）应急业务小组组织业务应急有关人到位，按照有关业务应急预案启动业务应急。、执行人应急业务小组。、情况上报和信息发布根据影响评估情况，开展情况上报和信息发布工作。、触发条件完成影响评估。、工作步骤）应急公共关系小组、应急业务小组和应急技术小组确定信息披露口径，并报应急领导小组同意；）应急公共关系小组通知分行网点、客服中心，告知应对客户的做法；）应急公共关系小组按照银监会、人民银行、上海市网安办等监管单位的有关规定要求组织报告内容，并进行报告；）应急公共关系小组视情况主动或者被动和媒体沟通情况。、执行人应急领导小组、应急技术小组、应急业务小组、应急公共关系小组。、恢复后工作信息系统彻底恢复运行后，需要开展通告、总结、上报等后续工作。、触发条件系统恢复完成。、工作步骤）应急技术小组（和应急保障小组）完成技术恢复，并得到应急业第13页共54页上海浦东发展银行务小组的测试确认，向应急领导小组汇报；内部文档）如已经启动业务应急，则应急业务小组停止业务应急处理；）应急公共关系小组通知分行网点、客服中心，宣告业务应急结束、营业恢复正常；）如已经上报监管单位（银监会、人行、信息委等）的，则应急公共关系小组主动与其沟通系统和业务恢复情况；）总行服务台补充完整事件受理应急处理过程的记录，主要内容包括主要处理步骤、参与人员、时间点等；）应急技术小组负责撰写技术分析报告；）应急领导小组组织有关人员根据事件过程记录、影响分析、对外宣告口径、技术分析报告完成总结报告；）应急技术小组和应急公共关系小组在总结报告基础上，根据此前信息披露情况，按照有关上报格式，形成上报主管单位的报告，并交应急领导小组审批后报送；）应急技术小组、应急保障小组、应急业务小组制订改进建议，报应急领导小组审批后，按照行内有关流程，开展改进工作，预防事件再次发生。、执行人应急领导小组、应急技术小组、应急业务小组、应急公共关系小组。应急处置流程示意图如下第14页共54页上海浦东发展银行内部文档应急处置过程中重大措施、重要操作均应留有记录，保持过程的安全可控。第15页共54页上海浦东发展银行内部文档附件一重大突发事件上报标准和格式（一）我行重大突发事件如符合如下标准，应上报银监会造成我行支付结算系统在涉及两个或两个以上省（自治区、直辖市）范围内中断小时以上，在涉及一个省（自治区、直辖市）范围内中断小时以上，严重影响正常工作开展的事件。报告时间为总行接报后小时内、事发后小时内以重大突发事件报告格式报银监会，报告格式为重大突发事件报告第期报告单位签发人关于情况的报告中国银监会年月日抄送联系人联系电话第16页共54页上海浦东发展银行（二）我行重大突发事件如符合如下标准，应上报人民银行）计算机信息系统中断或者运行不正常超过小时；）造成直接经济损失超过万元；）严重威胁银行资金安全；内部文档）事件造成银行不能正常运营，且影响范围超过一个县级行政区域。报告时间为发生事件小时内向所在地人民银行报告。报告应包括如下内容）计算机安全事件发生的时间、地点、单位、单位联系人和联系方式；）计算机安全事件的类别、涉及软硬件系统的情况和事件发生的过程；）计算机安全事件造成的后果和影响范围；）计算机安全事件发生的原因；）责任人或涉案人员；）计算机安全事件发生后采取的应急措施。（三）对于影响重大的信息安全事件，于当日以电话形式将有关情况报市上海市网全办。第17页共54页上海浦东发展银行附件二骨干网通信故障技术恢复步骤（一）骨干网通信故障、故障确认确认人王晖、黄劼、工程师、网络集成商工程师。操作步骤内部文档梳理关键路径根据故障现象和网络拓扑结构，确定可能导致故障的所有相关线路和设备。检查系统日志查看上述相关线路和设备的事件记录、网络设备内部日志，检查是否存在异常事件、或者是否有事件记录中断情况，判定可疑故障线路和设备。网络连通性测试在上述相关线路和设备所在的关键路径上，使用大数据包（字节）进行全程、分段测试，判定可疑故障线路和设备。检查系统状态查看上述相关设备和线路是否有反复重起、使用率高、误码率高、异常路由、错误连接和配置等情况。确认标准在关键路径上存在足以导致故障现象的异常设备和线路。、故障恢复恢复方案概述隔离故障点、缩小故障范围，修复故障设备和线路，恢复网络通信原状。参与人员王晖、黄劼、工程师、网络集成商工程师。操作步骤）断电重起故障设备和线路，检查通信是否能够自动恢复。）断电重起无法解决故障的，停止使用故障设备和线路，防止其影响网络其他部分。第18页共54页上海浦东发展银行）如系线路故障通知各有关方面（逐项对照处理）内部文档如为中国电信线路故障，向报修，并通知上海电信大客户室刘婷婷、总行行政管理部周忠德。如为中国网通线路故障，向报修，并通知上海网通客户经理曹健蔚、吴晓瑜、总行行政管理部周忠德。如为中元金融网线路故障，向中元公司报修（）。如为线路故障，向上海信天报修（或）。如为网银短信、托管通信线路故障，同时通知机房协查（，）。如为因私购汇系统线路故障，同时通知外汇管理局（魏先生）协查。如为网银线路故障，同时通知协查（汪洋）如为花旗信用卡系统线路故障，同时通知上海花旗（陈昶春）、信用卡中心（黄楠）协查。）如系设备故障，按以下流程逐项对照处理如为机房网络的交换机、路由器故障，联系科联公司（莫洁）启动原厂商保修服务备件更换程序。如为信息中心园区局域网的交换机故障，联系康达公司（顾兴强）启动原厂商保修服务备件更换程序。如为公司设备故障，同时通知思科公司协助（俞昊、刘诠和）。凡双机冗余中的一台发生故障、且不影响服务器、用户终端正常接入网络的，不调用库房备件和集成商备件更换，等待原厂商备件到达。对于双机冗余同时故障、或者影响服务器、用户终端正常接入网络的，在原厂商备件到达之前，按以下优先顺序依次调用库房备件和集成商备件予以应急更换第19页共54页上海浦东发展银行内部文档）机房网络核心交换机、广域网核心路由器（各一台）机房网络业务网络交换机；）机房网络第三方连接网络交换机、路由器；）信息中心园区局域网核心交换机（一台）；）信息中心园区局域网各弱电房业务网络交换机；）机房网络办公网络交换机；）信息中心园区局域网各弱电房办公网络交换机。）备件更换操作流程对于能够在线插拔的接口模块、有的引擎和电源，优先使用在线更换方式。在线更换的具体操作流程如下）用笔记本电脑连接在网络设备的上，启动监控和记录；）准备好存档的系统配置，备用。如有可能，同时保存当前系统配置；）对故障模块上连接的线缆做好标记，小心拔下；）做好安全接地，拔下故障模块；）检查设备和模块状态，确认是否影响整个设备或其他模块正常运行，模块是否正常接管；）做好安全接地，插上更换的备件模块；）检查设备和模块状态，确认是否能够正常识别新模块，是否影响其他模块运行；）按原样插上线缆；）检查线缆连接状态正常；）确认备件更换成功。对于机箱、不能在线插拔的接口模块、或者没有的引擎和电源，采用下电更换方式。下电更换的具体操作流程如下）准备好存档的系统配置，备用。如有可能，同时保存当前系统配置；第20页共54页上海浦东发展银行）准备好原先使用的系统软件，备用；）故障设备下电；内部文档）对需要拔除的线缆做好标记，小心拔下。如果机箱或引擎更换，需拔除所有连接线缆；）更换备件；）用笔记本电脑连接在网络设备的上，启动监控和记录；）设备上电；）检查系统自检情况，确认无硬件故障；）安装系统软件；）恢复系统配置；）冷启动，确认软硬件正常工作；）对于交换机要将设置为模式，首先连接上行线缆，确认复制正确；）按原样插上其他线缆；）检查线缆连接状态正常；）确认备件更换成功。第21页共54页上海浦东发展银行内部文档附件三核心系统HP主机设备故障技术恢复步骤、故障确认确认人穆炜、范彦、惠普厂商工程师操作步骤检查设备状态指示灯；登录操作系统，查看日志文件；查看系统外设的识别状态；检查盘卷（）状态；查看双机运行状态；检查网络通讯情况；查看数据库、中间件、备份软件运行状态；查看应用平台和进程、加密平台和进程状态。确认标准设备状态指示灯正常；系统日志文件没有报错信息；外设被正常识别；所以盘卷（）处于激活状态；双机运行正常，服务包运行在一台主机上；网络通讯正常；数据库、中间件、备份系统处于运行状态；应用平台和进程处于运行状态。、故障恢复恢复方案概述对于设备故障，可将系统切换至备机运行，尽快要求厂商对主机进行修复；对于系统故障（即双机切换无法解决），考虑隔离故障点，尽快第22页共54页上海浦东发展银行恢复业务运行。参与人员厂商支持人员、穆炜、范彦操作步骤（）检查设备状态指示灯内部文档需要进入机房检查主机（，；，）面板指示灯、机箱门内和后背的设备指示灯。如有指示灯报警（非绿色状态），则需要执行如下流程）联系惠普服务代表（武祎）、销售代表（姜之华）和支持热线（，贵宾号）；）工程师远程拨入诊断，我方人员到主控台监控；）检查是否有相关报警信息；）等待现场工程师到位；）等待备品备件到位；）确保双机热备中的一台设备能正常使用。（）登录操作系统，查看日志文件键入命令，检查系统启动信息；查看文件，检查系统日志内是否有错误信息。如上述内容中有错误信息，则需要执行如下流程）联系惠普服务代表、销售代表和支持热线（，贵宾号）；）工程师远程拨入诊断，我方人员到主控台监控；）检查是否有相关报警信息；）工程师进行诊断和问题排除；）确保双机热备中的一台设备能正常使用。（）查看系统外设的识别状态键入命令，检查外置硬盘识别情况；第23页共54页上海浦东发展银行内部文档如无法识别外置硬盘，请依照“（四）核心系统存储故障”予以处理。键入命令，检查外置带机识别情况；键入命令，检查带机机械手识别情况。如带库设备无法被识别，则需要执行如下流程）检查是否有相关报警信息；）进入机房检查带库面板指示灯和信息；）联系带库服务商赞华公司工程师（严学军）、销售代表（常文龙）。如有需要，还可联系原厂商（汪九宁）。（）检查盘卷（）状态键入命令，查看主机的是否被激活。如不是所有被激活，或其中有状态异常，则需要执行如下流程）联系惠普服务代表、销售代表和支持热线（，贵宾号）；）工程师远程拨入诊断，我方人员到主控台监控；）检查是否有相关报警信息；）工程师进行诊断和问题排除；）确保双机热备中的一台设备能正常使用。（）查看双机运行状态键入命令，查看主机服务包运行状况。如不显示信息有错误，则需要执行如下流程）联系惠普服务代表、销售代表和支持热线（，贵宾号）；）工程师远程拨入诊断，我方人员到主控台监控；）检查是否有相关报警信息；）工程师进行诊断和问题排除；）确保服务包能运行在一台主机上。（）检查网络通讯情况第24页共54页上海浦东发展银行内部文档键入命令，查看主机地址状况；键入命令，查看主机的路由情况；利用大数据包（字节）检测网关和需要通讯的主机地址。主机和相关端口，检查网络联通情况。如不显示信息有错误，则需要执行如下流程）联系惠普服务代表、销售代表和支持热线（，贵宾号）；）工程师远程拨入诊断，我方人员到主控台监控；）检查是否有相关报警信息；）工程师进行诊断和问题排除；（）查看数据库、中间件、备份软件运行状态键入命令，查看数据库运行状况；如数据库有问题，请依照“（三）数据库不可工作故障”予以处理。键入命令，查看中间件运行状况；如中间件有问题，请拨打技术支持热线，技术代表（李刚），销售代表（杨燕）。键入命令，查看运行状况；如进程运行异常，请拨打技术支持热线、技术代表（邱利公）、销售代表（杨骅）。（）查看应用平台和进程、加密平台和进程状态使用登录，选择“，检查所有服务进程”。如未显示所有进程已启动，需要联系开发部核心组成员（张国栋）。键入命令，查看加密系统进程。键入命令，实时观察加密系统运行状态。如加密系统出现问题需联系开发部集成组（郁志华），和科友公司技术人员（刘涛，刘兴卫），销售经理（闻建）。第25页共54页上海浦东发展银行内部文档附件四数据库不可工作故障技术恢复步骤、故障确认确认人范彦、穆炜、数据库厂商技术支持人员。操作步骤使用用户登陆主机系统；查看数据库日志；查看数据库状态；数据库查询测试。确认标准用命令查看数据库状态如果数据库不为”，或者数据库长时间处于状态，则表明数据库不可用。、故障恢复恢复方案概述方案联系服务热线，通过和工程师电话沟通解决故障或者由工程师直接拨入系统解决故障；方案备份磁带恢复。参与人员厂商支持人员、范彦、穆炜。操作步骤）联系服务热线工作时间全国响应中心，；非工作时间全球响应中心（）；客户号客户号第26页共54页上海浦东发展银行）同时联系服务工程师（陆川）；内部文档）如果需要工程师拨入系统排除故障则根据服务热线要求，打开远程拨入，我方人员到主控台监控；）在工程师指导下排除故障，或由工程师远程拨入系统解决数据库故障）如数据无法修复，则报技术小组和领导小组审批，起用方案二。）第一个阶段将数据库恢复到昨天的备份发起时间点；操作命令）用用户登陆系统）执行“”（为前一天在线备份发起时间，可以通过查看数据库日志获得数据库日志中显示则可以用如下命令恢复“”）在过程中用”，”来查看数据库的状态）第二阶段将数据库恢复到宕机前的状态。操作命令执行（也可以通过加入参数将数据库恢复到一个时间点）数据库恢复完毕，对数据库启动状态进行确认查看数据库日志文件、查看数据库进程状态、数据库简单查询；第27页共54页上海浦东发展银行内部文档附件五核心系统EMC存储故障技术恢复步骤、故障确认确认人穆炜、范彦、厂商工程师操作步骤检查设备状态指示灯；工程师远程登入检查；检查主机系统是否能正常识别和使用存储。确认标准设备状态指示灯正常；工程师确认设备工作正常；主机系统能正常识别和使用存储。、故障恢复恢复方案概述厂商工程师的紧急到位，进行故障诊断，紧急的备件更换。隔离故障点，确保存储系统能够运行。参与人员厂商支持人员、穆炜、范彦操作步骤（）如主机无法识别存储的磁盘，需执行如下流程）联系支持热线（，）、技术代表（焦进）、销售代表（白云飞）；）工程师远程拨入诊断；）检查或，查看是否有关于设备的报警信息。）等待现场工程师到位；）等待备品备件到位；第28页共54页上海浦东发展银行内部文档）确保在暂时降低设备冗余性的情况下可用。（）键入命令，检查主机至的路径和盘卷情况。（）键入命令，检查内的同步状况。（）键入命令，检查的同步状况。第29页共54页上海浦东发展银行内部文档附件六机房基础环境非灾难性故障、故障确认确认人应急保障小组（信息中心物业和内保机房值班）、值班人员确认标准值班人员收到内保值班人员签发的上海浦东发展银行信息中心机房严重失电通知单，机房即将发生严重失电（只有分钟电力供应）；值班人员收到应急保障小组有关人员关于空调发生暂时故障的通知，将影响到核心设备运行。参与人员、故障恢复恢复方案概述核心系统设备紧急关机，紧急抢险发生故障地基础设施，待恢复后设备开机恢复运行。参与人员应急保障小组；穆炜、王晖、范彦、厂商支持人员操作步骤）紧急关闭主机，保证设备和数据安全（该操作为权限操作，必须在得到技术小组的授权后才能执行。）系统关机（如有时间进行紧急关机操作，停止应用、数据库和操作系统；如无则直接进入步骤）核心主机（）和大前置（）第30页共54页上海浦东发展银行两台主机分别做。内部文档选举服务器（）用户登录）关闭设备的电源开关（如遇突然断电，所有主机和设备也都必须关闭电源）进入机房，核心系统的设备电源置于“关闭”位。关机顺序核心主机与大前置的备机（与），核心主机主机（）、大前置主机（）、存储。）在关闭主机的同时，关闭如下网络设备）关闭核心路由设备电源，包括）关闭第三方连接网络设备电源，包括网银、内部防火墙、第三方连接系统网关、）关闭服务器、业务服务器网关，包括）待主机关机后，再关闭主机网段网关、交换核心、设备，包第31页共54页上海浦东发展银行括设备内部文档）如为电力系统发生故障，紧急抢修电力系统，具体处置预案如下）外围供电系统中断）非正常停电（双路供电全部中断）物业管理部门发现情况后，立即启动柴油发电机应急预案；）对柴油发电机所覆盖的供电范围进行检查；）对无法供电的区域立即进行通告，请相关使用部门启动相关部门内部的应急处置方案；）领导小组通知技术组、抢修组、保障组相关人员立即到场，检查情况，分析原因，提交补救措施；）领导小组对补救措施审核批准后，由抢修组人员立即实施，并将影响范围及后果减小到最低程度。）柴油发电机组系统无法启动）应急技术小组分析机组故障原因；）启用手动方案操作发电机组工作；）如在分钟内机组仍然无法启动，则立即上报应急领导小组；）领导小组决定后，向所有使用部门发出紧急通告，通知全面停电；）要求各使用部门对所有设备系统采取保护措施，并启动各自部门内部的应急方案；）各部门应急方案的实施情况须及时向应急小组反馈，以便于下一步恢复工作的部署；）系统故障排除，并可以正常使用后，根据各使用部门的系统恢复要求，逐一恢复送电。第32页共54页上海浦东发展银行）信息中心内部配电系统故障内部文档）高浦发银行甲进线开关故障跳闸应急处理预案为了保证信息中心的安全用电及用户的正常办公及生活，对高压变配电室进线突然故障，进线开关过电流跳闸，制订以下应急处理措施）高浦发银行甲高压进线突然故障，进线开关过电流跳闸高浦发银行甲高压进线开关过电流保护范围）高进线柜电流互感器上桩头至各分路高压开关柜电流互感器上桩头（包括本柜断路器、车式闸刀、电排，各分路开关车式闸刀上闸刀、断路器）主保护）作为各分路开关柜内电流互感器下桩头以后电器供电线路合设备的后备保护。）高浦发银行甲高压进线开关跳闸）确认高浦发银行甲高压进线开关跳闸，开关电流显示仪显示三相电缆有电，进线开关即电保护综合保护器显示过电流故障；确认一段母排无电；确认配变出线柜、配变出线柜无电。）拉脱配变进线总开关。）拉脱一段系统冷冻机房、冷水机组、冷水机组开关。）合上一段与二段联络开关。）观察配变总开关及一段与二段联络开关电流，切断相应的分路负荷，保证要害部门用电可靠正常。）拉脱配变进线总开关。）合上三段与四段联络开关。）观察配变总开关及三段与四段联络开关电流，切断相应的分路负荷，如配变超负荷供电，可切断四段系统区域内动力负荷电源开关（），保证要害部门用电可靠正第33页共54页上海浦东发展银行常。）拉脱配变开关，拉脱配变开关。内部文档以上发生突然停电情况，及时与工程部主管、管理处总经理、信息中心管理办公室主管工程负责人汇报，查明过电流的故障原因，切除故障点。高浦发银行进线开关跳闸原因查明后，故障点完全解除隔离，做好供电恢复准备。）高浦发银行乙进线开关故障跳闸应急处理预案为了保证信息中心的安全用电及用户的正常办公及生活，对高压变配电室进线突然故障，进线开关过电流跳闸，制订以下应急处理措施）高浦发银行乙高压进线突然故障，进线开关过电流跳闸高浦发银行乙高压进线开关过电流保护范围）高进线柜电流互感器上桩头至各分路高压开关柜电流互感器上桩头（包括本柜断路器、车式闸刀、电排，各分路开关车式闸刀上闸刀、断路器）主保护。）作为各分路开关柜内电流互感器下桩头以后电器供电线路和设备的后备保护。）高浦发银行乙高压进线开关跳闸。）确认高浦发银行乙高压进线开关跳闸，开关电流显示仪显示三相电缆有电，进线开关继电保护综合保护器显示过电流故障；确认二段、母排无电；确认配变出线柜、配变出线柜无电。）拉脱配变进线总开关。）拉脱二段系统，、服务、培训、办公（机房除外）、信息二、三层区域内照明供电。）合上二段与一段联络开关。）观察配变总开关及二段与一段联络开关电流，切断相应的分路负荷，如配变超负荷供电，可以切断冷冻第34页共54页上海浦东发展银行内部文档机房、冷冻机组、开关，保证要害部门用电可靠正常。）拉脱配变进线总开关。）合上四段与三段联络开关。）观察配变总开关及四段与三段联络开关电流，切断相应的分路负荷，如配变超负荷供电，可切断、服务、培训、办公（机房除外）、信息二、三层区域内动力供电开关，保证要害部门用电可靠正常。）拉脱配变开关，拉脱配变开关。以上发生突然停电情况，及时与工程部主管、管理处总经理、信息中心管理办公室主管工程负责人汇报，查明过电流的故障原因，切除故障点。高浦发银行乙高压进线开关跳闸原因查明后，故障点完全解除隔离后，作好供电恢复准备。）变压器超温配变开关跳闸应急处理预案为了保证信息中心的用电安全及用户的正常办公及生活，对高压变配电室变压器突然超温故障，配变开关因变压器超温故障跳闸，制订以下应急处理措施）确认配变开关跳闸，开关电流显示仪显示三相电流无电，配变开关继电保护综合保护器显示超温故障；确认配变一段母排无电，一段各出线开关无电。）拉脱配变进线总开关。）拉脱一段系统冷冻机房、冷水机组、冷水机组开关。）合上一段与二段联络开关。）观察配变总开关及一段与二