一卡通平台系统应急预案

1、一卡通平台系统应急预案深圳数智国兴信息科技有限公司一通技术部2016-01-13V 1 1V 1O2016-01-152016-01-13ED11(A弱言。MS洋。a目录 TOC o 1-5 h z HYPERLINK l bookmark61 o Current Document 总则5 HYPERLINK l bookmark64 o Current Document 编写目的5 HYPERLINK l bookmark68 o Current Document 适用范围6 HYPERLINK l bookmark71 o Current Document 编写人员6 HYPERLINK

2、l bookmark74 o Current Document 应急处理流程6 HYPERLINK l bookmark78 o Current Document 原则6 HYPERLINK l bookmark85 o Current Document 触发条件6实施流程7职责分工7 HYPERLINK l bookmark98 o Current Document 系统描述11 HYPERLINK l bookmark102 o Current Document 物理拓扑图11 HYPERLINK l bookmark105 o Current Document 设备列表11 HYPERL

3、INK l bookmark108 o Current Document 系统软件安装/部署12 HYPERLINK l bookmark111 o Current Document 应用软件安装/部署 12数据库安装部署13 HYPERLINK l bookmark123 o Current Document 1.1 安装 Windows 2008 131.1.1用光盘启动系统131.1.2 安装 Windows 2008 13 HYPERLINK l bookmark127 o Current Document 1.2安装数据库14 HYPERLINK l bookmark130 o Cu

4、rrent Document 1.3加载系统数据库14 HYPERLINK l bookmark136 o Current Document 1.4启动操作14 HYPERLINK l bookmark139 o Current Document WEB服务器安装部署14安装 Windows 2008 14安装 JDK1.7 14安装 TOMCAT 7.0 14 HYPERLINK l bookmark151 o Current Document WEB应用安装部署15 HYPERLINK l bookmark158 o Current Document 启动操作15 HYPERLINK l

5、bookmark162 o Current Document 应用服务器安装部署151.5 安装 Windows2008 15安装 JDK1.7 TOMCAT7.0 15应用的安装部署15 HYPERLINK l bookmark175 o Current Document 启动操作 15 HYPERLINK l bookmark179 o Current Document 文件服务器安装部署16安装 Windows 2008 16安装 JDK1.7 TOMCAT7.0 16应用的安装部署 16 HYPERLINK l bookmark193 o Current Document 启动操作 1

6、6 HYPERLINK l bookmark197 o Current Document 关联系统16 HYPERLINK l bookmark201 o Current Document 数据库备份17 HYPERLINK l bookmark204 o Current Document 数据备份17 HYPERLINK l bookmark208 o Current Document 应急详细技术方案18 HYPERLINK l bookmark212 o Current Document 故障判断18故障判断流程18流程说明18 HYPERLINK l bookmark238 o Cur

7、rent Document 单点服务器故障19故障类型1 19故障类型2 19故障类型3 19 HYPERLINK l bookmark250 o Current Document 数据库损坏或者服务器系统崩溃19 HYPERLINK l bookmark254 o Current Document 数据库软件20磁盘阵列21 HYPERLINK l bookmark266 o Current Document 配置信息恢复21 HYPERLINK l bookmark270 o Current Document 文件系统数据恢复21 HYPERLINK l bookmark274 o Cur

8、rent Document 服务器硬件 21 HYPERLINK l bookmark277 o Current Document 系统软件22网络设备22 HYPERLINK l bookmark280 o Current Document 电源设备22 HYPERLINK l bookmark283 o Current Document 系统恢复确认23 HYPERLINK l bookmark287 o Current Document 主机系统检查 23 HYPERLINK l bookmark290 o Current Document 应用程序检查 23 HYPERLINK l b

9、ookmark293 o Current Document 附件一、备份操作步骤23 HYPERLINK l bookmark297 o Current Document 数据库备份23 HYPERLINK l bookmark301 o Current Document 逻辑备份23 HYPERLINK l bookmark305 o Current Document 物理备份24 HYPERLINK l bookmark308 o Current Document 数据库备份数据恢复24总则编写目的本文的编写目的是为各个用户的应急处理提供操作指导，确保在 系统异常时，可以有序的实施恢复操作

10、，及时恢复业务。1.2.适用范适用系统：一卡通系统适用对象：各个用户系统管理员、维护支撑人员以及其他管理人 员。1.3.编写人员一、一卡通系统应急预案编写工作小组人员名单：刘运亚应急处理流程原则支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复业务，减少业务受影响的范围，缩短业务受阻的历时：确保网络安全，最大限度地预防业务中断，防止业务性能下降 扩散。应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益 最大化。业务应急按照不同业务类别实施不同的应急策略，优先满足面 向客户的业务恢复。触发条件同时具备以下条件的时候，经省移动公司批准后启用应急处理流程:是否开启应急处理流程；

11、判断100分钟内无法排除;严重影响业务；实施流程职责分工角色职责描述部门姓名联系电话备注(*)协调部门1、向用户解释系统状况；2、协调相关部门协同处理移动运维部门分公司监控中心上级领导1、向省公司或分公司移动运维部门领导汇 报故障 处理进 度；2、部门 间沟通 协调。3、决定 是否启 用应急 环境。故障协调人员1、组织 维护人 员分工 协作；2、向上 级领导 汇报进度；移动运维部门故障处理人员1、判断故障移动运维部门点.八；2、提出 并实施 解决方 案或应 急措 施；3、系统 恢复后 检查系 统状况；4、编写 故障分 析报 告。厂家支撑人员1、协助判断故障点，可电话技术支持，必平台供应商报障电

12、话400-6809856要时必 须赶到 现场处 理故 障；2、按维 保合同 提供必 要的备 件；3、协助 分析故 障原因 并协助 整改。业务配合1、执行市场部人员业务应技术支持中心急措 施，向 用户解 释系统 状况；研发中心彭波发刘运亚杨杰2、系统恢复后检查应用系统状况。系统描述3.1.物理拓扑图3.2.设备列表设备名称操作系统用途序列号IP地址ykt_SDJN-YPT-YKT-03Linux SUSE生产环境NFC数 据库1ykt_SDJN-YPT-YKT-06Windows Server2008 R2生产环境数据米集服务器2ykt_SDJN-YPT-YKT-05Windows Server

13、2008 R2生产环境数据访问节点生产环境NFC WEB 应用入口3ykt_SDJN-YPT-YKT-04Windows Server2008 R2生产环境数据访问节点生产环境数据库 服务器4ykt_SDJN-YPT-YKT-01Windows Server2008 R2生产环境WEB应 用入口3.3.系统软件安装/部署设备名称安装软件作用数据库服务器SQL Server2012应用服务器OneCardReport 项目一卡通云平台和报表项目MyRest、cloudweb 项目一卡通云平台后台程序与BOSS接口程序MyRest、cloudweb smartcar 项目为APP后台接口程序3.4

14、.应用软件安装/部署注意：apk需放在smartcardappspkgs 目录下把项目源代码导入（选择import）Eclipse开发工具。根据部署的服务器修改对应项目的配置文件card项目：修改 src/ perties 文件修改resturl值，把IP地址修改成Web服务器的路径 示例：:8080/MyRest/（只 需要修改IP地址和端口号）修改reporturl值，把IP地址修改成Web服务器的路径 示例：:8080修改url值修改成数据库平台库的库名，与数据库服务器的IP修改username值:数据库对应的登陆账户名修改password值：数据库对应的密码OneC

15、ardReport项目：报表项目。在Webroot/reports/目录下，每张 报表有单独的数据集，需要填写数据库对应的地址与账户密码.密码采 用BASE64加密。示例：sa SEYzZ3hyWTkcloudweb 项目：修改 src/main/conf/props/pertries修改jdbc.url值（对应的数据IP地址与库名 端口号）修改jdbc.username值（对应的数据库登录名）修改jdbc.password （数据库对应的密码）3 .把修改好的项目源代码导出成War包把相应War包解压到服务器Tomcat下的webapps目录下，启动 Tomcat,完成部署

16、。完成部署后输入正确的IP地址加上端口号与项目名可以访问项目示 例：3.5.数据库安装部署1.1 安装 Windows 20081.1.1用光盘启动系统重新启动系统并把光驱设为第一启动盘，保存设置并重启。将2003安装光盘放入光 驱,重新启动电脑。刚启动时，当出现如下图1所示时快速按下回车键，否则不能启动 2003系统安装。2 安装 Windows 2008光盘自启动后，如无意外即可见到安装界面从光盘读取启动信息，很快出现如下图所示。全中文提示，“要现在安装Windows，请按ENTER”，按回车键。许可协议,这里没有选择的余地，按“ F8”。这里用“向下或向上”方向键选择安装系统所用的分区，

17、这里准备用C盘安装2003,并 准备在下面的过程中格式化C盘。选择好分区后按“Enter”键回车，安装程序将检查C 盘的空间和C盘现有的操作系统。下图表示安装程序检测到C盘已经有操作系统存在，提出警告信息。如果你选择安装系 统的分区是空的。在这里我坚持用C盘安装系统，根据提示，按下键盘上的“C”键后 出现如下图所示。下图最下方提供了 5个对所选分区进行操作的选项，其中“保存现有文件系统（无变 化）”的选项不含格式化分区操作，其它都会有对分区进行格式化的操作。这里，我用“上移”箭头键选择“用NTFS文件系统格式化磁盘分区”。格式化C分区完成后，创建要复制的文件列表，跟接着开始复制系统文件随后的操

18、作按照系统操作步骤一步步进行即可完成Windows Server2003的安装。1.2安装数据库平台数据库为SQL SERVER 2008 R2,安装图解如下：1.3加载系统数据库（1）首先建立数据库。用Sa用户登录后，在数据库-新建数据库中建立OCard_HZ_Base数据库。（2）建立sdykt用户打开 Microsoft SQL Server Management Studio，在安全性-用户名中创建 sdykt 用户，访问密码设为abcd，并把该用户设为sdykt数据库的用户。（3）导入OCard_HZ_Base系统数据库在OCard_HZ_Base数据库上右键一任务一还原一数据库上操

19、作，将 OCard_HZ_Base.bak导入到数据库中。1.4启动操作在系统找到相应的服务启动：WEB服务器安装部署安装 Windows 2008安装 JDK1.7安装 TOMCAT 7.0Tomcat 7.0的安装过程如下:WEB应用安装部署（1）将程序打包的文件复制到tomcat安装路径的webapps目录下，（2）解压后配置访问端口，编码，内存范围已经数据库连接地址（3）在tomcat安装目录的conf目录下server.xml配置端口访问控制参数启动操作在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat，然后再浏览器中 输入ip+端口+项目名访问.

20、应用服务器安装部署1.5 安装 Windows 2008安装 JDK1.7 TOMCAT7.0应用的安装部署（1）将应用的安装文件复制到tomcat安装目录的webapps下，然后解压。（2）配置好访问端口和数据库连接。启动操作在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat，然后再浏览器中输入ip+端口+项目名访问文件服务器安装部署安装 Windows 2008安装 JDK1.7 TOMCAT7.0应用的安装部署（1）在tomcat安装目录下的webapps文件夹下新建文件夹upload（2）设置文件夹upload的读写权限，然后再里面建分类文件启动操作

21、在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat，然后再浏览器中 输入ip+端口+项目名访问.关联系统系统名称关联业务故障对系统的影响一卡通会议签到系 统业务开通如果不能访问平台，会 议签系统仍然可以应 用，当能再次连接平台 时数据重新同步。一卡通考勤管理系 统业务开通如果不能访问平台，考 勤系统仍然可以应用， 当能再次连接平台时数 据重新同步。一卡通门禁管理系 统业务开通如果不能访问平台，门 禁系统仍然可以应用， 当能再次连接平台时数 据重新同步。一卡通消费系统业务开通如果不能访问平台，消 费系统到仍然可以应 用，当能再次连接平台 时数据重新同步。66.

22、数据库备份数据备份设备名称备份内容平台数据库备份方法数据库软件自动备份备份周期及时间点每天备份9:30 分14:30 分21:30 分00:15 分备份介质保存期 限9： 30、14： 30、21. : 30一天00： 15三个月应急详细技术方案故障判断故障判断流程流程说明1）故障发生和现象描述：a）软件或硬件导致宕机，如:数据库、磁盘不可访问、主机不能正 常运行、网络不正常、电源掉电、运行温湿度等环境条件超标 等b）操作系统CPU占用率大于95%并严重影响业务超过30分钟c）操作系统内存消耗超过95%并严重影响业务超过30分钟d）操作系统I/O等待率大于50%并严重影响业务超过30分钟e）磁

23、盘使用率达到100%f）应用程序运行异常,导致业务系统不可用g）系统双击工作异常，严重影响业务处理h）业务处理性能比平时慢50%以上且持续一段时间2）网络和服务器可用行检查：包括PING、TELNET检查等3）数据库可用行检查：包括SQLPLUS访问、表空间、数据库死锁、 等待事件、数据库日志查看等4）服务器系统资源使用情况检查：包括CPU、内存、磁盘空间、系统I/O的使用率和系统日志查看等应用程序健康性检查：包括服务CORE、服务排队、服务挂死、域间通讯检查和程序运维日志查看等检查的顺序建议按照网络、系统、数据库、中间件和应用日志的顺序进行检查，可以根据故障现象进行实际的调整定位故障等级包括

24、单点故障、多点故障、其他故障需要应急处理的故障如下：故障序号故障现象描述故障等级处理办法备注1如果平台上面设备最后一次通讯时间与现实时 间相差5分钟以上，或者大批量通讯异常单点故障参照7.2.12输入平台网址无法显示登陆界面或者显示404单点故障参照7.2.23登陆网址到登陆界面输入正确的用户账号密码 无反应单点故障参照7.2.34数据库服务器不能正常使用，或者该服务器系统 崩溃无法正常开机运行多点故障参照7.2.4单点服务器故障故障类型1故障类型2故障类型3“6.2数据库备份数据恢复”恢复数据库数据库损坏或者服务器系统崩溃如果出现数据库损坏或者数据库服务器系统崩溃，无法开机正常运行。可以在备

25、用服务器上面参照“3.4应用软件安装/部署”重新部署该项目，并且按照“6.2数据库备份数据恢复”恢复数据库数据库软件数据库出现紧急故障乃至数据丢失、数据库不可用时，主要通过 逻辑恢复和物理恢复两种方式来完成。在执行恢复操作时，一般建议 联系集成商和ORACLE协助进行实施。第一种情况：【故障现象】：归档日志目录满的情况。【解决办法】：先将归档日志临时移至其他目录，然后做备份处理：Mv数据库目录log_1*备份数据库目录启动NBU备份软件进行归档日志备份。第二种情况：【故障现象】：单个表或部分表数据丢失的情况。【解决办法】：如果有近期的逻辑备份，可以考虑通过从逻辑备 份中导出进行表恢复。但需要考

26、虑恢复的时间点要求问题。第三种情况：【故障现象】：数据库无法打开等情况，采用RMAN进行恢复。【解决办法】：因为硬件原因或数据库内部自身的原因，数据库 无法打开，需要全库恢复，部分表空间数据损坏，可以考虑进行部分 表空间的恢复。这个恢复操作主要通过调用rman脚本进行恢复。建议这个操作在其他设备上进行：如果有另一套阵列设备环境，建议在新阵列环境上进行恢复。按照原有的配置重新划分卷组、文件系统。在操作系统上按照原有的配置重新划分diskgroup和lv。调用rman脚本进行数据库恢复，需时约4-12小时。如果没有阵列设备，直接在原来的环境上进行恢复。74磁盘阵列如磁盘阵列故障无法修复时，可使用最近备份进行恢复。配置信息恢复阵列配置信息的恢复需要建立在原来信息备份的基础上。阵列配 置信息的备份主要是记录配置参数。文件系统数据恢复阵列的文件系统数据出现丢失时，可以使用最近的备份进行恢复。 由于阵列的数据量大，目前我们一般都通过备份