电信x公司应急预案_综合业务支撑系统(IBSS-CRM)_V1.2

xxxxx 公司 计算机系统 应急预案 综合业务支撑系统 （ IBSS&CRM） Version 1.2 中国电信股份有限公司 xx 分公司 2008 年 06 月 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 2 页 共 76 页 修订控制 页 修订号 修订日期 修订内容简述 修订人 版本号 1 2008-3-20 初稿 （ 公共部分 ） 周玉珍 陈军 黄书成 梁振宇 唐彪 0.1 2 2008-3-20 初稿 （ 系统和业务部 分） 陈辉 刘长成 江粤雄 张志伟 0.2 3 2008-3-26 项目组修订、审核 项目组 0.3 4 2008-3-28 省公司 审核 杜涛 1.0 5 2008-6-5 补充 1个参考案例，并审核 CRM 配置变更 苏智 1.1 6 2008-6-10 补充 1个参考案例 苏智 1.2 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 3 页 共 76 页 目 录 修 订 控 制 页 . 2 1. 总则 . 5 1.1. 编写目的 . 5 1.2. 适用范围 . 5 1.3. 编制依据 . 5 1.4. 编写人员 . 5 1.5. 解释权 . 5 1.6. 版权 . 6 2. 应急处理流程 . 6 2.1. 原则 . 6 2.2. 触发条件 . 6 2.3. 实施流程 . 6 2.4. 重大故障上报流程 . 8 2.5. 职责分工 . 9 3. 系统描述 . 10 3.1. 物 理拓扑图 . 10 3.2. 设备列表 . 11 3.3. 系统软件安装 /部署 . 12 3.4. 应用软件安装 /部署 . 12 3.4.1. 系统逻辑架构 . 12 3.4.2. 系统应用部署 . 13 3.5. 系统重要参数配置 . 15 3.5.1. 数据库服务器 . 15 3.5.1.1. 操作系统参数配置 . 15 3.5.1.2. ORACLE 参数配置 . 17 3.5.2. 应用服务器 . 18 3.5.2.1. 操作系统参数配置 . 18 3.5.2.2. TUXEDO 参数配置 . 20 3.6. 关联系统 . 21 3.7. 系统备份 . 22 3.7.1. 系统备份 . 22 3.7.2. 数据库备份 . 23 3.7.3. 应用软件备份 . 24 4. 应急详细技术方案 . 25 4.1. 故障判断 . 25 4.1.1. 故障判断流程 . 25 4.1.2. 流程说明 . 25 4.2. 单点服务器故障 . 27 4.2.1. 故障类型 1. 27 4.2.2. 故障类型 2. 31 4.2.3. 故障类型 3. 32 4.3. 多点服务器故障 . 33 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 4 页 共 76 页 4.3.1. 故障类型 4. 33 4.3.2. 故障类型 5. 34 4.3.3. 故障类型 6. 35 4.3.4. 故障类型 7. 36 4.3.5. 故障类型 8. 37 4.3.6. 故障类型 9. 38 4.4. 数据库软件 . 38 4.5. 磁盘阵列 . 43 4.5.1. 配置信 息恢复 . 43 4.5.2. 文件系统数据恢复 . 43 4.6. 光纤交换机 . 49 4.7. 服务器硬件 . 51 4.8. 系统软件（操作系统和 cluster） . 52 4.8.1. 操作系统部分 . 52 4.8.2. Cluster 软件部分 . 54 4.9. 网络设备 . 56 4.10. 电源设备 . 56 5. 系统恢复确认 . 56 5.1. 第三方软件检查 . 56 5.2. 主机系统检查 . 56 5.3. 应用程序检查 . 57 6. 附件一：参考案例分析 . 58 6.1. 案例一 . 58 6.2. 案例二 . 58 6.3. 案例三 . 60 6.4. 案例四 . 62 6.5. 案例五 . 64 6.6. 案例 六 . 68 6.7. 案例 七 . 69 7. 附件二、备份操作步骤 . 70 7.1. 操作系统备份 . 70 7.1.1. Sun 平台备份操作 . 70 7.1.2. HP 平台备份操作 . 70 7.1.3. IBM 平台备份操作 . 71 7.2. 磁盘阵列备份 . 71 7.2.1. 配置信息备份 . 71 7.2.2. 数据备份 . 72 7.3. 光纤交换机备份 . 73 7.4. 数据库备份 . 74 7.4.1. 逻辑备份 . 74 7.4.2. 物理备份 . 75 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 5 页 共 76 页 1. 总则 1.1. 编写目的 本地综合业务支撑系统（ IBSS/CRM）为 xx 电信的核心 BSS 系统之一，其不间断运行的能力对 xx 电信有着重要的作用。 本文的编写目的是为 各分公司重大系统的应急处理 提供操作指导 ， 确保在系统异常时，可以有序的实施恢复操作， 及时 恢复业务 。 1.2. 适用范围 适用系统：综合业务支撑系统 （ IBSS） 1.x，客户关系管理 系统（ CRM） 2.x 适用对象：各分公司的 IBSS 系统管理员、维护支撑人员以及其他管理人员。 1.3. 编制依据 综合业务支撑系统应急方案 080229（中山），中国电信中山分公司 xx 电信 IT 系统数据集中备份规范， xxxxx 公司 1.4. 编写人员 一、 xxxxx 公司计算机系统应急预案 编写工作小组人员名单： 组长：孙丹宇 副组长： 杜涛 成员：梁振宇、陈辉、林群辉、黄书成、刘长成、陈军、 李少华、李涛、江粤雄 、周玉珍、唐彪（ 亿迅 ）、张志伟（ 亿迅 ）、 徐祖科 （ 亿迅 ） 二、本分册主要编写人员名单： 陈军、黄书成、梁振宇、周玉珍、 陈辉、刘长成、江粤雄 、唐彪（ 亿迅 ）、张志伟（ 亿迅 ） 、 苏智 （ 亿迅 ） 1.5. 解释权 本规范的解释权属于中国电信股份有限公司 xx 分公司。 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 6 页 共 76 页 1.6. 版权 本规范的 版权属于中国电信股份有限公司 xx 分公司。 2. 应急处理流程 2.1. 原则 支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复业务，减少业务受影响的范围，缩短业务受阻的历时： 1. 确保网络安全，最大限度地预防业务中断，防止业务性能下降扩散。 2. 应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益最大化。 3. 业务应急按照不同业务类别实施不同的应急策略 ，优先满足面向客户的业务恢复。 2.2. 触发条件 同时 具备以下条件的时候， 经分公司 网运部批准后 启用应急 处理流程： 1. 故障级别为二级 及 以上 ； 2. 判断 90 分钟内无法排除； 3. 严重影 响业务； 2.3. 实施流程 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 7 页 共 76 页 计 算 机 系 统 应 急 管 理 流 程中 国 电 信 股 份 有 限 公司 广 东 分 公 司责 任 岗 位流 程流 程 说 明 作 业 指 导 书1 、 目 的规 范 启 动 系 统 应 急 方 案 的 管 理 程 序 ， 明 确 责 任 ， 提 高 系 统 业 务 恢 复 速 度 和 应 急 规 范 性 。2 、 适 用 范 围适 用 于 对 支 撑 系 统 应 急 预 案 的 启 动 管 理 工 作 。系 统 维 护 人 员开 始 各 系 统 维 护 人 员 判 断 该 故 障 是 否属 于 二 级 故 障 分 公 司 网 运 部 决 定 是 否 启 用 应 急处 理 流 程分 公 司重 大 事 件 传 报 流 程监 控 人 员 、 系 统主 管网 运 部 领 导 、分 公 司 领 导 上 报 监 控 中 心 、 分 公 司 网 运 部经 理 、 分 公 司 分 管 领 导 上 报 省 公 司 报 障 维 护 厂 商 系 统 维 护 人 员 按 照 应 急 方 案 ， 启动 应 急 系 统 ； 值 班 人 员 每 1 5 分 钟 向监 控 中 心 报 告 进 度生 产 系 统 恢 复结 束、 发 生 重 大 故 障 或 A 级 故 障 的 ， 单独 就 该 故 障 做 出 分 析 专 题 ， 并 提交 省 公 司 和 分 公 司 网 运 部 。分 析 总 结 系 统 主 管 和 I T 维 护 中 心 经 理 判 断是 否 满 足 应 急 触 发 条 件 。系 统 维 护 人 员值 班 人 员系 统 维 护 人员 、 系 统 主 管日 常故 障处 理流 程生 效 日 期 ： 2 0 0 8 年 4 月流 程 负 责 人 ：第 1 页 共 1 页流 程 编 制 人 ：支 撑 系 统 故 障 分 类重 大 通 信 事 件 传 报制 度是 否 满 足应 急 触 发 条 件 ？Y计 算 机 系 统 应 急预 案抢 修 生 产 系 统系 统 维 护 人 员厂 家 维 护 人 员 对 正 式 生 产 系 统 进 行 修 复 处 理 生 产 系 统 修 复 后 ， 切 换 回 生 产 系统 运 行 ， 恢 复 生 产 ， 并 进 行 数 据 同步 。发 现 / 受 理 故 障是 否 二 级及 以 上 故 障监 控 人 员 、 系 统维 护 人 员 、启 用 应 急 预 案 ？Y 网 管 系 统 发 出 严 重 告 警 、 监 控 中心 派 单 、 维 护 人 员 主 动 发 现营 业 人 员 、 客 服 代表 、 监 控 人 员 、 业务 支 持 人 员 监 控 中 心 做 故 障 拦 截 ； 营 业 人员 、 客 服 代 表 向 用 户 解 释 并 做 相 应配 合 操 作 。业 务 应 急 方 案NNNY计 算 机 系 统 应 急预 案判 断 故 障 点系 统 维 护 人 员系 统 主 管 、 I T维 护 中 心 经 理重 大 通 信 事 件 传 报制 度系 统 应 急 处 理 流 程 并通 报 进 度Y启 动 业 务 应急 处 理 流 程系 统 维 护 人 员厂 家 维 护 人 员广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 8 页 共 76 页 2.4. 重大故障上报流程 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 9 页 共 76 页 2.5. 职责分工 角色 职责描述 部门 姓名 联系电话 备注 (*) 协调部门 1、 向用户解释系统状况； 2、协调相关部门协同处理 省 NOC 值班电话 020-83809790 分公司监控中心 值班电话 上级领导 1、向省公司或分公司领导汇报故障处理进度； 2、部门间沟通协调。 3、决定是否启用应急环境。 省公司网运部 孙丹宇 020-88332023 杜涛 020-88332095 分公司网运部 IT 维护中心 故障 协调人员 1、组织维护人员分工协作； 2、向上级领导汇报进度； 系统主管 故障处理人员 1、判断故障点； 2、提出并实施解决方案或应急措施； 3、系统恢复后检查系统状况； 4、编写故障分析报告。 系统平台管理员 A 系统平台管理员 B 数据库管理员 A 数据库管理员 B 应用系统管理员 A 应用系统管理员 B 厂家 支撑人员 1、协助判断故障点，可电话技术支持，必要时必须赶到现场硬件提供商 HP 公司 报障电话 800-810-7000 硬件提供商 SUN 公司 报障电话 800-810-0035 ORACLE 公司 报障电话 800-810-0366 ORACLE 公司 紧急热线 010-82786222 ORACLE 公司 徐昕 13602838240 集成商普信公司 系统组 13556193945 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 10 页 共 76 页 处理故障； 2、按维保合同提供必要的备件； 3、协助分析故障原因并协助整改。 集成商普信公司 应用组 13556193944 业务配合人员 1、执行 业务应急措施，向用户解释系统状况； 2、系统恢复后检查应用系统状况。 市场部 政企客户部 家庭客户中心 业务支持中心 10000 客服中心 区域分公司 区域销售中心 备注：需要填写售后支持服务所需的贵宾号、序列号或服务号等； 厂家支撑人员为示例，需按实际系统 列出。 3. 系统描述 3.1. 物理拓扑图 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 11 页 共 76 页 3.2. 设备列表 设备名称 型号配置 用途 序列号 IP 地址 数据库服务器 1 Sun Fire 或HP IBSS 数据库实例 1 建议填写物理地址 +浮动地址 数据库服务器 2 Sun Fire 或HP IBSS 数据库实例 2 数 据 库 服 务 器 1 数 据 库 服 务 器 2存 储 阵 列存 储 交 换 机 1 存 储 交 换 机 2应 用 服 务 器 1 应 用 服 务 器 2核 心 交 换 机 1核 心 交 换 机 2F 3 / 1F 3 / 2F 3 / 3F 3 / 1F 3 / 2F 3 / 3F 3 / 4F 3 / 5F 3 / 4F 3 / 5D C N 网广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 12 页 共 76 页 应用服务器 1 Sun Fire 或HP IBSS中间件服务 + IBSS接口中间件服务 +接口后台进程 应用服务器 2 Sun Fire 或HP IBSS 中间件服务 +后台独立进程 磁盘阵列 EMC 或Sun T3 省统一 光纤交换机 Brocade 3800 省统一 网络设备 省统一 电源设备 省统一 3.3. 系统软件安装 /部署 设备名称 安装软件 作用 数据库服务器 HP B.11.11/ SunOS 5.9 操作系统 hp cluster/sun cluster/veritas 群集管理 Hp Volume manager 卷管理软件 Oracle 9.2.0.6/7 服务器端 数据库服务器 应用 服务器 HP B.11.11/ SunOS 5.9 操作系统 Volume manager 卷管理软件 Forte C+ Enterprise Edition 6 update 2 编译器（附带中间件服务程序运行包） BEA Tuxedo 8.1 （ 64bit） 中间件服务器 Oracle 9.2.0.6/7 客户端 Oracle 客户端 3.4. 应用软件安装 /部署 3.4.1. 系统逻辑架构 IBSS 系统，都配备两应用服务器和两台数据库服务器，既能提供服务的负载均衡，同时两台机又互为备份，即使其中一台机出现故障导致停机，无法提供服务的时候，通过在另一台机上做一些配置调整， IBSS 系统的仍可以正常运行。 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 13 页 共 76 页 系统逻辑架构如下图所示。（除深圳 ,中山和广州分公司具备单独接口服务器外 ,其他分公司 应用服务器 1 兼做接口服务器） 数 据 库 服 务 器 1 数 据 库 服 务 器 2应 用 服 务 器 1前 台 服 务 接 口 服 务 与 进 程后 台 服 务应 用 服 务 器 2前 台 服 务后 台 独 立 进 程后 台 服 务客 户 端 客 户 端客 户 端 数 据 库每一个终端可以通过动态客户端配置随机选择连接其中任意一台应用服务器 ,使用 ibss 系统。应用服务器 2 的接口域则作为冷备份。 应用服务器按照业务逻辑分别连接不同的数据库服务器 。 3.4.2. 系统应用部署 IBSS系统生产环境部署如下 (相关路径和端口请分公司根据实际情况调整 )： 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 14 页 共 76 页 TUXEDO 服务端口设置 ： 1） IBSS域（ /export/home/ibss）： 应用服务器 1 IP:1111 域间通讯： IP:9999 应用服务器 2 IP: 1111 域间通讯： IP:9999 和 应用服务器 2 IP:5678 2） IBSS接口域（ /export/home/intf）： 应用服务器 1 IP: 5354 域间通讯： IP: 7777 其中，连接数据库和数据库服务名在每个目录下的 dbconfig.ini 文件里配置 。 数 据 库 服 务 名 在 Oracle 客 户 端 的$ORACLE_HOME/network/admin/tnsnames.ora 里配置。 表格中 红色部分为冷备份部署，正常情况下不启动。 对于 IBSS 域，服务进程在两台服务器都要部署一套，并且在两台服务器都要启动。 后台进程也是在两台服务器都要部署一套，但是只在一台服务器启动，我们设定只在 应用服务器 2 启动， crontab 运行的进程也在 应用服务器 2 设置。在 应用服务器 1 不要启动后台进程，并把所有进程程序的可执行权限禁止，以免主机 部署程序 程序目录 连接数据 库 运行状态 应用服务器 1 IBSS域服务进程 /export/ . IBSS1,IBSS2 启动 接口域服务进程 /export/ . IBSS2 启动 接口域外适配器进程 /export/ . IBSS2 启动 接口域转换进程 /export/ . IBSS2 启动 IBSS域后台进程 /export/ . IBSS1 不启动 Crontab 启动进程 /export/ . IBSS1 不启动 应用服务器 2 IBSS域服务进程 /export/ . IBSS1,IBSS2 启动 IBSS域后台进程 /export/ . IBSS1 启动 Crontab 启动进程 /export/ . IBSS1 启动 接口域服务进程 /export/ . IBSS2 不启动 接口域外适配器进程 /export/ . IBSS2 不启动 接口域转换进程 /export/ . IBSS2 不启动 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 15 页 共 76 页 误启动。如果 应用服务器 2 出现故障停机，才把 应用服务器 1 上的后台进程手工启动，并增加 crontab 运行的进程。 对于接口域，服务进程和后台进程（外适配器进程和转换进程）都部署在 应用服务器 1 上并启动，在 应用服务器 2 上也部署同样的一套系统，但是所有服务进程和后台进程都不启动，作为冷备份。一旦 应用服务器 1 出现故 障宕机，则修改 应用服务器 2 IBSS 域相应的域间通讯配置后，启动 应用服务器 2 的接口域，修改 应用服务器 2 IBSS 域后台进程配置，指向 应用服务器 2 的接口域，以 应用服务器 2作为中间件单机运行。 3.5. 系统重要参数配置 3.5.1. 数据库服务器 3.5.1.1. 操作系统参数配置 Solaris 操作系统内核参数配置： 4CPU， 8G 内存的主机，操作系统内核参数配置参考值如下： * set semaphores set semsys:seminfo_semmap=4096 set semsys:seminfo_semmni=4096 set semsys:seminfo_semmns=4096 set semsys:seminfo_semmsl=2048 set semsys:seminfo_semmnu=3072 set semsys:seminfo_semume=3072 set semsys:seminfo_semopm=100 set semsys:seminfo_semvmx=32767 * set Shared Memory set shmsys:shminfo_shmmax=7442450944 set shmsys:shminfo_shmmin=200 set shmsys:shminfo_shmmni=200 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 16 页 共 76 页 set shmsys:shminfo_shmseg=200 Solaris 主机内核参数： 8CPU， 16G 内存的主机，操作系统内核参数配置参考值如下： * set semaphores set semsys:seminfo_semmap=4096 set semsys:seminfo_semmni=5029 set semsys:seminfo_semmns=5048 set semsys:seminfo_semmnu=3072 set semsys:seminfo_semume=3072 set semsys:seminfo_semmsl=2163 set semsys:seminfo_semopm=100 set semsys:seminfo_semvmx=32767 * set Shared Memory set shmsys:shminfo_shmmax=14589934592 set shmsys:shminfo_shmmin=200 set shmsys:shminfo_shmmni=300 set shmsys:shminfo_shmseg=200 其他主机的配置在此基础上面，根据比例进行调整。 Hp-ux系统内核参数： dbc_max_pct 5 dbc_min_pct 2 nfile (15*NPROC+2048) nflocks 5096 nproc 5096 max_thread_proc 2048 maxdsiz 4294963200 maxdsiz_64bit 4396972765184 maxfiles 2048 maxfiles_lim 4096 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 17 页 共 76 页 maxrsessiz 8388608 maxrsessiz_64bit 8388608 maxssiz 401604608 maxssiz_64bit 2147483648 maxtsiz 100663296 maxtsiz_64bit 1073741824 maxuprc 4096 maxvgs 30 semaem 16384 semmni 2048 semmns 10240 semmnu 8196 semmsl 2048 semume 100 semvmx 32767 shmmax 16000000000 shmmni 400 shmseg 300 3.5.1.2. ORACLE 参数配置 4CPU， 8G 内存的主机，数据库核心参数配置参考如下： db_block_size = 16384 open_cursors = 500 db_file_multiblock_read_count =32 processes = 1000 log_buffer=7M shared_pool_size = 1000M large_pool_size 500M db_cache_size 3000M 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 18 页 共 76 页 pga_aggregate_target 1000M 8CPU， 16G 内存的主机，数据库核心参数配置参考如下： db_block_size = 16384 open_cursors = 1500 db_file_multiblock_read_count =64 processes = 3000 log_buffer=10M shared_pool_size = 2000M large_pool_size 700M db_cache_size 5000M pga_aggregate_target 2000M 其他主机的配置在此基础上面，根据比例进行调整。 3.5.2. 应用服务器 3.5.2.1. 操作系统参数配置 Solaris 操作系统内核参数配置： 4CPU， 8G 内存的主机，操作系统内核参数配置参考值如下： * set semaphores set semsys:seminfo_semmap=4096 set semsys:seminfo_semmni=4096 set semsys:seminfo_semmns=4096 set semsys:seminfo_semmsl=2048 set semsys:seminfo_semmnu=3072 set semsys:seminfo_semume=3072 set semsys:seminfo_semopm=100 set semsys:seminfo_semvmx=32767 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密 第 19 页 共 76 页 * set Shared Memory set shmsys:shminfo_shmmax=7442450944 set shmsys:shminfo_shmmin=200 set shmsys:shminfo_shmmni=200 set shmsys:shminfo_shmseg=200 Solaris 主机内核参数： 8CPU， 16G 内存的主机，操作系统内核参数配置参考值如下： * set semaphores set semsys:seminfo_semmap=4096 set semsys:seminfo_semmni=5029 set semsys:seminfo_semmns=5048 set semsys:seminfo_semmnu=3072 set semsys:seminfo_semume=3072 set semsys:seminfo_semmsl=2163 set semsys:seminfo_semopm=100 set semsys:seminfo_semvmx=32767 * set Shared Memory set shmsys:shminfo_shmmax=14589934592 set shmsys:shminfo_shmmin=200 set shmsys:shminfo_shmmni=300 set shmsys:shminfo_shmseg=200 其他主机的配置在此基础上面，根据比例进行调整。 Hp-ux系统内核参数： dbc_max_pct 5 dbc_min_pct 2 nfile (15*NPROC+2048) nflocks 5096 nproc 5096 max_thread_proc 2048 广东分公司计算机系统应急预案 _综合业务支撑系统（ IBSS） V1.0 内部资料，注意保密