营销业务(系统)、优化实施步骤及回退方案

目目 录录 1.引言引言 .5 1.1.编写目的.5 1.2.使用范围.5 1.3.内容及格式要求.5 1.4.相关资料.5 2.概述概述 .6 3.项目影响范围项目影响范围 .7 3.1.工程实施时间.7 3.2.工程影响.7 4.项目实施原则项目实施原则 .8 5.项目实施方案项目实施方案 .9 5.1.项目实施准备工作（11 月 21 日 09：00-11 月 22 日 18：00）.9 5.1.1.发布系统维护公告（11 月 21 日 09：00）.9 5.1.2.操作系统级参数备份（11 月 22 日：09：10）.9 5.1.3.数据库系统级参数备份（11 月 22 日：09：20）.10 5.1.4.业务数据备份（11 月 22 日：18：00）.10 5.2.操作系统级性能调整（11 月 23 日 00：00-11 月 19 日 00：15）.11 5.2.1.调整 VMM 参数.11 5.2.2.详细实施计划.11 5.3.数据库服务器性能调整（11 月 23 日 00：15-11 月 23 日 03：30）.11 5.3.1.调整前工作.11 5.3.2.数据库实例参数调整.13 5.3.3.数据库实例 parallel 相关参数调整.13 5.3.4.调整表的 buffer_pool 属性.14 5.3.5.整理表碎片.15 5.3.6.整理索引碎片.15 5.3.7.表分析.15 5.3.8.重启数据库，使修改的配置生效.16 5.3.9.调整后工作.16 5.3.10.详细实施计划.17 6.验证测试验证测试 .19 7.应急回退预案（应急回退预案（11 月月 23 日日 0：00-04：00）.20 7.1.调整操作系统参数.20 7.2.调整数据库参数.20 7.3.调整实例PARALLEL相关参数.21 2 7.4.调整内存 CACHE(DEFALULT/KEEP/RECYCLE).21 7.4.1.将经常使用的表放入 keep 池 .21 7.5.调整对象.22 7.5.1.整理表碎片.22 7.5.2.增加/调整索引.22 7.5.3.整理索引碎片.22 8.项目影响范围项目影响范围 .23 8.1.工程实施期间(11 月 22 日 22:00-11 月 23 日 6：00).23 3 1. 引言引言 1.1.编写目的编写目的 本文档的目的是描述黑龙江电力公司营销业务系统调优项目实施步骤及应用程序配合调 整。 1.2.使用范围使用范围 本文档仅适用于黑龙江电力公司信息系统优化实施项目中汇报材料和项目组中相关的项 目管理人员和技术人员使用。 1.3.内容及格式要求内容及格式要求 本文档的内容包括： 1)项目影响范围 2)项目实施原则 3)项目实施方案 4)验证测试 5)应急回退预案 1.4.相关资料相关资料 黑龙江电力公司营销业务系统分析报告。 4 2. 概述概述 节点节点主机名主机名IP 地址地址实例名实例名 是否重启数是否重启数 据库据库 是否重启操是否重启操 作系统作系统 营销数据库服 务器 1 PMLJPDBA10.166.2.196epmlj1是否 营销数据库服 务器 2 PMLJPDBB10.166.2.198epmlj2是否 5 3. 项目影响范围项目影响范围 3.1.工程实施时间工程实施时间 黑龙江电网营销系统优化实施工作定于 2013 年 11 月 23 日凌晨进行。 3.2.工程影响工程影响 1) 实施期间营销数据库将停止服务。 2) 实施期间会营销系统用户正常的使用。 3) 检修时间：2013-11-23 00：00 至 2013-11-23 03:00 4) 实施参与人员明细： 优化实施参与人员优化实施参与人员角色角色所属单位所属单位 联系方联系方 式式 现场还是远程支持现场还是远程支持 王浩项目经理 北京中电普华 信息技术有限 公司 现场 刘勤明项目成员 北京中电普华 信息技术有限 公司 现场 张阔宇项目成员 北京中电普华 信息技术有限 公司 现场 张宇项目成员 北京中电普华 信息技术有限 公司 现场 李林信通运维信通运维现场 5) 涉及数据库和服务器列表： 节点节点主机名主机名IP 地址地址实例名实例名 是否重启数是否重启数 据库据库 是否重启操是否重启操 作系统作系统 营销数据库服 务器 1 PMLJPDB110.166.2.196epmlj1是否 6 营销数据库服 务器 2 PMLJPDB210.166.2.198epmlj2是否 7 4. 项目实施原则项目实施原则 1)工程实施必须提前通知影响用户，并得到用户应允。 2)工程实施时间窗遵从国家电网公司规定。 3)工程实施详细步骤已经在测试环境充分测试论证。 4)工程实施方案提前提交国网总部优化专家组评审通过。 8 5. 项目实施方案项目实施方案 5.1. 项目实施准备工作（项目实施准备工作（11 月月 23 日日 00：00-11 月月 23 日日 03：00） 5.1.1. 发布系统维护公告（发布系统维护公告（11 月月 23 日日 00：00） 时间2013 年 11 月 22 日 09：00 地点黑龙江电力公司 操作内容说明提前通知受影响的用户、监控中心和数据库所属项目 组级用户 操作步骤发布系统维护公告 执行单位信通运维，营销 执行人员信通运维 确认信通运维 备注 5.1.2. 数据库系统级参数备份（数据库系统级参数备份（11 月月 23 日：日：00：00） 时间2013 年 11 月 23 日 00：00 地点黑龙江电力公司 操作内容说明备份数据库级参数 操作步骤1.主机 PMLJPDBA 节点，oracle 用户登录操作系统， 执行： sqlplus “/ as sysdba” create pfile=/oracle/init2013.ora from spfile; 2.主机 PMLJPDBB 节点，oracle 用户登录操作系统， 执行： sqlplus “/ as sysdba” create pfile=/oracle/init2013.ora from spfile; 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 9 5.1.3. 业务数据备份（业务数据备份（11 月月 23 日：日：00：00） 时间2013 年 11 月 23 日 00：00 地点黑龙江国家电网容灾中心 操作内容说明 通知存储备份部门在优化实施前两天及实施当 天 18：00 前对营销数据库全备一次。 rman target / log=/u03/rmanbak/rman_full.log append alter system set instance_groups=epmlj,EPMLJ2 scope=spfile sid=EPMLJ2; SQL alter system set parallel_instance_group=EPMLJ1 scope=spfile sid=EPMLJ1; SQL alter system set parallel_instance_group=EPMLJ2 scope=spfile sid=EPMLJ2; SQL exit 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 5.3.4. 调整表的调整表的 buffer_pool 属性属性 时间2013 年 11 月 23 日 00：30 地点黑龙江电力公司 操作内容说明 开启部分频繁访问的表 cache 属性，将频繁访 问的索引 keep 至缓冲区 操作步骤以 oracle 用户在 PMLJPDBA 执行： sqlplus / as sysdba alter table EPM_HLJ.P_CODE_EXTEND storage(buffer_pool keep); alter table EPM_HLJ.P_CODE_SORT_EXTEND storage(buffer_pool keep); alter table EPM_HLJ.P_CODE storage(buffer_pool keep); alter table EPM_HLJ.P_CODE_SORT storage(buffer_pool keep); alter table EPM_HLJ.SA_USER storage(buffer_pool keep); alter table EPM_HLJ.SA_ORG storage(buffer_pool keep); 13 alter index EPM_HLJ.SA_DEPT storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_DEPT storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_ORG storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_USER storage(buffer_pool keep); 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 5.3.5. 整理表碎片整理表碎片 时间2013 年 11 月 23 日 00：50 地点黑龙江电力公司 操作内容说明 整理部分碎片较大的表 操作步骤以 oracle 用户在 PMLJPDBA 执行： sqlplus / as sysdba 执行以下脚本 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 5.3.6. 整理索引碎片整理索引碎片 时间2013 年 11 月 23 日 01：50 地点黑龙江电力公司 操作内容说明 整理部分碎片较大的索引 操作步骤以 oracle 用户在 PMLJPDBA 执行： sqlplus / as sysdba 执行以下脚本 14 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 5.3.7. 表分析表分析 时间2013 年 11 月 23 日 02：40 地点黑龙江电力公司 操作内容说明 收集表和相关索引的统计信息 操作步骤以 oracle 用户在 PMLJPDBA 执行： sqlplus / as sysdba 执行以下脚本 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 5.3.8. 重启数据库，使修改的配置生效重启数据库，使修改的配置生效 时间2013 年 11 月 23 日 03：20 地点黑龙江电力公司 操作内容说明重启数据库，使修改的配置生效 操作步骤以 oracle 用户在 PMLJPDBA 执行： srvctl stop database -d EPMLJ -i EPMLJ1, EPMLJ2 -o immediate srvctl start database -d EPMLJ 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注 15 5.3.9. 调整后工作调整后工作 时间2013 年 11 月 23 日 03：30 地点黑龙江电力公司 操作内容说明 1. 检查无效对象 2. 启动数据库监听，检查集群状态 3. 恢复 crontab 中涉及数据库的任务 4. 检查恢复作业队列进程 5. 启动业务应用 操作步骤 以 oracle 用户登录操作系统，在 PMLJPDBA 节点执行下列步骤 1. 检查无效对象 sqlplus / as sysdba 执行以下脚本 2. 启动监听、检查集群状态 使用 oracle 用户在 PMLJPDBA 和 PMLJPDBB 两台主 机分别执行： srvctl start listener crs_stat t 3. 通知专责启动中间件 执行单位中电北京中电普华信息技术有限公司 执行人员王浩 确认刘勤明 备注由信通运维人员负责启动业务应用 5.3.10.详细实施计划详细实施计划 编号编号 实施项目实施项目操作时间操作时间风险等级风险等级 1.停止中间件5 分钟一般 16 2.备份操作系统参数5 分钟一般 3.备份数据库参数5 分钟一般 4.停止监听10 分钟一般 5.修改操作系统参数5 分钟一般 6.修改数据库参数10 分钟一般 7.重启数据库15 分钟一般 8.整理表碎片60 分钟一般 9.整理索引碎片50 分钟一般 10.收集表和对象的统计信息40 分钟一般 11.将 PL/SQL 对象 keep 至共享池20 分钟一般 12.调整业务用户表空间限额10 分钟一般 13.启动监听5 分钟一般 14.启动 OGG 服务2 分钟一般 15.确认系统正常访问5 分钟一般 17 6. 验证测试验证测试 编号编号项目项目监控内容监控内容监控方法监控方法 1操作系统性能监控CPU、IO、Memory 使用情况 通过开启 glance 监控,使用 topas、iostat、vmstat 工具察看 2数据库性能监控数据库响应时间、等 待事件以及执行时间 较长的 SQL 语句的 执行计划等 执行 sql 语句 3业务系统性能监控业务处理情况登陆业务系统验证 18 7. 应急回退预案（应急回退预案（11 月月 23 日日 00：00-04：00） 在系统调整后，第二天业务运行过程中发现，页面打开缓慢，页面一直处 于读取状态，却不显示结果。进行表碎片和索引碎片的回退处理。 7.1.调整操作系统参数调整操作系统参数 调整调整 VMM 空间空间 操作内容说明 调整 VM maxperm%、minperm%、maxclient%相关参 数。 操作步骤 1. 主机 PMLJPDB1，PMLJPDB2 节点，root 用户登录操作系 统，执行： kctune nproc=4200 kctune nkthread=8416 kctune filecache_max= kctune filecache_min= kctune maxfiles=10000 kctune maxfiles_lim=10000 回退方式 将系统参数修改回调整前值 或者使用备份文件 /oracle/init2013.ora 来启动，并更新 spfile 7.2.调整数据库参数调整数据库参数 操作内容说明数据库初始化参数调整，其中 EPMLJ1, EPMLJ2 是数据库实 例名。 操作步骤修改初始化参数，并重启数据库 在 PMLJPDBA 节点，oracle 用户登录操作系统，执行： export ORACLE_SID= EPMLJ1 sqlplus “/ as sysdba” alter system set session_cached_cursors =200 scope=spfile sid=*; SQL exit srvctl stop database -d EPM_HLJ -i EPMLJ1,EPMLJ2 -o 19 immediate srvctl start database -d EPM_HLJ 回退方式如果参数调整出现问题，则将参数调整为原来的值 7.3.调整实例调整实例 parallel 相关参数相关参数 操作内容说明调整实例并行相关参数 操作步骤以 oracle 用户在 PMLJPDBA 执行如下命令 sqlplus / as sysdba SQL alter system reset instance_groups scope=spfile sid=snbcdb1; SQL alter system reset instance_groups scope=spfile sid=snbcdb2; SQL alter system reset parallel_instance_group scope=spfile sid=snbcdb1; SQL alter system reset parallel_instance_group scope=spfile sid=snbcdb2; SQL exit srvctl stop database -d EPM_HLJ -i EPMLJ1,EPMLJ2 -o immediate srvctl start database -d EPM_HLJ 回退方式将数据库参数修改回调整前值，然后重启数据库 7.4.调整内存调整内存 Cache(defalult/keep/recycle) 7.4.1. 将经常使用的表放入将经常使用的表放入 keep 池池 操作内容说明开启部分频繁访问的表 cache 属性，将频繁访问的索引 keep 至缓冲区 操作步骤以 oracle 用户在 PMLJPDBA 执行如下命令 sqlplus / as sysdba alter table EPM_HLJ.P_CODE_EXTEND storage(buffer_pool default); alter table EPM_HLJ.P_CODE_SORT_EXTEND storage(buffer_pool default); alter table EPM_HLJ.P_CODE storage(buffer_pool default