上海电信ODS系统数据库升级项目测试方案V10.doc

*上海电信ODS系统数据库升级测试方案*2010-12-16目 录第1章 项目概述31.1 本文目的41.2 本文读者41.3 参考资料4第2章 上海电信ODS数据库升级测试方案52.1 测试方案流程52.2 SP/function/Package程序的迁移、修改和验证62.3 ETL程序的修改和验证82.4 BO报表语义层的修改和验证92.5 QV报表程序修改和验证92.6 测试计划10第3章 OracleETLBOQV程序统计模板113.1 SP/function/Package程序113.1.1 程序列表模板113.1.2 数据实例113.2 ETL程序113.2.1 程序列表模板113.2.2 数据实例113.3 BOQV程序113.3.1 程序列表模板113.3.2 数据实例12第4章 系统恢复预案13第5章 项目难点及风险14第6章 项目进度16第1章 项目概述上海电信ODS系统作为上海电信MBOSS信息整合项目的一个重要组成部分，存储上海电信的运营数据，包含客户、产品、计费和资源（业务资源）主题域，支撑上海电信的客户经理和管理层所需的经营和客户数据的分析和统计工作。自2004年上线运行以来，新业务的涌现以及电信需求的不断增加要求ODS系统不断向前发展。而现有的系统从硬件环境和数据库环境等各方面，都已经不能满足用户对于该系统的需要，主要存在的问题包括：q 数据库版本过低，ORACLE原厂商将停止保修q 服务器老化，维保费用高昂目前上海电信ODS系统数据库服务器使用的是IBM P5-590和P5-690小型机，590和690耗电量巨大，原厂商的设备维保费用高昂，如果继续使用上述服务器用于生产环境，从成本角度，是不经济的，从节能角度，是不环保的，从性能角度看，IBM P5的性能远不如P6。基于以上因素，上海电信购买了两台满配的P6-570，计划用于替换先前的ODS数据库服务器，通过硬件的升级，从而进一步提高系统的稳定性和用户响应速度。1.1 本文目的本文主要是对上海电信ODS系统数据库升级项目的实施方案描述，对项目实施中的涉及系统的迁移及扩容等提供依据。1.2 本文读者 上海电信ODS系统数据库升级项目相关人员，包括上海电信IT部和理想公司相关人员。1.3 参考资料上海电信ODS系统数据库升级项目实施方案V6.0.rar1.4 Oracle升级对周围IT系统的要求 ODS数据库软件Oracle从原先9i升级到11g后，ODS其它软件也需要进行相应版本升级，才能支持Oracle 11g。 目前ODS的生产软件对Oracle的支持与否已经得到厂商的正式回复，简述如下：l 报表展现工具： Businessobjects (BO) 目前版本不支持Oracle 11g 目前使用版本：enterprise11.0 Release I和Release II 需要升级到的版本：Business Objects XI R3（service Packet3.1）QLinkView（QV） 目前版本支持Oracle 11g。但仍需测试。l ETL开发工具：Informaitca 目前版本不支持Oracle 11g 目前使用版本：Informaitca PowerCenter 851 需要升级到的版本：Informaitca PowerCenter 861BO、QV和Informaitca是ODS部门IT开发的主要工具，是维持ODS生产经营的重要基础。这些工具的升级，需要谨慎和细致的测试工作。由于这三个工具紧密结合数据库，所以测试工作必须在Oracle升级完成后展开，测试步骤见第2章。 BO和Informaitca升级后的新版本软件需要有硬件服务器来运行。建议配置两台服务器，一台给BO，一台给Informaitca。 新版本Informaitca服务器的配置建议参考现有ETL服务器配置，如下： IBM pSeries 670 16CPU/64GB 新版本BO服务器的配置建议参考现有ETL服务器配置，如下： IBM x445 8CPU/32GB第2章 上海电信ODS数据库升级测试方案2.1 测试方案流程 测试前准备工作： （1） 各类迁移或受升级影响的程序的统计整理，整改。统计采用自主申报和无主认领相结合的方式展开。首先让ODS各个小组将各自负责的程序按照模板上报，由DBA审核。第二步是对无主程序的认领。具体见”SP/function/Package程序的迁移”小节的描述信息。 （2） 搭建Oracle 11g的测试环境。具体步骤见上海电信ODS系统数据库升级项目实施方案V6.0.rar (3) 新建ETL测试环境（版本：Informaitca PowerCenter 861）、新建BO测试环境（版本：Business Objects XI R3)，准备QV测试环境。 (4) 把ODSPD上的程序迁移部署到该测试环境中，然后复制原数据库的生产数据的一部分到测试数据库环境中 (5) 在ETL测试环境部署受升级影响的ETL进程 (6) 在BO，QV测试环境部署相关程序 测试步骤：l Oracle11G数据库升级测试（1） 在新环境测试迁移的Oracle程序。（2） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3） 在新环境对Oracle程序进行大数据量加载的性能测试，若性能测试不合格，查找原因并予以解决。（4） 在ETL测试环境测试受升级影响的ETL进程。（5） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（6） 大数据量性能测试，若性能测试不合格，查找原因并予以解决。（7） 在BO，QV测试环境运行测试程序。（8） 在BO，QV测试环境，IT或业务部门查看报表是否正常。若不正常，则查找原因并予以解决。 (9) Oracle11G数据库升级测试完毕Oracle11G数据库升级完毕后：l Informaitca PowerCenter 861升级测试（1）在ETL新环境测试和部署在Oracle11G数据库升级阶 段未测试过的ETL进程。（2）运行测试完后，数据比对。若数据比对未通过，查找原因 并予以解决。 （3） Informaitca PowerCenter 861升级测试完成。l Business Objects XI R3(Service Pack 3.1)升级测试（1） 在BO新环境测试和部署在Oracle11G数据库升级阶段未测试过的BO进程。（2） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3） Business Objects XI R3(Service Pack 3.1)升级测试完成。l 测试方案流程示意图：2.2 SP/function/Package程序的迁移、修改和验证l SP/function/Package程序的迁移u 所有的SP/function/Package程序由程序员填写迁移申请表申请表记录下列信息：申请人、申请日期、SP/function/Package的名称、环境（用户名）、项目组、程序用途（业务背景、逻辑等）、程序源表、程序目标表、程序上线日期、程序运行时间点、程序运行周期。u EDA架构师团队对所有申请的SP/function/Package进行审核审核的内容包括：该SP/function/Package是否还有效，无效的SP/function/Package将不迁移，但由DBA做好备份；该SP/function/Package是否符合EDA的代码规范； 该SP/function/Package是否需要变更运行环境；该SP/function/Package是否需要做其他修改。u 审核通过的该SP/function/Package由DBA发布到新的服务器上u 审核不通过的该SP/function/Package，给出整改意见，整改通过后发布u 无人认领SP/function/Package的处理DBA整理出所有没有人提出迁移申请的SP/function/Package，提交EDA架构师团队做第1步分析，是否该SP/function/Package是否有效；如果认定有效，则由DBA发布，并指定程序负责人；如果认定无效，群发给EDA所有人员公示1周，若还无人认领，则作为无效SP/function/Package处理；如果认定有效但需要做修改，则指定程序负责人，给出整改意见，整改通过后发布。l SP/function/Package程序的修改EDA架构师团队审核不通过的SP/function/Package，给出整改意见，提交程序负责人进行整改；整改过程需要按照EDA的代码规范执行；程序负责人在接到整改通知后1天内提交整改计划给EDA架构师团队审核，审核通过后，按计划进行整改；整改后并通过验证后，由DBA提交。l SP/function/Package程序的验证如果有必要，程序需要编写测试稽核脚本。用以比对程序迁移后是否正常和准确的运行。u 功能验证功能验证验证3点：程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。报表数据是否得到业务部门的确认。u 能力验证验证应用程序是否能够达到预期的执行效率；验证应用程序是否会耗费大量的资源；u 验证方式验证工作由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；拟态验证，在同一计划时间内运行的程序，也在同一时间内验证；程序负责人提供理论结果，验证人验证结果是否正确；2.3 ETL程序的修改和验证l ETL程序的的迁移同SP/function/Package程序的迁移。l ETL程序的修改在测试环境，所有链接原ODS服务器ETL程序都应更改为新的服务器链接；l ETL程序的验证u 功能验证如果有必要，程序需要编写测试稽核脚本。用以比对程序迁移后是否正常和准确的运行。功能验证验证3点程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。业务部门确认报表数据正确。u 能力验证验证应用程序是否能够达到预期的执行效率；验证应用程序是否会耗费大量的资源；u 验证方式验证工作由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；拟态验证，在同一计划时间内运行的程序，也在同一时间内验证；程序负责人提供理论结果，验证人验证结果是否正确；2.4 BO报表语义层的修改和验证l BO程序的迁移同SP/function/Package程序的迁移。l BO报表语义层的修改在测试环境，链接到原ODS数据库的BO语义层的数据库链接做修改l BO报表语义层的验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；2.5 QV报表程序修改和验证l QV报表程序的迁移同SP/function/Package程序的迁移。l QV报表程序修改从原ODS服务器上抽取数据到QV服务器上的程序将链接改为新服务器l QV报表程序验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；2.6 测试计划（草案）任务名子任务名开始时间天数结束时间参与单位数据库升级功能测试与验证新建ETL测试服务器（Informaitca PowerCenter 861 ）2011-1-332011-1-5IT部、理想新建BO测试服务器（Business Objects XI R3）2011-1-332011-1-5IT部、理想在ETL测试服务器部署测试ETL程序。如将程序数据源连新环境。（共800多个）2011-1-632011-1-8IT部、理想在BO测试服务器部署测试程序。如将程序数据源连新环境。2011-1-622011-1-7IT部、理想在QV测试服务器部署测试程序，如将程序数据源连新环境。2011-1-622011-1-7IT部、理想在oracle11g测试环境部署原ODSPD的oracle存储过程、函数（共3000多个）2011-1-632011-1-8IT部、理想oracle存储过程、函数的测试运行2011-1-862011-1-13IT部、理想oracle进程数据稽核。（数据比对脚本的运行和比对结果分析）2011-1-8102011-1-17IT部、理想原ODSPD的oracle存储过程、函数的修改和再测试2011-1-1822011-1-19IT部、理想ETL测试程序运行2011-1-2052011-1-26IT部、理想ETL测试程序的数据比对脚本的运行和结果分析2011-1-21102011-1-30IT部、理想ETL测试程序的修改和再测试2011-2-1032011-2-12IT部、理想BO测试程序运行2011-2-1332011-2-15IT部、理想BO报表查看和业务单位确认2011-2-1432011-2-16IT部、理想、业务单位BO程序的修改和再测试, 确认2011-2-1832011-2-20IT部、理想、业务单位QV测试程序运行2011-2-2232011-2-24IT部、理想QV报表查看和业务单位确认2011-2-2632011-2-28IT部、理想、业务单位QV程序的修改和再测试, 确认2011-3-132011-3-3IT部、理想、业务单位数据库升级性能测试与验证oracle存储过程、函数的在大数据量下的测试2011-3-422011-3-5IT部、理想ETL程序在大数据量下的测试2011-3-622011-3-7IT部、理想ORACLE性能调优2011-3-832011-3-11IT部、理想ETL版本升级测试与验证部署老环境程序2011-6-852011-6-22IT部、理想运行2011-6-2332011-6-25IT部、理想测试和验证和修改。2011-6-2672011-7-2IT部、理想BO版本升级测试与验证部署老环境程序2011-7-352011-7-7IT部、理想运行2011-7-832011-7-10IT部、理想测试和验证和修改。2011-7-1172011-7-17IT部、理想、业务单位第3章 OracleETLBOQV程序统计模板3.1 SP/function/Package程序3.1.1 程序列表模板用户对象名字类型3.1.2 数据实例 见oracle进程统计.xls3.2 ETL程序3.2.1 程序列表模板服务器名字目录workflow名称 3.2.2 数据实例见ETL进程统计.xls3.3 BOQV程序3.3.1 程序列表模板主题报表名称报表类型需求提出部门业务部门联系人业务部门联系电话报表计划启用日期报表停用日期报表展现系统备注统计口径补充说明STATE频率追溯期限IT部门联系人(开发部门)需求提出部门联系人需求审核部门联系人需求提出单位IT部门联系电话(开发部门联系电话)需求提出部门联系电话需求审核部门联系电话报表实际启用日期操作状态开发部门需求审核部门访问路径BSS工单编号日报表刷新时间权限3.3.2 数据实例见BO、QV进程统计.xls第4章 系统恢复预案为避免因系统迁移失败给上海电信业务所造成的影响，确保业务的正常开展，我们必须做好两手准备，一方面要对系统迁移方案进行严密的分析、论证，并严格进行测试、模拟，加大各级人员的培训力度，而且只有在所有准备工作就绪，对于数据库迁移日期选定在连续1-2天节假日前的凌晨进行，一切准备完备的基础上进行数据迁移，确保平滑成功地移植。另一方面必须做好迁移不成功时的恢复方案，使业务生产能平滑恢复到原系统进行，保障业务的正常开展。数据库迁移失败的恢复预案如在数据库迁移过冲中出现数据库迁移失败的情况，直接将旧的数据库系统投产即可，没有需要恢复的数据。由于旧的数据库系统启用，等到故障排除后，又须做一次数据库迁移，这时相当于前次的系统迁移。第5章 项目难点及风险Oracle数据库系统升级是一项机遇和风险并存的系统工程, 对现有系统的全面了解和评估，升级需求的分析，合理的升级技术方案设计是升级项目的基础。由于ODS系统为在用的生产系统，因此整个升级过程必须十分慎重，科学的升级方法论指导和项目有计划的实施是升级的重要保障。并可能出现的问题，需采取预防措施，尽可能减少风险的发生。下表列举了升级过程中可能存在的风险以及应对和监控措施。序号可能遇到的风险风险等级可能造成的后果风险规避方法1升 级中遇到无法解决的错误，如升级程序遇到Bug。高升级失败1）尽早搭建和生产环境一致的测试环境,预先在测试环境演练升级全过程,对于升级中发生的每一种错误找到