ESS5验证系统性能测试方案

1、神州泰岳顶策科技（北京）有限公司 2012 年 6 月 ESS5ESS5 验证系统验证系统 性能测试方案性能测试方案 文档信息文档信息 文档标题ESS5 验证系统性能测试方案 版 本 号v1.1 版本日期2012.4.17 打印日期 文 件 名ESS5 验证系统性能测试方案V1.1.doc 归档目录 管理人员 审批信息审批信息 姓名部门/角色意见日期 修改历史修改历史 版本日期修改说明修改人 V1.02012.3.28C杨志伟 V1.12012.4.17修改李永裕所提意见王超 目录目录 目录目录.1 1.1.概述概述.1 1.1引言.1 1.2测试目的.1 1.3术语简介.1 1.4测试范围.

2、1 1.5测试指标.1 2.2.测试资源测试资源.2 2.1拓扑图.2 2.2测试环境.2 2.3测试组织结构.3 2.5测试工具准备.3 2.5.1负载发起工具 .3 2.5.2Linux 监控工具 .3 2.6测试脚本准备.4 3.3.测试准则测试准则.4 3.1 启动准则.4 3.2结束准则.4 3.2暂停/再启动准则.4 4.4.测试测试/ /监控策略监控策略.5 4.1测试发起策略.5 4.1.1单交易测试场景 .5 4.1.2混合测试场景 .5 4.1.3稳定性测试场景 .5 4.2测试执行策略.5 4.3LINUX监控.5 5 5. .模型模型.5 5.1业务模型.5 5.2测试

3、模型.6 5.2.1单交易测试场景 .6 5.2.2混合测试 .7 5.2.3稳定性测试 .7 6 6. .测试输出及计划测试输出及计划.7 6.1过程性输出.7 6.2结果输出.8 6.3 测试计划 .8 7 7. .测试风险分析测试风险分析.8 1.1.概述概述 1.11.1引言引言 该方案主要针对 ESS5 验证系统从测试范围、资源、测试准则、测试监控策略、业务/测试 模型、测试过程和结果输出、风险评估等几方面做一介绍。 1.21.2测试目的测试目的 主要验证 ESS 系统对事务的处理能力、事务响应时间；其次验证 ESS 系统服务器各项系统资 源占用是否满足要求。 1.31.3术语简介术

4、语简介 TPS：每秒处理事务数 ART：平均事务响应时间 Throughput：网络吞吐量 Nmon 监控术语： 监控工具监控工具指标类型指标类型指标名称指标名称指标描述指标描述 CPU 占 CPU 百分比 CPU CPU-Wait% CPU 等待 IO 时间百分比 Memory-%Used 内存占用率 Memory Memory-%Free 内存空闲率 DiskDisk-Busy 磁盘 IO 繁忙率 eth0-read eth0 网卡读 eth0- write eth0 网卡写 Nmon NetWork eth0-total eth0 总数 1.41.4测试范围测试范围 ESS 验证系统(S

5、ocket 协议)：1002、1003、1004，正确口令 90%、错误口令 10% 1.51.5测试指标测试指标 大类大类指标指标备注备注 混合测试系统处理能力（TPS）=1000 笔/秒 平均响应时间=99% CPU 使用率 =80% 内存使用率 =80% 系统资源 磁盘繁忙率 =60% 2.2.测试资源测试资源 2.12.1拓扑图拓扑图 2.22.2测试环境测试环境 架构层次服务器名称CPU/个 Mem 主机类型操作系统版本 Socket Service Ess5 192.168.1.252 48GLinuxCentOS5.6 Load Generator1192.168.1.13422

6、GPCWindows xpSp3 Agent1192.168.1.22222GPCWindows xpSp3 Agent2192.168.1.12522GPCWindows xpSp3 2.32.3测试组织结构测试组织结构 为保证本次 ESS5 验证系统性能测试的顺利进行，本次测试需要引入如下人员，各小组组织 结构及人员职责如下： 组织组织职责职责人员人员 项目项目 PMO 组组1、项目管理李永裕 ESS5ESS5 性能测试性能测试 组组 1、提供并维护测试脚本调试所用的测试环境， 2、提供并维护系统版本性能测试环境； 杨志伟 李明 王超 实施任务组实施任务组 1、完成系统版本性能测试的测试模

7、型分析、测试设计； 2、完成系统版本性能测试的脚本开发； 3、对测试数据进行参数化处理； 4、制定系统版本性能测试的测试计划、测试用例； 5、监控方案、执行、记录、分析； 6、完成系统版本性能测试的测试执行、测试结果数据收 集； 7、编写系统性能测试结果分析并提交测试报告； 杨志伟 李明 王超 2.52.5测试工具准备测试工具准备 2.2.5 5.1.1负载发起工具负载发起工具 根据测试协议进行 LoadRunner9.5 软件 Controller、Generator 安装，本次测试涉及 LR 协 议为 WinSocket 协议。 2.2.5 5.2.2LinuxLinux 监控工具监控工具

8、 Nmon 是一种在 AIX 与各种 Linux 操作系统上的广泛使用的监控与分析工具，相对于系统资 源上的一些工具来说，Nmon 所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系 统资源的使用情况，并且输出结果文件中，然后通过 nmon_analyzer 工具产生数据文件，与图形 化结果。 2.62.6测试脚本准备测试脚本准备 ESS5 验证系统是基于 Socket 协议，编写的性能测试脚本，按照实际业务需要参数化、动态 关联、判断等。 脚本验证：使用 VuGen 逐一在测试环境中执行所有脚本，确认脚本能够在测试环境中顺利运 行，收到预期的回复，同时对测试数据进行验证和判断。 3.

9、3.测试准则测试准则 3.13.1 启动准则启动准则 ESS5 验证系统业务模型建立完毕。 环境准备完毕，包括： ESS5 验证系统测试环境设备安装调试完毕。 ESS5 验证系统测试数据已经准备完毕。 ESS5 验证系统应用服务器安装成功，待测试版本已正确部署。 测试客户端机器到位，系统软件、应用软件、测试工具安装完毕。 网络配置正确，连接通畅，可以满足压力测试需求。 计划审核、批准完毕，项目组确认。 3.23.2 结束准则结束准则 按计划日期完成各项测试任务并提交测试报告，或者经特殊批准延长或缩短测试周期后 完成测试任务并提交测试报告。 3.23.2 暂停暂停/ /再启动准则再启动准则 暂停

10、准则： 测试任务、方案、计划等发生重大变更 环境受到干扰，比如服务器被临时征用，或服务器的其它使用会对测试结果造成干扰 其它不可抗非人为因素等 再启动准则： 测试中发现问题得以解决 4.4.测试测试/ /监控监控策略策略 4.14.1 测试发起策略测试发起策略 4.1.14.1.1单交易测试单交易测试场景场景 分别进行单交易基准测试、单交易负载测试获取系统交易的基本处理特性，发现系统瓶颈， 检查系统是否存在并发问题。 4.1.24.1.2混合测试场景混合测试场景 通过对于单交易基准和单交易负载中获得的基础测试数据，按照测试模型下的业务比例关系， 配置具体的混合测试模型场景。 4.1.34.1.

11、3稳定性测试场景稳定性测试场景 系统不间断稳定运行 60 分钟。通过监控工具监控对系统的持续监控记录，综合 LR 的分析结 果，判断系统长时间运行下的处理性能，是否符合稳定性的要求。 4.24.2 测试执行策略测试执行策略 对性能测试用例按照测试优先级别进行分类，首先保证高优先级用例执行，所有高优先级用 例执行完成后根据时间安排中优先级和低优先级用例执行； 用例执行顺序为：基准测试、单交易负载测试、混合场景测试、稳定性测试，最后按照优先 级先后次序执行。 4.34.3 LinuxLinux 监控监控 本次性能测试对 ESS5 验证系统 Linux 服务器的监控，采用 Nmon 采集 Cpu、M

12、EM、disk io、NetWork 等各项参数并配合 Loadrunner 自身监控。 5 5 . .模型模型 5.15.1 业务模型业务模型 根据与项目 PMO 确认，根据 ESS5 验证系统业务特点，选取典型交易的业务配比关系如下： 业务名称业务名称业务要求业务要求 写日志 验证（认证） 不写日志 业务名称业务名称业务要求业务要求交易码交易码交易比例交易比例 T_100230% T_100330% T:正确口令 T_100430% F_10023% F_10033% 验证（认证） F:错误口令 F_10044% 5.25.2 测试模型测试模型 5.2.15.2.1单交易测试场景单交易测试

13、场景 5.2.1.15.2.1.1 单交易基准测试单交易基准测试 场景名称场景名称交易码交易码并发数并发数/ /个个执行时长执行时长(Min)(Min)日志状态日志状态 T_1002_LogT_100211 T_1003_LogT_100311 T_1004_LogT_100411 写日志 场景名称场景名称交易码交易码并发数并发数/ /个个执行时长执行时长(Min)(Min)日志状态日志状态 T_1002_NLogT_100211 T_1003_NLogT_100311 T_1004_NLogT_100411 不写日志 5.2.1.25.2.1.2 单交易负载测试单交易负载测试 场景名称场景名

14、称交易码交易码并发数并发数执行时长执行时长(Min)(Min)日志状态日志状态 T_1002_Log_505010 T_1002_Log_100 T_1002 10010 T_1003_Log_505010 T_1003_Log_100 T_1003 10010 T_1004_Log_505010 T_1004_Log_100 T_1004 10010 写日志 场景名称场景名称交易码交易码并发数并发数执行时长执行时长(Min)(Min)日志状态日志状态 T_1002_NLog_505010 T_1002_NLog_100 T_1002 10010 T_1003_NLog_505010 T_10

15、03_NLog_100 T_1003 10010 T_1004_NLog_505010 T_1004_NLog_100 T_1004 10010 不写日志 5.2.25.2.2混合测试混合测试 Mix_Log 场景名称场景名称交易码交易码交易比例交易比例预期预期 TPSTPS口令口令 执行时长执行时长 (Min)(Min) 日志状态日志状态 T_100230%300 Mix_Log T_100330%300 正确口令10写日志 T_100430%300 F_10023%20 F_10033%20 F_10044%30 错误口令 5.2.3 稳定性稳定性测试测试 Stable_Log 场景名称场

16、景名称交易码交易码交易比例交易比例预期预期 TPSTPS口令口令 执行时执行时 长长 (Min)(Min) 日志状态日志状态 T_100230%300 T_100330%300 T_100430%300 正确口令 F_10023%20 F_10033%20 Stable_Log F_10044%30 错误口令 60 写日志 6 6 . .测试输出测试输出及计划及计划 6.16.1 过程性输出过程性输出 ESS5 验证系统性能测试方案 V1.0 测试脚本（LoadRunner Vuser Scripts 形式） 测试场景（LoadRunner Scenarios *.lrs 形式） 测试结果采集

17、数据（Html 形式或 LoadRunner Analysis Files 形式） ESS5 验证系统服务器：.Nmon 监控文件结果收集 说明： 所有过程性输出均需经过项目组确认。 所有过程性输出由指定的专用机器存储。 6.26.2 结果输出结果输出 ESS5 验证系统性能测试报告 6.36.3 测试计划测试计划 任务名称任务名称时间时间备注备注 测试前期准备2012/03/282012/03/28测试相关详细信息调研 测试方案2012/03/292012/03/29已完成 脚本开发、数据准备2012/03/302012/04/01 测试脚本编写与调试，测试场景设计与调 试 测试执行2012/04/022012/04/16在测试环境依据测试案例执行测试 测试结果整