ESS5验证系统性能测试方案V11.doc

神州泰岳顶策科技 北京 有限公司 2012 年 6 月 ESS5ESS5 验证系统验证系统 性能测试方案性能测试方案 ESS5 验证系统性能测试方案 文档信息文档信息 文档标题ESS5 验证系统性能测试方案 版 本 号v1 1 版本日期2012 4 17 打印日期 文 件 名ESS5 验证系统性能测试方案V1 1 doc 归档目录 管理人员 审批信息审批信息 姓名部门 角色意见日期 修改历史修改历史 版本日期修改说明修改人 V1 02012 3 28C杨志伟 V1 12012 4 17修改李永裕所提意见王超 ESS5 验证系统性能测试方案 目录目录 目录目录 1 1 1 概述概述 1 1 1引言 1 1 2测试目的 1 1 3术语简介 1 1 4测试范围 1 1 5测试指标 1 2 2 测试资源测试资源 2 2 1拓扑图 2 2 2测试环境 2 2 3测试组织结构 3 2 5测试工具准备 3 2 5 1负载发起工具 3 2 5 2Linux 监控工具 3 2 6测试脚本准备 4 3 3 测试准则测试准则 4 3 1 启动准则 4 3 2结束准则 4 3 2暂停 再启动准则 4 4 4 测试测试 监控策略监控策略 5 4 1测试发起策略 5 4 1 1单交易测试场景 5 4 1 2混合测试场景 5 4 1 3稳定性测试场景 5 4 2测试执行策略 5 4 3LINUX监控 5 5 5 模型模型 5 5 1业务模型 5 5 2测试模型 6 5 2 1单交易测试场景 6 5 2 2混合测试 7 5 2 3稳定性测试 7 6 6 测试输出及计划测试输出及计划 7 6 1过程性输出 7 6 2结果输出 8 ESS5 验证系统性能测试方案 6 3 测试计划 8 7 7 测试风险分析测试风险分析 8 ESS5 验证系统性能测试方案 1 1 1 概述概述 1 11 1引言引言 该方案主要针对 ESS5 验证系统从测试范围 资源 测试准则 测试监控策略 业务 测试 模型 测试过程和结果输出 风险评估等几方面做一介绍 1 21 2测试目的测试目的 主要验证 ESS 系统对事务的处理能力 事务响应时间 其次验证 ESS 系统服务器各项系统资 源占用是否满足要求 1 31 3术语简介术语简介 TPS 每秒处理事务数 ART 平均事务响应时间 Throughput 网络吞吐量 Nmon 监控术语 监控工具监控工具指标类型指标类型指标名称指标名称指标描述指标描述 CPU 占 CPU 百分比 CPU CPU Wait CPU 等待 IO 时间百分比 Memory Used 内存占用率 Memory Memory Free 内存空闲率 DiskDisk Busy 磁盘 IO 繁忙率 eth0 read eth0 网卡读 eth0 write eth0 网卡写 Nmon NetWork eth0 total eth0 总数 1 41 4测试范围测试范围 ESS 验证系统 Socket 协议 1002 1003 1004 正确口令 90 错误口令 10 1 51 5测试指标测试指标 大类大类指标指标备注备注 ESS5 验证系统性能测试方案 2 系统处理能力 TPS 1000 笔 秒 平均响应时间 0 5 秒 最大响应时间 99 稳定运行时间60 分钟 稳定性测试 交易成功率 99 CPU 使用率 80 内存使用率 80 系统资源 磁盘繁忙率 60 2 2 测试资源测试资源 2 12 1拓扑图拓扑图 2 22 2测试环境测试环境 架构层次服务器名称CPU 个 Mem 主机类型操作系统版本 Socket ServiceEss548GLinuxCentOS5 6 ESS5 验证系统性能测试方案 3 192 168 1 252 Load Generator1192 168 1 13422GPCWindows xpSp3 Agent1192 168 1 22222GPCWindows xpSp3 Agent2192 168 1 12522GPCWindows xpSp3 2 32 3测试组织结构测试组织结构 为保证本次 ESS5 验证系统性能测试的顺利进行 本次测试需要引入如下人员 各小组组织 结构及人员职责如下 组织组织职责职责人员人员 项目项目 PMO 组组1 项目管理李永裕 ESS5ESS5 性能测试性能测试 组组 1 提供并维护测试脚本调试所用的测试环境 2 提供并维护系统版本性能测试环境 杨志伟 李明 王超 实施任务组实施任务组 1 完成系统版本性能测试的测试模型分析 测试设计 2 完成系统版本性能测试的脚本开发 3 对测试数据进行参数化处理 4 制定系统版本性能测试的测试计划 测试用例 5 监控方案 执行 记录 分析 6 完成系统版本性能测试的测试执行 测试结果数据收 集 7 编写系统性能测试结果分析并提交测试报告 杨志伟 李明 王超 2 52 5测试工具准备测试工具准备 2 2 5 5 1 1负载发起工具负载发起工具 根据测试协议进行 LoadRunner9 5 软件 Controller Generator 安装 本次测试涉及 LR 协 议为 WinSocket 协议 2 2 5 5 2 2LinuxLinux 监控工具监控工具 Nmon 是一种在 AIX 与各种 Linux 操作系统上的广泛使用的监控与分析工具 相对于系统资 源上的一些工具来说 Nmon 所记录的信息是比较全面的 它能在系统运行过程中实时地捕捉系 统资源的使用情况 并且输出结果文件中 然后通过 nmon analyzer 工具产生数据文件 与图形 化结果 ESS5 验证系统性能测试方案 4 2 62 6测试脚本准备测试脚本准备 ESS5 验证系统是基于 Socket 协议 编写的性能测试脚本 按照实际业务需要参数化 动态 关联 判断等 脚本验证 使用 VuGen 逐一在测试环境中执行所有脚本 确认脚本能够在测试环境中顺利运 行 收到预期的回复 同时对测试数据进行验证和判断 3 3 测试准则测试准则 3 13 1 启动准则启动准则 ESS5 验证系统业务模型建立完毕 环境准备完毕 包括 ESS5 验证系统测试环境设备安装调试完毕 ESS5 验证系统测试数据已经准备完毕 ESS5 验证系统应用服务器安装成功 待测试版本已正确部署 测试客户端机器到位 系统软件 应用软件 测试工具安装完毕 网络配置正确 连接通畅 可以满足压力测试需求 计划审核 批准完毕 项目组确认 3 23 2 结束准则结束准则 按计划日期完成各项测试任务并提交测试报告 或者经特殊批准延长或缩短测试周期后 完成测试任务并提交测试报告 3 23 2 暂停暂停 再启动准则再启动准则 暂停准则 测试任务 方案 计划等发生重大变更 环境受到干扰 比如服务器被临时征用 或服务器的其它使用会对测试结果造成干扰 其它不可抗非人为因素等 再启动准则 测试中发现问题得以解决 ESS5 验证系统性能测试方案 5 4 4 测试测试 监控监控策略策略 4 14 1 测试发起策略测试发起策略 4 1 14 1 1单交易测试单交易测试场景场景 分别进行单交易基准测试 单交易负载测试获取系统交易的基本处理特性 发现系统瓶颈 检查系统是否存在并发问题 4 1 24 1 2混合测试场景混合测试场景 通过对于单交易基准和单交易负载中获得的基础测试数据 按照测试模型下的业务比例关系 配置具体的混合测试模型场景 4 1 34 1 3稳定性测试场景稳定性测试场景 系统不间断稳定运行 60 分钟 通过监控工具监控对系统的持续监控记录 综合 LR 的分析结 果 判断系统长时间运行下的处理性能 是否符合稳定性的要求 4 24 2 测试执行策略测试执行策略 对性能测试用例按照测试优先级别进行分类 首先保证高优先级用例执行 所有高优先级用 例执行完成后根据时间安排中优先级和低优先级用例执行 用例执行顺序为 基准测试 单交易负载测试 混合场景测试 稳定性测试 最后按照优先 级先后次序执行 4 34 3 LinuxLinux 监控监控 本次性能测试对 ESS5 验证系统 Linux 服务器的监控 采用 Nmon 采集 Cpu MEM disk io NetWork 等各项参数并配合 Loadrunner 自身监控 5 5 模型模型 5 15 1 业务模型业务模型 根据与项目 PMO 确认 根据 ESS5 验证系统业务特点 选取典型交易的业务配比关系如下 业务名称业务名称业务要求业务要求 验证 认证 写日志 ESS5 验证系统性能测试方案 6 不写日志 业务名称业务名称业务要求业务要求交易码交易码交易比例交易比例 T 100230 T 100330 T 正确口令 T 100430 F 10023 F 10033 验证 认证 F 错误口令 F 10044 5 25 2 测试模型测试模型 5 2 15 2 1单交易测试场景单交易测试场景 5 2 1 15 2 1 1 单交易基准测试单交易基准测试 场景名称场景名称交易码交易码并发数并发数 个个执行时长执行时长 Min Min 日志状态日志状态 T 1002 LogT 100211 T 1003 LogT 100311 T 1004 LogT 100411 写日志 场景名称场景名称交易码交易码并发数并发数 个个执行时长执行时长 Min Min 日志状态日志状态 T 1002 NLogT 100211 T 1003 NLogT 100311 T 1004 NLogT 100411 不写日志 5 2 1 25 2 1 2 单交易负载测试单交易负载测试 场景名称场景名称交易码交易码并发数并发数执行时长执行时长 Min Min 日志状态日志状态 T 1002 Log 505010 T 1002 Log 100 T 1002 10010 T 1003 Log 505010 T 1003 Log 100 T 1003 10010 T 1004 Log 505010 T 1004 Log 100 T 1004 10010 写日志 场景名称场景名称交易码交易码并发数并发数执行时长执行时长 Min Min 日志状态日志状态 T 1002 NLog 50T 10025010 不写日志 ESS5 验证系统性能测试方案 7 T 1002 NLog 10010010 T 1003 NLog 505010 T 1003 NLog 100 T 1003 10010 T 1004 NLog 505010 T 1004 NLog 100 T 1004 10010 5 2 25 2 2混合测试混合测试 Mix Log 场景名称场景名称交易码交易码交易比例交易比例预期预期 TPSTPS口令口令 执行时长执行时长 Min Min 日志状态日志状态 T 100230 300 T 100330 300 T 100430 300 正确口令 F 10023 20 F 10033 20 Mix Log F 10044 30 错误口令 10 写日志 5 2 3 稳定性稳定性测试测试 Stable Log 场景名称场景名称交易码交易码交易比例交易比例预期预期 TPSTPS口令口令 执行时执行时 长长 Min Min 日志状态日志状态 T 100230 300 T 100330 300 T 100430 300 正确口令 F 10023 20 F 10033 20 Stable Log F 10044 30 错误口令 60 写日志 6 6 测试输出测试输出及计划及计划 6 16 1 过程性输出过程性输出 ESS5 验证系统性能测试方案 V1 0 测试脚本 LoadRunner Vuser Scripts 形式 测试场景 LoadRunner Scenarios lrs 形式 测试结果采集数据 Html 形式或 LoadRunner Analysis Files 形式 ESS5 验证系统性能测试方案 8 ESS5 验证系统服务器 Nmon 监控文件结果收集 说明 所有过程性输出均需经过项目组确认 所有过程性输出由指定的专用机器存储 6 26 2 结果输出结果输出 ESS5 验证系统性能测试报告 6 36 3 测试计划测试计划 任务名称任务名称时间时间备注备注 测试前期准备2012 03 28 2012 03 28测试相关详细信息调研 测试方案2012 03 29 2012 03 29已完成 脚本开发 数据准备2012 03 30 2012 04 01 测试脚本编写与调试 测试场景设计与调 试 测试执行2012 04 02 2012 04 16在测试环