性能测试计划(完整).doc

性能测试计划性能测试计划 网站稿件管理发布系统网站稿件管理发布系统 文 档 编 号 Manager System 001 保 密 等 级机密 作 者最后修改日期 201411 审 核 人最后审批日期 201411 批 准 人最后批准日期 201411 目录目录 1 文档介绍 3 1 1 文档目的 3 1 2 参考文献 3 1 3 编写目的 3 2 软件概述 3 2 1 项目介绍 3 2 2 运行环境 4 2 3 项目流程 4 3 测试资源 5 3 1 软硬件配置 5 3 2 测试工具 7 3 3 人力需求 7 3 4 测试数据 7 4 交付物 8 5 测试进度计划 8 6 测试启动 结束 暂停 再启动 退出准则 9 6 1 暂停准则 9 6 2 暂停 再启动的准则 9 6 2 1 暂停准则 9 6 2 2 再启动准则 9 6 3 测试退出准则 9 7 性能测试目标要求 10 7 1 性能测试指标 10 7 2 交易响应时间 10 7 3 交易吞吐量 10 7 4 并发交易成功率 11 7 5 资源使用指标 11 8 测试策略 11 8 1 基准测试 11 8 2 并发测试 11 8 3 递增测试 11 8 4 场景测试 12 8 5 疲劳强度测试 12 9 测试用例开发 12 10 交易基准测试 13 10 1 测试方法 13 10 2 测试场景 13 11 交易并发测试 13 11 1 测试方法 13 11 2 测试场景 13 11 3 测试方法 14 11 4 测试场景 14 12 交易递增测试场景 14 12 1 测试场景 14 13 混合交易负载场景 14 14 疲劳强度测试 15 1 文档介绍文档介绍 1 1 文档目的文档目的 说明测试方案中所涉及内容的简单介绍 包含 编写目的 项目背景 参 考文档 测试点选取 场景设计等 1 2 参考文献参考文献 网站稿件管理发布系统软件需求规格说明书 1 3 编写目的编写目的 从文档描述网站稿件管理发布系统性能测试的范围 方法 资源 进度 作为网站稿件管理发布系统性能测试的依据 该文档的目的主要有 1 明确测试范围 测试对象 2 明确测试目标 3 明确测试环境需求 包括 测试需要的软 硬件环境以及测试人力需求 4 确定测试方案 测试的方法和步骤 5 指定测试工作的时间安排 6 分析测试的风险 寻找规避办法 7 确定测试需求输出的结果和结果表现形式 2 软件概述软件概述 2 1 项目介绍项目介绍 系统特点 本系统是一个网站稿件管理发布系统 包括稿件管理和文档上传下载两 个主要功能模块 网站编辑用户可以提交稿件 稿件经过批准后可以在网站上发布 查询稿件可以执行标题检索 全文检索等 文档上传下载功能可以管理和共享 Word 文档 2 2 运行环境运行环境 服务器设备 CPU 主频 1GHz 以上 内存 1GB 以上 硬盘自由空间 1GB 以上 支持软件 操作系统 Windows2003 Server 或 Windows XP 数据库服务器 MySQL 5 1 28 应用服务器 Tomcat6 0 Java JDK1 6 0 07 应用软件 Liferay Portal 5 1 1 浏览器 IE6 sp2 Word office 2000 或 office XP 或 office 2003 2 3 项目流程项目流程 3 测试资源测试资源 3 1 软硬件配置软硬件配置 性能测试环境 包括测试工具环境 的硬件和软件配置如下表所示 环境环境资源资源数量数量型号型号 配置配置 软件名称软件名称 软件版本号软件版本号 核心系统新安腾主机 1 HP 安腾 CPU 40 核 主频 1 6GHz 内存 80G 存储 500 9G IP 地址 10 1 189 213 前置系统服务器主机 1 IBM 595 CPU 8 核 主频 2 3GHz 内存 16G 存储 20G IP 地址 10 1 189 214 LR 压力产生器 2 笔记本电脑 CPU 双核 主频 1 60GHz 内存 1G 2G IP 地址 10 1 119 59 10 1 119 109 硬件 环境 LR 控制台 1 笔记本电脑 CPU 双核 主频 1 60GHz 内存 1G IP 地址 核心主机操作系统 1HP UX 11 23 核心主机数据库 1Oracle 9i 核心主机应用软件 1ECshop 核心主机交易中间件 1BEA Tuxedo 9 1 前置服务器操作系统 1IBM AIX 5 3 0 0 前置服务器数据库 1Oracle 9 2 0 6 0 前置服务器应用软件 1 南天综合前置系统 前置服务器交易中间 件 1 BEA Tuxedo 9 0 LR 压力产生器操作系 统 2 Windows XP Professioanl SP2 LR 控制台操作系统 1Windows XP Professioanl SP2 软件 环境 LR 压力产生器 压力 产生器交易中间件客 户端 3BEA Tuxedo WorkStation 6 5 3 2 测试工具测试工具 序号序号工具工具名称名称用途及说明用途及说明厂商厂商 自产自产版本版本 1LoadRunner 性能测试工具 Tuxedo 协议 License 的并发数为 500 HP 11 0 英文版 3 3 人力需求人力需求 角色角色姓名姓名具体职责具体职责技能要求技能要求 性能测试 经理 性能测试项目管理和协调 性能测试需求分析 测试计划和测试报告编写 1 组织协调能力 2 熟悉性能测试体系 3 熟悉应用架构 性能测试 设计人员 编制测试案例 开发测试脚 本 设计测试场景 执行性 能测试 1 熟悉性能测试体系 2 熟悉性能测试方法和 LoadRunner 测试工具 3 脚本编写和调试能力 4 执行时的系统资源监控技术 5 性能瓶颈分析能力 测试环境 和测试数 据准备人 员 准备性能测试环境 包括测 试工具环境 被测系统硬件 环境和软件环境 准备基础数据和测试数据 1 LoadRunner 部署能力 2 熟悉核心系统 前置系统软 硬件配置 3 熟悉数据库操作 性能调优 人员 核心后台主机系统优化 1 熟悉 HP 主机设置 2 精通数据库调优 3 熟悉应用架构 3 4 测试数据测试数据 数据对象数据数据文档位置 登录用户 用户名 密码 user dat 查询稿件 稿件名称 稿件版本 号 search manuscript dat D LR Project Data 稿件标题 稿件内容 增加稿件 稿件标题 稿件内容 add manuscript dat 显示稿件稿件编号show manuscript dat 查询文档文档名称search document dat 上传文档 文档名称 文档重命 名 文档说明 upload document dat 4 交付物交付物 序号序号交付物名称交付物名称责任人责任人参与者参与者交付日期交付日期 1 性能测试计划 2 性能测试脚本 3 性能测试场景 4 性能测试结果 5 性能测试报告 5 测试进度计划测试进度计划 在测试工作量估算数据的基础上 考虑现有的资源情况 对资源进行具体安排 根据 项目整体进度计划 列出进度表 即是谁在什么时间内完成什么任务 序号名称责任人工期开始时间完成日期 1稿件管理发布系统5 工作日2014 04 282014 05 02 1 1测试设计 1 1 1编写测试计划 准备测试环境 准备测试数据 开发测试脚本 2 工作日 1 2基准 单交易并发测 试 1 2 1单交易基准测试 1 2 1单交易并发测试 1 3综合场景测试 1 2 工作日 1 3 1综合场景测试第 1 轮 1 3 2综合场景测试第 2 轮 1 4稳定性测试 1 5测试总结0 0 5 工作日 6 测试测试启动启动 结束结束 暂停暂停 再启动再启动 退出准则退出准则 6 1 暂停准则 暂停准则 核心系统和前置系统应用软件通过系统功能测试 测试环境已经准备完毕 包括 核心系统和前置系统应用系统已安装完毕 基础数据以及测试数据已经导入核心系统主机数据库 LoadRunner 压力产生器及控制台机器已经准备完毕 测试工具 LoadRunner 及所需要的 License 已准备好 测试脚本 测试场景已经准备完毕 以上条件 必须全部满足才能开始性能测试执行 6 2 暂停暂停 再启动的准则再启动的准则 6 2 1 暂停准则 暂停准则 测试汇总发现问题 需要网站稿件管理发布系统修改代码 或者需要更换 应用服务器 测试环境受到干扰 比如服务器被临时征用 或服务器的其他使用会对测 试结果造成干扰 6 2 2 再启动准则再启动准则 测试中发现问题得以解决 测试环境恢复正常 6 3 测试退出准则测试退出准则 满足下列条件之一时 可以结束性能测试执行 压到预定最大并发用户数 系统性能能够满足预期测试指标要求 到计划结束日期 压到预定最大并发用户数 经过系统调优 系统性能 仍然无法满足预期测试指标要求 但已经无法再实施调优 7 性能测试目标要求性能测试目标要求 7 1 性能测试指标性能测试指标 本次性能测试需要测试的性能指标包括 1 交易响应时间 核心系统处理交易的平均响应时间 2 交易吞吐量 后台主机每秒能够处理的交易笔数 TPS 3 并发交易成功率 4 批处理效率 5 资源使用指标 前置和核心系统各服务器 CPU 占用率 内存占用率 I O 占用率 LoadRunner 压力产生器 CPU 占用率 内存占用率 7 2 交易响应时间交易响应时间 本次性能测试中的交易响应时间是指在一定的负载压力下 由前置系统记 录和进行统计分析的 核心系统处理交易的响应时间 用一定时间段内的统计 平均值 ART 来表示 本次性能测试中 对所有非批量联机交易的 ART 指标要求为 ART 5 秒 7 3 交易吞吐量交易吞吐量 根据统计数据 网站稿件管理核心系统当前生产环境高峰日交易总量为 7500 笔 根 据二八原则 80 的交易量发生在 20 的时间段内 当前生产环境对主机的交易吞吐量指 标要求为 TPS 1 10000 交易 80 交易量 24 小时 20 3600 1 小时 60 分 钟 1 分钟 60 秒 0 34 笔 秒 17280 根据规划 网站稿件管理系统未来 1 年内核心系统的处理能力应达到高峰日交易总 量 10000 笔 则 3 年后对主机的交易吞吐量指标要求为 TPS 2 10000 80 24 20 3600 0 46 笔 秒 为获取核心系统主机的最大处理能力 在本次性能测试中可通过不断加压 让核心系 统主机 CPU 利用率达到 85 记录此时的 TPS 值 作为新主机处理能力的一个参考值 为模拟生产上核心主机的异常情况 通过不断加压 让核心系统主机 CPU 利用率达到 接近 100 观察核心系统的工作情况 记录 TPS 值 7 4 并发交易成功率并发交易成功率 指测试结束时成功交易数占总交易数的比率 交易成功率越高 系统越稳定 对典型交易的场景测试 要求其并发交易成功率 99 7 5 资源使用指标资源使用指标 在正常的并发测试和批处理测试中 核心系统各服务器主机的资源使用指标 要求 CPU 使用率 80 内存使用率 80 I O 使用率 80 8 测试策略测试策略 8 1 基准测试基准测试 在测试环境经过确认 脚本预验证之后对本次测试涉及的全部联机交易 做基准测试 目的是验证测试脚本及后台环境 初步检查交易本身是否存 在性能缺陷 目的 是获取单用户执行时的各项性能指标 为多用户并发和混合场景 的性能测试分析提供参考依据 8 2 并发测试并发测试 并发测试是指并发不同数目的虚拟用户执行检查点操作 目的是对检 查点进行压力加载测试 预测系统投入使用后在一定用户压力情况下的系 统响应时间 根据此响应时间分析 确定系统存在的性能瓶颈 为系统的优 化和调整提供依据 8 3 递增测试递增测试 递增测试是指每隔一定时间段 如 5 秒 10 秒 并发不同数目的虚拟 用户执行检查点操作 对检查点进行递增用户压力加载测试 从而模拟系 统真实的使用情景 使用户预知系统投入使用后的性能水平 8 4 综合场景测试综合场景测试 通过对系统体系机构和功能模块的分析以及对系统用户的分布和使用 频率的分析 来构造系统综合场景的测试模型 模拟不同用户执行不同操 作 如 10 的用户执行登录操作 50 的用户执行查询操作 40 的用户执行 上传文档操作 最大限度地模拟系统的真实场景 使用户预知系统投入使 用后的真实性能水平 从而 对系统做出相应的优化及调整 避免实际情 况中出现系统长时间不响应及崩溃的情况 8 5 疲劳强度测试疲劳强度测试 疲劳强度测试是指对系统核心功能点进行疲劳强度测试 即用系统稳定 运行情况下能够支持的最大并发用户数 持续执行一段业务时间 如 48 小 时 记录交易平均响应时间 交易正确率 应用服务器和数据库服务器 CPU 利用率 内存使用情况等参数 考察应用服务器和数据库服务器是否出 现宕机 内存泄漏等情况 该测试通常需要和场景测试进行结合 从而可 以最大限度地模拟真实环境下 系统长时间连续运行条件下 系统是否能 够保持在稳定运行状态 9 测试用例开发测试用例开发 根据测试范围规定的内容 逐条设计测试需求及完成该测试需求的测试过 程 测试条件 构造本次测试的测试用例 编写决策树 表表 1 1 时间特性时间特性 第第 1 1 页页 共共 1 1 页页 测试需求测试需求测试过程说明测试过程说明过程标引过程标引 单用户执行登录系统 E 01 10 用户并发执行登录系统 E 02 登录系统 login 20 用户并发执行登录系统 E 03 单用户执行查询稿件 E 04 10 用户并发执行查询稿件 E 05 查询稿件 search menuscript 20 用户并发执行查询稿件 E 06 单用户执行新增稿件 E 07 10 用户并发执行新增稿件 E 08 新增稿件 add menuscript 20 用户并发执行新增稿件 E 09 单用户执行显示稿件 E 10 10 用户并发执行显示稿件 E 11 显示稿件 show menuscript 20 用户并发执行显示稿件 E 12 单用户执行上传文档 E 13 10 用户并发执行上传文档 E 14 上传文档 upload document 20 用户并发执行上传文档 E 15 单用户执行查询文档 E 16 10 用户并发执行查询文档 E 17 查询文档 search document 20 用户并发执行查询文档 E 18 综合场景一 使用 50 用户在线共同执行系统稿件模块 15 用户执行新增稿件 15 用户执行显示稿件 20 用户执行查询稿件 整个场景执行 1 小时 E 19 综合场景二 使用 50 用户在线共同执行文档上传下载模块 结合部分稿件模块功能 15 用户执行上传文 档 20 用户执行查询文档 15 用户执行查询 稿件 整个场景执行 1 小时 E 20 疲劳强度测试 使用 50 用户在线共同访问被测系统 15 用户 执行查询稿件 15 用户执行查询文档 10 用 户执行显示稿件 5 用户执行上传文档 5 用 户执行增加稿件 整个场景持续运行 12 小时 E 21 表表 2 2 资源特性资源特性 第第 2 2 页页 共共 1 1 页页 测试需求测试需求测试过程说明测试过程说明过程标引过程标引 单用户执行登录系统 并监控服务器的各项资 源 E 22 10 用户并发执行登录系统 并监控服务器的各 项资源 E 23 登录系统 login 20 用户并发执行登录系统 并监控服务器的各 项资源 E 24 单用户执行查询稿件 并监控服务器的各项资 源 E 25 10 用户并发执行查询稿件 并监控服务器的各 项资源 E 26 查询稿件 search menuscript 20 用户并发执行查询稿件 并监控服务器的各 项资源 E 27 单用户执行新增稿件 并监控服务器的各项资 源 E 28 10 用户并发执行新增稿件 并监控服务器的各 项资源 E 29 新增稿件 add menuscript 20 用户并发执行新增稿件 并监控服务器的各 项资源 E 30 单用户执行显示稿件 并监控服务器的各项资 源 E 31 10 用户并发执行显示稿件 并监控服务器的各 项资源 E 32 显示稿件 show menuscript 20 用户并发执行显示稿件 并监控服务器的各 项资源 E 33 单用户执行上传文档 并监控服务器的各项资 源 E 34 10 用户并发执行上传文档 并监控服务器的各 项资源 E 35 上传文档 upload document 20 用户并发执行上传文档 并监控服务器的各 项资源 E 36 单用户执行查询文档 并监控服务器的各项资 源 E 37 10 用户并发执行查询文档 并监控服务器的各 项资源 E 38 查询文档 search document 20 用户并发执行查询文档 并监控服务器的各 项资源 E 39 综合场景一 使用 50 用户在线共同执行系统稿件模块 15 用户执行新增稿件 15 用户执行显示稿件 20 用户执行查询稿件 整个场景执行 1 小时 并 监控服务器的各项资源 E 40 10 交易基准测试交易基准测试 10 1 测试方法测试方法 使用一个 Vuser 分别运行每个交易的脚本 设置脚本的迭代次数 1 次 验证所有脚本是否运行正确 所有交易事务是否成功返回 并获取每个交易的 平均交易响应时间 ATR Average Transaction Response Time 10 2 测试场景测试场景 编编 号号 场景名场景名 执行用执行用 户数户数 加加 压压 方方 式式 持续持续 时间时间 退退 出出 方方 式式 思考时间思考时间 迭代迭代 延迟延迟 负载负载 生成生成 器数器数 量量 备注备注 1 登录系统 login 2 查询稿件 search menuscript 3 新增稿件 add menuscript 4 显示稿件 show menuscript 5 上传文档 upload document 6 查询文档 search document 1Vuser 同 时 1min 同 时 Pacing 2s 4s Thinktime 忽略 1 获取单用户执行的 响应时间和服务器 资源 为之后的测 试提供依据 综合场景二 使用 50 用户在线共同执行文档上传下载模块 结合部分稿件模块功能 15 用户执行上传文档 20 用户执行查询文档 15 用户执行查询稿件 整个场景执行 1 小时 并监控服务器的各项资 源 E 41 疲劳强度测试 使用 50 用户在线共同访问被测系统 15 用户 执行查询稿件 15 用户执行查询文档 10 用户 执行显示稿件 5 用户执行上传文档 5 用户执 行增加稿件 整个场景持续运行 12 小时 并 监控服务器的各项资源 E 42 11 交易并发测试交易并发测试 11 1 测试方法测试方法 使用 10 个 Vuser 分别为每个交易执行并发 验证所有脚本是否运行正确 所有交易 事务是否成功返回 并获取每个交易的平均交易响应时间 ATR Average Transaction Response Time 11 2 测试综合场景测试综合场景 编号编号场景名场景名并发用户数并发用户数 加压加压 方式方式 持续持续 时间时间 退出退出 方式方式 思考思考 时间时间 迭代迭代 延迟延迟 负载负载 生成生成 器数器数 量量 集合点策集合点策 略略 1 登录系统 login 2 查询稿件 search menuscript 3 新增稿件 add menuscript 4 显示稿件 show menuscript 5 上传文档 upload document 6 查询文档 search document 10 同时 运行完 成 同时忽略 1 设置第一 项 让 100 VU 到达集合 点时一起 并发执行 11 3 测试方法测试方法 使用 20 个 Vuser 分别为每个交易执行并发 验证所有脚本是否运行正确 所有交易 事务是否成功返回 并获取每个交易的平均交易响应时间 ATR Average Transaction Response Time 11 4 测试场景测试场景 编号编号场景名场景名 并发用并发用 户数户数 加压方式加压方式 持续持续 时间时间 退出退出 方式方式 思考思考 时间时间 迭代迭代 延迟延迟 负载负载 生成生成 器数器数 量量 集合点集合点 策略策略 1 登录系统 login 2 查询稿件 search menuscript 3 新增稿件 add menuscript 4 显示稿件 show menuscript