系统并发测试方案.docx

浙江移动测试方案 文件状态：草 稿 正式发布 正在修改文件标识审 核 人当前版本审核日期作 者批 准 人完成日期2009-12-11批准日期版本跟踪信息文档版本修订日期修订人修订内容备注目 录1概述41.1编写目的41.2背景41.3参考资料41.4术语和缩写词51.5测试启动与结束准则51.5.1启动准则51.5.2结束准则52测试环境62.1硬件环境（内容有待完善，目前配置还不知道）62.1.1设备终端62.1.2软件环境62.2网络环境62.3设备资源63测试计划64功能测试74.1测试方法74.2测试内容74.3测试结束标准85性能测试85.1测试工具85.2测试方法95.3测试场景设计95.3.1核心模块的基准测试95.3.2核心模块的并发测试95.3.3极限测试115.3.4场景测试116可交付成果121 概述1.1 编写目的随着软件系统的规模日益庞大，结构日趋复杂，对软件系统的质量要求已成为必须和趋势。而软件测试是保证软件质量的重要手段，也是软件过程中一个必不可少的环节，尤为重要的是系统性能测试，因为系统在投入生产之后，往往要接受大批量的业务量，这是应用程序本身、操作系统、中心数据库服务器、中间件服务器、网络设备的承受力都是一个严峻的考验。在其中任意一个环节出现的问题都可能给用户带来巨大的商业损失。预见软件系统的并发承受能力以避免商业风险，这是在软件测试阶段就应该解决的。1.2 背景浙江移动自助终端开发基本完成，处于待上线状态。为了确保系统能够顺利上线，保证系统安全、稳定和高效运行，对系统的关键业务功能进行抽取，并实施性能测试，客观、公正评估这些系统在当前环境下的性能现状，为系统能否正式上线提供重要参考依据。本次测试为浙江移动系统测试。分为功能、性能测试和稳定性测试。测试目的：能力验证：1. 功能测试：通过功能测试，使上线的所有功能都可以正确实现。2. 性能测试：通过测试工具，模拟并发用户处理核心业务，从而观测当前系统在现有软、硬件环境下的处理能力。（包括对各个事务的处理响应时间和服务器资源占用情况等）3. 测试环境部署方式为：负载均衡。1.3 参考资料浙江移动自助设备集中平台系统概要设计.doc浙江移动主要功能数据结构.doc附件1-自助终端设备集中管理平台工程技术总体要求.doc附件2-自助终端设备集中管理平台业务功能需求.doc1.4 术语和缩写词l 平均响应时间：所有成功请求的响应时间的平均值。l 并发用户数:是指在某一给定时间内，某个特定点上进行会话操作的用户数。l 吞吐量:是指单位时间内系统处理的客户请求的数量，直接体现软件系统的性能承载能力。l 资源利用率:是指服务器资源的使用情况，比如CPU利用率、内存利用率、磁盘利用率等。l1.5 测试启动与结束准则1.5.1 启动准则1. 测试方案经过评审，并且通过；2. 测试环境建立完毕；(如客户端LR的安装,脚本的准备等)3. 测试过程风险经过确认；(如:网络带宽、数据库服务器硬盘满、对外部大数据量请求、负载均衡无效、访问到线上系统、程序崩溃等)4. 测试服务器已准备好；5. 开发负责人已提交产品申请测试提交单。1.5.2 结束准则正常终止条件1. 业务功能正确实现；2. 测试成功运行，满足性能需求；3. 测试报告经过确认。错误终止条件1. 业务功能不能正确实现；2. 测试过程中发生大量错误，或与性能需求相差太远。混合场景测试终止条件：以下两种情况满足一种，可以不进行混合测试。1. 单个功能点性能测试通过率小于80%；2. 在混合测试场景中，通过的单个功能点性能测试的总并发数小于80%。2 测试环境2.1 硬件环境（内容有待完善，目前配置还不知道）2.1.1 设备终端l 内存：金士顿/DDR/400/512l 主板：研华2522.1.2 软件环境l Windows操作系统2.2 网络环境局域网2.3 设备资源l 系统服务器（尽量与线上系统一致）l 负载机：测试终端（测试压力机）2台（如果并发增大可能需要增加压力机）3 测试计划主要工作具体内容参与人员完成时间备注测试方案制定测试方案制定孙玉红2009-12-10测试方案邮件评审项目组全体成员2009-12-11测试环境准备终端硬件测试环境孙玉红2009-12-4终端软件测试环境李利新、高瑞军2009-12-6性能测试环境高瑞军2009-12-16功能测试前台功能测试孙玉红2009-12-15后台功能测试孙玉红2009-12-16性能测试第性能测试孙玉红2009-12-17稳定性测试孙玉红2009-12-18性能测试总结编写性能测试报告书并评审项目组全体成员2009-12-204 功能测试4.1 测试方法采用“黑盒”的测试方法。所谓的黑盒测试是指测试时只关注测试内容的输入输出，而不关注内部的处理；4.2 测试内容终端基本功能用户基本查询密码验证查询用户打印次数查询用户当前功能业务办理开停机密码修改呼转号码设置手机电视业务受理SP退定（飞信业务）余额天天提醒服务话费到达提醒套餐变更无线音乐俱乐部综合查询话费查询清单查询帐户信息欠费帐单查询话费查询清单银联银联缴费现金缴费后台权限管理用户管理.报表统计登陆不重复客户统计.设备管理.4.3 测试结束标准l 被测试的系统每千行代码必须发现至少1个错误（不含五级错误）；l 系统所有功能满足需求规格说明书的要求；l 在系统测试中发现的错误已经得到修改，各级缺陷修复率达到标准；5 性能测试5.1 测试工具 MI公司的压力测试工具LoadRunner 版本：8.1 License：10000 协议：HTTP/WEB协议 负载生成器和调度工具运行在Windows平台上5.2 测试方法使用性能测试工具LoadRunner 对所测功能点，进行模拟多个客户端与服务器通信并设计场景。重复此过程一段时间，取每秒平均值及90%时间作为测试结果。5.3 测试场景设计5.3.1 核心模块的基准测试l 概念：基准测试是指测试环境确认以后，对业务模型中涉及的每种业务做基准测试。目的是获取单用户执行时的各项性能指标，为多用户并发和混合场景的性能测试分析提供参考依据。l 期望结果业务名称最小响应时间最大响应时间现金交费2秒小于等于5秒银联卡交费2秒小于等于5秒业务办理2秒小于等于5秒详单查询2秒小于等于5秒5.3.2 核心模块的并发测试l 概念：并发测试是指并发不同数目的虚拟用户执行检查点操作，目的是对检查点进行压力加载测试。预测系统投入使用后在一定用户压力情况下的系统响应时间,根据此响应时间分析、确定系统存在的性能瓶颈，为系统的优化和调整提供依据。l 现金缴费功能现金缴费并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间每秒点击率平均流量（字节/秒）100200并发用户数与数据库主机并发用户数CPU利用率MEM利用率磁盘I/O情况100200并发用户数与应用服务器的关系表并发用户数CPU利用率MEM利用率磁盘I/O情况100200l 银联卡缴费功能银联卡缴费并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间每秒点击率平均流量（字节/秒）100200并发用户数与数据库主机并发用户数CPU利用率MEM利用率磁盘I/O情况100200并发用户数与应用服务器的关系表并发用户数CPU利用率MEM利用率磁盘I/O情况100200l 业务办理功能业务办理并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间每秒点击率平均流量（字节/秒）50100并发用户数与数据库主机并发用户数CPU利用率MEM利用率磁盘I/O情况50100并发用户数与应用服务器的关系表并发用户数CPU利用率MEM利用率磁盘I/O情况50100l 详单查询功能详单查询并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间每秒点击率平均流量（字节/秒）50100并发用户数与数据库主机并发用户数CPU利用率MEM利用率磁盘I/O情况50100并发用户数与应用服务器的关系表并发用户数CPU利用率MEM利用率磁盘I/O情况501005.3.3 极限测试l 概念：极限测试是指对系统的核心功能点及可能存在压力瓶颈的功能点进行性能极限测试，即该功能点所能承受的最大用户并发数。通过极限测试，用户可预知系统投入使用后，能否满足实际的需求。l 场景描述：逐步增大并发用户数量，找到功能点所能承受的最大并发用户数。5.3.4 场景测试l 概念：通过对系统体系机构和功能模块的分析以及对系统用户的分布和使用频率的分析，来构造系统综合场景的测试模型，模拟不同用户执行不同操作，如10%的用户执行登录操作，50%的用户执行查询操作，40%的用户执行数据库更新操作，最大限度地模拟系统的真实场景，使用户预知系统投入使用后的真实性能水平。从而，对系统做出相应的优化及调整，避免实际情况中出现系统长时间不响应及崩溃的情况。l 场景用户分配功能缴费并发并发用户数与事务执行情况并发用户数事务平均响应时间事务最大响应时间每秒点击率平均流量（字节/秒）20