性能测试基本方法.ppt

软件性能测试 性能指标 软件产品部 目录 1.什么是软件的性能 2.用户对软件性能的需求 3.软件系统的性能指标 软件产品部 4.常见的性能测试方法 什么是软件的性能 v世界上第一台计算机“埃尼阿克”由1.8万个电子 管组成，占地有两三间教室般大。运算速度仅 为每秒5000次加法运算。当时的用户对软件要 求不高，只要能工作就行。 v现在软件已经成为普通的商品，开始从经济学 角度考虑软件。投入产出的关系：要尽可能的 少占用硬件资源；运行速度也要尽可能的快。 软件产品部 功能与性能的关系 v软件功能和性能的源头都是来自用户的需求 。 v一个邮件系统来讲： 功能：能支持收发30种语言为标题 和正文的邮 件，并支持粘接10MB的附件。 性能：能够在2GB RAM/1GHz CPU的服务器上 ，支持10000注册用户，日均处理10000邮件 ，响应时间 不超过5s/封。 总结总结 ：功能的焦点在于“做什么”；性能关注于“ 做的如何”，表现为软 件对“空间”和“时间 ”的 敏感度。 目录 1.什么是软件的性能 2.用户对软件性能的需求 3.软件系统的性能指标 软件产品部 4.常见的性能测试方法 用户对软户对软 件的性能需求 v计计算性能用户最关心的一个指标，即 软件系统有多快。如，一个典型的业务 需 要花多少时间 。 v资资源的利用和回收就是硬件和软件资 源，硬件包括客户端硬件、服务器硬件和 网络硬件；软件包括操作系统、中间件和 数据库。特别关注系统对 内存的使用。 v启动时间动时间 用户希望系统进 入正常工作 状态的时间 越短越好。 用户对软户对软 件的性能需求 v稳稳定性运行一段时间 后会不会出现问题 。 v伸缩缩性比如一个系统，在50个并发用户 的时候表现正常，但是到1000的时候表现如 何？是逐渐下降还是在某个拐点附近急剧下 降？ 目录 1.什么是软件的性能 2.用户对软件性能的需求 3.软件系统的性能指标 软件产品部 4.常见的性能测试方法 性能指标标 v响应时间 （Response time） v吞吐量（Throughput） v资源使用率（Resource utilization） v点击数（Hits per second） v并发用户数（Concurrent users） 响应时间应时间 （Response time） v定义义：响应时间 指的是客户端发出请求到得到 响应的整个过程所经历的时间。 v响应时间应时间 可以细细分为为： （1）服务务器端响应时间应时间 ：服务器完成交易请求执 行的时间，这个时间可以度量服务器处理能力 。 （2）网络络响应时间应时间 ：网络硬件传输交易请求和交 易结果所耗费的时间。 （3）客户户端响应时间应时间 ：客户端在构建请求和展现 交易结果时所耗费的时间。 客户户感受的响应时间应时间 =以上三者之和 响应时间应时间 （Response time） 典型的三层架构的系统一次软件操作的响应 过程，其中N为网络传输时间，A为服务器处 理时间。 吞吐量（Throughput） v定义义：对于软件系统来说，“吞”进去的是 请求，“吐”出来的是结果。吞吐量反应的 是系统的处理能力，就是指软件系统在每 单位时间 内能处理多少个事务/请求/单位 数据等。 v吞吐量的衡量单位： (1)常用：请请求数/秒、页页面数/秒 (2)业务 角度：访问访问 人数/天、处处理的业务业务 数/ 小时时 (3)网络角度：字节节数/天 资资源使用率（Resource utilization） v定义义：资源使用率指的是对不同资源的使 用程度。 v常见见的资资源：CPU占用率、内存使用率、 磁盘I/O、网络I/O。 点击击数（Hits per second） v定义义：按照客户端向Web Server发起了多 少次http请求来计算的。 并发发用户户数（Concurrent users） v定义义：并发用户数指在某个时间 特定点上 与服务器端进行会话操作的用户数。用来 度量服务器并发容量和同步协调 能力。 v狭义义：多个用户并发执 行同一操作。 v广义义：多个用户同时执 行不同的操作。 v错误错误 的理解： (1)使用系统的全部用户的数量。 (2)用户在线数量。 并发发用户户数的例子 vOA系统统经验经验 公式： 并发用户数=使用系统的用户数量*（5%20% ） 如果一个OA系统的期望用户为 1000个，则只要 测试 出系统能支持200个并发用户就可以了。 其他指标标 v交易成功率成功的交易数占总交易请 求数的比率。 v系统统恢复时间时间 当系统出错时 ，修正错 误并重新启动系统所需的时间 。 v其实，凡是用户有关资源和时间 的要求都 可以被视作性能指标。性能测试 就是为了 验证这 些性能指标是否被满足。 目录 1.什么是软件的性能 2.用户对软件性能的需求 3.软件系统的性能指标 软件产品部 4.常见的性能测试方法 常见见的性能测试测试 方法 v负载测试 （Load Testing） v压力测试 （Stress Testing） v并发测试 （Concurrency Testing） v基准测试 （Bench Testing） v稳定性测试 （Stability Testing） v可恢复测试 （Recovery Testing） 负载测试负载测试 （Load Testing） v对负载测试 的理解： （1）主要是考察软件系统在既定负载 下的 性能表现。 （2）站在用户角度去观察在一定条件下软 件系统的性能表现。 （3）负载测试 的预期结果是用户的性能需 求得到满足。 负载测试负载测试 的例子 v某网站测试测试 需求： 可以支持100个并发用户执 行各种查询 操作 ，要求各查询 操作的响应时间 在5秒以内 ，服务器CPU利用率在80%以下。 压压力测试测试 （Stress Testing） v对压 力测试 的理解： （1）为了考察系统在极端条件下的表现，极端 条件可以是超负荷的交易量和并发用户数。 （2）这个极端条件并不一定是用户的性能需求 ，可能要远远 高于用户需求。 （3）压力测试 是能让我们识别 系统的弱点和 在极限负载 下程序将如何运行。 （4）压力测试 和负载测试 的不同是，压力测 试的预期结果是系统出现问题 ，而我们考察 的是系统处 理问题 的方式。 压压力测试测试 （Stress Testing） v用户量压力测试 v数据量压力测试 v例如：系统最大支持的同时在线用户数是 1000个，压力测试 需要测试 在1000个用 户甚至2000个用户同时在线时 系统的表现 。 v例如：在系统内存耗尽情况下，测试 系统 的运行情况，这种情况下被测试 系统也不 应该 崩溃。 压压力测试测试 的反常规规操作 v当平均每秒出现1个或2个中断的情形下，应当对每秒出现 10个中断的情形来进行特殊的测试 ； v把输入数据的量提高一个数量级来测试输 入功能会如何响 应； v应当执行需要最大的内存或其他资源（如CPU,内存，磁 盘，网络）的测试 用例； v运行一个虚拟的操作系统中可能会引起大量的驻留磁盘数 据的测试 用例； v两倍的已经基线的并发用户数或者HTTP连接数； v随机的关闭及重开连接到服务器上的网络上集线器/路由 器的端口（例如，可通过SNMP命令来实现 ）； v把数据库断线然后再重启。 并发测试发测试 （Concurrency Testing ） v对并发测试 的理解： （1）一般是和服务器端建立大量的并发连 接，通过客户端的响应时间 和服务器端的 性能监测 情况来判断系统是否达到了既定 的并发能力指标。 （2）负载测试 往往就会使用并发来创造负 载。 （3）并发测试 往往涉及服务器的并发容量 ，以及多进程/多线程协调 同步可能带来的 问题 。 并发发测试测试 的例子 v400并发用户，事务失败率（fail percent ）1.35%，软件系统失效。 v500并发用户，事务失败率（fail percent ）10%，系统中断。 v600并发用户，事务失败率（fail percent ）80%，系统崩溃。 基准测试测试 （Bench Testing） v对基准测试 的理解： （1）当软件系统中增加一个新的模块的时 候，需要做基准测试 ，以判断新模块对 整 个软件系统的性能影响。 （2）需要打开/关闭新模块至少各做一次测 试。关闭模块状态下的系统各个性能指标 记下来作为基准，然后与打开模块状态下 的系统性能指标作比较。 稳稳定性测试测试 （Stability Testing） v对稳 定性测试 的理解： （1）考察测试 系统在一定负载 下运行长时 间后是否会发生问题 。 （2）有些问题 只有在运行一天或者一个星期 甚至更长的时间 才会暴露。这种问题 一般 是程序占用资源却不能及时释 放而引起的 。 稳稳定性测试测试 的例子 v稳定性测试 可能帮助找到一些大