性能测试培训与交流.ppt

性能测试培训与交流 软件测试全景图 2 概念 1 目标 3 模型 3 方法 测试 模型 理发店模型 理发店 一间或大或小的铺面 1个或几个理发师 几张理发用椅和供顾客等待的板凳约束和假设 3名理发师 每位理发师剪发的时间为1小时 顾客们每次光顾理发店时所能容忍的等待时间 剪发时间是3小时 想象可能出现的场景 模型 理发店模型 场景1 理发店内只有1位顾客时 只需要有1名理发师为他提供服务 其他两名理发师可能继续等着 也可能会帮忙打打杂 1小时后 这位顾客剪完头发出门走了 那么在这1个小时里 整个理发店只服务了1位顾客 这位顾客花费在这次剪发的时间是1小时 场景2 当理发店内同时有两位顾客时 就会同时有两名理发师在为顾客服务 另外1位发呆或者打杂帮忙 仍然是1小时后 两位顾客剪完头发出门 在这1小时里 理发店服务了两位顾客 这两位顾客花费在剪发的时间均为1小时 场景3 当理发店内同时有三位顾客时 理发店可以在1小时内同时服务三位顾客 每位顾客花费在这次剪发的时间仍然是均为1小时 场景4 只有1位顾客和2位顾客时 空闲的理发师可以帮忙打杂 使得其他理发师的工作效率提高 并使每位顾客的剪发时间小于1小时 模型 理发店模型 场景5 有一次顾客A B C刚进理发店准备剪发 外面一推门又进来了顾客D E F 因为A B C三位顾客先到 所以D E F三位只好坐在板凳上等着 1小时后 A B C三位剪完头发走了 他们每个人这次剪发所花费的时间均为1小时 可是D E F三位就没有这么好运 因为他们要先等A B C三位剪完才能剪 所以他们每个人这次剪发所花费的时间均为2小时 包括等待1小时和剪发1小时 场景6 有一次同时来了9位顾客 但是因为店面太小 只能容纳3位同时剪发 3位等待 剩下的3位看到没地方坐 就离开了 场景7 有些顾客已经是理发店的老顾客 他们和理发师已经非常熟悉 理发师可以不用花费太多时间沟通就知道这位顾客的想法 并且理发师对这位顾客的脑袋的形状也很熟悉 所以可以更快的完成一次理发的工作 场景8 理发店并不是只有剪发一种业务 还提供了烫发染发之类的业务 那么当顾客提出新的要求时 理发师服务一位顾客的时间可能会超过标准的1小时 而且这时如果要计算每位顾客的等待时间就变得复杂了很多 有些顾客的排队时间会比原来预计的延长 并最终导致他们因为无法忍受而离开 模型 理发店模型 场景9 有一次由于顾客与理发师产生矛盾 理发师处理不当 导致顾客发飙砸店 所有的理发均无法顺利进行 事故消除后 每位理发的顾客实际理发时间达到2小时 场景10 随着烫发和染发业务的增加 理发师们决定分工 两位专门剪发 一位专门负责烫发和染发 场景11 理发店的生意越来越好 理发师的数量和理发店的门面已经无法满足顾客的要求 于是理发店的老板决定在旁边再开一家店 并招聘一些工作能力更强的理发师 场景12 理发店的生意变得极为火爆了 两家店都无法满足顾客数量增长的需求 并且有些顾客开始反映到理发店的路途太远 到了以后又因为烫发和染发的人太多而等太久 可是理发店的老板也明白烫发和染发的收入要远远高于剪发 于是他脑筋一转 决定改变策略 在附近的几个大型小区租用小的铺面开设分店 专职剪发业务 再在市区的繁华路段开设旗舰店 专门为烫发 染发的顾客 以及VIP顾客服务 并增设800电话 当顾客想要剪发时 可以拨打这个电话 并由服务人员根据顾客的居住地点 将其指引到距离最近的一家分店去 模型 理发店模型 总结 顾客在3人以下时 理发店理发效率最高 顾客满意度最高 但效益欠佳 时间 1 1 1 小时 同时有3人理发时 理发店效率和效益都最高 顾客满意度最高 但效益持久性难以保证 时间 1 1 1 小时 同时有6人理发时 理发店效率下降50 效益最高 顾客满意度中等 时间 1 1 5 2 小时 同时有9人理发时 理发店效率最低 效益最高 顾客满意度最差 时间 1 2 3 小时 同时超过9人来到时 10人以后的顾客愤然离开 一段时间顾客持续在9人时 绝大多数客户的理发时间都在3小时 顾客很不满意 理发师也由于得不到休息 很疲惫 消极怠工 效益效率顾客满意度都持续下降 模型 通用性能模型 2 概念 1 目标 3 模型 3 方法 测试 概念 资源 理发师 任务执行单元 线程 进程 CPU 任务存储单元 店内空间 数据页 块 内存 存储设备 任务调度单元 板凳 队列 池 锁 操作系统 中间件 剪发 染发 烫发 业务 业务处理逻辑 技能水平 应用程序 数据 资源 信息资源 硬件资源 概念 计算机性能发展 理发店场景与计算机性能发展历程 单任务 多任务 并行处理 微处理 队列控制 存储升级 JIT 缓存 功能扩展 结构化设计 故障诊断与处理 集群 分布式 云 计算 场景1 场景2 场景3 场景4 场景8 场景7 场景6 场景5 场景12 场景11 场景10 场景9 概念 时间 响应时间 请求从进入到离开系统或功能模块之间的时间间隔 服务时间指系统处理该请求需要的时间 等待时间指请求被处理之前需要等待的时间 基准响应时间平均响应时间 满足了性能需求不代表系统性能满足了绝大多数用户的要求最小响应时间最大响应时间比例响应时间 概念 时间 C1 用户请求发出前在客户端需要完成的预处理所需要的时间C2 客户端收到服务器返回的响应后 对数据进行处理并呈现所需要的时间A1 Web AppServer对请求进行处理所需要的时间A2 DBServer对请求进行处理所需的时间A3 Web AppServer对DBServer返回的结果进行处理所需的时间N1 请求由客户端发出并达到Web AppServer所需要的时间N2 如果需要进行数据库相关的操作 由Web AppServer将请求发送至DBServer所需要的时间N3 DBServer完成处理并将结果返回Web AppServer所需的时间N4 Web AppServer完成处理并将结果返回给客户端所需的时间用户响应时间 C1 C2 A1 A2 A3 N1 N2 N3 N4 系统响应时间 A1 A2 A3 N1 N2 N3 N4 概念 吞吐量 并发用户数绝对并发用户数最佳并发用户数最大并发用户数TPS服务器硬件资源配置软件中的处理开销磁盘上数据的布局硬件和软件都支持的并发度正在处理的事务类型网络流量 概念 理解性能 SLA 描述了所提供的服务 其可用性水平 正常运行时间和停机时间 响应时间 客户服务水平以及违约责任 Measurement Thresholds资源的管理和调度性能与投资成本硬件成本运营成本维护成本 概念 理解性能 木桶原理与性能瓶颈 CPU 内存 硬盘 网络请求队列 线程池 连接池 数据库资源限制 概念 理解性能 软件性能和硬件性能的矛盾 硬件带来的东西 全让软件给拿走了 Intel送 微软取 软件是混乱 无序的 概念 理解性能 性能问题 交易速度慢 用户对当前应用程序的性能不满意 系统监控工具提醒你某组件正遇到超时或异常的负载 响应时间监控工具提示你服务等级协议未被满足 交易出错 多数是由于并发访问造成 系统崩溃和某些特定交易出错 性能下降 概念 理解性能 2 概念 1 目标 3 模型 3 方法 测试 目标 认识角度 系统视角 性能 是一个整体的概念 是系统的负载与吞吐量 可接受的响应时间以及资源利用率之间的平衡 用户视角 系统对用户请求的响应速度决定了用户对系统性能的评价 管理视角 最低的成本能够让尽可能多的用户在任意时刻都拥有最好的体验 系统能够在同一时间内处理更多的用户请求 测试视角 好的性能 意味着更大的最佳并发用户数和最大并发用户数 兼顾系统 用户 管理 目标 测试目标 基于硬件投资成本的考虑基于吞吐量的考虑注册用户 在线用户 并发数 TPS基于响应时间的考虑响应时间最长不超过 秒平均时间在 秒以内基于HA的考虑 2 概念 1 目标 3 模型 3 方法 测试 方法 1 了解性能测试框架2 熟悉性能测试流程3 掌握性能测试工具4 熟悉测试结果分析灰色部分不在本次培训范围内 方法 性能测试框架 方法 性能测试流程 方法 性能测试流程 框架 业务架构 范例 方法 性能测试流程 框架 技术架构 范例 方法 性能测试流程 框架 软件架构 范例 方法 性能测试流程 框架 硬件架构 范例 方法 性能测试流程 方法 性能测试流程 策略 测试方式 现场测试 实施项目 用户实际IT环境 项目验收或性能风险评估项目测试 研发 实施项目 公司现有IT环境 项目结项或性能故障排除选型测试 软件选型 硬件选型 组件选型对比测试 性能优化 版本发布 软硬件升级 参数 数据规模重大变化 方法 性能测试流程 策略 测试类型 性能测试 a点到b点之间的性能 以性能预期目标为前提 对系统不断施加压力 验证系统在资源可接受范围内 是否能达到性能预期 负载测试 b点的系统性能 对系统不断的增加压力或增加一定压力下的持续时间 直到系统的某项或多项性能指标达到极限 压力测试 b点到d点之间 超过安全负载的情况下 对系统不断施加压力 通过确定一个系统的瓶颈或不能接受用户请求的性能点 来获得系统能够提供的最大服务级别 稳定性测试 a点到b点之间 在特定硬件 软件 网络条件下 给系统加载一定业务压力 试系统运行一段较长时间 检测系统是否稳定 一般时间为n 12小时 方法 性能测试流程 策略 约束条件 硬件环境 CPU 内存 存储 网络等软件环境 操作系统 中间件 数据库 应用程序等业务类型 OLTP OLAP DSS等业务范围 投资管理 预算管理 资金管理等参数规模 复杂度 单位 用户 机构 部门 指标 公式 字典等数据规模 复杂度 单位数 用户数 机构数 部门数 指标数 记录数等性能目标 响应时间 吞吐量 资源利用等 方法 性能测试流程 方法 性能测试流程 模型 业务模型 范例 方法 性能测试流程 模型 功能模型 范例 方法 性能测试流程 模型 度量模型 度量关键字 业务层面 范例 预算编制表展示预算编制表保存生成编制分析表容量计算 每个功能 操作的具体用户量 YYY 度量指标并发用户数响应时间资源利用率网络流量系统无故障率 方法 性能测试流程 方法 性能测试流程 场景 核心业务应用服务域 不同的域性能要