性能测试培训

1、性能测试培训3性能测试流程 结果分析，报告结果分析，报告测试执行测试执行 测试设计与开发测试设计与开发测试需求测试需求&计划计划疲劳强调疲劳强调测试测试大数据量大数据量测试测试失效恢复测试失效恢复测试负载负载&压力压力测试测试测试流程测试流程4性能测试流程3.3.测试执行测试执行 1.1.测试需求测试需求& &计划计划4.4.结果分析结果分析& &报告报告2.2.测试设计测试设计& &开发开发性能测试性能测试测试需求分析测试需求分析测试计划制定测试计划制定测试脚本录制测试脚本录制测试调试开发测试调试开发负载压力场景设负载压力场景设计计结果分析结果分析问题定位问题定位测试报告与评估测试报告与评估

2、 搭建环境搭建环境部署测试场景部署测试场景执行测试执行测试5测试需求分析 测试需求就是应用需求的衍生 测试用例也必须覆盖所有的测试需求 测试需求的来源是多方面的，如需求文档、用户备忘录或系统日志等6测试需求分析测试需求分析关键内容 测试的对象； 系统配置，例如“预计有多少用户并发访问？”“用户客户端的配置如何？”“使用什么样的数据库”“服务器怎样和客户端通信？”“网络设备的吞吐能力如何，每个环节承受多少并发用户？”等问题； 系统的使用模式。7测试需求分析 目标回答问题测量对最终用户的响应时间要花多少时间做完一笔交易?确定最优硬件配置什么样的配置提供了最好的性能?检查可靠性系统能在无错情况下能承

3、担多大及多长时间的负载?检查软、硬件升级这些升级对系统性能影响多大？评估新产品服务器应该选择哪些硬件与软件？测试系统负载在没有较大性能衰减的前提下，系统能够承受多大负载？分析系统瓶颈哪些因素降低交易响应时间用户的提问与我们的测试目标用户的提问与我们的测试目标8测试需求分析G8020原理测试强度估算9测试需求分析测试强度估算 8020原理：每个工作日中80的业务在20的时间内完成。举例：每年业务量集中在8个月，每个月20个工作日，每个工作日8小时即每天80%的业务在1.6小时完成去年全年处理业务约100万笔，其中15的业务处理中每笔业务需对应用服务器提交7次请求；其中70的业务处理中每笔业务需对

4、应用服务器提交5次请求；其余15的业务处理中每笔业务需对应用服务器提交3次请求。根据以往统计结果，每年的业务增量为15，考虑到今后3年业务发展的需要，测试需按现有业务量的两倍进行。10测试需求分析测试强度估算 每年总的请求数为：(100 x15%x7+100 x70%x5+100 x15%x3)x2=1000万次/年每天请求数为：1000/160=6.25万次/天每秒请求数为：(62500 x80%)/(8x20%x3600)=8.68次/秒即服务器处理请求的能力应达到9次/秒11测试需求分析测试需求分析方法 充分分析系统有价值的信息充分分析系统有价值的信息任务分布图交易混合图 用户概况分析

5、12测试需求分析任务分布图有哪些交易任务 在一天的某些特定时刻系统都有哪些主要操作 13y登录220250210记帐10151221创建记录1801101209050数据更新90754630查询50302014批处理202515生成报表506040系统备份11812124681012141618202224x14测试需求分析交易混合图 高峰期有哪些操作？中间件操作有多少？数据库操作有多少？如果任务失败，那么商业风险有多少？15交易名称交易名称日常业务日常业务高峰期业高峰期业务务WebWeb服务服务器负载器负载数据库服数据库服务器务器负载负载风险风险登陆70/hr210/hr高低大开一个新帐号1

6、0/hr15/hr中等中等小生成订单130/hr180/hr中等中等中更新订单20/hr30/hr中等中等大发货40/hr90/hr中等高大选择的标准：选择的标准： 高吞吐量高吞吐量 高数据库高数据库I/OI/O 高商业风险高商业风险16测试需求分析用户概况分析哪些任务是每个用户都要执行的?针对不同角色的用户，他们的任务是什么?针对每个用户，不同任务的比例如何?17测试需求分析 定票部门定票部门（170170）飞行部门飞行部门（5050）经理经理（3030）输入订单10025 更新订单5010 计算飞行里程 705计算销售 8任务频率任务频率18测试计划制定要素：测试目标测试案例测试成员测试时

7、间 测试环境19测试计划制定测试目标测试目标首先是基于需求分析抽取出用户的需求寻找用户的性能关注点，用户对系统性能的关注往往集中在少数几个业务活动上，如通过日志分析和用户调查分析获取20测试计划制定测试目标测试目标可能描述为以下几种：F该应用能够以1秒的最大响应时间处理200个并发用户对业务A的访问；峰值时刻有400个用户，允许响应时间延长到3秒。F通过性能调优测试，本系统的A业务和B业务在200并发用户的条件下，响应时间提高到3秒，此时服务器的CPU占用不能超过75%,内存使用率不超过70%21测试计划制定要素：测试目标测试案例测试成员测试时间 测试环境22测试方案制定设计测试案例 好的案例

8、具有以下几个性质：有效性：可以发现缺陷可重用性：可以重复使用的案例，保证测试的一致性可维护性：当测试环境、测试数据发生变化后，测试案例经过简单维护，可以继续使用23测试方案制定测试案例案例名称及标识 案例描述 并发用户数 业务数据量 备注 CSTCFXFE-001用户登录用户登录单业务并发测试，持续加压5分钟；100、200、500具备500个业务操作员用户模拟典型业务操作场景，并考察执行业务的响应时间及服务器资源的占用情况CSTCFXFE-002境内贷记业务境内贷记业务并发测试，持续加压5分钟；流程：从境内贷记发起请求，到复核完毕，直到发送成功100、200具备200个业务操作员用户，600

9、W条历史数据模拟典型业务操作场景，并考察执行业务的响应时间及服务器资源的占用情况CSTCFXFE-005疲劳测试境内贷记业务、转汇、退汇业务和查询业务按照7：1：1：1的比例进行混和对前置机进行加压，并持续加压8小时。200具备200个业务操作员用户，600W条历史数据考查在长时间的运行下，系统是否稳定可靠24测试计划制定要素：测试目标测试案例测试成员测试时间 测试环境25测试方案制定测试成员角色职责测试经理1.协调项目各方2.制定测试计划3.监控测试进度4.发现和处理测试中的风险测试设计1.识别用户需求2.设计测试用例3.建立性能场景测试开发1.实现已设计的性能场景2.脚本开发、调试3.确定

10、测试时需要监控的性能指标、性能计数器26测试方案制定测试成员角色职责测试执行1.部署测试环境2.执行脚本和场景3.根据监控要求记录测试结果、记录性能指标和性能计数器测试分析1.根据测试结果、性能指标的数值、性能计数器进行分析2.分析性能瓶颈、提出优化建议支持角色1.协助测试工程师处理无法解决的问题，包括系统、数据库、网络等各方面的问题27测试计划制定要素：测试目标测试案例测试成员测试时间 测试环境28测试方案制定测试时间工作内容时间（工作日）制定测试方案2制定测试规范及制定测试案例3测试环境准备1性能测试实施测试脚本准备2压力测试实施2测试数据统计分析2提交初步测试结果1提交测试报告2合 计1

11、529测试方案制定测试环境测试环境的基本原则符合软件运行的最低要求，不一定选择将要部署的环境选用比较普及的操作系统和软件平台 营造相对简单、独立的测试环境 无毒的环境30测试方案制定测试环境负载压力性能测试，测试环境还需要注意以下几点：F 必须考虑测试工具的硬件和软件配置需求，比如支持工具的操作系统、工具是否支持当前的应用协议等F 测试环境与实际生产环境有无差异，硬件配置是否是影响性能的主要因素 F 测试环境中应该包括安装、备份及恢复过程F 排除网络问题给环境带来的影响31测试方案制定测试环境好的测试环境的标准：F一个稳定、可重复的测试环境能够保证测试结果的正确 F保证达到测试执行的技术需求

12、F保证得到可重复的和易理解的测试结果 32测试方案制定测试环境 测试数据在测试环境中需要输入一些适当的测试数据，包括：2初始数据 系统运行所必须的初始化数据2业务数据 提供负载压力背景2脚本中参数数据 脚本中参数数据真实模拟负载33测试方案制定测试环境 怎样准备测试数据手工操作方法利用工具的自动化方法 34测试方案制定测试环境依靠工具准备测试数据的方法 自动生成测试数据 测试数据管理 35测试方案制定测试环境自动生成测试数据 利用数据库测试数据自动生成工具TESTBytes，确定需要生成的数据类型和生成规则，通过与数据库的连接来自动生成数百万行的测试数据 利用LoadRunner的黑盒方法36

13、测试方案制定测试环境测试数据管理 File-Aid是一套为帮助开发者、测试人员、质量保证团队更加有效地在开发、测试和支持C/S或Web应用中的测试数据管理工具。37测试方案制定测试环境测试数据管理 File-Aid提供数据拷贝，构造子集，数据转换，数据编辑，数据浏览，数据生成，数据比较，数据迁移等功能。38测试计划制定小结要素：测试目标测试案例测试成员测试时间 测试环境39性能测试流程3.3.测试执行测试执行 1.1.测试需求测试需求& &计划计划4.4.结果分析结果分析& &报告报告2.2.测试设计测试设计& &开发开发性能测试性能测试测试需求分析测试需求分析测试计划制定测试计划制定测试脚本

14、录制测试脚本录制测试调试开发测试调试开发负载压力场景设计负载压力场景设计结果分析结果分析问题定位问题定位测试报告与评估测试报告与评估 搭建环境搭建环境部署测试场景部署测试场景执行测试执行测试40测试设计&开发开发测试工具 如：报文发生器利用成熟的商业测试工具 LoadRunner, SilkPerformer41测试设计&开发测试脚本录制调试 以测试工具Load Runner为例42测试设计&开发场景设计用于设计测试活动需要使用的场景测试场景从不同的剖面模拟实际业务的运行F业务和业务比例F测试指标的目标F需要在测试过程中进行监控的性能计数器43测试设计&开发场景设计测试场景示例（某订花网站）场

15、景名称业务及分配比例测试指标性能计数器用户登录登录业务，比例100% 总用户100响应时间（3s）服务器CPU和内存使用混和业务操作用户注册，20用户查询订单，40用户网上订购，40用户总用户数100响应时间(用户注册5s)(查询订单3s)(网上订购4s)服务器CPU和内存使用,应用服务器资源44性能测试流程3.3.测试执行测试执行 1.1.测试需求测试需求& &计划计划4.4.结果分析结果分析& &报告报告2.2.测试设计测试设计& &开发开发性能测试性能测试测试需求分析测试需求分析测试计划制定测试计划制定测试脚本录制测试脚本录制测试调试开发测试调试开发负载压力场景设计负载压力场景设计结果分

16、析结果分析问题定位问题定位测试报告与评估测试报告与评估 搭建环境搭建环境部署测试场景部署测试场景执行测试执行测试45测试执行搭建测试环境搭建测试环境执行测试和记录结果执行测试和记录结果部署测试场景部署测试场景46测试执行搭建测试环境硬件环境 设备、网络拓扑软件环境 应用部署、测试工具数据环境 数据规模47测试执行部署测试场景部署脚本场景运行时设置 如循环次数、业务比例、运行时间等等性能指标和资源监控设置（重点关注） 48测试执行性能指标和资源监控设置交易处理性能指标 交易：为了完成一个任务，用户对应用程序执行的一组操作，例如登录一个Web站点、搜索一个飞机票信息、在网上买一本书等等。每秒交易数

17、（Transations per second） 交易响应时间（Response Time） 虚拟并发用户数（Total Virtual Users） 吞吐量（Throughout）49测试执行性能指标和资源监控设置并发性能测试的主要监控指标 服务器资源监控，例如： Windows,UNIX,Linux应用服务器监控，例如： IIS、J2EE数据库资源监控，例如： Oracle,SQLServer50测试执行性能指标和资源监控设置类别计数器名称计数器描述MemoryAvailabe Mbytes可用物理内存数Pages/sec每秒由于页面错误从内存读入磁盘或写入磁盘的页面数System%Tot

18、al Processor Time系统上所有处理器都忙于执行非空闲线程的平均时间百分比Physical Disk%Disk Time磁盘驱动器忙于为读或写入请求提供服务所用的时间的百分比Windows资源监控指标资源监控指标51测试执行性能指标和资源监控设置类别计数器名称计数器描述MemoryFree(KB)可用物理内存数Swap(KB)已使用的虚拟内存数量（Page）si/so每秒从磁盘交换到内存或从内存交换到磁盘的数量Processor%Idle TimeCPU总的空闲时间Physical DiskReads(Writes)/w per sec物理磁盘上每秒磁盘读、写的次数UNIX/Lin

19、ux资源监控指标资源监控指标52测试执行性能指标和资源监控设置类别计数器名称计数器描述JVMHeap SizeJVM堆大小，实时值Heap FreeJVM可用堆大小，实时值JDBC Connection PoolConnections Total Count总的JDBC连接数Max CapacityJDBC连接池的总数量Waiting For Connection Current count等待的连接数量Active Connections Current Count当前活跃的JDBC连接数J2EE资源监控指标资源监控指标53测试执行性能指标和资源监控设置类别计数器名称计数器描述Execute

20、 QueueExecute Thread Current Idle Count空闲的进程数量Pending Request Oldest Time队列请求的最久时间Serviced Request Total Count已处理的请求总数Pending Request Current Count挂起请求的数量J2EE资源监控指标资源监控指标54测试执行性能指标和资源监控设置类别计数器名称计数器描述SystemTotal Processor Time数据库进程占用的CPU时间。在Oracle中，该计数器被称为cpu used by this sessionUser connections当前用户的连接数，一般数据库服务器会有连接数限制MemoryCache Hit Ratio缓存命中率。当该值比较小，而数据库比较繁忙时，可能需要调整缓存的大小数据库数据库资源监控指标资源监控指标55测试执行性能指标和资源监控设置类别计数器名称计数器描述MemoryTotal Serve