火龙果性能测试技术

性能测试技术培训内容基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程实践篇LoadRunner工具介绍操作演示实习基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程软件性能概念软件性能与性能测试不同角度对软件性能的认识性能测试常用术语的理解软件性能与性能测试软件性能覆盖面广泛，对一个系统而言，包括执行效率、资源占用、稳定性、安全性、兼容性、可扩展性、可靠性等等。性能测试用来保证系统运行后的性能满足用户需求。性能测试在软件质量保证中起重要作用。软件性能概念不同角度对软件性能的认识用户角度系统管理员角度开发人员角度软件性能概念用户角度软件对用户操作的响应时间，如用户提交一个查询操作、打开一个web页面的链接等业务可用度，或者系统的服务水平如何软件性能概念系统管理员角度并发压力服务器端资源使用情况是否存在性能瓶颈系统可扩展性如何软件性能概念软件性能概念开发人员角度架构设计是否合理数据库设计是否存在问题代码是否需要优化，如SQL语句如何通过调整设计和代码实现，或如何通过调整系统设置提高软件的性能表现性能测试常用术语的理解并发用户数响应时间吞吐量资源占用率软件性能概念基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程为什么要进行性能测试优化性能最小化成本最小化风险交付高质量的系统性能测试目的性能测试的目标评价系统当前性能寻找瓶颈，优化性能预测系统未来性能，可扩展性性能测试目的性能测试目标－评价系统当前性能系统刚上线，处于试运行，用户需要确定当前系统是否满足验收要求系统已经运行一段时间，如何保证能够一直具有良好的运行性能性能测试目的性能测试目标－寻找瓶颈，优化性能用户提出业务操作响应时间长，如何定位问题，调整性能系统运行一段时间后，速度变慢，如何寻找瓶颈，进而优化性能性能测试目的性能测试目标－预测系统未来性能系统用户数增加时，当前系统是否能满足需求，如果不能，需要进行哪些调整？增加应用服务器？提高数据库服务器的配置？或是需要对代码进行调整？性能测试目的基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程负载&压力测试大数据量测试疲劳强度测试失效恢复测试性能测试类型负载测试通过逐渐增加系统负载，测试系统性能的变化，并最终确定在满足性能指标的情况下，系统能承受的最大负载量的测试。目标确定系统的性能容量（如系统在保证一定响应时间的情况下能够允许多少并发用户的访问），系统各项指标，如吞吐量、响应时间、CPU负载、内存使用等如何决定系统的性能。性能测试类型压力测试通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大的服务级别的测试。目标：压力测试是为了发现在什么条件下您的应用程序的性能会变得不可接受。负载测试和压力测试通常被合称为并发性能测试性能测试类型大数据量测试包括独立的数据量测试和综合数据量测试。独立的数据量测试指针对某些系统存储、传输、统计、查询等业务进行的大数据量测试。综合数据量测试指系统在具备一定数据量时，在负载压力测试下，考查业务是否能够正常运行的测试。目标测试数据量较大时系统的性能状况。性能测试类型疲劳强度测试采用系统稳定运行情况下（保证总业务量），长时间运行系统的测试，属于可靠性测试的范畴。目标通过综合分析交易执行指标和资源监控指标来测试系统长时间无故障稳定运行的能力。性能测试类型失效恢复测试针对有冗余备份或负载均衡的系统来说，检验如果系统局部发生故障，系统灾备措施是否可以正常启动，用户是否可以继续使用。目标通过实施失效恢复测试，评估系统的健壮性和可恢复性。性能测试类型基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程性能测试策略在多种平台上的数百个服务器异构系统、多种应用数千个工作站局域网、广域网和其它分类型的分布式网络体系结构交错的故障点问题的根源是什么?性能测试策略应用在客户端性能的测试应用在网络性能的测试应用在服务器端性能的测试应用在客户端性能的测试测试方法实现机制性能测试策略应用在客户端性能的测试－测试方法考察客户端应用的性能，测试的入口是客户端客户端性能测试也是并发性能测试的过程，即逐渐增加并发虚拟用户数负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标、资源监控指标等来确定系统并发性能的过程。性能测试策略应用在客户端性能的测试－测试方法各方法之间相互关联，而不是独立的！性能测试策略应用在客户端性能的测试－测试方法借助自动化性能测试工具商业测试工具LoadRunner,RationalRobot,QALoad,SilkPerformor开源（OpenSource）测试工具ApacheJmeter,OpentSTA…自主开发测试程序或者测试工具性能测试策略LoadRunner－HP公司测试接口：接口多且个别接口支持的版本较高设置灵活丰富的资源监控报告形式多样RationalRobot－IBM公司包括以下几类缺省协议：SQL、HTTP、Socket、TUXEDO、IIOP、FlowControl，其它测试协议要单独购买性能测试与功能校验相结合报告分三种状态：new、open及runQALoad－Compuware(康博)公司测试接口：DB2，DCOM，ODBC，ORACLE，NETLoad，Corba，QARun，SAP，SQLServer，Sybase，Telnet，TUXEDO，UNIFACE，WinSock，WWW性价比较高可以和本公司的其它产品集成，形成完整的系统性能测试方案BenchmarkFactory－Quest软件公司可以测试服务器集群的性能基准测试高级脚本WAS－Microsoft公司免费使用的Web应用性能测试工具Numberofhits：测试间隔内虚拟用户点击页面的总次数Requestspersecond：每秒客户端的请求次数Threads：线程数TTFBAvg：从第一个请求发出到测试工具接收到服务器应答数据的第一个字节之间的平均时间TTLBAvg：从第一个请求发出到测试工具接收到服务器应答数据的最后一个字节之间的平均时间SILKPERFORMERV—美国Segue公司在工具中融合了功能测试的方法，即内容校验脚本采用PASCAL，资源消耗较小，支持一些底层访问错误可精确定位提供数据池模板，并可定制应用在客户端性能的测试－测试方法性能测试策略应用在客户端性能的测试测试方法实现机制性能测试策略测试工具实现机制通过在一台或几台PC机上模拟成百或上千的虚拟用户同时执行业务的情景，对应用程序进行测试，通过可重复的、真实的测试能够彻底地度量应用的性能，确定问题所在。工程项目实践证明，其测试结果与实际情况完全符合。性能测试策略测试工具实现机制性能测试策略测试工具实现机制自动化测试工具使用的基本步骤：录制业务流程，形成测试脚本修改调试脚本执行压力测试性能测试策略性能测试策略应用在客户端性能的测试应用在网络性能的测试应用在服务器端性能的测试应用在网络性能的测试应用网络故障分析测试网络带宽、延时、负载和TCP端口的变化如何影响用户的响应时间通过测试，优化性能，预测系统响应时间，确定网络带宽需求，定位应用程序和网络故障网络应用性能监控

工具

NetworkVantage(Compuware)，NetworkNodeManager(HP)，Tivoli(IBM)工作原理

多个捕捉点，一个分析

捕捉点：Agent被动监听数据包来实现实时数据采集

分析：AgentManager完成对所跟踪到的数据的分析性能测试策略网络故障分析工作原理性能测试策略网络故障分析工作原理计算响应时间：单点数据获取性能测试策略网络故障分析工作原理计算响应时间：两点数据获取性能测试策略网络故障分析工作原理典型的故障诊断策略：设置多点代理服务在应用逻辑路径上多点数据采集在任何两个节点间进行数据整合，测量分段的响应时间，分析应用故障。性能测试策略性能测试策略应用在客户端性能的测试应用在网络性能的测试应用在服务器端性能的测试应用在服务器上性能的测试服务器管理面临的风险一般系统具有多台服务器，有不同服务器类型，管理起来很困难服务器的性能问题很难诊断没有发现的简单问题可能引起许多用户的巨大问题性能测试策略应用在服务器上性能的测试测试关键点资源的占用情况数据库性能故障报警性能测试策略应用在服务器上性能的测试测试实现：利用工具监控服务器端性能，利用工具监控的优点减少故障诊断和分析时间减少手工定位的时间和避免误诊在问题发生前定位故障验证可达到的性能水平和服务水平协议持续的服务器、数据库和应用性能和可用性监控故障诊断和恢复:自动报警、故障恢复程序、故障恢复信息。服务器、应用可用性和性能报告性能测试策略应用在服务器上性能的测试监控内容对服务器操作系统的监控CPU,内存&SWAP,磁盘管理,网络,文件系统,活动的进程监控工具spotslight、tivoli、openview、sitescope操作系统本身自带命令vmstat,iostat,netstat性能测试策略应用在服务器上性能的测试监控内容对数据库的监控监控数据库系统中关键的资源监测读写页面的使用情况监控超出共享内存缓冲区的操作数监测上一轮询期间作业等待缓冲区的时间跟踪共享内存中物理日志和逻辑日志的缓冲区的使用率监控磁盘的数据块使用情况以及被频繁读写的热点区域监控用户事务或者表空间监控事务日志监控数据库锁资源监测关键业务的数据表的表空间增长监控SQL执行情况性能测试策略应用在服务器上性能的测试监控内容对中间件的监控一般商业中间件控制台软件会自带监控性能测试策略基础篇软件性能概念性能测试目的性能测试类型性能测试策略性能测试流程性能测试流程测试需求分析测试需求就是应用需求的衍生测试用例也必须覆盖所有的测试需求测试需求的来源是多方面的，如需求文档、用户备忘录或系统日志等性能测试流程测试需求分析测试需求分析关键内容①测试的对象；②系统配置，例如“预计有多少用户并发访问？”“用户客户端的配置如何？”“使用什么样的数据库”“服务器怎样和客户端通信？”“网络设备的吞吐能力如何，每个环节承受多少并发用户？”等问题；③系统的使用模式。性能测试流程测试需求分析用户的提问与我们的测试目标用户问题测试目标要花多少时间做完一笔交易?测量对最终用户的响应时间什么样的配置提供了最好的性能?确定最优硬件配置系统能在无错情况下能承担多大及多长时间的

负载?检查可靠性这些升级对系统性能影响多大？检查软、硬件升级服务器应该选择哪些硬件与软件？评估新产品在没有较大性能衰减的前提下，系统能够承受

多大负载？测试系统负载哪些因素降低交易响应时间分析系统瓶颈性能测试流程测试需求分析80～20原理测试强度估算每个工作日中80％的业务在20％的时间内完成。性能测试流程测试需求分析80～20原理测试强度估算性能测试流程测试需求分析80～20原理测试强度估算每年总的请求数为：(100x15%*7+100x70%*5+100x15%*3)x2=1000万次/年每天请求数为：1000/160=6.25万次/天每秒请求数为：(62500*80%)/(8*20%*3600)=8.68次/秒即服务器处理请求的能力应达到9次/秒性能测试流程测试需求分析测试需求分析方法任务分布图交易混合图用户概况分析性能测试流程测试需求分析测试需求分析方法任务分布图有哪些交易任务在一天的某些特定时刻系统都有哪些主要操作性能测试流程性能测试流程测试需求分析测试需求分析方法交易混合图高峰期有哪些操作？中间件操作有多少？数据库操作有多少？如果任务失败，那么商业风险有多少？性能测试流程性能测试流程测试需求分析测试需求分析方法用户概况分析哪些任务是每个用户都要执行的?针对不同角色的用户，他们的任务是什么?针对每个用户，不同任务的比例如何?性能测试流程性能测试流程测试计划制定要素：测试目标测试案例测试成员测试时间测试环境性能测试流程测试计划制定-测试目标首先是基于需求分析抽取出用户的需求寻找用户的性能关注点，用户对系统性能的关注往往集中在少数几个业务活动上，如通过日志分析和用户调查分析获取测试目标可能描述为以下几种：该应用能够以1秒的最大响应时间处理200个并发用户对业务A的访问；峰值时刻有400个用户，允许响应时间延长到3秒。通过性能调优测试，本系统的A业务和B业务在200并发用户的条件下，响应时间提高到3秒，此时服务器的CPU占用不能超过75%,内存使用率不超过70%性能测试流程测试计划制定-测试案例设计测试案例，好的案例具有以下几个性质有效性：可以发现缺陷可重用性：可以重复使用的案例，保证测试的一致性可维护性：当测试环境、测试数据发生变化后，测试案例经过简单维护，可以继续使用性能测试流程测试计划制定-测试案例性能测试流程测试计划制定-测试成员性能测试流程测试计划制定-测试成员性能测试流程测试计划制定-测试时间性能测试流程测试计划制定-测试环境测试环境的基本原则符合软件运行的最低要求，不一定选择将要部署的环境选用比较普及的操作系统和软件平台营造相对简单、独立的测试环境无毒的环境性能测试流程测试计划制定-测试环境负载压力性能测试，测试环境还需要注意以下几点必须考虑测试工具的硬件和软件配置需求，比如支持工具的操作系统、工具是否支持当前的应用协议等测试环境与实际生产环境有无差异，硬件配置是否是影响性能的主要因素测试环境中应该包括安装、备份及恢复过程排除网络问题给环境带来的影响性能测试流程测试计划制定-测试环境好的测试环境的标准一个稳定、可重复的测试环境能够保证测试结果的正确保证达到测试执行的技术需求保证得到可重复的和易理解的测试结果性能测试流程测试计划制定-测试环境测试数据在测试环境中需要输入一些适当的测试数据，包括初始数据系统运行所必须的初始化数据业务数据提供负载压力背景脚本中参数数据脚本中参数数据真实模拟负载性能测试流程测试计划制定-测试环境测试数据怎样准备测试数据手工操作方法利用工具的自动化方法性能测试流程测试计划制定-测试环境测试数据自动生成测试数据利用数据库测试数据自动生成工具—TESTBytes，确定需要生成的数据类型和生成规则，通过与数据库的连接来自动生成数百万行的测试数据利用LoadRunner的黑盒方法测试数据管理File-Aid是一套为帮助开发者、测试人员、质量保证团队更加有效地在开发、测试和支持C/S或Web应用中的测试数据管理工具File-Aid提供数据拷贝，构造子集，数据转换，数据编辑，数据浏览，数据生成，数据比较，数据迁移等功能性能测试流程性能测试流程测试设计&开发开发测试工具如：报文发生器利用成熟的商业测试工具LoadRunner,SilkPerformer性能测试流程测试设计&开发-脚本录制性能测试流程测试设计&开发-场景设计用于设计测试活动需要使用的场景测试场景从不同的剖面模拟实际业务的运行业务和业务比例测试指标的目标需要在测试过程中进行监控的性能计数器性能测试流程测试设计&开发