性能测试基线

性能测试基线概念性能测试：为描述测试对象性能相关的特征，并对其进行评价而实施的一类测试。它主要通过自动化的测试工具模拟多种正常、峰值以及异常条件来对系统的各项性能指标进行测试。以确认性能瓶颈并优化和调整应用，目的在于寻找到系统瓶颈问题。性能测试基线：即对性能测试中的各种环境、方法、用例、指标、结果进行统一的规范。目的确认系统的指标性能是否达标明确系统的最大承载能力或性能拐点发现系统瓶颈问题，并针对性优化衡量标准时间特性：系统在规定条件下，执行其功能时，提供适当的响应和处理时间以及吞吐量的能力。资源使用率：系统在规定条件下，执行其功能时，使用合适数量和类别的资源能力。针对性能测试，需在与系统运行的真实生产环境基本一致的软硬件、网络等环境配置下进行，否则获取到的测试结果无参考意义，因此需明确测试环境部署的基准环境。硬件服务器类型、型号节点数量集群策略CPU型号、数量内存容量硬盘型号、容量物理机、虚拟机软件操作系统类型、版本操作系统核心配置参数文件系统格式虚拟机容器类型、版本Web容器类型、版本应用程序依赖的其他软件环境类型、版本网络带宽内外网负载均衡情况测试方法基准测试基准测试指在给定基准环境下，系统执行正常业务功能的基本指标，例如：平均响应时间、资源使用占用率、服务器负载值目的：确认系统在正常情况下的各项基准指标并发测试并发测试是指在给定基准环境下，通过模拟多个用户并发访问系统同一个应用的并发操作，来测试是否存在系统响应阻塞、延时、数据死锁、数据同步失败等情况目的：确认系统在并发情况下是否存在数据同步与请求响应问题负载测试负载测试是指在给定基准环境下，在不同虚拟用户数量（逐级递增）的情况下，运行一种或多种业务，测试系统的性能指标是否在用户的要求范围内，以此确定系统所能承载的最大并发数、最低错误率以及不同用户数下的系统响应时间及服务器的资源利用率。目的：确认系统的瞬时最大性能峰值（并发读、并发写等）置要求、系统性能拐点，为系统资源配提供反推依据压力测试压力测试是指在给定基准环境下，模拟大量的虚拟用户向系统发请求，所产生的负载达到系统性能峰值，使系统的资源处于极限状态下并长时间连续运行，以测试系统在高负载情况下是否能稳定工作。目的：确认系统在给定负载（理论负载、期望负载、峰值负载）下，是否可以稳定运行区别：与负载测试获得峰值性能数据不同，压力测试强调在极端情况下系统的稳定性。容量测试容量测试是指在给定基准环境下，在系统数据库中预制构造不同数量级别的数据记录，在一定虚拟用户数量的情况下运行一种或多种业务，获取不同数量级别的系统性能指标，以确定系统的最佳容量和最大容量。目的：确认系统的数据承载量区别：容量测试不同于负载测试，容量测试主要关心howmuch，而负载测试则同时强调howmuch和howfast。监控指标测试过程中针对测试用例可采集如下指标信息：请求响应指标RequestThread（VU）:线程数，即总请求访问数量Throughput吞吐率，每秒完成的请求数，针对系统的操作类型，又可分为：TPS写请求的每秒处理请求数QPS读请求的每秒处理请求数ResponseTime服务器对请求的响应时间，可通过几种均值方式呈现：Mean平均响应时间Max最大响应时间Min:最小响应时间StdDev响应时间的偏差，值越大，偏差越大Median中值响应时间90％90％请求响应时间错误率（失败率）:请求处理返回错误的占比流量每秒从服务器端接收到的数据量，单位服务器指标资源使用率CPU使用率KB/S或M/s内存使用率IO吞吐量带宽占用率服务器负载Loadaverage网络负载用例指标负载峰值指标最大并发数最大连接数（TCP类应用）压力指标并发请求数压力持续时间数据量指标用户量：数据库中累计用户数活跃用户量：一定时间内在线用户数用户并发量：同时在线请求的活跃用户数业务数据量：当前测试功能点对应的数据库业务单表中预制的初始记录数测试报告测所有测试通过测试报告的方式，记录测试过程，分析测试结果，给出测试结论试数据记录测试用例记录测试过程测试指标数