浦银大学全行学习与发展管理项目性能测试报告-Testin众测

某系统性能测试报告（V1.0）201X年X月某系统性能测试报告第PAGEII页共25页目录TOC\o"1-4"\h\z\u1. 测试背景 11.1. 测试目的 11.2. 测试地点 11.3. 测试时间 11.4. 测试资源 21.5. 参考资料 22. 测试范围 32.1. 生产环境拓扑图 32.2. 性能测试环境拓扑图 32.3. 测试功能点 43. 性能需求指标 44. 测试工具 55. 测试环境 55.1. 待投产环境软硬件配置 55.2. 测试环境软硬件配置 65.3. 生产环境与测试环境差异 75.4. 应用版本描述 75.5. 数据准备 75.6. 参数配置 86. 业务模型 87. 测试策略 97.1. 测试发起策略 97.2. 测试执行策略 97.2.1. 基准测试 97.2.2. 单场景测试 97.2.3. 负载测试 107.2.4. 容量测试 107.2.5. 浪涌测试 117.2.6. 稳定性测试 117.3. 测试监控统计策略 128. 测试结果分析 128.1. 单场景测试性能表现 128.1.1. 90%响应时间 128.1.2. 系统处理能力 138.1.3. 交易成功率 138.2. 负载测试性能表现 138.3. 容量测试性能表现 148.3.1. 90%响应时间 148.3.2. 系统处理能力 158.3.3. 交易成功率 158.3.4. 资源使用率 158.4. 浪涌测试性能表现 178.4.1. “我的考试”场景 178.4.2. “进入班级”场景 188.5. 稳定性测试性能表现 199. 测试结论 2210. 附件 22第2页共25页测试背景测试目的本次对某系统进行性能测试,通过选取如下测试类型，达到以下目的：本次选取测试类型测试目的负载测试验证系统是否满足三年预期性能指标。容量测试获取系统在既有测试环境下的最大处理能力□健壮性测试验证系统是否能够在出现故障的情况下仍能保持继续运行的能力。浪涌测试验证系统在1000个用户多次同时点击“我的考试”时，系统是否停止服务。验证系统在500个用户多次同时点击“进入班级”时，系统是否停止服务。□恢复性测试验证系统压力过载解除后的自恢复能力□配置测试获取应用平台的最佳参数配置及其排列组合稳定性测试验证系统的稳定运行能力测试地点上海XXXX测试时间测试方案编写时间：2017年10月28日-2017年11月02日测试环境准备时间：2017年11月03日-2015年11月07日性能测试实施时间：2017年11月08日-2015年11月12日性能测试报告整理及评审：2017年11月12日-2017年11月15日测试资源角色职责测试管理1）负责测试方案、测试计划、测试报告制定2）负责组织测试方案、测试报告的评审3）负责测试进度跟进、协调测试工作开展4）负责测试相关文档的归档处理测试实施1）负责测试场景设计、测试案例设计、测试脚本制作2）负责测试模拟器开发3）负责测试数据准备、协助基础准备4）负责测试工具的安装部署5）负责测试任务执行、测试数据记录、测试结果分析应用及环境支持1）负责待测系统的需求和相关应用信息确认2）负责测试环境准备和基础数据准备3）负责测试计划、测试方案、测试报告确认4）负责测试过程中与系统相关问题的解决5）配合测试工作的开展参考资料《某系统测试计划》《某系统性能测试方案》测试范围生产环境拓扑图性能测试环境拓扑图应用服务器、数据库服务器分别部署在二台实体服务器上，另有二台虚拟服务器作为WEB服务器。部署F5负载均衡器。本次测试范围内的业务模块与文档转换服务器无交互，故不部署文档转换服务器。与考试系统相关逻辑，项目组采用注释的方式，项目组确认注释后不会对本系统的处理性能产生影响。测试功能点功能名功能描述登录模拟学员登录系统学员工作台模拟展开学员工作台主页面我的学习模拟展开我的学习界面业务功能进入班级模拟展开进入班级界面业务功能我的考试模拟展开我的考试界面业务功能考试详情模拟查看学员考试详情业务功能我的报名模拟展开学员的报名界面业务功能报名详情模拟查看报名详细信息业务功能报名提交模拟报名提交业务处理性能需求指标项目组根据业务需求提供本次性能测试的标要求如下：指标名称指标内容并发用户数支持40个并发用户90%响应时间功能名称秒登录8学员工作台10我的学习9进入班级9我的考试9考试详情9我的报名9报名详情9报名提交9系统处理能力不做指标要求，通过容量测试获得峰值交易成功率99%系统资源使用率各服务器CPU和内存平均使用率均不大于85%。备注：系统预计三年后在线用户8000个，项目组根据1%用户同时并发的预期，计算得出并发用户数80个。考虑测试环境与待投产环境的差异，项目组确定需求指标折半，并发用户数为40个。测试工具 本次测试采用的LoadRunner版本为LR11.0，LoadRunner主要提供3个性能测试组件：VirtualUserGenerator、Controller和Analysis 1、使用VirtualUserGenerator录制并调试测试脚本； 2、用Controller进行管理，控制并发的模拟用户并发数，记录测试结果，包括缺陷报告和测试日志； 3、Analysis进行统计和分析测试结果，确定是否达到软件发布的标准。测试环境待投产环境软硬件配置主机用途数量硬件资源系统软件WEB服务器2虚拟机CPU：4C内存：8GB资源绑定操作系统：Windowsserver2008应用软件：IIS7.0应用服务器2实体机：C4106BCPU：IntelXeonE5-461024C2.4GHz内存：96GB存储：NAS1.2T操作系统：SUSElinux64位应用软件：Weblogic12.1.2数据库服务器2实体机：C2208BCPU：IntelXeonE5-264016C2.6GHZ内存：64GB存储类型：SAN750G操作系统：SUSElinux64位应用软件：Oracle11.2.0.4测试环境软硬件配置主机用途数量硬件资源系统软件IP地址WEB服务器2虚拟机CPU：4C内存：8G资源绑定操作系统：Windowsserver2008中文版SP264位应用软件：IIS7.010.114.6.13510.114.6.136应用服务器1机型：DL580G7CPU：IntelXeonE5-E754024C2.0GHZ内存：64G存储：NAS500G操作系统：SUSElinux64位应用软件：Weblogic12.1.210.114.3.24数据库服务器1机型：DL580G7CPU：IntelXeonE7-483016C2.13GHZ内存：64G存储：SAN500G操作系统：SUSElinux64位应用软件：Oracle11.2.0.410.114.3.25F5负载均衡器1LTM3900负载均衡算法：LeastConnection（member)

VS类型：Performance(Layer4)10.114.11.40生产环境与测试环境差异硬件差异测试环境中，应用和数据库服务器机型不同，CPU主频比待投产环境稍低，分别为2.0GHZ和2.13GHZ，生产上分别为2.4GHZ和2.6GHZ；应用服务器内存为64G，是待投产环境的66%。此外，应用服务器、数据库服务器数量分别为1台，是待投产环境的一半。存储差异待投产环境与测试环境中，各服务器存储类型相同。待投产环境中应用服务器存储容量为1.2T，测试环境中为500G；待投产环境中数据库服务器存储容量为750G，测试环境中为500G。经项目组综合评估，测试环境的性能指标按生产环境指标的折半来计。应用版本描述应用名称版本号某系统pydx_v1.020171108数据准备项目组根据三年业务规划，提供测试数据如下：序号数据类型数据准备情况及要求1基础数据数据库表名表描述数据量有无增量TUser用户表4万无TMS_Trainclass培训班表1千无TMS_Tcuser培训班用户表8万无Enroll_Enroll报名表100无Enroll_User用户报名表4万有common_applog登陆日志表0有2测试数据用户2000个参数配置序号方面配置项数值1数据库filesystemio_options由NONE调整为SETALL内存各项参数参照《浦发银行Oracle数据库标准化配置规范（2011）》进行设置2JVM最小和最大堆内存各从8G调整为4G3IIS强制回收周期从29小时调整为60分钟业务模型项目组根据业务需求提供三年规划的业务模型如下：交易名称交易代码交易占比登录Login10%学员工作台Dashboard12%我的学习MyStudy12%进入班级StudyInfo10%我的考试MyExam12%考试详情ExamInfo10%我的报名MyEnroll12%报名详情EnrollInfo12%报名提交EnrollSubmit10%测试策略测试发起策略使用性能测试工具LoadRunner生成大量虚拟用户来模拟实际并发情况，按照测试场景的典型用户配比向被测系统服务器发送交易请求，向被测系统施加业务负载。在执行过程中，收集各项系统资源的运行状态数据，获得系统性能表现数据。测试执行策略基准测试测试环境确认之后，对业务模型中涉及的每种功能做基准测试。目的是检查业务本身是否存在性能缺陷。同时为将来混合场景的系统测试性能分析提供参考依据。测试方法：使用负载模拟工具编写从客户端向应用服务器发送交易请求，并接收返回结果的脚本，在系统无压力情况下重复100次，每次迭代间等待1秒，取业务方法的平均响应时间作为衡量指标。单场景测试单场景测试是针对业务模型中的每个交易，利用一定的并发量进行测试，获取其性能表现，并验证单个交易是否存在并发性问题。测试方法：使用LoadrRunner向系统发送请求并接收返回结果，对于每个交易均使用逐层递增的并发压力进行测试，每次执行稳定运行20分钟，获取单场景的各项性能指标。测试场景加载/卸载方式并发数持续时间单场景测试持续加压，保证Vuser全部正常登陆，如以5用户/3秒的速度加载；卸载同理，持续卸载，保证Vuser全部正常退出5用户并发（指标中并发用户数40的12%，向上取整）20分钟单场景测试涉及的业务：业务模型中包含的所有交易。负载测试在可能发生的业务模型下，验证系统是否满足预期的性能指标。需要说明的是，预期的性能指标不一定达到系统的最大负载。针对业务模型中确定的系统主要功能点，在40并发压力下，验证系统是否满足性能指标。此指标体现为并发用户数、90%响应时间、资源使用率等。主要关注性能指标在特定并发压力下是否均达到预期要求。负载测试涉及的操作：业务模型中包含的所有操作。且操作的比例按照业务模型中比例进行分配。容量测试容量测试目的是在系统没有出现任何软件故障或主要功能仍可正常运行的状态下，获取系统的最大承载、服务能力以及系统性能表现。使用一定的并发压力，通过逐步递增并发压力，找到系统性能拐点，获取系统最大的并发用户数。主要综合关注响应时间、并发用户数、系统处理能力、资源使用率等。测试方法：容量测试采用几个不同的并发用户数对系统发起压力，检验系统性能拐点。测试场景/交易加载/卸载方式并发数持续时间备注容量测试持续加压，保证Vuser全部正常登陆，如以4用户/3秒的速度加载；卸载同理，持续卸载，保证Vuser全部正常退出可根据情况增加减少并发场景，直到找到系统性能拐点每次30分钟若在测试后发现性能瓶颈，由于配置引起的可由项目组调整后再重复一次测试步骤；若需要修改代码等需要较长时间的调优，则安排进行第二轮性能测试执行容量测试涉及的操作：业务模型中包含的所有操作。且操作的比例按照业务模型中比例进行分配。浪涌测试验证系统在压力多次出现的情况下，是否存在异常情况。模拟大量用户在同一时刻进行相同的业务操作，关注系统是否能在这样极端的压力冲击下正常运行。一轮浪涌测试执行5次集合点，每次间隔5到10分钟。浪涌测试涉及的操作：1、1000用户并发点击“我的考试”。2、500用户并发点击“进入班级”。稳定性测试稳定性测试是为检测多个交易在长时间的负载下，90%响应时间、系统处理能力、资源利用率、交易成功率等各项指标变化是否平稳。测试方法：针对多个交易，使用负载模拟工具编写从客户端向应用服务器发送交易请求,并接收返回结果的脚本，按照达到TPS峰值的并发用户数的75%并发用户数执行测试，执行时间长度设置为24小时。稳定性测试使用与负载测试相同的业务模型。测试监控统计策略主机监控：本次性能测试对主机的监控主要采用Sitescope和LoadRunner两者相互结合对主机的资源进行监控。监控详细信息如下：工具描述监控点描述LoadRunnerCPUCPU使用率Memory系统实际内存、虚拟内存、空闲内存使用情况SitescopeCPUCPU使用率Memory系统实际内存、虚拟内存、空闲内存使用情况统计策略：监控项描述平均响应时间使用LoadRunner统计获得的功能点的处理时间TPS由Loadrunner直接统计得到成功率以功能点成功笔数除以功能点全部笔数得到测试结果分析单场景测试性能表现以下单场景测试数据按照测试策略中的既定的5并发用户对各交易进行测试，场景执行20分钟，获取交易性能表现。90%响应时间交易名称90%响应时间（秒）登陆0.129学员工作台0.066我的学习0.043进入班级0.063我的考试0.019考试详情0.033我的报名0.059报名详情0.03报名提交0.036在5并发压力下，各交易90%响应时间均小于0.13秒。系统处理能力交易名称系统处理能力（笔/秒）登陆36.126学员工作台78.801我的学习106.492进入班级77.597我的考试276.393考试详情204.538我的报名92.6报名详情181.797报名提交74.486在5并发压力下，各交易系统处理能力大于35笔/秒。交易成功率在5并发压力下，各交易的交易成功率均为100%。负载测试性能表现在40并发用户下，各交易平均响应时间低于0.17秒；总系统处理能力达到568.365笔/秒；交易成功率为99.99%；服务器CPU平均使用率和内存平均使用率均低于85%。具体详细数据请参考章节8.3容量测试。容量测试性能表现90%响应时间单位：秒交易名称\并发用户数202530354045登陆0.1220.1280.130.1370.1630.168学员工作台0.0550.0580.0590.0630.0710.076我的学习0.0370.0390.0410.0440.0540.058进入班级0.0590.0650.0670.0730.0910.099我的考试0.0110.0110.0120.0130.0230.021考试详情0.0080.0090.0090.0090.0150.014我的报名0.0440.0460.0470.050.0580.06报名详情0.0230.0240.0240.0260.0310.032报名提交0.0320.0340.0350.0380.0430.046由上可知，随压力增加，各交易90%响应时间逐步上升。各交易90%响应时间在不同压力下均低于0.2秒。系统处理能力单位：笔/秒并发用户数202530354045系统处理能力378.148447.723519.07567.749568.365607.075由上可知，随压力增加，系统处理能力逐步上升。在并发用户数达到35之后，上升趋势较为平缓。在40并发用户数下，系统处理能力达峰值为568.365笔/秒,在45并发用户数时,应用服务器CPU平均使用率达到90.40%，超出性能指标。交易成功率并发用户数202530354045交易成功率100%100%100%100%99.99%99.99%由上可知，并发用户数达到40后开始出现失败交易。资源使用率并发用户数202530354045CPU平均使用率WEB服务器120.25%24.04%27.53%31.14%30.64%33.74%WEB服务器215.53%18.11%20.68%20.80%25.24%24.39%应用服务器53.09%63.02%74.05%81.64%82.87%90.40%数据库服务器12.62%14.64%16.65%18.06%18.06%19.15%内存平均使用率WEB服务器110.84%17.51%18.43%24.62%17.76%18.71%WEB服务器216.28%16.20%16.55%16.93%17.05%17.49%应用服务器48.97%46.63%44.99%43.13%53.49%50.84%数据库服务器42.46%41.32%40.75%39.77%44.09%43.23%由上可知：随着压力增加，各服务器CPU平均使用率呈上升趋势。在并发用户数45时应用服务器CPU平均使用率达到90.40%，超出性能指标。随着压力增加，各服务器内存平均使用率呈小幅波动。在不同压力下，各服务器内存平均使用率均低于85%的性能指标。浪涌测试性能表现“我的考试”场景集合点并发用户数1000个平均响应时间3.71秒90%响应时间4.866秒高峰TPS681笔/秒交易成功率100%TPS趋势图：应用服务器和数据库服务器趋势图：由上可知：我的考试交易在压力多次出现的情况下，仍能正常运行，交易成功率达到100%。“进入班级”场景集合点并发用户数500个平均响应时间1.386秒90%响应时间1.496秒高峰TPS494笔/秒交易成功率100%TPS趋势图：应用服务器和数据库服务器资源使用：由上可知：进入班级交易在压力多次出现的情况下，仍能正常运行，交易成功率达到100%。稳定性测试性能表现系统以并发用户数25，稳定运行24小时的测试结果如下：并发用户数（个）25系统处理能力（笔/秒）450.24590%响应时间（秒）登陆0.108学员工作台0.065我的学习0.048进入班级0.075我的考试0.020考试详情0.017我的报名0.054报名详情0.033报名提交0.044交易成功率（%）99.999%CPU平均占有率（%）WEB服务器139.18%WEB服务器239.84%应用服务器59