某市政府决策支持与分析系统性能测试报告

高正软件有限公司高正软件有限公司 南宁市政府南宁市政府 决策支持与分析系统决策支持与分析系统 性能测试报告性能测试报告 DocumentDocument InformationInformation ProjectProject Name:Name:决策支持与分析系统 DocumentDocument VersionVersion No:No: 1.0 DocumentDocument VersionVersion Date:Date:2005-09-20 PreparedPrepared By:By:王攀攀PreparationPreparation Date:Date:2005-09-20 ReviewedReviewed By:By:ReviewReview Date:Date: DistributionDistribution ListList FromFrom DateDateCompanyCompany / / RoleRoleEmailEmail / / PhonePhone ToTo Action*Action*DueDue DateDateCompanyCompany / / RoleRoleEmailEmail / / PhonePhone * Action Types: Approve, Review, Inform, File, Action Required, Attend Meeting, Other (please specify) VersionVersion HistoryHistory Ver.Ver. No.No.Ver.Ver. DateDateRevisedRevised ByByDescriptionDescriptionFilenameFilename 1.02005-09-020 王攀攀初稿 版权说明版权说明 本文档中的所有内容为高正软件有限公司的机密和专属所有。未经高正软件有限公司 的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文 档部分或全部内容。 目录 1 1概述概述.5 1.1测试目的.5 1.2测试方法.5 1.3测试系统环境配置.5 1.4参考资料.6 2 2压力测试场景一压力测试场景一.6 2.1场景一特征.6 2.2准备过程.6 2.3测试结果.6 2.3.1基本测试结果6 2.3.2测试结果表7 2.3.3性能曲线图7 2.3.4压力测试小结10 3 3压力测试场景二压力测试场景二.10 3.1场景二特征.10 3.2准备过程.11 3.3测试结果.11 3.3.1基本测试结果11 3.3.2测试结果表11 3.3.3性能曲线图12 3.3.4压力测试小结15 4 4压力测试场景三压力测试场景三.15 4.1场景三特征.15 4.2测试数据.15 4.2.1基本测试结果15 4.2.2测试结果表16 4.2.3性能曲线图16 4.2.4压力测试小结19 5 5附录附录.20 1 1 概述概述 1.11.1 测试目的测试目的 本次压力测试主要针对南宁市政府决策支持与分析系统性能进行压力测试。 1.21.2 测试方法测试方法 测试工具及脚本： 应用 LR 工具(Loadrunner)作为辅助工具，对应用系统的主要参数（例如线程数、 可同时接受任务数、可承受接收记录数）等等进行管理，及对线程进行正确行分析， 计算压力测试结果，计算性能图绘制数据等等。 测试方法： 通过工具 LR 启动/关闭线程,直到应用系统满足压力测试要求的循环次数为止。 1.31.3 测试系统环境配置测试系统环境配置 服务器环境如下： 服务器操作系统：windows xp 服务器 IP：192.168.2.44 服务器配置：tongweb，sqlserver2000，testdirector 测试环境是: Csn1: Csn IP: 192.168.2.54 Csn 操作系统：windows xp 用 户: admin 配 置: mercury loadrunner，sqlserver2000 Csn2: Csn IP: 192.168.2.128 Csn 操作系统：windows xp 用 户: custumer 配 置: mercury loadrunner，sqlserver2000 1.41.4 参考资料参考资料 决策支持与分析系统需求规格说明书 决策支持与分析系统详细设计说明书 决策支持与分析系统用户手册 决策支持与分析系统培训手册 2 2 压力测试场景一压力测试场景一 2.12.1 场景一特征场景一特征 单机运行测试脚本，多线程运行。设置虚拟用户总数为 200，负载类型采用分组， 1 分钟内设置 20 个用户，用户呈阶梯形上升，直到达到虚拟用户的最大数。负载排队 等待至数据响应时间设置为 6 分钟(默认值为 2 分钟，根据测试环境系统配置的负载能 力设置)。录取场景过程：用户登录，进入系统管理-用户管理界面，对不同类型进行 查询，并新增用户做保存操作。本场景的测试意义主要是验证功能的正确性，多用户 登录操作，查询及新增的并发性，线程每次循环取记录数是否正确？等等，为其它的 压力测试场景测试做好基础工作。 本场景是在启动 sqlserver2000、tongweb、testdirector 应用后进行测试。 2.22.2 准备过程准备过程 录制。本场景模拟 200 个并发用户，包括用户登录和用户查询，登录部分放在 vuser_init,中，用户查询放在 Action 中。 2.32.3 测试结果测试结果 2.3.12.3.1基本测试结果基本测试结果 主要检查项主要检查项主要检查点主要检查点结果结果 OK OK 三个原则优先级高的先发 同级时间优先 按照落地方承受能力发送 OK 线程名与落地方的对应关系线程名与落地方的完全对应 OK 线程每次循环取记录数记录数正确 OK 用户登录并发操作 OK 用户类型查询并发操作 OK 2.3.22.3.2测试结果表测试结果表 Elapsed Time(共用 时间) Hits/Second(每 秒钟采样率) Passed Transactions(通过 事务) Failed Transactions(未通过 事务) Error(错误) 00:09:58(hh:mm:ss)19.46(last 60 sec) 60000 2.3.32.3.3性能曲线图性能曲线图 2.3.3.12.3.3.1 图表说明：虚拟用户数随时间变化图图表说明：虚拟用户数随时间变化图 X 轴为线程共用时间，Y 轴为随时间变化的虚拟用户数,各曲线状态意义参照下图(响应数据 及其执行情况图) 2.3.3.22.3.3.2 图表说明：响应数据及其执行情况图图表说明：响应数据及其执行情况图 上图可以看到，总共有 200 个虚拟用户，都执行成功，没有发生错误。由于我们采用分组 方式，20 个用户为一组。最多运行用户组数量为 20 个，最少为 0 个，平均为 16 个。 2.3.3.32.3.3.3 图表说明：虚拟用户响应时间图图表说明：虚拟用户响应时间图 X 轴为共用时间，Y 轴为响应时间，各曲线状态意义参照下图(事务响应数据图)，可以看出， 用户查询事务的响应时间要比用户登录响应时间明显长。 2.3.3.42.3.3.4 图表说明：事务响应数据图图表说明：事务响应数据图 从数据中可以看到，登录操作在当前压力测试场景下，最长的执行时间是 19.395 秒，最短 的 6.622 秒，平均是 11.860 秒，标准差是 3.154，最后一次响应时间是 10.207 秒;用户查询 操作在当前压力测试场景下，最长的执行时间是 47.057 秒，最短的 8.004 秒，平均是 38.958 秒，标准差是 7.143 秒，最后一次响应时间是 41.764 秒. 中国最大的资料库下载 2.3.3.52.3.3.5 图表说明：图表说明：TransactionTransaction SummarySummary 图图 从上图中可以看出，用户登录和用户查询的响应事务数量是一样的。 2.3.3.62.3.3.6 图示说明：图示说明：AverageAverage TransactionTransaction ResponseResponse TimeTime 图图 可以看到，用户查询事务的响应时间随着用户数的增加，响应时间明显增加。 2.3.3.72.3.3.7 图表说明：用户查询事务分解页面图表说明：用户查询事务分解页面 上图可以看到，用户查询事务共有三个组件组成，其中 Estrflag=FIND 下载用的时间最长， 并且几乎所有的时间都用在了 FirstBuffer 上，而其大小为 8.331kb,并不是很大。 2.3.42.3.4压力测试小结压力测试小结 下列测试指标证明系统处于极度饱和极度饱和状态 Total throughput(bytes)(系统总吞吐量):51,679,091 Average throughput(bytes/second)( 系统平均吞吐量)：86，276 Total Hits(系统总采样率):11，328 Average Hits per second(系统平均采样率)：18.912 3 3 压力测试场景二压力测试场景二 3.13.1 场景二特征场景二特征 单机运行测试脚本，多线程运行。设置虚拟用户总数为 100，负载类型采用分组， 1 分钟内设置 20 个用户，用户呈阶梯形上升，直到达到虚拟用户的最大数。负载排队 等待至数据响应时间设置为 6 分钟(默认值为 2 分钟，根据测试环境系统配置的负载能 力设置)。录取场景过程：数据录入-保存-提交-审核及查询操作。该场景验证功能的 正确性，数据库访问的吞吐能力、系统线程的协调能力，同时也可验证在高强度压力 下功能的正确性。 本场景是在启动 sqlserver2000,tongweb、testdirector 应用后进行测试。 3.23.2 准备过程准备过程 录制。本场景包括用户登录，进入数据采集各操作界面，然后录入，保存，提交，审 核及查询操作流程，其中登录部分放在 vuser_init,中，其它流程放在 Action 中。 3.33.3 测试结果测试结果 3.3.13.3.1基本测试结果基本测试结果 主要检查项主要检查项主要检查点主要检查点结果结果 三个原则优先级高的先发 OK 同级时间优先 OK 按照落地方承受能力发送 OK 线程名与落地方的对应关系线程名与落地方的完全对应 OK 线程每次循环取记录数记录数正确 OK 数据录入录入正确 OK 数据保存保存成功 OK 数据提交提交成功 OK 数据审核审核成功 OK 数据查询查询成功 OK 3.3.23.3.2测试结果表测试结果表 Elapsed Time(共用 时间) Hits/Second(每 秒钟采样率) Passed Transactions(通过 事务) Failed Transactions(未通过 事务) Error(错误) 00:05:19(hh:mm:ss)9.59(last 60 sec) 30000 3.3.33.3.3性能曲线图性能曲线图 3.3.3.13.3.3.1 图表说明：虚拟用户数随时间变化图图表说明：虚拟用户数随时间变化图 X 轴为线程共用时间，Y 轴为随时间变化的虚拟用户数。各曲线状态意义参照下图(响应数 据及其执行情况图) 3.3.3.23.3.3.2 图表说明：响应数据及其执行情况图图表说明：响应数据及其执行情况图 上图可以看到，总共有 100 个虚拟用户，都执行成功，没有发生错误。最多运行用户组数 量为 40 个，最少为 0 个，平均为 19 个 3.3.3.33.3.3.3 图表说明：虚拟用户响应时间图图表说明：虚拟用户响应时间图 X 轴为共用时间，Y 轴为响应时间。各曲线状态意义参照下图(事务响应数据图)。 3.3.3.43.3.3.4 图表说明：事务响应数据图图表说明：事务响应数据图 此场景主要测试数据采集操作负载，从数据中可以看到，数据采集各流程操作在当前压力 测试场景下，最长的执行时间是 68.690 秒，最短的 63.961 秒，平均是 65.523 秒，标准差 是 1.121 秒，最后一次响应时间是 64.419 秒。 3.3.3.53.3.3.5 图表说明：图表说明：TransactionTransaction SummarySummary 图图 从上图中可以看出，登录与数据采集各流程操作事务数量没有超过标准值。 3.3.3.63.3.3.6 图示说明：图示说明：AverageAverage TransactionTransaction ResponseResponse TimeTime 图图 上图可以看到，数据采集流程操作的平均响应时间要远远高于登录操作，且其响应时间的 起伏坡度不大。 3.3.3.73.3.3.7 图表说明：数据采集事务分解页面图表说明：数据采集事务分解页面 上图可以看到，数据采集事务因是全流程操作，共有十个组件组成，其中 runtype=modify 下载用的时间最长，其大小为 95.65kb。 3.3.43.3.4压力测试小结压力测试小结 下列测试指标证明系统处于轻载轻载状态 Total throughput(bytes)(系统总吞吐量):93，270，811 Average throughput(bytes/second)( 系统平均吞吐量)：291，471 Total Hits(系统总采样率):8，200 Average Hits per second(系统平均采样率)：25.625 4 4 压力测试场景三压力测试场景三 4.14.1 场景三特征场景三特征 单机运行测试脚本，多线程运行。设置虚拟用户总数为 200，负载类型采用分组， 1 分钟内设置 20 个用户，用户呈阶梯形上升，直到达到虚拟用户的最大数。负载排队 等待至数据响应时间设置为 6 分钟。(默认值为 2 分钟，根据测试环境系统配置的负载 能力设置)录取场景过程：对报表分类查询，分行政区划，类型，未报和漏报查询。该 场景验证数据库访问的吞吐能力是否有改善，可以改善多少？ 本场景是在启动 sqlserver2000,tongweb、testdirector 应用后进行测试。 4.24.2 测试数据测试数据 4.2.14.2.1基本测试结果基本测试结果 主要检查项主要检查项主要检查点主要检查点结果结果 优先级高的先发 OK 同级时间优先 OK 三个原则 按照落地方承受能力发送 OK 线程名与落地方的对应关系线程名与落地方的完全对应 OK 线程每次循环取记录数记录数正确 OK 数据类型查询查询成功 OK 4.34.3 准备过程准备过程 录制。本场景包括用户登录，进入数据催报操作界面，对报表作查询，行政区划相应 地点，上报类型选择未报，其中登录部分放在 vuser_init,中，其它流程放在 Action 中。 4.3.14.3.1测试结果表测试结果表 Elapsed Time(共用 时间) Hits/Second(每 秒钟采样率) Passed Transactions(通过 事务) Failed Transactions(未通过 事务) Error(错误) 00:05:19(hh:mm:ss)9.59(last 60 sec) 30000 4.3.24.3.2性能曲线图性能曲线图 4.3.2.14.3.2.1 图表说明：虚拟用户数随时间变化图图表说明：虚拟用户数随时间变化图 X 轴为线程共用时间，Y 轴为随时间变化的虚拟用户数。各曲线状态意义参照下图(响应数 据及其执行情况图) 4.3.2.24.3.2.2 图表说明：响应数据及其执行情况图图表说明：响应数据及其执行情况图 上图可以看到，总共有 200 个虚拟用户，都执行成功，没有发生错误。最多运行用户组数 量为 20 个，最少为 0 个，平均为 20 个 4.3.2