Benchmark Factory使用指导书.docx

Benchmark Factory 使用帮助目录1简介32安装卸载42.1安装42.2注册42.3卸载43操作指南43.1启动43.2界面及基本设置153.3脚本配置和编辑183.4Agent233.5结果图标和数据分析281 简介及工作原理1.1 简介Benchmark Factory 是一种高扩展性的强化测试、容量规划和性能优化工具，可以模拟数千个用户访问应用系统中的数据库、文件、Internet及消息服务器，从而更加方便地确定系统容量，找出系统瓶颈，隔离出用户的分布式计算环境中与系统强度有关的问题。无论是服务器，还是服务器集群，Benchmark Factory 都是一种成熟、可靠、高扩展性和易于使用的测试工具。很多产品测试特别是 Web 服务程序都会使用的测试软件，主要用于测试Web页面性能及稳定性。Benchmark Factory 通过记录和回放多用户测试中的事务处理过程，使IT 专业人员能够更加方便地完成这一任务。Benchmark Factory 可实现横向 (Benchmark Factory的主用户界面，Visual Control Center，可支持数百个工作站运行其代理软件) 和纵向 (每个代理可以模拟数百或数千个用户)扩展。Benchmark Factory 可以测试服务器集群的性能。硬件厂商以使用Benchmark Factory 及时实现故障恢复。类似地，软件厂商使用Benchmark Factory，可以优化其服务器软件，而最终用户可以利用Benchmark Factory确定其服务器集群的硬件需求。1.2 工作原理Benchmark Factory控制台通过对模拟的若干个Agent场景控制，对目标数据库进行事物操作，记录操作过程目标数据库数据，Benchmark Factory控制台再记录的数据进行加工，生成运行结果报告，方便地确定系统容量，找出系统瓶颈，隔离出用户的分布式计算环境中与系统强度有关的问题2 安装卸载2.1 系统要求2.1.1 Benchmark Factory控制台要求 Cpu：300Mhz 以上cpu 内存：256M以上 空闲磁盘：100M以上 操作系统：Windows 2000/2003/XP/Vista (32 bit)2.1.2 代理机要求Cpu：Pentium 200 MHz以上内存：128M以上操作系统：Windows 2000/2003/XP/Vista (32 bit)2.1.3 支持的数据库类型Oracle:7, 8, 8i, 9i, 9.2, 10g, 11gSQL Server:7, 2000, and 2005Sybase:12.5 and 15DB2 LUW:8.1.5 and aboveMySQL:4.5 and 5.02.2 安装打开Toad Development Suite选择安装.2.3 注册安装完成后需要注册，注册的时候打开“注册机”，选择安装的软件，在set message中输入信息，点击generate，将生成的注册码拷贝粘贴，完成激活。2.4 卸载从控制面板安装卸载 列表找到该软件进行卸载。3 操作指南3.1 启动3.1.1 添加数据库实例1：首次使用时，需要添加一个数据库实例，点击界面工具栏的，打开创建向导，如图所示：2：选择数据库启动，即基于什么数据库做测试，我们选择oracle数据库3：配置连接信息，即所要连接的数据库的服务名，用户名，密码下面勾选是否在开始之前对数据库的连接做检验，当勾选此选项时，检测到数据库无法连接时，系统会作出提示4：给该新建的数据库实例命名，到这一步的时候，该实例已经基本顺利创建成功3.1.2 编辑数据库实例对已经创建的数据库实例需要编辑和删除的时候，点击菜单栏的按钮，打开数据库实例编辑界面3.1.3 新建负载场景开始一个新的测试之前，在配置好被测数据库的目标实例后，需要新建一个负载场景，用该负载场景去在添加的目标数据库上去运行，查看目标数据库的性能。 点击工具栏的按钮可以打开新建向导，也可以点击打开已经保存在本地的负载场景。3.1.3.1 工业标准数据库测试1：选择测试数据库为oracle，选择第一个测试标准3：选择该场景用户运行的基准，系统默认有六种选择，每个基准下面有相应的解释，根据具体情况选择。（1） AS3AP：该AS3AP基准是一个可扩展的，便携的ANSI的SQL关系型数据库的基准。这个标准提供了一套全面的测试数据库的处理能力;有一个内置的可扩展性和可移植性测试范围广泛的系统;最大限度地减少人类努力实施和运行基准测试; ，并提供一个统一的度量直接的解释基准。（2） Scalable Hardware：关系型数据库系统的硬件的可扩展性标准。这是AS3AP标准的一个子集。这个基准测试如下：处理器，硬盘，网络和组合，这三个实体。（3） TCP-B: 数据库输入输出标准，测试应用程序执行时间和事务处理的完整性。（4） TCP-C: 是一个在线事务处理的标准，用来测试每分钟事务处理的速度。（5） TCP-D: 数据库查询复杂性标准，用来测试大量数据从复杂的表结构中进行查询时的复杂性。（6） TCP-H：是一项决策支持的标准。它包含了一套面向企业特设的查询和并发数据修改。4：选择一个有效的目标数据库实例，即本机添加的可以的数据库实例5：选择衡量的标准6：选择用户负载 选择压力测试的用户数量及用户数递增的方式。7：给新的负载脚本命名8：所有配置完成后，点击Submit，一个新的负载场景就创建成功，系统默认的Action为Run Job，如果此时，场景还未完全配置好，可以选择No Action，等环境完全配置好在点击菜单栏的进行场景的运行。3.1.3.2 SQL操作性能1：选择数据库为oracle，测试标准为Test SQl for Scalabibity2：3：SQL语句编写编写完成后可以点击右上角的绿色箭头对SQl语句的准确性进行测试，在编写SQl的时候可以在编辑区点击鼠标右键，选择有用的函数。注意：一个测试场景中可以对若干条SQl同时组合执行，来测试数据库的SQl、操作性能3.2 界面及基本设置3.2.1 界面左上角脚本和工作队列视图，右上角参数设置视图，下方输出和代理视图3.2.1.1 脚本视图Script View：脚本视图，该视图显示当前打开的脚本，并提供用户对脚本的编辑，要运行该脚本的时候，需要转到工作队列，即Jobs Queue注：只有在脚本视图中才能对脚本进行编辑操作脚本视图工具栏提供对脚本的创建编辑和运行负载3.2.1.2 工作队列视图Jobs Queue：工作队列视图列出了当前所有的工作，可以查看运行和测试结果。3.2.1.3 参数设置视图Transtactions: 事物Timing：时间User load：用户负载 Options：选项 3.2.1.4 代理服务视图Agents：代理视图显示代理的连接状态3.2.1.5 输出窗口视图Output：输出窗口显示运行时的信息或错误。3.2.2 基本设置Latency：反应时间Repository：存放数据设置Agent：代理服设置General：脚本设置Benchmarks：基准Timing: 时间User load：负载用户3.3 脚本配置和编辑3.3.1 AS3AP JobGeneral：概要Schedule：进度表Alerts：告警Real-time counters：实时计时器3.3.1.1 Create objects For AS3APBenchmark：基准3.3.1.2 AS3AP Information Retrieval(IR) Tes0074Transtactions: 事物Timing：时间User load：用户负载 Options：选项 3.3.1.2.1 Ir_selectStatic transaction：静态事物Latency：潜伏期3.3.1.2.2 Run reportsRun reports：运行报告，可以选择和删除运行报告，双击打卡或选择后点击进行打开查看，选择后点击可以对运行报告进行删除。3.3.1.3 Run Sequence for AS3AP Single-User TestTransactions：处理事务Options：选项3.3.1.3.1 User ScenarioScenario：场景Latency：潜伏期3.3.1.3.2 Run reportsRun reports：运行报告，可以选择和删除运行报告，双击打开或选择后点击进行打开查看，选择后点击可以对运行报告进行删除。3.3.2 Delete objects for AS3APGeneral：概要Schedule：进度表Alerts：告警Real-time counters：实时计时器3.3.2.1 Delete objects for AS3APBenchmark：基准3.4 Agent配置好脚本后，点击工具栏的，系统会自动打开本地代理3.4.1 测试状态Test Status：测试状态标签显示的是当前正在运行的测试的信息3.4.2 虚拟用户Virtual Users：虚拟用户标签显示的是所有原始数据和虚拟用户，采用表格的方式展现了每个虚拟用户和他的测试尺度。3.4.3 处理事物Transaction：代理事物处理标签显示的是所有事物的处理信息，包括平均值，最低，最高时期的所有处理。3.4.4 输出Output：输出标签类似邮件一样的窗口，此标签显示的是测试过程中的信息及调试和结果信息。3.5 结果图标和数据分析Benchmark Factory运行报告是Benchmark Factory外的一个单独的文件，提供了全面和详细的手机数据库和负载测试的结果，随着对Benchmark Factory的深入 了解，你可以深入到数据库中，查看各种各样的信息和统计数据，让你准确的了解数据库的性能，点击运行报告页面，你可以查看Benchmark Factory负载基准测试结果，三种情况的运行报告，可以在同一时间。你可以对运行报告进行复制或者剪切，将测试报告放到你的数据库测试文档中。3.5.1 服务器吞吐量服务器的吞吐量是衡量服务器的能力的重要指标，利用Benchmark Factory可以查看服务器的吞吐量，包括：事务处理/秒事物处理时间字节/秒总字节数共计错误数共计行数响应时间3.5.2 SQL语句的可扩展性测试Benchmark Factory