工作流引擎测试计划书

工作流引擎测试计划2020年6月12日目 录1 测试概述12 功能测试12.1功能测试要求12.1.1符合WFMC标准12.1.2强大的流程描述执行能力12.1.3可视化的流程建模12.1.4 API接口12.1.5支持第三方组织机构接口22.1.6支持脚本事件22.1.7 跨平台能力22.1.8数据库无关性22.2测试要求22.2.1测试场景描述22.2.2测试要求33 性能测试43.1压力测试43.1.1压力测试概述43.1.2测试目的43.1.3测试方法及测试用例43.2 各项测试指标53.3运行状况记录64 测试报告7第 1 页 共 11 页 1 测试概述 2009年中国联通黑龙江分公司OA系统改造工程主要完成办公系统、门户系统、部门网站系统的相关硬件设备的升级改造及应用功能的整改与开发。工作流产品是本次工程的重要建设内容，该产品的可靠性、持续可用性、可扩展性、可维护性等指标是办公系统的核心基础，是为用户提供高质量、高水平服务的关键应用中间件。为此，黑龙江系统集成公司组织相应的业务和技术专家，对前期经过充分交流的工作流产品进行技术对比，组织工作流厂商和相关业务人员从功能和性能2个方面进行测试。2 功能测试2.1功能测试要求工作流产品作为整个业务应用系统的支撑平台，起到非常关键的作用。因此对平台在可靠性，灵活性，扩展性等方面都有很高的要求。2.1.1符合WFMC标准产品符合WfMC标准定义的概念；完全实现了interface1、interface2、interface3、interface5，使用图形化的方式，实现了过程定义模型到WfMC定义的模型wpdl的完全转换。2.1.2强大的流程描述执行能力引擎不仅支持顺序流程的流转，而且还支持分支、并发、循环、子过程、同步、异步、竞争、多工作流、同步活动组、异步活动组、静态活动等，在分支上可以定义条件，实现按条件自动流转，条件转移之间还可设置逻辑关系；在并发流转中，多个活动节点可以同时激活；在某些活动节点上，也可以通过创建子过程来完成任务。2.1.3可视化的流程建模支持可视化的业务流程建模工具，方便用户快速定义流程2.1.4 API接口引擎对外提供了灵活、丰富的工作流API，外部程序可以通过对这些API的调用，控制流程的运行，查询流程的运行状况以及工作流系统的运行状况，从而实现自己的业务需求。2.1.5支持第三方组织机构接口引擎提供了标准的组织结构接口，只要根据该组织机构接口开发接口程序，就可以使工作流系统使用已有的组织机构模型，而不需要对原有组织机构进行任何修改。2.1.6支持脚本事件实现一个支持事件处理的框架，过程建模师在过程定义时可以选择要处理的事件并为相应的事件定义需要处理的动作。这样就可以在流程流转的过程中在需要执行任务的位置添加合适的任务代码自动完成某个任务。支持的事件包括过程启动、过程中止、过程挂起、生成工作项之前、生成工作项之后、完成工作项等。对事件的响应，通过为事件选择内置的一些动作（比如发送邮件、发送消息等）或者通过脚本设置动作来完成。2.1.7 跨平台能力引擎采用JAVA语言开发，可在不同的平台上正常运行2.1.8数据库无关性可以在各种各样的主流数据库上运行，例如：oracle , DB2 , sybase, Sqlserver等2.2测试要求根据业务系统的具体流程，考察工作流如何实现？支持是否灵活？尤其是对复杂流程的支持度。2.2.1测试场景描述发文管理，要求能够新建并处理发文，发文过程要经过多个环节的审批和处理，最终形成有效的文件。包括拟稿、审核、核批、会签、核稿、签发、登记、编号、缮印、校对、分发、归档等环节：公司发文（复杂）省公司发文（简单）公司收文（一）省公司收文2.2.2测试要求要求流程支持子过程，回退，取回，自由流，委托授权，工作时限设置，工作任务提醒等功能。该项主要考察流程引擎在流程描述方面的能力，流程引擎是否能够很好地把业务流程梳理出来。3 性能测试从广泛意义上讲性能测试包括：压力测试、稳定性测试和可扩展性测试等。在不同应用系统的性能测试中，需要根据应用系统的特点和测试目的的不同来选择具体的测试方案。本次性能测试主要是采用通常的压力测试模式来执行的，即：逐步增加压力，查看应用系统在各种压力状况小的性能表现。在本次性能测试中，也将使用美科利的新产品性能测试诊断工具（Diagnostic）对测试应用的各层进行监控，判断J2EE各层次的各类方法和类的调用使用时间和效率，并帮助开发人员分析J2EE应用的各类交易的性能瓶颈点。3.1压力测试在性能测试中，压力测试主要是为了获取系统在较大压力状况下的性能表现而设计并实现的，压力测试主要是获取系统的性能瓶颈和系统的最大吞吐率。3.1.1压力测试概述本次压力测试是指针对工作流系统的处理能力的测试，检验系统的吞吐率。本系统的压力测试主要是针对发文流程进行测试，检查在工作使用的高峰时期，并发用户数较多的时候的处理能力等等。3.1.2测试目的压力测试的目的就是检验系统的最大吞吐量，检验工作流平台在各种压力交易量下的运行状况，检验系统地运行瓶颈，获取系统的处理能力等等。3.1.3测试方法及测试用例使用美科利公司（Mercury）的性能测试软件LoadRunner，对工作流系统进行脚本录制、测试回放、逐步加压和跟踪记录。测试过程中，由LoadRunner的管理平台调用各台测试前台，发起各种组合的交易请求，并跟踪记录服务器端的运行情况和返回给客户端的运行结果。3.1.3.1 测试方式一（API方式） 为了能够准确测试工作流引擎的最大并发处理能力，采用直接调用引擎API的方式来进行测试，最大程度地把压力施加给引擎，考察引擎的处理极限能力。 测试运行安排如下： 每隔1秒增加1个用户连接，最多增加到100个用户，持续运行60分钟，查看并记录运行情况 每隔1秒增加1个用户连接，最多增加到200个用户，持续运行60分钟，查看并记录运行情况具体可根据测试情况和硬件配置进行调整。3.1.3.2 测试方式二（WEB方式）采用实际开发好的流程，进行脚本录制，和业务系统的集成压力测试。一、使用的测试用例包括：发文流程和收文进行测试针对每个测试案例，都将采用逐步加压和瞬间加压两种客户端连接方式进行，查看服务器端在客户端的连接数量变化过程中对应的处理能力，测试运行安排如下： 每隔2秒增加2个用户连接，最多增加到800个用户，查看并记录运行情况 每隔2秒增加2个用户连接，最多增加到1000个用户，查看并记录运行情况 具体可根据测试情况和硬件配置进行调整。二、模拟真实的业务情况序号活动用户数场景并发数2000并发300【登录】系统6001500拟稿环节登录，并发300【新建】公文6001500拟稿环节登录，【新建】公文，并发300【正文】公文并发送下一环节6001500拟稿环节登录，【新建】公文，并发【上传附件8MB】公文并发送下一环节400600审核环节登录，并发【点击待办】公文，【查看正文】，发送下一环节60030001每秒30人登录系统，共300人登录；2每秒1人登录，共100人新建公文，上传2MB附件，发送下一环节；3每秒1人共300人查看待办；4每秒1人共100人审核环节：浏览正文，发送下一环节核稿环节；核稿人登录，审批公文，发送下一环节；8003.2 各项测试指标3.2.1事务级别的测试指标 平均事务数：每秒中的平均完成的事务的个数 平均响应时间：某个事务的平均响应时间 总事务数：一定时间范围内，完成的总的事务的个数3.2.2网络级别的测试指标 吞吐量：单位时间内网络传输数据量 冲突率：在以太网上监测到的每秒冲突数3.2.3操作系统级别的测试指标 进程/线程交换率：进程和线程之间每秒交换次数 CPU利用率：即CPU占用率（） 系统CPU利用率：系统的CPU占用率（） 用户CPU利用率：用户模式下的CPU占用率（） 磁盘交换率：磁盘交换速率 中断速率：CPU每秒处理的中断数 读入内存页速率：物理内存中每秒读入内存页的数目 写出内存页速率：每秒从物理内存中写到页文件中的内存页数目或者从物理内存中删掉的内存页数目 内存页交换速率：每秒写入内存页和从物理内存中读出页的个数 进程入交换率：交换区输入的进程数目 进程出交换率：交换区输出的进程数目 3.2.4数据库级别的测试指标 数据库的并发连接数：客户端的最大连接数 数据库锁资源的使用数量3.3运行状况记录记录可扩展性测试中的测试结果及其系统的运行状况。除了记录测试指标以外，应该结合测试实时记录系统各个层次的资源和参数。主要包括