引入自动化测试的可行性分析报告

1、XXXX客户网网银资金管理理系统引入自动化测试试的可行性分析报告告版本：1.0概述目的本文档对XXXXX客户网银银资金管理系系统项目引入入自动化测试试工具的可行行性进行评估估，为项目经经理提供决策策参考。范围本文档描述了XXXXX客户户项目情况、现现有测试工作作流程、自动动化测试本身身的一些情况况，对测试工工作量进行了了估算，最后后对估算结果果进行了分析析，并依此提提出了一些建建议。本文档中讨论的的自动化测试试工具主要是是功能测试工工具。术语定义本文档涉及了几几款自动化测测试工具：TestMannager：IBM公司司的测试管理理工具，属于于Ratioonal系列列产品之一。Robot：IIB

2、M公司的的性能测试工工具，属于RRationnal系列产产品之一。RFT：Rattionall Funcction Testeer，IBM公司司的功能测试试工具，属于于Ratioonal系列列产品之一。TestDirrectorr：Merccury公司司生产的测试试管理工具。Loadrunnner：MMercurry公司生产产的性能测试试工具。QTP：QuiickTesst Proofessiional，MMercurry公司生产产的功能测试试工具。参考文档项目介绍项目背景XXXX客户网网银资金管理理系统，是XXXXX客户户为了加强银银行账户管理理，提高资金利用效效率而开发的的一套资金管管理系

3、统。项目开发、运行行环境XXXX客户网网银资金管理理系统遵循的的开发规范如如下：操作系统：Wiindowss2003或或者HP UUnix或者者SCO UUnix或者者AIX或者者Solarris数据库平台：IInformmix 9.0J2EE应用服服务器：Weeblogiic8.1.4开发平台：Ecclipsee（3.1以以上版本）项目进度项目的预定计划划如下：序号阶段名称工期开始时间结束日期1需求阶段34工作日2006-5-102006-066-262开发阶段64工作日2006-6-122006-9-73测试执行阶段48工作日2006-7-42006-9-7项目特点分析根据业务需求分分析，

4、业务量量主要集中在在银行业务数数据操作，包包括银行数据据查询，银行行业务数据变变更，因为和和银行的交互互集中在前置置机上，且银银行数据量大大，操作复杂杂，耗费时间间长，所以系系统在多用户户并发操作时时，可能存在在性能瓶颈。另另外，由于XXXXX客户户的分支机构构众多，操作作人员多，数数据量大，在在多用户并发发操作时，性性能和效率会会有较大影响响。现有测试流程现有的测试流程程按照阶段划划分为测试设设计阶段和测测试执行阶段段。测试设计阶段的的主要工作是是根据业务需需求说明书和和系统需求说说明书来设计计和编写测试试用例。根据据以往的经验验，将测试用用例划分成三三个部分：测试需求分析；测试方案；数据执

5、行步骤。测试执行阶段的的主要手段是是手工测试，如如果项目有性性能方面的需需求，再通过过Mercuury公司的的性能测试工工具LoaddRunneer来进行性性能方面的测测试。手工测试时，要要完成以下工工作：根据测试需求分分析了解业务务；根据测试方案来来执行测试；根据数据库和详详细设计来验验证系统的具具体实现；根据测试结果补补充、修正测测试用例中的的分析、测试试方案部分。系统上线部署之之前两到三天天，要进行内内部的验收测测试，其目的的有两个：确认系统已经准准备就绪，预预定功能已经经实现；即将上线部署的的软件是正确确的版本。主要通过重新搭搭建系统环境境，重建数据据库表的形式式来开始验收收测试。自动

6、化测试简介介随着软件开发技技术和工具的的提高，软件件工程和软件件过程实践的的推广， 软软件测试日益益得到重视和和专业化。自自动化测试更更成为热门话话题。测试自动化就是是充分利用市市场已有的或或自行开发的的测试工具，全全部或部分替替代手工测试试、完成手工工测试无法完完成的测试任任务，以及相相关的测试数数据的记录和和测试报告的的生成等。相对于手工测试试而言，测试试自动化通常常具有速度快快、执行效率率高、执行过过程受外界因因素干扰小、测测试结果准确确等优点，缺缺点是前期投投入较大，所所以在采用测测试自动化之之前应当做好好相应的评估估工作。自动化测试的目目的自动化测试的目目的是通过自自动执行测试试脚本

7、，使测测试人员在更更短的时间内内能够更快地地完成更多的的软件测试，并并提供以更高高的频率执行行测试的能力力，从而有效效降低测试成成本、提高测测试效率。自动化测试的前前提自动化测试有几几个前提：测试人员的编程程能力；重用测试脚本的的设计；人机交互界面的的早期冻结；测试脚本开发的的投入；测试人员对测试试工具的熟练练程度。自动化测试的优优势和局限1,2自动化测试的优优势：对新版本执行回回归测试对于产品型的的软件，每发发布一个新的的版本，其中中大部分功能能和界面都和和上一个版本本相似或完全全相同，这部部分功能特别别适合于自动动化测试， 从而可以让让测试达到测测试每个特征征的目的。更多更频繁的的测试在回

8、归测试阶段段，如果是每每天 / 每每 2 天都都要发布一个个版本供测试试人员测试，一一个系统的功功能点有几千千个上万个，手工测试将是非常的耗时和繁琐，而且非常的枯燥，这样必然会使测试效率低下。完善的自动化测试可以替代测试人员的手工测试。一致性和可重复复性由于每次自动化化测试运行的的脚本是相同同的，所以每次执执行的测试具具有一致性，人是很难做做到的。由于自动化化测试的一致致性，很容易易发现被测软软件的任何改改变。自动化测试替代代手工测试的的困难：自动化测试的目目的在于发现现旧有缺陷，而而手工测试的的目的在于发发现新缺陷。事实证明新缺陷陷越多，自动动化测试失败败的几率就越越大。发现更更多的新缺陷陷

9、应该是手工工测试的主要要目的。测试试专家 Jaames BBach 总总结得出， 85% 的缺陷靠靠手工发现，而而自动化测试试只能发现 15 的的缺陷。技术问题、组织织问题、脚本本维护自动化测试的推推行，有很多多阻力，比如如组织是否重重视， 是否否成立这样的的测试团队，是是否有这样的的技术水平，对对于测试脚本本的维护工作作量也挺大的的，是否值得得维护等等问问题都必须考考虑。自动化测试工具具对比3,4目前比较主流的的自动化功能能测试工具主主要是Merrcury公公司的QTPP、Winrrunnerr，以及IBBM公司的RRationnal Fuunctioon Tesster。下面对QTTP和R

10、attionall Funcction Testeer的功能来来进行对比：功能指标Rationaal Funnctionn TestterQTP用户界面与Eclipsse集成独立的GUI脚本语言JavaVBScrippt测试Web系统统支持支持数据驱动内建数据池从Excel中中获得数据检查点支持支持脚本管理工具TestMannagerTestDirrectorr其它支持Businness PProcesss Tessting（BBPT）目前，我们测测试人员对QQTP比较熟熟悉，没有使使用过Rattionall Funcction Testeer。就功能上来说，RRationnal Fuunct

11、ioon Tesster 和和QTP差别别不大。测试工作量估算算手工测试工作量量估算手工测试工作量量的估算原则则：根据业务务和功能的复复杂程度，以以及以往项目目的实际数据据做参考，得得出测试完成成一遍的工作作量。在整个项目目测试周期中中，测试小组组会对整个系系统进行两到到三轮的测试试（一般是必必须的）。根据以往项目的的统计数据：每一轮手工工测试的工作作量是上一轮轮工作量的550，直到到达到临界值值，即完成一一轮手工测试试的最小时间间后，工作量量不会再减小小。项目统计数据还还表明：手工工测试中，后后期的测试工工作占到全部部测试工作的的40550。业务功能点测试完成的工作作量（人日）一级功能二级功

12、能第一轮第二轮第三轮系统管理职责管理2.0 1.0 0.5 用户管理3.0 1.5 0.8 基础设置机构类型设置1.0 0.5 0.3 机构设置1.0 0.5 0.3 币种设置1.0 0.5 0.3 银行类型设置1.0 0.5 0.3 账户用途设置1.5 0.8 0.4 账户扩展属性设设置1.0 0.5 0.3 业务类型设置3.0 1.5 0.8 账户管理开户处理4.0 2.0 1.0 销户处理4.0 2.0 1.0 变更处理4.0 2.0 1.0 账号升级申请3.0 1.5 0.8 冻结与解冻3.0 1.5 0.8 账户信息查询2.0 1.0 0.5 资金清算支出资金申请5.0 2.5 1.

13、3 归集资金申请5.0 2.5 1.3 资金划拨5.0 2.5 1.3 资金计划行项目设置2.0 1.0 0.5 编制计划2.0 1.0 0.5 审批计划2.0 1.0 0.5 资金监控账户当日余额查查询2.0 1.0 0.5 账户历史余额查查询2.0 1.0 0.5 账户历史流水查查询2.0 1.0 0.5 监控项设置5.0 2.5 1.3 监控报表和提醒醒3.0 1.5 0.8 银企接口银行指令查询5.0 2.5 1.3 银行指令维护5.0 2.5 1.3 自动归集策略设设置5.0 2.5 1.3 交易核对5.0 2.5 1.3 审批流审批设置4.0 2.0 1.0 权限转移4.0 2.0

14、 1.0 每轮合计工作量量（人日）：97.5 48.8 24.4 用户手册5.0 验收测试12.0 手工测试合计工工作量：187.6人日日按照4个测试资资源计算，手手工测试完成成共需消耗1187.6/4446.9个工作作日。与预定定计划的488个工作日的的测试周期接接近。后期的测试工作作占测试工作作的45左左右。指标数值估算测试工作量量187.6人日日测试资源4人估算测试工作日日187.6/4446.99日计划测试工作日日48日后期测试工作量量比例(48.8+224.4+112)/1887.6=445对手工测试的工工作量估算没没有考虑开发发进度dellay的因素素。一旦开发发进度dellay，

15、则第第3轮手工测测试将无法完完成，只能把把优先级别较较高的功能测测试完成。开开发进度deelay的原原因很大一部部分来自需求求变更。引入自动化测试试后工作量估估算引入自动化测试试工具后，手手工测试的主主要工作量将将主要集中在在第一轮测试试，而自动化化测试脚本也也根据被测试试功能和业务务的复杂程度度不同而不同同。根据下表的统计计数据，在自自动化测试中中采用数据驱驱动的方式，投投入产出比比比较合适。结构成本收益净收益No Autoomatioon000Recordiing annd Plaaybackk8.3112.7Data-drriven struccture usingg dataa poo

16、lls8.4189.6Framewoork sttructuure9.8155.2Framewoork / data-driveen (hyybrid) struucturee focuusing on viiews oof thee appllicatiion annd usiing daata poools11.6197.4 根据业内的统计计数据，手工工测试与自动动化测试脚本本编写的工作作量比例约为3:7，在在不考虑需求求变更的情况况下，测试脚脚本的维护工工作量为建立立脚本工作量量的10220，在估估算时，取中中间值15。引入自动化化测试后工作作量估算为：业务功能点测试完成的工作作量（人日

17、）一级功能二级功能手工测试自动化脚本脚本维护系统管理职责管理2.0 4.7 0.7 用户管理3.0 7.0 1.1 基础设置机构类型设置1.0 2.3 0.4 机构设置1.0 2.3 0.4 币种设置1.0 2.3 0.4 银行类型设置1.0 2.3 0.4 账户用途设置1.5 3.5 0.5 账户扩展属性设设置1.0 2.3 0.4 业务类型设置3.0 7.0 1.1 账户管理开户处理4.0 9.3 1.4 销户处理4.0 9.3 1.4 变更处理4.0 9.3 1.4 账号升级申请3.0 7.0 1.1 冻结与解冻3.0 7.0 1.1 账户信息查询2.0 4.7 0.7 资金清算支出资金

18、申请5.0 11.7 1.8 归集资金申请5.0 11.7 1.8 资金划拨5.0 11.7 1.8 资金计划行项目设置2.0 4.7 0.7 编制计划2.0 4.7 0.7 审批计划2.0 4.7 0.7 资金监控账户当日余额查查询2.0 4.7 0.7 账户历史余额查查询2.0 4.7 0.7 账户历史流水查查询2.0 4.7 0.7 监控项设置5.0 11.7 1.8 监控报表和提醒醒3.0 7.0 1.1 银企接口银行指令查询5.0 11.7 1.8 银行指令维护5.0 11.7 1.8 自动归集策略设设置5.0 11.7 1.8 交易核对5.0 11.7 1.8 审批流审批设置4.0

19、 9.3 1.4 权限转移4.0 9.3 1.4 每项合计工作量量（人日）：97.5 227.5 34.1 用户手册5.0 验收测试4.0 合计工作量：368.1人日日在使用了自动化化测试工具以以后，验收测测试只需要搭搭建环境和数数据初始化，效效率提高了，测测试工作量减减小到4人日日。计划的测试资源源为4个，计计划的测试工工作日为488日，故计划划工作量为1192人日。在未引入自动化化测试工具以以前，第二轮轮和第三轮及及验收测试的的工作量合计计为(48.8+24.4+12)=85.22人日，引入入自动化测试试以后，后期期的测试工作作量为(2227.5+334.1+44)=2566.6人日。指标

20、公式数值计划测试工作日日48日计划测试资源4人计划测试工作总总量48*4192人日替代的手工测试试工作量48.8+244.4+12285.2人日估算自动化测试试工作量227.5+334.1+44265.6人日日估算测试工作总总量368.1人日日估算测试工作日日368.1/4492日估算测试周期2006年7月月4日2006年111月8日上表的数据表明明，实施自动动化测试，在在最好的情况况下（不考虑虑学习曲线和和需求变更），估算测试周期为2006年7月4日2006年11月8日，比预定计划的项目开发完成时间晚2个月。学习曲线、需求求变更对工作作量的影响根据项目管理的的相关理论，学学习曲线和需需求变更

21、将分分别会增加330的工作作量，考虑到到对测试工具具的了解程度度，QTP的的学习成本会会少一些，估估计为10，Funcction Testeer的学习成成本将为300。估算测试工工作量为：指标没有需求变更有需求变更公式数值公式数值手工测试估算工工作量187.6人日日 187.6*(1+30%)243.9人日日 使用自动化工具具估算测试工工作量QTP97.5+2665.6*(1+10%)+5394.7人日日 97.5*1.3+2655.6*1.4+4502.6人日日 RFT97.5+2665.6*(1+30%)+5447.8日 97.5*1.3+2655.6*1.6+5556.7人日日 估算测试工作日日QTP384.8/4498.7日 490/4125.6日 RFT436.1/44111.9日 542.3/44139.2日 估算测试周期QTP2006年7月月4日2006年111月17日2006年7月月4日2006年122月26日RFT2006年7月月4日2006年122月6日2006年7月月4日2007年1月月15日上表的估算数据据表明，实施施自动化测试试，在最坏情