软件工程毕业设计（论文）-自动化测试在J2EE项目中的应用.doc

装订线 自动化测试在j2ee项目中的应用毕业设计（论文）报告纸 xx大学学士学位论文自动化测试在j2ee项目中的应用 本科生：林 琛 学 号：000298 导 师：杜庆峰 专 业：软件工程 2004年5月tongji universitypaper for bachelor degreeimplementation of automatic testing in j2ee projectcandidate: number: advisor: major: software engineering may 2004【摘要】本文主要介绍了两个自动化工具-quicktest和loadrunner在j2ee项目自动测试中的应用。并通过对工具本身的研究和在项目中的使用经验总结出一套引入自动化测试的流程。【关键字】软件自动化测试，quicktest, loadrunner，j2ee【外文摘要】 this paper mainly introduces two automatic testing toolsquicktest and loadrunner and their application in a j2ee project. according to the investigation to the test tools and the experiences in project, the paper also concludes a automatic testing process that how to conduct a automatic testing in a company.【key words】automatic testing, quicktest, loadrunner, j2ee目录目录4引言5第一章：有关背景介绍61.1自动化测试简介61.2自动化测试工具简介61.3j2ee技术简介7第二章：sca52项目介绍92.1 sca52简介92.2 sca52需求规约92.3 sca52软件架构92.4 sca52系统环境102.4.1 服务器端环境：102.4.2 客户端环境：102.5 sca52自动化测试计划10第三章：功能测试工具quicktest在sca52中的应用123.1 quicktest简介123.2 使用quicktest 进行系统功能测试的流程123.3 quicktest使用报告133.4 结论15第四章：性能测试工具loadruner在sca52中的应用174.1 loadrunner简介174.2 性能测试理论174.3 使用loadrunner进行性能测试的流程184.4 loadruner研究报告194.4.1 主要结论194.4.2 详细分析194.4.3 工作量度量274.4.4 投资回报284.4.5 工具评价294.5 结论30第五章：软件自动化测试探索315.1 研究背景315.2 自动化测试理论315.3 经验总结33第六章：总结和展望37主要参考文献38致谢39引言软件测试是软件工程中的一个重要部分，而自动化测试则又是软件测试中一门新兴学科。它可以有效地提高在软件测试过程的劳动生产率，提高软件质量，降低成本。在国外，自动化测试理论、自动化测试工具和自动化测试培训都已经十分的成熟并得到了广泛的应用，而在国内则基本上比较滞后。因此，正确有效地把国外先进的自动化测试技术引入到国内的公司和项目中来是一件十分有意义的事。j2ee和.net是近年来基于web应用的比较流行并已趋于成熟的技术。因此，本文的目的也就是，在具体的j2ee项目中，结合项目实际，利用各种资源来研究和探索自动化测试在j2ee项目中的应用。其中主要是通过对自动测试工具在一个j2ee平台移植项目-sca52中的应用为主线，分别阐述了使用quicktest进行系统集成测试和使用loadrunner进行系统性能测试的研究报告。并以此为素材，总结经验成果，探索一条怎样切实有效的引入软件自动化测试的模式。第一章：有关背景介绍1.1 自动化测试简介 首先，自动化测试，顾名思义，是一种采用自动化测试工具将测试过程自动化的一种技术。从它的定义来看，有两个需要注意的地方。第一，它是以传统的测试测试为基础的，但是它与普通的手动测试有着很大的区别。自动化测试有其自身的特点，纯粹的将手工测试的流程搬到自动化测试上是不行的。第二，自动化测试不等于使用自动化测试工具。正如软件设计比学习编程语言困难一样，自动化测试要比学习测试工具困难。并且会使用自动化测试工具并不代表你了解自动化测试流程。 其次，从理论技术角度介绍自动化测试的特点。（与手动测试相比） 优点：1） 运行测试用例的效率比手动测试高的多。尤其在实际输入与期望输出的比较上。2） 可以运行更频繁的测试。一个自动化测试脚本一旦录制成功就可以被反复的运行。所以，自动化测试特别适合回归测试。3） 可以实现一些手工无法完成的测试。例如，模拟200个并发用户操作。 缺点：1） 当所测试的软件进行修改后，测试脚本要做相应的修改和维护。2） 流程引入和第一次运行成本高于手动测试。 注意： 1）自动化测试只提高测试的效率，并不影响测试的有效性和可效仿性。无论自动化测试做的如何出色，如果测试本身是失败的，那么测试结果也毫无意义。接着，从现实角度来说，自动化测试在从理论转化到实际中，又出现了其新的特征。 优点：1） 更好的利用资源。可以将烦琐的任务自动化，减轻测试人员的压力。并且可以利用整夜或周末空闲的机器来执行自动测试。 问题：1） 不现实的期望。对于任何的新技术总有人都其抱有很高的期望，认为它可以解决所有的问题。测试工具也一样，管理者如果对测试技术不太了解，也许就会盲目地把希望寄托在自动化测试上，认为其一定是高效并且可行的。而不现实的期望是永远不可能被满足的。2） 期望自动测试出现大量的新错误。测试在第一次运行的时候是最有可能发现新错误的。如果测试已经运行并通过，再运行相同的测试发现新缺陷的可能行小很多。并且录制脚本的前提也就是该测试用例必须能正确通过。3） 安全性错觉。因为测试软件没有发现错误并不以为着软件没有错误。4） 自动测试的维护性。从技术上来说，软件发生改动后测试脚本是必然要做相应的改动的。当维护的费用大于手工测试的费用时，自动测试经常被抛弃。而这里绝大部分是由不成熟的自动化测试管理和缺少经验造成的。1.2 自动化测试工具简介在本篇里仅讨论在专业的软件测试工具，不讨论公司内部开发的工具。在国外，有许多公司是专门开发测试软件。而且测试软件的开发是一代一代连续开发，功能更强大，层次更抽象。现在，已经发展到了第五代，其主要的特点是：具有捕捉重放功能，支持脚本技术，框架结构和数据驱动智能框架结构引擎与窗口中央化的测试数据和事务数据分离储存。这里，先来抓住其中的关键词：捕捉重放： 捕捉，它指的是测试人员手工运行测试用例，然后测试工具自动记录其动作。重放，它指的是在捕捉以后，测试工具重放捕捉下来的动作。脚本： 捕捉下来的动作是以脚本语言来记录。如vb script。这样即通俗，又变于修改。数据驱动： 它指的是测试中的脚本动作和测试数据的分离。测试脚本通过参数表的形式读取测试数据。相当于编程中的，程序与数据的分离。框架结构：智能框架结构引擎，指的是在捕捉和重放过程中，从脚本到所测试的软件之间的一个映射引擎。例如，在web应用中，它能动态识别和捕捉html元素，“学习”功能等。 因此，一个测试工具功能是否强大也可以从上述几个方面来评判。1.3 j2ee技术简介在2000年初，sun公司认识到java在开发服务器端应用程序的不足以后，发布了是java 2 platform enterprise edition（j2ee）。而j2ee平台的设计思想就是，对按照基于组件的应用模型设计的分布式应用提供一个简单而统一的标准。在这个技术在提出的这四年间里有的很大的发展的应用。如今，在基于web的应用中，j2ee和microsoft .net同时成为应用的最为广泛的技术。下面是j2ee总体结构的简图：应用逻辑数据客户web包容器标记库jspsservletsrmi/iiopjndijtajdbcjmsjavamailjafjdbcrdmshtml/xmljavamail邮件服务器appletrmijava应用程序ejb包容器实体beans会话beansrmi/iiopjndijtajdbcjmsjavamailjafiiopcorba服务器客户应用程序jndi目录服务jms消息队列 图1-1 j2ee的总体结构从以上的总体构架可以看出，j2ee项目的测试有其特殊的地方，并且不同阶段的测试的关注点是不同的：1）在单元测试阶段，主要关注的应用逻辑层的代码，可以通过同行评审(peer review) 或者是进行白盒测试（可以使用工具如junit）。2）在集成测试阶段，测试主要关注系统的功能点是否工作正常。这时候主要是黑盒测试，主要通过浏览器(如ie)进行测试。3）在系统性能测试阶段，重要关注系统的性能（主要体现在响应时间上）。j2ee项目一般使用多家公司的产品，如microsoft的浏览器，bea的中间件，oracle的数据库，或者是开放性源码。其本身的特点就决定了在多用户高并发的情况下容易出线异常。其异常也通常很难捕捉和定位。因此，性能测试和压力测试通常是必不可少的。第二章：sca52项目介绍2.1 sca52简介 sca (support contract assistant) 网上合同助手是一个基于网页的企业级应用。它的主要用途是通过网页的形式查看，修改和更新合同。sca第五版是在20世纪90年代后期发布的，现在正被全世界的企业客户所使用。这个版本是基于 broadvision平台的，但是由于broadvision本身的缺点使得系统的维护和后续开发十分困难。因此，把系统移植到一个功能更强大更易于维护的平台上是非常必要的。bea的weblogic 是一个比较成熟的中间件产品，而且在 j2ee应用服务器市场占有很大的分额,所以很自然的就把现有的sca系统移植到weblogic平台上. sca52 就是一个平台移植的项目. 它的目的就是把现有的sca代码完整可靠的移植到weblogic平台上, 并保持原有的功能。同时，根据客户的需求还会对部分模块进行重新设计来提高其性能。2.2 sca52需求规约 sca52项目发布的需求规约如下表所示：需求号需求内容1设计并重新架构sca系统。采用weblogic/j2ee技术。达到提高性能的目的。2系统移植 (包括核心代码, 基本业务服务, 系统服务和链接服务) 3测试 (其中性能测试由pac小组完成) 4发布支持表2-1 客户需求 从以上的客户需求可以看出客户对系统的性能的要求是很高的。其中，pac小组是客户聘请来专门对系统做性能测试的一个法国的测试小组。同时，该小组曾经担当过前一个版本sca51的性能测试工作，因此sca52的性能将直接和sca51进行对比。这样，在sca51项目组中，对性能测试的需求的优先级是很高的。当然，做为一个系统，功能测试也是必不可少的。它的进行直接影响到项目是否能成功发布。2.3 sca52软件架构下面的图表给出了sca52的总体软件架构：file, etcsluser functionalitiesapplication common servicesweb layersystem servicesexternal interfaces layerdocumentshttpclientbapljava runtimejdbc connection pooljndisap/wassapshell scriptsoracle databaseconfigurationxml filepricingchange requests managementequipmentsorderingtransaction log listinvoicessecurity managementsession managementi18n managementpersonalizationservlet containerlayout controlleraction controllerpage generatorsonline helpfeedback collectionfile exportcontent managementadministrationdebug supportingdatabase accessingjsp engineaction processorslogging supportingsptspajava mail图2-1 sca52软件架构图2.4 sca52系统环境sca52 系统需要下列硬件和软件环境：2.4.1 服务器端环境：硬件平台: hp 3000/9000 server软件平台： 操作系统: hpux 64 bit java虚拟机: hp jdk 1.4.1_02 j2ee 平台: weblogic express 8.1 sp2 数据库: oracle relational database server 9i2.4.2 客户端环境：sca52 的客户端需要下列环境:硬件环境: 基于intel cpu的主机软件平台： 操作系统: windows 95/98/nt/2000/xp 浏览器: internet explorer 5.5 以上或者netscape navigator 6.1 以上 (除开 netscape 7.0) 并且浏览器要做以下设置: activex enabled, javascript enabled, acrobat pdf reader plug-in and java plug-in。2.5 sca52自动化测试计划 sca52是一个平台移植的项目，所以从测试的角度来说，测试计划、测试用例、测试实施都可以借鉴sca51。1） 测试要点根据sca51的经验，在发布给客户以前将会有2轮的系统集成测试和缺陷修复。而性能测试则会在系统集成测试之前、之后各有一次。根据客户的需求，可以抓住2个重点。需求测试测试工具1系统必须根据设计正常运行2轮系统集成测试quicktest2系统性能比较有所提高2轮性能测试(集成测试前后各一次)loadrunner 表2-2 需求-测试-测试工具对应关系因此，sca52的测试小组决定对quicktest和loadrunner进行研究，并使用其完成系统集成测试和性能测试。 2） 测试时间表参照sca52测试时间表文档：sca52_testteam_schedule.doc3） 测试流程参照“3.2 使用quicktest进行系统集成测试的流程”和“4.3 使用loadrunner进行性能测试的流程”。4） 测试用例sca52系统是按模块划分的，其中有2种类型的模块：模块测试用例数量系统集成测试1根据sca51移植的模块。没有详细设计。从sca51的测试用例中经审查抽取出来。从1000多个已有的测试用例中提取500多个2新设计的模块。有详细设计。根据新的详细设计编写。150多个性能测试模块无关沿用sca51的测试用例11个性能测试用例压力测试模块无关沿用sca51的测试用例1个压力测试用例 表2-3 测试结构表5） 测试实施和测试报告由于，sca52测试小组在自动化测试方面并无经验。所以，测试实施方面，从总体上来说，是按照项目测试时间表来安排工作。在这个过程中，会对每一个里程碑做严格的评审。并根据评审结果重新做计划。在测试报告方面，主要生成的测试报告文档包括：quicktest研究报告、loadrunner 研究报告、集成测试报告、性能测试报告等。第三章：功能测试工具quicktest在sca52中的应用3.1 quicktest简介quicktest6.0是一种系统功能测试工具, 是mercury interactive公司的产品。它支持多种应用系统，如web应用，windows应用，sap系统等。该产品比较适合系统测试中的集成测试或者回归测试。这是因为它具有上面所说的第五代自动化测试工具的所有特点，捕捉回放、自动比较、框架结构和数据驱动。从实现上说，该工具主要使用的是vb script作为脚本语言；从它对web应用的支持上说，它主要是控制浏览器(例如ie的控制权)，分析html，再控制鼠标和键盘动作完成的。在配置管理和自动化测试流程的支持上，它主要是通过和mercury interactive公司的另外一个产品testdirector集成来实现的。 3.2 使用quicktest 进行系统集成测试的流程 sca52利用quicktest进行系统集成测试的流程如下所示：阶段测试准备概述在正式开始自动化测试以前，需要做大量的准备工作。这些工作是必不可少的，它能确保测试正确有效地进行。输入sca52测试用例进入条件结束条件所有必须的文挡都准备完毕活动使用的方法标准使用工具参与角色发布备注page: 12 add any remarks that might be relevant. these could be mandatory reviewers for a specific deliverable review, any additional constraints/standards the activity/deliverable must conform to etc.制定测试计划根据项目任务分配和时间表来指定测试组长自动化测试计划书用例筛选根据quicktest的适用范围和项目要求，从所有的测试用例中抽取一部分来。测试人员自动化测试用例说明书录制脚本根据自动化测试用例说明书，利用quicktest录制脚本quicktest自动化测试人员测试脚本编写说明文档根据录制的脚本，编写自动测试说明书，包括如何录制、使用和分析自动化测试人员自动测试说明书阶段测试概述在测试准备阶段完成后，就可以随时进入测试阶段。也可在测试分析和脚本维护阶段结束后重新进入本阶段。输入自动化测试计划书，测试脚本，自动测试说明书进入条件测试准备阶段完成结束条件活动使用的方法标准使用工具参与角色发布备注page: 12 add any remarks that might be relevant. these could be mandatory reviewers for a specific deliverable review, any additional constraints/standards the activity/deliverable must conform to etc.环境准备根据自动测试说明书来准备运行脚本的环境自动测试人员运行脚本运行已录制的脚本quicktest自动测试人员quicktest自动生成的测试报告阶段结果分析和脚本改进概述在测试结束，需要对测试的结果加以分析。并且在分析过程中可能会发现由于软件修改或数据过期等原因导致脚本运行失败，这时就需要脚本的维护和修改。输入 quicktest自动生成的测试报告进入条件测试阶段结束结束条件结果分析和脚本改进结束活动使用的方法标准使用工具参与角色发布备注page: 13 add any remarks that might be relevant. these could be mandatory reviewers for a specific deliverable review, any additional constraints/standards the activity/deliverable must conform to etc.结果分析根据quicktest自动生成的测试报告，整理出项目需要的测试报告自动测试人员项目测试报告脚本维护和修改根据quicktest自动生成的测试报告，分析哪里脚本需要维护和修改quicktest自动测试人员更新过的测试脚本 表3-1 自动测试流程3.3 quicktest使用报告在sca52项目中，quicktest的使用并不算是成功的，它起到了一定的作用，但是最后还是决定将其弃之不用。其原因是多方面的。具体分析如下： 1) 自动化测试流程本身的引入需要大量的时间和工作量。在sca52中，项目工期紧张和人员不足都造成了项目内部自动测试流程的不成熟。 2) quicktest本身的功能不够强大，虽然其支持的功能比较多，但是在稳定性和适应行上比较薄弱。所以sca52的测试用例只有一部分可以录制成脚本。而且在web应用中，gui的变动是很频繁的，而该工具的智能识别功能比较差，所以并不十分适合。其本身更适合windows应用和sap系统等界面相对固定的应用。 3) 在sca52中，客户的需求不断地在更改，这就造成测试用例也随之不断的修改，而紧接着自动测试脚本也要做相应的修改。这就造成脚本的维护费用大于手动测试的费用。由此，可以看出原因是有个方面的，一是工具本身，二是项目实际。首先，先从工具本身来分析：工具功能评价描述捕捉重放中功能比较强大，但是经常有bug。脚本中基本上从捕捉重放生成脚本。不支持手工直接生成。手工编辑已有脚本的空间有限。数据驱动好支持参数表，存贮结构支持文件、数据库等。框架结构中支持基于屏幕数据的比较结果和其他媒体。但是动态识别功能较弱，没有自动“学习”功能。结果分析中从测试报告上很难得到足够的信息来判断具体的问题所在。 表3-2 quicktest评价表工具本身的功能决定了有多少的测试用例可以被录制成脚本。下面是sca52中适合录制成脚本的测试用例统计：测试文档测试用例数适合录制成脚本的用例数百分比sca52_regression_4.0.doc1909047%sca52_tc_change_request_module_oracle.doc15100%sca52_testcases_v5.0_oracle.doc8556%sca52_enhancement_request_test_cases_part_2.doc2300%sca52_newdesign_testcases.doc1202017% 表3-3 适合录制脚本的测试用例数接着是项目本身的原因：项目严重度描述可能的解决方案资源中因为项目的限制，在自动化测试上所投入的人力和物力都是有限的。追加人力和物力时间表中项目的时间表很紧影响了在自动化测试上的时间投入。追加人力和物力需求变更高客户的需求不断地在变更，这就要求测试脚本也需要不停地做修改。测试脚本模块化，并增加脚本的重用性。缺陷中在测试过程中，缺陷的数量很多。由于quicktest不支持“预期的错误”的概念和自动“学习”的功能，所以自动化进行的并不顺利。使用其他测试工具。 表3-4 sca52项目描述表从上面的分析可以看出，只有“需求变更”这个项目是可以通过改进测试流程和增加工具使用技能来达到的。接下来，介绍怎样通过测试工具本身的工具来做到测试脚本的重用，增加脚本的强壮度。例如，先来看在sca52中一个不使用重用技术的脚本结构：脚本2脚本1页面a:登陆页面a:登陆页面b:选择国家页面b:选择国家页面d:参数设置页面c:购买定单 图3-1 测试脚本结构无重用这样一旦页面b做了修改，那么脚本1，2都需要做相应的修改。 下面是一个改进过的脚本结构：脚本3脚本2脚本1页面a:登陆页面a:登陆调用脚本3调用脚本3页面b:选择国家页面d:参数设置页面c:购买定单 图3-2 测试脚本结构有重用 这样一旦页面b做了修改，只有脚本3需要做相应的修改。 由上述图例可以看出，通过增加可重用的脚本（脚本3）可以增加脚本结构的强壮度。但这里有一个重用度的问题，是否要把每一个步骤都做成可重用的脚本。显然，登陆这个步骤也可以进行可重用化，但是显然重用意味着在建立的时候的额外的工作量。所以，一般只考虑将多数脚本里都使用的步骤可重用化。在这点上，quicktest是支持可重用的脚本的功能的。3.4 quicktest使用结论综上所述，quicktest这个工具有其优点和缺点，从使用范围上说，它适合于功能测试中的回归测试。具体上来说，gui的变动对其影响很大，所以它适合于gui简单改动不大的项目。同时，从测试工具本身的特点，可以看出在项目的功能测试中自动化测试的特点。由于该项目的系统集成测试是一个时间长、工作量大又十分重要的阶段，所以一次性将其全部的自动化是不太现实的。首先，测试工具本身的限制使其只能满足该阶段测试中的一部分需求，而且在操作上对使用者的要求也比较高；其次，自动化测试工具本身需要良好的自动化测试流程管理来支持。这两点都对项目组内成员的自动化测试能力和经验有很高的要求。所以，在sca52项目中，最终的解决方案是将手动测试和自动测试相结合，发挥两者的优势，合理分配资源来使测试效率达到一个最高点。第四章：性能测试工具loadruner在sca52中的应用4.1 loadrunner简介loadrunner7.51 是一种预测系统行为和性能的工业标准级负载测试工具, 是mercury interactive公司的产品。目前的网络应用环境都必须支持大量用户，网络体系架构中含各类应用环境且由不同供应商提供软件和硬件产品。难以预知的用户负载和愈来愈复杂的应用环境使公司时时担心会发生用户响应速度过慢，系统崩溃等问题。loadrunner能最大限度地利用现有的it 资源，它通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题，所以loadrunner 能够对整个企业架构进行测试并且能定位出客户端、网络或是服务器的瓶颈。loadrunner 是一种适用于各种体系架构的自动负载测试工具，它能预测系统行为并优化系统性能。loadrunner 的测试对象是整个企业的系统，它通过模拟实际用户的操作行为和实行实时性能监测，来帮助用户更快的查找和发现问题。此外，loadrunner 能支持广范的协议和技术，为特殊环境提供特殊的解决方案。它还可以自动生成各种各样的报告和图表来体现整个系统的性能。就在j2ee项目中来说，其对应的是http/html协议。实现上是以c语言作为脚本语言，通过模拟浏览器发http请求包，然后接受http应答和下载html等资源文件等，最后在把这些数据收集并加以分析。4.2 性能测试理论在性能测试中，一般所关心的有系统的三大特性：参数配置、压力和性能。以一个j2ee应用举例，其描述如下：参数配置：主要是服务器配置和j2ee服务器的参数设置，如服务器cpu、内存大小，j2ee服务器jvm内存池大小，核心线程最大数、数据库连接数等。压力：主要指有多少个并发用户在同时使用该系统。性能：主要是系统的响应时间。可分解成几个参数，以服务器为角度的服务器忙碌时间，以用户为角度的交易响应时间等。三大特性中，给定其中2个，经过测试就可以得到另外一个。因此，广义上的性能测试又可以分为以下三种： 参数配置+压力=性能 描述：在参数配置和压力一定的情况下，通过测试得出系统的性能。这里又分为两种：1） 狭义上的性能测试。通常情况下，参数配置是项目定义下的最优化设置，而压力是在需求规约上指定的在实际使用情况下的平均压力，这样得出的系统性能是非常具参考价值的。它可以体现出系统在实际使用过程中的平均性能。2） 压力测试。参数配置是项目定义下的最优化设置，而压力则是平均压力的3-10倍，其目的是考验系统在大压力下的承受情况。在对结果的要求上通常是希望系统在大压力或冲击压力下不出现系统当机或崩溃的情况，而且其性能要在可以容忍的范围内。 参数配置+性能=压力描述：在一定的参数设置和性能要求下，得到压力的数据。这样做的目的，通常是了解系统在当前情况下可承受的压力。如果压力过低满足不了要求，则可以通过增强参数配置来达到。例如，给服务器加内存，设置更优化的参数等。 性能+压力=参数配置描述：在给定的性能和压力要求下，通过改变参数配置来提高性能的一种方法，也可