【毕业学位论文】（Word原稿）CAR（Component Assembly Runtime）构件自动测试的研究-计算机应用技术

密级：公开 件自动测试的 研究 申请清华大学工 程 硕士学位论文 ) 院（系、所）：计算机科学与技术系 专 业：计算机应用技术 研 究 生：陈冬晓 校 内 导 师：钟玉琢 校 外 导 师：陈 榕 二零零五年十 一 月 关于学位论文使用授权的说明 本人完全了解清华大学有关保留、使用学位论文的规定，即： 清华 大学拥有在著作权法规定范围内学位论文的使用权，其中包括： （ 1） 已获学位的研究生必须按学校规定提交学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的学位论文； （ 2）为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆、资料室等场所供校内师生阅读，或在校园网上供校内师生浏览部分内容； （ 3）根据中华人民共和国学位条例暂行实施办法，向国家图书馆报送可以公开的学位论文。 本人保证遵守上述规定。 （保密的论文在解密后遵守此规定） 作者签名： 导师签名： 日 期： 日 期： 摘要 - i - 摘要 随着 构件 技术的发展， 构件的自动 测试成为 一个必不可少的环节 ， 然而 现有 的自动测试技术 具有如下缺陷： 1测试工具不能独立完成整个测试过程； 2编写测试用例是一项 繁琐 的任务； 3测试脚本常常需要编写和 调试 。 满足不了构件的自动测试 的需 求 。 因此， 构件的自动化测试 可以帮助研究人员节省大量的宝贵 时间， 对 提高构件 的 质量 有积极的作用。 本文针对 件的自动测试进行了深入的研究 ， 提出了相应新的方 法并进行了系统实现 。具体包括： 解析构件 元数据的机制， 这个机制 允许程序在运行时透过 得任何一个 内部信息 。 本文 根据 件的特点，实现了一套 供 用 的接口和 实现整个 可以列出自动测试工具被测 件的详细信息，起到了动态学习被测构件的作用，还可以在测试脚本中动态创建类实例和调用方法。 了使用在构件的自动测试外还 应用到其他方面，如 构建 高度动态的系统。 2. 测试用例 自动产生 。 对于 件自动测试来说，测试用例就是测试数据。本文提出 和实现 了一个的基于边界分析法的自动产生测试用例方案，并将其用于三角形例子的测试中。该方案包含了两种情况：第一种情况是直接利用构件的参数类型 的默认取值范围，直接产生测试用例文件，用于健壮性测试；第二种情况是利用用户输入的配置文件自动产生测试用例文件，可以比较完整地进行健壮测试和功能测试。 测试用例的自动产生可以使测试人员不用手工编写 大量的测试数据 。 试 脚本 。 本文针对 件 可以动态加载 的 特点和 功能，编写了一个通用的测试脚本。 该 脚本应用了数据 驱动脚本的 技术 ， 可以 直接读取 测试用例文件的 数据 作为输入参数值和期望结，并把输出结果与期望结果相比较生成测试报告。 实践证明， 与传统测试工具比较 ，将不再需要根据每个测试用例或者某些特殊类别的测试提供测试脚本了，使用通用的测试脚本就可以满足所有的需求 。 关键字： 测试活动 件 反射 测试用例 测试脚本 。 s s is a t by is to of t So of is of it a of a AR a 1. on AR of a of AR s is a of of be in as as an 2. a of a of on of of it a a to is 3. a a on of AR be by AR is by a 录 - v - 目录 摘要 . i . 录 . v 第一章 引言 . 1 软件测试概述 . 1 件测试背景 . 1 件测试技术的发展 . 2 动化测试工具 . 3 件技术 . 4 究内容与贡献 . 6 究内容 . 6 文内容安排 . 6 要贡献 . 6 第二章 构件自动测试 . 8 述 . 8 试 活动 . 10 测试自动化 . 13 第三章 . 14 述 . 14 计 . 15 射的概念 . 15 第一章 引言 现反射的条件 . 16 口设计 . 16 计 . 20 现 . 21 应用 . 23 自动测试中的应用 . 23 第四章 自动 产生测试用例 . 25 述 . 25 试用例 . 26 试用例的设计 . 28 试方法的选择 . 29 界值分析法 . 29 试用例设计的自动化 . 30 个典型的例子 . 34 第五章 通用的测试脚本 . 37 述 . 37 试脚本 . 37 本技术 . 40 据驱动脚本 . 40 试脚本模板 . 41 第六章 结论 . 42 参考文献 . 43 致 谢 . 44 第一章 引言 声 明 . 44 附录： 件 . 46 第一章 引言 - 1 - 第一章 引言 软件测试概述 件测试背景 随着计算机技术的迅速发展和越来越广泛深入地应用于国民经济和社会生活的各个方面，随着软件系统的规模和复杂性与日俱增，软件的生产成本、软件中存在的缺陷和故障 造成的各类损失也大大增加，甚至会带来灾难性的后果。 1999 年 4 月，软件缺陷导致一颗价值 12 亿美元的卫星在卡纳维尔角基地（ 射失败，这可能是软件史上造成损失最大的一次软件失效，这次事件引发了军民双方对美国空间发射程序的确底审查，包括软件集成和测试过程。 应此，软件质量问题 成为所有使用软件和开发软件的人们 不得不关注的一个问题。由于软件体现的是人脑的高度智能化 ，因此软件 与人类的任何智慧成果一样可能存在着缺陷。预防和减少这些可能存在的问题的方法就 是进行软件测试， 测试是最有效的排除和 防止软件缺陷与故障的手段。 软件测试 就 是 在 尽可能的所有 的条件下 执行应用程序，检验应用程 序是否能完成预期任务 的过程。在软件开发周期中，开发人员和测试人员 必须 协同工作， 阶段性的进行软件测试，以便及时发现 缺陷， 修复缺陷，确保每个构件的正确性，从而确保整个软件的正确性 。 现代社会对于软件要实现的功能的要求越来越复杂，软件开发技术日新月异的发展对软件测试技术提出了新的要求， 新的测试理论、新的测试方法、新的测试手段不断涌现。 第一章 引言 - 2 - 件测试技术的发展 当前，软件测试技术主要包括了以下几个方面的内容，这几方面都在 不断地快速、规范地发展。 软件验证的目的用于证明软件生命周期的各个阶段以及各阶段的逻辑协调性和正确性。目前，软件验证技术还只是适用于特殊用途的小型程序。 目前，软件测试正在逐渐地由对程序代码的静态测试向高层开发产品的静态测试方向发展，如静态分析工具的产生。所谓静态分析工具是在不执行程序的情况下，分析软件的特性。静态分析主要集中在需求文档、设计文档以及程序结构上，可以进行类型分析、接口分析、输入输出规格说明分析等。常用的静态分析工具有： 析工具， 司研制的 析工具等等。 在测试数据的选择方面，主要是对测试用例进行选择，这对测试的成功与否有着重要的影响。 通常从下面几个方面对测试用例的质量进行把握： 1) 检测软件缺陷的有效性。 2) 测试用例的可重用性。通过重用测试用例，进行修改后即可对其他内容进行测试，减轻测试用例的编写工作负担。 3) 测试用例的执行、分析和调试是否经济。 4) 测试用例的可维护性，即每次软件修改后对测试用例的维护成本控制。 第一章 引言 - 3 - 目前已有测试数据生成工具 出现并用于实际，例如 司开发的功能测试数据生成工具 司研制开发的 C/C+单元 测试工具+ 司提供的 +测试数据生成工具等。 这是软件测试技术的最新发展方向，主要的目标是研究如何实现软件测试的自动化过程以及相关的一系列内容，具体表现是集成化测试系统。它将多种测试工具融为一体，合成为功能强大的测试 工具。例如 司开发的对 用程序进行自动测试的集成化测试系统 司研制开发的自动故障检测系统 等等。 动化测试工具 长期以来，都是手工进行软件测试，即软件人员按预定义的过程运行应用程序。自从软件业兴起以来，人们为自动化软件测试过程做了很多工作，许多公司开发软件测试工具，用于检测缺陷。在产品发布前修正缺陷。这些工具在某些方面具有自动化的功能（例如实现逆工程和编写测试脚本） ，但经常具有如下的缺点： 测试脚本常常需要调试 很少有测试工具能够独立完成整个测试过程 这些工具实现的测试过程可能和软件设计过程不一致 逆工程过程和测试脚本产生过程是完全分开的两个过程 第一章 引言 - 4 - 使用工具为每一个 软件产品 的每个成员产生和记录一个测试脚本，对测试人员来说，常常是一项任务繁重的工作；利用工具编辑和存档测试数据纯粹是手工完成。因此这些工具的自动化能力是有限的。 件技术 件技术是面向构件编程的编程模型，它规定了一组构件间相 互调用的标准，使得二进制构件能够自描述，能够在运行时动态链接。 80 年代以来，目标指向型软件编程技术有了很大的发展，为大规模的软件协同开发以及软件标准化、软件共享、软件运行安全机制等提供了理论基础。 由于因特网的普及，构件可来自于网络，系统要解决自动下载，安全等问题。因此，系统中需要根据构件的自描述信息自动生成构件的运行环境，生成代理构件即中间件，通过系统自动生成的中间件对构件的运行状态进行干预或控制，或自动提供针对不同网络协议、输入输出设备的服务（即运行环境）。中间件编程更加强调构件的自描述和构件运行环境 的透明性，是网络时代编程的重要技术。其代表是 C#语言）。 用户程序 零件 零件 零件 零件 零件 零件 零件 零件 构件模块 代理构件 零件 第一章 引言 - 5 - 图 3间件运行环境的模型，动态生成代理构件 在这样的发展过程中，人们逐步深化了对大规模软件开发所需的科学模型、网络环境下软件运行必要机制的理解，使软件技术达到了更高的境界，实现了： 构件的相互操作性。不同软件开发商开发的具有独特功能的构件，可以确保与其他人开发的构件实现互操作。 软件升级的独立性。实现在对某一个构件进行升级时不会影响到系统中的其他构件。 编程语言的独立性。不同的编程语言实现的构件之间可以实 现互操作。 构件运行环境的透明性。提供一个简单、统一的编程模型，使得构件可以在进程内、跨进程甚至于跨网络运行。同时提供系统运行的安全、保护机制。 件 技术就是在总结面向对象编程、面向构件编程技术的发展历史和经验，为更好地支持面向以 务）为代表的下一代网络应用软件开发而发明的。 为了在资源有限的嵌入式系统中实现面向中间件编程技术，同时又能得到C/C+的运行效率， 件 技术没有使用 基于中间代码 虚拟机的机制，而是采用了用 C+编程，用和欣 供的 工具直接生成运行于和欣构件运行平台的二进制代码的机制。用 C+编程实现构件技术，使得更多的程序员能够充分运用自己熟悉的编程语言知识和开发经验，很容易掌握面向构件、中间件编程的技术。在不同操作系统上实现的和欣构件运行平台，可以使 件的二进制代码可以实现跨操作系统平台兼容。 为了避免使用“中间件”这个有不同语义解释的词汇造成概念上的混淆，我们简单地将 术统称为 件技术。 第一章 引言 - 6 - 究内容与贡献 究内容 通过对测试五个活动和对 件特性的分析 的基础上确定了要 完成 件自动测试 必须对以下内容进行研究 ： 怎样 通过读取 件 (元数据， 动态学习 件； 怎样 自动 产生测试 用例 怎样自动产生 测试 脚本； 文内容安排 第一章“ 引言 ”介绍 软件测试的概述 、 自动测试工具 、 件技术的介绍 及 研究内容和贡献 。 第二章“ 构件自动 测试 ” 介绍 测试过程和那些活动可以自动化的 。 第三章“ 获取被测构件的信息 ” 介绍 怎样 设计和实现 第四章“ 自动 产生测试 用例 ” 介绍自动产生测试用例。 第五章“自动 产生测试脚本 ” 介绍 通用 测试脚本 模块 。 第六 章“结论” 对 整个研究成果进行总结 。 要贡献 一 、 在自动测试中的作用 随着计算机软件技术的飞速发展， “软件工厂”的概念显得越来越重要。现代的软件已经发展成为一种产业，软件的构成有着大型化、工厂化的趋势。 构件技术是第一章 引言 - 7 - 整个软件工厂的根基。一个构件完成之后或使用之前，需要对其进行二进制代码测试成为必要的一环，而自动化测试可以高效完成这一过程。 而传统的自动测试技术满足不了构件的自动测试。 因此，研究构件的自动化 测试对构件的技术的应用有积极的作用。并且可以使测试人员就 不必手工 编写 乏味的脚本 和经常维护测试脚本等 工作 投 入大量的时间 ，从而可以把更多的时间投入到其他高风险的区域中。 二、在软件开发中作用 另外，根据 构件自动测试可以动态产生 测试用例和 测试脚本的 等 特点 ，构件的自动测试可以应用到 极限编程（ 中 。 根据定义， 主要用于编程高风险软件项目的轻量级技术。 免了详尽的规格说明，把每项任务都看做简单任务，通过频繁的迭代，和开发者、测试者、用户三者的交流，解决复杂问题。 自动测试对于成功进行 践是至关重要的。增加、修改或删除代码，都需要测试。代码的改变和进化通常是持续的，有时开发者并不了解发生的所有改变，因此 ，只有经常测试，才能确认代码的改变是有效的。 需求、规格和代码的不断改变，需要自动进行测试，从而确保这些改变不会导致系统崩溃。和其他开发模型产生的代码不同， 生的代码是处于流动状态的，可以重新设计、重构、删除和完全重新编码之后必须进行测试，确保系统仍然能够工作。 要对公有类接口和组件接口进行迭代测试，确保对实现的修改不影响接口协议。新的或修改的功能通过测试验证后，才能集成到系统中，必须测试任何导致潜在系统崩溃的位置。 第二 章 构件自动测试 - 8 - 第二章 构件自动测试 述 测试 过程包含在测试用例的开发生命周期中应该考虑 的 五个 活动 标识、设计、建立、执行、检查。 如图 2示， 在传统自动测试中， 测试活动中 的前三个测试活动，即标识测试条件、 设计 测试用例建立 主要为智力活动。最后两个活动，即执行 测试用例 和比较测试输出相对来说是比 较机械的活动。智力活动决定了测试用例的质量。机械活动是体力劳动 则适合自动化。 图 2测试过程中的五个不同活动 第二 章 构件自动测试 - 9 - 所有的测试活动都可以手工进行，正如 测试人员多年所做的那样。所有的测试活动也可以在某种程度上由于工具的支持而获得益处，但应该可能获利的活动进行自动化。 对 件的自动化测试来说，由于 件技术 具有 的 二进制继承 、面向接口编程 和具有自描述的特点。这些特点 可以突破了测试活动前三个活动人工参与 的限制 。 二进制 继承 、面向 接口编程 和具有自描述的这些特点使 我们获得 息成为可能， 我们可以通过动态加载，然后通过接口来获得构件的自描述信息。这样就可以列出被测构件包含了哪些类、哪些接口和哪些方法函数，方法函数的参数数据类型是什么等等详细信息。通过这些信息，构件测试工具就能知道需要测试那些内容，这样就解决了测试活动的第一个活动的自动化问题。 通过第一步提供的方法函数的参数类型我们就可以按一定的方法构 造出测试用例（测试数据） 。通过 件面向接口编程的特点，构件测试工具可以自动产生测试脚本（测试程序），这一步也可以在获测试活动第一步完成后自动完成。接着测试程序利用 进制封装 的 思想 动态调用所测试的方法函数来完成自动测试。 由于自描述信息只提供了 方法的参数类型，参数的具体取值范围和各参数间取值的联系还不清楚，为了实现完全的构件自动测试必须需要用户的部分参与。对产生的测试数据进行编辑。 在软件开发生存周期中，需要不断测试经常改变的代码，检测并修正缺陷后，回归测试用于确认对缺陷的修改精确，且没有负面影响 。 因此 ， 如果 构件自动测试 需要考虑到软件开发的因素的话， 可以分成 6 步。如图 代是以回归测试结束的。 第二 章 构件自动测试 - 10 - 提交被测构件运行测试脚本修正缺陷编辑测试数据产生测试用例收集被测构件信息图 动 测试的 6 个步骤 试活动 理想情况下，测试始于测试目标和测试策略的建立，测试策略应满足测试目标的要求，每个项目都有各自的测试策略。管理层的测试计划包括评估完成所有测试活动的时间，测试活动安排及资源安排，控制测试过程以及跟踪整个测试过程所需采取的活动。这些高层次活动应该在项目开始前就实施，并贯穿项目的整个开发过程。 图 2出了在活动序列中应该执行的关键活动。 第二 章 构件自动测试 - 11 - 图 2测试过程的活动 对上述五个活动说明如下： (1) 标识测试条件。 第一个活动首先确定测试“什么” ，也就是构件测试需要测试什么，因为构件的功能通过构件的类和方法函数来实现。所以需要确认构件具有哪些类，哪些方法函数 。 (2) 设计 测试 用 例 。 设计 测试用例 确定“怎样”测试。 测试用例是为特定的目的而设计的一组测试输入、执行条件和预期的结果。 。测试 用 例设计将产生许多测试所包括的输入值、期望结果以其他任何运行测试的有关信息。在 件测试中，测试用例是方法输入参数的值 、 输出参数的期望的结果 和返回值 。 第二 章 构件自动测试 - 12 - 每个测试都应说明期望输出。如果运行前没有说明期望输出，为检查软件的正确性，应首先认真验证实际输出。这就要求测试者对被测试 构件 具有一定的了解，才能对输出结果做出正确判断。如果结果正确，即可以将其与该测试以后的输出自动比较。这种方法称为参照测试 ( (3) 建立测试脚步 。 测试脚本是具有正规语法的数据和指令的集合，在测试执行自动工具使用中，通常以文件形式保存。一个测试脚本可以实现一个或多个 测试用例 的测试 ，测试脚本可以手工也可以不是手工执行 (一个手工测 试脚本就是一个测试过程 )。测试输入和期望输出可包括在脚本中，也可以是脚本外的一个文件或数据库。 在构件自动测试中测试输入和期望输出作为测试用例独立于测试脚本存在于文件或数据库中。 (4) 执行 测试脚本 。 在被测试 构件 运行时使用 测试用例 。对于手工测试来说，测试者按事先准备好的手工过程进行测试。测试者输入数据、观察输出、记录发现的问题。对于自动测试，可能只需启动测试工具，并告诉工具执行哪些 测试用例 。 (5) 分析与判断。 应该对每次测试的实际输出进行分析研究，判断软件功能是否正确。这种验证可以是非正式的测试者主观判断，也可以是将 实际输出与期望输出进行严格准确的比较。一些信息比较，如可以在执行测试时进行显示屏幕上的信息。另一些输出比较，只能在测试执行结束后进行。自动测试一般结合了这两种方法。 一般情况下，假定如果实际输出与期望输出一致，则软件通过测试；如果不一致，则软件没有通过测试。这种规则过于简单化。如果实际输出与期望输出不一致，可能有多种因素：有可能是软件不正确，也有可能运行测试的顺序不对，或期望输出的结果不正确，或测试环境设置不正确，或测试定义不正确。 第二 章 构件自动测试 - 13 - 比较和验证两者是有区别的：工具可能具有比较功能，但不具有验证功能。工具可以 将一系列测试结果与另外一些结果来比较，但不能断定输出是否正确，而这种验证活动通常要靠测试人员来完成。由测试者来确认或保证比较的测试结果是正确的。在一些特殊环境中，可能可以自动产生期望输出，但在大多数工业测试中，使用商用测试执行工具却行不通。 测试自动化 自动化测试也是一门技术，但与测试技术存在很大区别。许多商用机构发现自动化的测试比执行一次手工测试的开销大得多，可见如果希望从自动化测试中获得收益，则需要仔细选择和实现自动化测试。自动化的程度与测试的质量是独立的。 无论自动执行还是手工执行测试都 不影响测试的有效性和仿效性。无论自动化测试做得如何出色，如果测试本身是失败的，那么测试结果也将毫无意义。自动化测试只对测试的经济性和修改性有影响。保证了测试的质量，通常情况下，自动化测试将要比手工测试经济得多，其开销只是手工测试的一小部分。自动化测试的方法越好，长期使用获得的收益就越大。 为实现高效的自动化测试，必须源于好的测试软件。测试可以是高质的或劣质的。这取决于测试者实现测试质量的技术。 同样，自动化质量也可以是高质的或劣质的。这取决于测试自动化的自动化技术，包括确定怎样方便地增加新的自动测试，如何维 护自动测试以及测试自动化最终能提供什么样的效益。 第三 章 14 - 第三章 述 件自动测试工具的目标是，通过分析 件 (数据，自动构造测试脚本完成自动测试 。 获取被测构件的元信息是整个测试工具的第一步也是最重要的一步。而通过什么方法来获取这些信息成为这一步的关键。 通过分析 件的特点 二进制 继承 、面向 接口编程 和具有自描述，我们需要实现一套机制来获得 件的信息，并且提供调用 口的 得元数据的是通过一套 机制 来得到的， 于 件和 是面向构件编程。所以 在 件技术上 也可以 实现一套 反射 机制。 通过实现 反射机制 可以很容易地获取构件的所有元信息，并且可以在脚本运行阶段，动态创建类实例，调用方法。 件间的关系就像棱镜和太阳光的关系，棱镜分解太阳光，类似 构件解析出类、接口和方法成员等，从而实现自动信息收集过程。 这个过程类似于测试人员学习 件的过程。 正是有了 反射 ，测试人员可以投入 更多时间识别其他风险。 类信息（ 为描述构件的元数据，是 件的二进制表述。在 ，可以使用一个特殊的 构件中取出元数据信息，构件元数据的解释不依赖于其它的 件。 第三 章 15 - 这样我们就可以通过 反射 直接从 件里取出元数据。 义了一套接口可以反射出这些元数据。如从构件模块了得数据的 口、获得类信息的 口、获得接口信息的 口等等。 这些接口包含了可以满足用户需求的接 口函数。 另外，还需要提供一套得到这些接口的 直接加载 件文件得到口的 。 计 射的概念 反射的概念是由 1982 年首次提出的，主要是指程序可以访问、检测和修改它本身状态或行为的一种能力。这一概念的提出很快引发了计算机科学领域关于应用反射性的研究。它首先被程序语言的设计领域所采用 ,并在 面向对象方面取得了成绩。其中 、 、 就是基于反射机制的语言。最近，反射机制也被应用到了视窗系统、操作系统和文件系统中。 反射本身并不是一个新概念，它可能会使我们联想到光学中的反射概念，尽管计算机科学赋予了反射概念新的含义，但是，从现象上来说，它们确实有某些相通之处，这些有助于我们的理解。在计算机科学领域，反射是指一类应用，它们能够自描述和自控制。也就是说，这类应用通过采用某种机制来实现对自己行为的描述（ 监测（ 并能根据自身行为的状态和结果，调 整或修改应用所描述行为的状态和相关的语义。可以看出，同一般的反射概念相比，计算机科学领域的反射不单单指反射本身，还包括对反射结果所采取的措施。 第三 章 16 - 现反射的条件 件提供二进制继承、 面向 接口编程