《软件测试技术与质量保证》第四节

1、,2010-2011,天津城市建设学院 电子与信息工程系 唐国峰,软件测试技术与质量保证,第二部分 软件测试技术 第四节 测试策略、测试计划,3.1 测试策略 3.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,4.1.1 影响测试效果的因素 （1）人的因素：测试人员的素质、经验等 （2）管理的因素 （3）流程的因素 （3）制约的因素（成本、环境等）,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.1.2 为什么要谈及测试策略 软件测试通常指实际运行被测程序，输入相应的测试用例，

2、判定执行结果是否符合要求，从而检验程序的正确性、可靠性和有效性。 软件测试可采用的方法和技术是多种多样的（软件测试技术与持续质量改进教材18页列出的软件测试技术的种别就有多达60余种），同样，软件测试可以采用的工具等也是多种多样的（软件测试技术与持续质量改进教材P200-205列出了多种工具，大家可以去看一下它们的名字，我们可以看到确实是非常之多）,第四节 测试策略、测试计划,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,4.1.2 为什么要谈及测试策略 通常情况下不论采用什么方法和技术，运用什么工具来进行测试，其测试都是不彻底的，也是不完全的，因

3、为任何一次完全测试或者穷举测试的工作量都太大（表现在人员投入太多、工期太长，从而导致的成本过大），所以在实际测试时实行不通的，即无法对每一个产品都进行穷举测试。因此，任何实际进行的测试都不能够保证被测程序中不存在遗漏的缺陷，即对于大多数实际的软件测试，都可能会有没有测到的点，而这些点很可能就是因为实际的测试中因为无法进行穷举测试而被遗漏的缺陷。,第四节 测试策略、测试计划,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,4.1.2 为什么要谈及测试策略 为了最大程度的减少这种遗漏的错误，同时也为了最大限度地发现已经存在的错误，还要兼顾投入的成本，在实

4、施测试之前，必须确定将要采用的测试策略，并以此为依据制定详细的测试方案。 一个好的测试策略会给软件测试带来事半功倍的效果，它可以充分的利用有限的人力、物力资源，高效率、高质量地完成测试（降低风险、提高软件质量）。测试策略是制定测试计划的基础。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.1.3 不能修复所有的软件故障 原因：没有足够的进行修复；修复的风险较大；不值得修复；可不算做故障的一些缺陷；“杀虫剂现象”。 结论：关键是要进行正确的判断、合理的取舍，根据风险分析决定哪些故障必须修复，哪些故障可以不修复。 * 杀

5、虫剂现象：就是当你只是使用某些固定的方式来测试软件时，开始可以发现一些缺陷，但是时间一长有些缺陷就隐藏了起来，很难再现，这种情况类似于生物中的害虫对杀虫剂的抗药性一样。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.1.4 软件测试的代价 工作原则：就是如何将无边无际的可能性减小到一个可以控制的范围，以及如何针对软件风险做出恰当选择，去粗存精，找到最佳的测试量，使得测试工作量不多也不少，既能达到测试的目的，又能较为经济。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四

6、节 测试策略、测试计划,4.1.4 软件测试的代价,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,软件缺陷故障数量,测试工作量,测试中,测试后,测试费用,遗漏缺陷数目,优化测试量,图4.1.4 测试工作量和软件缺陷数量之间的关系,4.1.3 影响测试策略的因素 （1） 测试完成的标准 （2） 资源状况,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.1.4 测试策略的确定 输入： （1）要求的硬件和软件组建的详细说明，包括测试工具、测试环境。 （

7、2）针对测试和进度约束（人员和进度表）而需要的资源的角色和职责说明。 （3）测试方法（标准）。 （4）应用程序的功能性和技术性需求（需求、变更请求、技术性和功能性设计文档） （5）系统不能够提供的需求（系统局限）。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.1.4 测试策略的确定 输出： （1） 已批准和签署的测试策略文档、测试计划、测试用例。 （2） 需要解决方案的测试项目（通常要求客户项目的管理层协调）。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试

8、策略、测试计划,4.1.4 测试策略的确定 过程： 测试策略是关于如何测试系统的正式描述，要求开发针对所有测试级别的测试策略。测试小组分析需求，编写测试策略并且和项目小组一起复审。,4.1 测试策略,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.1 测试计划的目的 测试计划的目的是在一种有组织的方式下，为完成测试打好基础。它是测试实施前的一个非常重要的工作。专业的测试必须以一个好的测试计划作为基础。从管理的角度来看，测试计划是最重要的一份文档。 * 测试计划是一个不断更新的文档，在螺旋式开发过程中，测试计划要随着软件系统的不断变化

9、而变化。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.2 好的测试计划应该具有的特点 （1） 有机会发现大部分缺陷。 （2） 为绝大部分代码提供测试覆盖。 （3） 具有灵活性。 （4） 可以很容易地执行、能够自动化地执行、具有可重复性。 （5） 定义要执行的测试种类。 （6） 清晰地记录期望的测试结果。 （7） 当发现缺陷时提供缺陷修改时间。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.2 好的测试计划应该具有的特点 （8） 清

10、楚地定义测试目标。 （9） 阐明测试策略。 （10） 清楚地定义测试结束标准。 （11） 没有冗余。 （12） 识别出风险。 （13） 记录测试需求。 （14） 定义测试交付物。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.2 一个富有经验的、聪明的测试经理可以从测试计划中看到什么： （1）项目的规模 （2）系统的演变历程 （3）预见测试可能的结果 （4）开发团队内上游设计人员的水平,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.

11、3 编制测试计划的方法 依据教材P80的图12-1，我们可以看到测试计划的编制大致要经历哪些步骤。这些步骤不都是必须要做的，根据具体的项目的不同，有些步骤可以省略，但是有些步骤却是必须的，不能省略。 编制测试计划的步骤可以大致分为三个部分：依次是建立测试计划、定义度量目标、计划的评审和批准。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.1 引言部分 这部分定义了项目的简要背景，描述了促成系统开发决策的事件 或当前状态。 引言部分中同样需要包含关于管理的概要描述。 应当列出所有可能用到的文件都并且描述出状态。

12、,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.2 定义总体的功能需求 通常，测试计划的指定的实质性的第一步工作是将软件分解成较小而且相对独立的功能模块，然后写出测试需求。测试需求有很多分类方法，其中最常用的就是按照功能划分需求。 功能规约由以下各部分组成：功能的层次分解、功能窗口结构、窗口标准以及待开发系统的最低运行需求。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.3 确定手动/自动测试的种类 几乎任何应用程序中都要用

13、到的三种测试类型： （1）功能测试：功能测试占测试工作的一大半，主要关心功能是否能够正确地执行。（这是用户最关心的） （2）用户接口测试：或者称为图形用户界面测试，检查用户交互功能或者功能窗口结构。它保证对象状态与功能有适当的依赖关系，并且在各功能之间提供了有用的导航。 （3）回归测试：回归测试就是在软件或环境被修改后进行再测试。回归测试有两个重点，一是有没有产生新的漏洞，二是缺陷是否真的消除。选择回归测试可以选全部的用例进行再测试，也可以选具有一定风险的用例再测试。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2

14、.3.3 确定手动/自动测试的种类 其他需要考虑的测试类型包括系统测试和验收测试。系统测试是对整个系统功能性、性能表现和整体使用性的最高层次的测试和评估。验收测试是一个由用户执行的可选测试，目的在于证明应用程序的能力满足了用户的需求。这个测试是否执行取决于项目的形式。有时系统测试已经足够了。（考虑成本，是否是客户要求） 最后，我们需要定义能够使用测试工具自动执行的测试。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.4 确定测试结束标准 4个可能结束测试的标准 （1）计划的测试时间期满：完全没有质量可保证。

15、（2）发现了预先确定的缺陷数量：这个标准的问题在于如何估计能够发现的缺陷数量以及可能会过高地估计缺陷数量。 （3）执行所有的正常测试都不再发现任何缺陷：这个标准的主要问题是，在这种方式下，测试人员不会很主动地去设计破坏性的测试用例 （4）以上3项的结合：这是通常的做法。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.5 制定回归测试策略 回归测试是根据螺旋开发过程、调试、维护或者新版本发布时所做的变更对应用程序进行的测试。这种测试应该在系统的功能更新或修复已经完成之后进行，以保证我们所做的变更没有产生预计之外

16、的影响。 对于每次螺旋过程，测试集合中的所有测试都能重新执行一遍是最理想的，但是由于时间的限制，一般来讲是不能实现的。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.5 制定回归测试策略 再测试矩阵是一个非常好的工具。可以在第一个测试螺旋过程之前建立再测试矩阵，但是我们要在之后的螺旋过程中维护好这个矩阵。 再测试矩阵,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.6 定义测试交付物 测试的交付物由测试计划、测试设计、测试开发

17、和缺陷记录产生。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.7 组建测试团队 人员部分包括人力资源分配和需要的相关技术。 在测试中，有两个职责范围：测试应用程序，这是测试团队的责任；管理测试过程，这由测试经理负责。测试经理直接管理一名或多名测试人员，他是质量保证和开发团队之间的接口，管理整个测试的执行过程。其职责包括以下几项。 设立测试目标。 定义测试资源。 建立测试规程。 开发并维护测试计划。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、

18、测试计划,4.2.3.7 组建测试团队 设计并执行自动测试工具脚本。 测试用例开发。 提供测试状态。 编写报告。 分配队伍成员的角色。 管理测试资源。 定义标准和流程。 保证测试过程的质量。 培训队伍成员。 维护测试统计和度量标准。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.7 组建测试团队 测试团队必须由一组有以下职责的队员组成。 根据计划执行测试用例。 评价测试结果。 报告错误。 设计并执行自动测试工具脚本。 建议改进应用程序。 记录缺陷。,4.2 测试计划,2010年11月19日 天津城市建设学院建

19、设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.7 组建测试团队 分配全职测试资源的依据是测试功能的范围和开发的时间限制；举例来说，一个中等的开发项目比一个小型的项目需要更多的资源。如果一个中等复杂度的项目A需要5个人的测试团队，那么两倍规模于它的项目B就需要10个测试人员（假设测试人员的能力相同）。 另外一个单凭经验的方法是测试的开销应该接近总预算的25%。由于总的项目开销是知道的，测试工作量可以进行计算或转化为测试人员的人数。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.8 建立

20、测试环境 包括硬件、软件（比如不同的QTP版本跑出来的结果截然不同），测试环境需要获得客户的认同。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.9 定义依赖关系 代码可用性。 测试人员可用性（即时方式下）。 测试需求（合理定义的）。 测试工具可用性。 测试组培训。（如了解业务流程等的Training） 技术支持（开发人员介入等）。 即时修复缺陷。 充足的测试时间。 ,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.9 定义依

21、赖关系 计算机和其他一些硬件。 软件和相关文档（需要授权）。 系统文件（如果能得到）。 定义的开发方法。 测试实验室空间可用性（需要授权同一客户的软件等不同项目使用居多）。 与开发团队的协议（流程和过程）。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.10 创建测试进度表 测试进度表应当包含测试步骤（也可能是任务），目标开始日期和结束日期以及职责等。同时也应该描述出应当如何评审、跟踪和批准该测试。 测试时间进度表,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第

22、四节 测试策略、测试计划,4.2.3.11 选择测试工具 要结合成本，效率等考虑。尽量选择测试人员熟悉的以减少培训时间，尽量选择通用的工具，以减少未知情况的突然发生。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.12 建立缺陷报告/跟踪规程 例如BP票的提出（再现环境、同类问题CASE数量、功能影响的相关CASE数量等），状态跟踪：打开、调查、修改、测试、关闭等。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.13 建立变

23、更请求规程 变更的原因有以下几种。 需求变更。 设计变更。 规约不完整或者不清楚。 发现了在评审阶段没有发现的缺陷。 软件环境的变更，比如平台、硬件等。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.13 建立变更请求规程 管理变更的组织的正式头衔是配置管理委员会，或者CCB(Configuration Control Board)。CCB负责变更的批准工作，决定是否可接受提议的变更。在一个小型项目中，CCB可能由一个人组成，比如项目经理。在一个比较正式的开发环境中，CCB可能就会由来自开发部门、用户、测试部

24、门、管理部门以及其他相关部门的人共同组成。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.14 建立版本控制规程 唯一标识每个软件组件的方法是制定标识方案。 在客户端/服务器架构的环境下，我们强烈推荐开发环境和测试环境要有所不同。这就要求应用程序的软件组件要从开发环境移植到测试环境，这个流程是需要建立的。（如对开发用代码和测试用代码分别管理）,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.14 建立版本控制规程 软件应当处于

25、配置管理之下，所以在测试执行流程中不可以发生变更。这包括源文件和可执行组件。应用程序软件可以周期性地移植到测试环境中。必须控制这个流程以保证软件的最后版本是经过测试的。版本控制同样帮助我们管理测试的重复性，保证先前发现的缺陷已经解决。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.15 定义配置构建规程 部署软件系统包含了将源组件或者源代码转化为可执行程序的工具。例如编译器、连接编辑程序等。 配置构建流程需要确定正确的组件版本和执行组件构建流程。配置构建模型提出了如何控制组件构建方式的关键问题。 典型的配置由

26、一系列软件的导出组件构成。软件的导出组件的一个例子是来自源程序的可执行目标程序。导出组件必须与每个源组件正确的进行关联以得到正确的出处。配置构建模型提出了如何控制导出组件构建方式的关键问题。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.16 定义项目问题解决规程 测试问题可能在开发流程的任何时候出现，一旦出现必须解决。首先对问题处理负责的应该是项目经理，他应该与项目发起人一起合作解决这些问题。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试

27、计划,4.2.3.16 定义项目问题解决规程 在项目开始之前首先应该定义好问题管理流程。该流程中应当说明如何进行如下操作。 提交问题。 报告问题。 审阅问题（拒绝、延期、合并或者接受）。 调查问题。 批准问题。 推迟问题。 拒绝问题。 关闭问题。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.17 建立报告规程 测试报告规程对于管理测试流程和管理项目成员的期望非常重要。这可以帮助项目经理和发起人时刻了解测试项目的进展并且将不可预期的风险降到最低。,4.2 测试计划,2010年11月19日 天津城市建设学院建设

28、学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.17 建立报告规程 下面是两个需要发布的关键报告。 (1) 中期测试报告：中期测试报告是在测试螺旋周期之间发布的、显示测试工 作状态的报告。 (2) 系统总结报告：测试总结报告是在所有螺旋测试完成之后的一份全面的测 试报告。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.18 建立批准规程 批准规程在测试项目中非常重要，可以帮助我们在项目参与人员之间建立必须的共识。批准流程的形式很多，从正式的测试文档的签署到一个非正式的带着评论的评审都有可

29、能。 交付物的批准,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2.3.19 定义度量标准 这个任务的目的就是应用度量标准来控制测试过程。度量标准是系统的某个数量方面的一个可测量的指标，有如下特征： 可测量从定义上来说，度量点必须是可测量的才可以成为度量标准。如果不可测量的话，我们就没有办法使用管理手段来控制它。 独立性度量标准应该独立于人为的影响。除了改变产生该度量标准的事件，没有任何其他办法可以改变该度量标准。 责任性对原始度量标准数据的任何分析和解释都是建立在该数据本身上的，因此，我们必须保存好原始数据和分析过程的有条理的审计轨迹。 精确性精确性是精度的一个函数。精确性的关键在于在文档中明确地把度量标准规定为数据收集过程的一部分。如果度量标准是可变的，我们可以当作一个范围来测量。,4.2 测试计划,2010年11月19日 天津城市建设学院建设学院电子与信息工程系 唐国峰,第四节 测试策略、测试计划,4.2