软件测试计划pdf.pdf

第 章 5 做好项目测试计划 编写项目测试计划是每个测试人员所必须掌握的技能 特别是项目经理 虽然在项 目过程中 测试计划会发生变更 但是有一个详细周密的测试计划还是十分必要的 在 本章主要讲解如何编写测试计划 并在本章后面提供了一个项目整体的测试计划模板 供读者参考 5 1 制订一份好的测试计划的重要性 我们都知道在测试活动过程中 会发生各种变化 如测试活动变化 测试范围变化 测试方案变化等在测试之前无法预知的变化 因此制订一份测试计划是非常重要的事情 且应该尽早编写 让所有相关人员清楚地了解测试方法 测试策略和进度安排等 既可以 让其他团队了解测试团队的工作安排 也要让测试团队成员目标和步调一致 当然在测试 软件测试项目实战 技术 流程与管理 的过程中 我们也需要根据实际变化来调整测试计划 为了估计测试所需的资源 人员计划和获得测试工具 测试所需的支撑软件和硬件 应及早地让外包项目干系人了解测试的任务 测试的活动内容 步骤和进度 以及各方需 要配合测试的活动内容等 还要尽早编制测试计划 以便客户外包项目负责人把测试工作 纳入到整体计 划中 一份好的测试计划是测试工作开展的基础 对被测试系统业务了解越深 与客户沟通 得越多 越容易做出比较好的测试计划 虽然在测试过程中也不太可能完全按照测试计划 进行 但是一份好的测试计划可以让所有测试团队的成员了解测试范围 测试策略和方法 测试进度等 便于组织目标的实施 测试计划主要是将要进行的测试工作做一个整体的规划 在计划中一般都包括测试目 的 测试策略 测试资源 包括人力资源 设备资源和测试工具等 进度表 包括里程 碑 测试约束 测试入口和出口准则 通过和失败准则 测试启动 结束 暂停和再启 动准则 测试需求 测试范围 测试类型等 在外包项目测试中 我们一般做 4 份测试计划 外包项目测试计划 集成测试计划 功能测试计划和性能测试计划 112 113 第 5 章 做好项目测试计划 5 2 测试计划中的主要内容 下面主要讲解测试计划中一些主要的要素所包括的内容 详细的计划请参看附录中的 测试计划模板 5 2 1 测试目标和范围 测试工作主要用来验证软件系统是否满足某种特定的标准和最终用户的需求 有效的 测试增加了被测试软件系统在任何环境下正确运行并满足预定需求的可能性 最终目的是 让使用系统的用户满意 测试目标的关键是发现和消除软件系统中的缺陷 不同的测试阶段有不同的测试范围和测试目标 所以在每个测试计划中 首要的工作 就是确定该阶段测试的目标和范围 编制测试计划 必须对实现测试目标过程中每个起作 用的细节都有清楚的了解 每个项目经理在接受外包项目或系统时 第一反应可能就是拿来需求文档 据此制订 一份测试计划 然后把需求按照功能分解 最后为测试组下达测试设计和测试过程的任务 但是如果项目经理不对测试任务进行全面的了解 就会为此付出代价 可以通过以下的内 容来了解测试任务 1 理解系统 测试组必须从整个系统的高度来了解被测试系统需要满足的功能性和非功能性需求 软件测试项目实战 技术 流程与管理 仅仅从孤立的需求规格说明书的陈述中 测试组很可能无法了解系统的整体 我们应该利 用需求讨论会 评审纪要和外包项目相关文档等来深入地了解系统 这些文档可能包括对 系统要解决问题的有关讨论建议 业务 以及对系统的期望等 2 尽早参与到外包项目中 为了深入地了解外包项目目标和测试任务 项目经理 测试负责人和测试团队的主要 成员在系统的开始阶段就应该参与到测试组的工作中 以便增加对客户需求 客户问题 潜在风险和重要功能的理解 3 了解客户企业文化和研发过程 为了适应开发过程 了解开发团队 业务团队 客户企业文化 研发过程或流程 以 及相关规范等 对测试工作的开展有很大帮助 4 实施范围 为了确定相应的测试范围 除了理解系统要解决的问题和企业文化以外 测试组还必 须了解外包项目实施的范围 因为有些相关系统可能不在本外包项目中研发 5 对测试的期望 客户管理层对测试的期望是什么 客户期望的测试类型是什么 如果有验收测试 需 要交付哪些文档 是否确定里程碑 可交付验收测试的含义和标准是什么 这些在测试 计划中都应该给出答案 6 吸取经验教训 原来测试工作中获得的宝贵经验哪些可以在本次测试中运用 应该避免犯哪些错 114 115 第 5 章 做好项目测试计划 误 这些也都要考虑 7 工作量的大小 我们应该了解客户确定的开发工作量是多少 以此判断外包项目的复杂度和测试工作 量的范围 8 解决方案类型 客户在开发 上线 移植 购买软硬件设备时可能有多种方案 了解到底采用哪种方 案等情况 有利于测试计划的制订 9 技术选择 系统的实现会选择何种技术 这些技术会引起什么问题 系统采用何种架构 何种语 言 何种数据库 了解这些情况有利于我们确定测试策略和选择测试工具 10 预算 实现当前产品或系统的预算是多少 了解给定的预算水平有助于确定测试类型 在 测试中 经常会根据预算来调整测试工作量 11 时间表 为系统开发和系统测试分配的时间分别有多长 截止日期是什么时候 通常 截止日 期是在没有对测试时间进行估算的情况下确定的 此时 项目经理只能调整测试时间表来 适应预定的截止时间 12 分阶段的解决方案 了解当前产品或系统是分阶段 期进行 还是一次完成的 如果是分阶段 期进行的 软件测试项目实战 技术 流程与管理 我们一定要确定哪些是本阶段的测试范围 也要注意在不同阶段中分配好测试工作量 测试团队要确定测试覆盖率 有时合同中已经约定了所需要测试的功能需求 项目经 理必须根据约定的资源 时间表 工具 任务目标忽略某些测试带来的风险 在测试范围 中明确测试覆盖的内容和不覆盖的内容 5 2 2 测试资源 测试资源是指测试工程师 测试工具 测试设备 测试数据 需要协助测试的人员等 在测试计划中要列出对测试资源的需求 并对使用的资源做出规划 要求 限制 对于外包项目测试 需要对测试资源进行详细的描述 因为客户需要协调和准备这些 资源 最好不要等到需要某些资源时 再去临时申请 因为很难在短时间内获得这些资源 所以在测试计划中要事先考虑测试所需要的资源 在测试资源中 人力资源方面除了测试团队的资源外 也需要客户 研发团队或客户 其他部门支持的人员 测试所需要的软硬件 特殊设备 如银行业务系统中使用的 POS 机等 测试数据 如生产数据 系统中需要的参数 客户业务流程 等 这些也都是需 要在计划中注明的资源 另外 要隔离测试环境和开发环境 实施测试时 测出环境的建立是至关重要的 由 于费用等问题 测试组往往不能有一个独立的测试环境 这样会带来很多问题 例如 缺 116 117 第 5 章 做好项目测试计划 陷修复和缺陷验证混在一起 版本管理混乱 因操作环境变化而造成的相互影响等 如果 条件允许 测试团队需要的是与上线环境相同的部署设备 不要忘记安装部署测试也是我 们测试的一部分 在测试计划中还是要要求独立的和上线环境相同的设备 如果测试环境 降低了性能和容量的环境 则某些测试有可能无法执行 测试团队在测试报告中也要注明 这一点 5 2 3 进度计划 项目经理要根据分配给测试工作的时间 资源等进行裁剪 做出测试进度表 为了避免 实施一个无法满足时间进度要求的策略 在测试策略中包含一个详细的时间进度表是非常重 要的 还要注明测试各阶段的一些里程碑事件 这些是客户领导和 QA 比较关心的地方 一般用表格的形式列出整个阶段的测试工作任务 任务启动条件 以及任务计划启动 的时间和结束时间 如表 5 1 所示 表 5 1 测试进度表 计划启动时间 结束时间 编号 工作任务 成本 人 日 任务启动条件 T T D 1 测试计划规划阶段 2 需求讨论和沟通阶段 3 功能和集成测试设计阶段 4 性能测试设计阶段 5 集成测试执行阶段 6 功能测试执行阶段 7 性能测试执行阶段 8 协助客户验收测试阶段 软件测试项目实战 技术 流程与管理 计划启动时间 结束时间 编号 成本 工作任务 任务启动条件 人 日 T T D 9 系统上线评审 上线和项目总结阶段 合计 5 2 4 测试约束条件 测试约束中主要是集成测试的入口准则和出口准则 也就是指满足什么样的条件才能 进入测试 而在测试执行过程中满足什么条件时 才能退出测试 这可以在一定程度上 减少测试实施带来的风险 1 概述 不管是在哪个测试阶段为软件测试执行周期定义入口标准 测试开始的时间 和出口 标准 测试完成的时间 都是非常重要的 入口准则是指明确在何种条件下 测试组可以开始测试一个特定的版本 在测试期间 内 为了接受一个软件版本 必须满足各种标准 出口准则则是结束测试所达到的条件 也就是发行标准或上线标准 对于外包项目测 试 则是测试团队结束测试活动的条件 2 案例 以下是某金融系统集成测试计划中的入口和出口准则 入口准则如下所述 各子系统的单元测试结束 测试结果审核结束且通过评审验收 118 119 第 5 章 做好项目测试计划 所有子系统的软 硬件都到位 且提供了各子系统的安装手册及安装软硬件环境 说明书 系统集成后 可通过冒烟测试的方法判断系统版本中的子系统是否可以正常的启 动 并能处理核心业务 集成测试计划已经完成且通过评审 测试用例通过评审 测试环境在指定日期前按要求部署完成 且经过检验并确定可以进行测试 版本纳入配置管理 且提交给测试组完整的系统版本 出口准则如下所述 测试用例全部执行完成 各个接口测试需求点覆盖率为 100 各个子系统集成在一起 正常的业务流程能够执行 缺陷报告中的所有 1 级和 2 级缺陷都已经解决 3 级缺陷 90 的问题已经解决 遗留缺陷中致命缺陷和严重级别等缺陷满足与客户约定的数量 3 其他准则 测试通过和失败准则是指给出满足什么条件表明测试是通过的 反之 出现什么样的 问题说明测试是失败的 测试启动 结束 暂停 再启动 准则是说明在某个测试轮次中测试启动 结束 以及遇到 问题时暂停和再启动的准则 软件测试项目实战 技术 流程与管理 在测试计划提交评审之前 测试组必须要及早与开发人员 业务人员讨论入口和出口 标准 如果有可能 一个组织的入口和出口测试标准应该标准化 标准化的基础是经过若 干外包项目考验的标准 确定了出口准则 给测试结束之前系统中遗留缺陷的处理提供了依据 可能没有时间 对这些缺陷进行修复和验证 是在以后的版本中或者补丁中加以解决 还是必须马上修复 这些缺陷 要做出决定 例如 有些缺陷修复后能使系统功能增强 就在后续的版本中再 处理 而有些缺陷如果不修复 在使用中可能会遇到大量的投诉 这需要在产品发布或上 线之前尽快修复 在外包项目测试中 资源往往成为外包项目质量的最大瓶颈 而外包项目的特点就是 进度 时间和质量之间相互制约 在软件测试中 最困难的决定就是停止测试的时机 为 了测试组做出停止测试的决定 从组织上建立软件完成和发布的质量方针 是一个不错的 选择 5 2 5 测试轮次 在测试计划中 对测试轮次要进行规划 在每个测试活动中 应该至少做 3 个轮次 以上的测试 且每个轮次执行全部所有的测试用例 如果条件允许 最好做到 5 个轮次 如果企业进行产品测试 则在每轮是否执行全部的测试用例是一个值得考虑的问题 如 120 121 第 5 章 做好项目测试计划 果每轮执行全部的测试用例 则在后面的轮次中 就能很容易地绘制出一条发现缺陷和 缺陷修复情况的曲线 从而判断发现缺陷是否有收敛趋势 也可以判断系统中大概隐藏 缺陷的数量 在多个轮次分配时间上 可以考虑给前面 1 2 个轮次分配多一些时间 因为测试人 员对系统有一个熟悉的过程 需要消耗比较多的时间才能把系统实现同业务需求对应起 来 在了解了操作步骤和过程后 后面的轮次就可以逐渐减少分配时间了 5 2 6 测试策略 1 概述 在一定的软件测试标准 测试规范的指导下 依据测试外包项目 的特定条件约束 而规定的软件测试的原则 方式和方法的集合就是测试策略 在设计测试策略期间 我们必须考虑风险 资源 时间和预算上的限制 为了估计所 需的资源和它们所起到的作用 包括测试工程师的数量 专业类型 技能水平 角色和职 责 进度和预算等 还必须对估计技术和估计技术的实现进行了解 在软件测试中采用的方式方法是最为关键的 方式方法决定测试是否能成功 2 制订外包项目测试策略的重要性 制订外包项目测试策略的重要性有以下两点 任何一个外包项目或产品系统测试的工作量都是巨大的 在有限的时间 人力等 软件测试项目实战 技术 流程与管理 资源条件下 任何实际测试活动后过也不能保证被测试的系统不会遗漏错误或出 现缺陷 为了在有限的资源条件下最大程度地发现系统潜在的缺陷 在测试实施前必须确 定合适的测试策略 以指导外包项目测试活动 3 影响测试策略的因素 影响确定测试策略的因素主要包括以下几点 系统架构 可以把系统分成多个层次 例如 用户界面 业务层 数据库访问层 等 对系统架构的理解 有助于测试人员为每个层次或组件制订测试策略 以此 来确定哪些层次需要策略 例如 GUI 部分可以通过自动化测试 要求测试人员 有自动化脚本录制能力和业务知识 而对于业务层的测试 则需要具有有经验的 开发人员来进行 并且需要安排更多的时间来开发 以测试底层业务功能 选择测试设计技术 缩小使用的测试技术类型的范围 减少大量的输入组合和变 化 采用的测试技术有必要作为测试策略的一部分而定下来 相关的政策或指示 例如 质量方针 领导的指示和意见等 质量和软件测试方面的标准 规范 模板和指南 外包项目干系人的利益角度 与外包项目相关的部门往往站在不同的角度上 提 出对测试的要求 122 123 第 5 章 做好项目测试计划 测试资源 例如 测试环境 测试设备和工具 人员等 对于测试工具 要考虑 是客户提供商业测试工具 还是需要测试团队开发辅助测试工具 又或是将两者 结合起来 还要确定需要的测试人员和需要的技能 各测试阶段活动完成的标准 测试团队技能特点 从上面的影响因素中可以看出 针对不同客户 不同的外包项目 不同的实施团队所 采取的测试策略肯定是不相同的 需要根据外包项目或产品本身的性质 规模 应用场合 和使用对象来选择不同的测试方案 以便用最少的软硬件设备和人力 时间等投入得到最 佳的测试效果 4 内容 测试策略为某个具体的外包项目决定整体规划 并参考或确定如下几个方面的内容 外包项目测试计划 外包项目风险等 测试层次和阶段 例如 功能测试轮次 外包项目测试包括哪些阶段活动 测试范围 例如 确定哪些测试 哪些不测试 测试重点在哪里 测试执行客户 例如 用例执行顺序 测试用例执行结果记录形式 缺陷跟踪处理流程 软件测试项目实战 技术 流程与管理 5 步骤 如何进行测试策略呢 需要通过下面 3 个步骤来进行 确定测试需求 测试需求所确定的是测试内容 也就是测试的具体对象 评估外包项目风险并确定测试优先级 一次成功的测试需要在测试工作中正确地 权衡资源约束和风险等因素 通过系统功能风险评估确定测试工作的优先级 以便先测试 最重要 最有意义或风险最高的功能 对系统功能模块进行风险评估 主要是根据业务功 能的重要性和发生故障时造成的损失 或客户投诉的多少 来确定的 确定测试策略 一个好的测试策略应该包括测试中采用的测试类型 测试目标 测试阶段活动 测试技术 用于评估测试结果和测试是否完成的标准 以及所采用的测试 策略对测试工作存在的影响等内容 通常测试执行策略包括以下几个内容 测试执行的先后顺序 测试执行多少轮次 每个轮次如何执行 以及包含哪些测试用例 哪些功能或哪个轮次使用自动化测试 测试数据何时备份 何时恢复 执行测试用例如何分工 是交叉测试不同轮次还是确定的测试用例一直负责到结束 124 125 第 5 章 做好项目测试计划 5 2 7 项目风险 1 概述 通常我们是无法彻底测试一个系统的 且在测试的过程中 也会出现很多可能阻碍测 试进程的事件 所以在制订测试计划时 一定要分析外包项目的风险 通常我们从外包项目风险 组织风险和技术风险方面来分析风险场景 风险场景需要 划分等级和进行风险管理 测试组必须认真分析已经确定的重要功能和高风险因素 并且 在确定测试需求优先级时考虑这些因素 2 风险的来源 风险主要来自于以下几个方面 1 产品发布或上线时间紧张 在研发前期 往往已经确定了测试预算和时间表 但是当时可能没有参考测试团队的 意见 在对测试活动不了解的情况之下做出了不切实际的估算 这时项目经理就要在质量 和产品发布或系统上线时间以前与领导进行沟通 2 来自于研发活动的风险 新的设计过程 新的设计工具 以及设计技术都会增加风险 3 系统复杂度 系统的复杂程度超过了我们通过需求估计的程度 在测试执行中 系统的复杂程度带 软件测试项目实战 技术 流程与管理 来的执行时间上的消耗远远超过了我们所预期的 4 不可测试的需求或遗漏的需求 再有经验的项目经理都有可能遗漏需求 尤其是一些隐式的需求 往往在测试的过程 中 对系统实际使用情况中的场景分析不够时会造成遗漏 另外 还有一些测试需求本身 就是不可测试的 由于环境 设备 条件等各种制约存在 因而无法执行测试 5 2 8 测试约定 测试约定是在计划中实现的约定 便于整个外包项目团队达成共识 测试约定主要包括以下几个方面的内容 缺陷严重级别和优先级 在外包项目交付的最终期限内 开发团队可能无法修复 测试团队已提交的所有缺陷 所以我们必须对缺陷划分严重级别和优先级 约定缺陷修复流程 从测试人员提交缺陷到分配给开发人员修复直到最后关闭 要明确缺陷修复流程 还要明确缺陷修复周期 缺陷的负责人 谁关闭的缺陷 有争议的缺陷如何解决等 测试环境 测试设备等与系统上线或产品最终使用环境是否一致的约定 测试历史数据 如果性能测试需要历史数据 对由哪一方构造这些数据 如何分 工等要实现约定 126 127 第 5 章 做好项目测试计划 测试环境的维护 测试环境是由测试团队维护 还是由其他方维护都要实现约定 另外 测试环境中的基础软件 支撑软件等由谁来安装也要约定 被测试版本如何管理 在测试中 版本管理是一个比较大的问题 到底谁来发布 版本 版本如何标识 由哪一方部署版本等也都要实现约定 5 3 编写性能测试计划关注点 编写性能测试计划还应关注以下几点 性能测试计划包括的要素基本上与设计集成或功能测试计划要素一样 测试策略中包括交易选择或典型业务选择 模拟数据 测试数据生成方法 测试条件 测试环境 结果数据收集方法 测试类型和场景 测试约束等 执行性能测试一般采用运营生产环境或与运营生产环境类似的系统 这一点非常 重要 在外包项目实际操作过程中 由于各种条件的限制很难搭建起生产环境供测试使用 所以我们要在测试计划中明确列出测试环境配置 测试环境与生产环境的差别 因为该差 别可能会导致对性能数据采集的 影响 测试条件主要包括如何发起交易和操作 需要构造的基础数据等 测试约定包括了对在设计测试计划时就已经明确知道的无法满足的测试环境 测 软件测试项目实战 技术 流程与管理 试设备 被测试系统中的部分功能 环境由谁来部署和维护 数据库备份和恢复 策略 对系统调优时间这些条件的约定等 另外 在测试计划中一般要列出系统的网络拓扑图 在图中表示测试设备和被测试系 统设备之间的连接关系 分开编写系统功能测试计划和系统性能测试计划比集成测试计划复杂一些 系统功能 测试计划和系统性能测试计划请参看附件 5 4 系统测试计划模板 本测试计划模板是根据上面的讲解的测试中的关键要素 给出的具体的测试计划模 板 可以作为大家编写测试计划的参考依据 128 129 第 5 章 做好项目测试计划 XXX 系统外包项目 二期 测 试 计 划 V1 0 00 编 写 人 编写日期 审 核 人 审核日期 软件测试项目实战 技术 流程与管理 修订页 编号 章节名称 修订内容简述 修订日期 修订前 版本号 修订后版本 号 修订人 批准人 130 131 第 5 章 做好项目测试计划 G 1 简介导言 G 1 1 目的 编写本文档的目的在于确定现有外包项目的信息 描述外包项目测试范围 定义测试 条件和目标 测试策略和要求 分析可能的风险 提供相应的规避措施或应急对策 并策 划测试整体进度的计划和人力资源安排 XXX 系统外包项目 一期 测试的目的在于通过测试交易系统业务 功能及流程实 现的正确性 可靠性 易用性 确保系统符合业务需求规格说明书的要求 且系统性能指 标和数据库服务器管理方案满足应用 要求 G 1 2 背景 外包项目立项时间 部门等 业务背景 系统背景 如果不是一期外包项目 则说明 一期项目上线以来的情况 介绍研发公司和研发团队 测试团队等 G 1 3 范围 XXX 系统应用结构中主要包括 这里可以根据系统中的主要功能 按照子系统或大的模块功能进行说明 G 1 4 参考文档 需求规格说明书文档 软件测试项目实战 技术 流程与管理 规范文档 XXX 测试管理规范 XXX 公司测试外包项目管理规范 G 2 测试约束 遵循测试进入和结束条件 进行外包项目测试管理工作 并按启动和结束准则指导各 阶段的测试工作 G 2 1 测试进出条件 1 进入条件 测试进入的条件应满足以下要求 外包项目研发计划已确定 需求规格说明书已通过评审 测试需求范围已明确界定 2 退出条件 退出整个测试应满足以下条件 所有测试轮次执行过程均符合通过准则 合同中有约定 的要求 系统遗留的致命和严重级别缺陷数为 0 一定得到修复 其他级别的缺陷都被关 132 133 第 5 章 做好项目测试计划 闭或具有明确的处理意见 系统功能测试报告和性能测试报告通过评审 协助客户的 UAT 测试报告通过评审 且软件需求测试覆盖率达到 100 G 2 2 测试通过和失败准则 1 通过准则 通过准则描述每一轮测试通过的条件 如下所述 测试用例全部执行完毕 功能点覆盖率达到 100 测试用例执行率达到 100 但是由于各种条件制约 无法构造或无法满足测试条件的用例除外 致命和严重级别的缺陷全部修复 其他缺陷 95 以上被关闭 回归测试或执行本轮新增测试用例时不再出现问题 2 失败准则 失败准则即某轮次测试失败的条件如下 测试用例执行过程中 系统瘫痪 电脑宕机或测试环境发生故障 导致无法继续 进行 存在严重影响系统功能或性能缺陷的错误 该轮次测试失败 则遵照测试再启动准则实施 对于失败轮次的测试要记录故障原因 软件测试项目实战 技术 流程与管理 G 2 3 测试启动 结束 暂停 再启动准则 1 测试启动准则 1 集成测试启动准则 测试环境搭建完成并通过检验 外部系统接口完成接入并调试通过 集成测试用例通过评审 开发方根据外包项目组约定提交测试模块及对应的功能列表清单 并 100 完成内 部测试 冒烟测试中 90 的功能通过 2 功能测试启动准则 功能测试用例通过评审 冒烟测试中 90 的功能通过 第一轮功能测试启动 系统的所有子系统研发完成 包括数据移植脚本完成 完 成了集成测试 并通过了系统功能测试入口准则 第二轮功能测试启动 第一轮测试中发现的缺陷全部得到修复 第一轮测试结果 分析结束 系统所有模块功能全部提交 没有尚未完成的功能 第三轮功能测试启动 第二轮测试中发现的缺陷全部得到修复 第二轮测试结果 134 135 第 5 章 做好项目测试计划 分析结束 第四轮功能测试启动 第三轮测试中发现的缺陷全部得到修复 第三轮测试结果 分析结束 并事先与交易所确定了联合测试时间 集成测试第三轮完成 3 性能测试启动准则 完成了集成测试和功能测试的第一轮测试 系统主要业务功能流程正常 性能测试计划和用例通过评审 性能指标已经量化 且能采集到时间 空间和资源利用率等性能指标数据 独立于功能测试环境的性能测试环境准备完毕 4 UAT 测试启动准则 完成了系统功能测试 系统满足了需求规格说明书上的要求 系统中所有致命和严重缺陷得到了修复 其他所有未修复的缺陷都进行了相应的 处理 2 测试结束准则 1 集成测试结束准则 整个系统集成完成 能够正常工作 业务流转正常 集成测试用例全部执行完毕 致命和严重级别的缺陷 100 解决 一般缺陷 85 解决 其他级别的缺陷 80 解决 软件测试项目实战 技术 流程与管理 集成测试计划 集成测试报告通过评审 2 功能测试结束准则 功能满足业务需求规格说明书的要求 测试用例全部执行完毕 通过率为 100 在最后一个版本中 发现的缺陷不超过已提交缺陷的 5 测试中发现的缺陷全部关闭 功能测试报告通过评审 3 性能测试结束准则 根据性能测试计划执行所有测试用例完成 测试出系统基本性能参数 并分析系 统性能瓶颈 提交系统性能分析报告 性能测试分析报告通过评审 4 UAT 测试结束准则 UAT 测试用例执行完毕 客户确认系统通过 提交 UAT 测试报告 客户提交的 UAT 测试计划 UAT 测试报告通过评审 136 137 第 5 章 做好项目测试计划 3 测试暂停 再启动准则 被测系统的某些重要模块 功能中存在着致命性缺陷导致测试无法继续进行时 则可 以暂停 等待缺陷修复后再启动测试 如果某些功能具有致命性缺陷 但是不影响其他方 面的测试 则可以继续对其他非关联性内容进行测试 G 2 4 版本发布约定 在集成测试的过程中 研发团队交付的系统是一次性集成测试版本 主要是跟网银渠 道和柜面渠道的集成 与核心系统集成 以及与模拟系统之间的集成 整个集成测试 3 轮 且分两个阶段实施 第一个阶段是全部模块提交后 第二个阶段是在行内两轮功能测试后 与交易所进行集成测试 集成测试之前提交一个通过冒烟测试达到测试入口准则的版本 集成测试阶段采用随时提交缺陷并且随时修复和验证的方式 在功能测试执行过程中 共执行 4 轮功能测试 每轮一个版本 包括通过冒烟测试达 到入口准则的一个版本 尤其是第一个功能测试版本 后面每周二和周四发布两个版本 第四轮功能测试是与交易所联合测试的 同样采用周二和周四发布版本的方式 在紧急情况下或存在重大缺陷导致测试无法进行时 要临时发布更新版本 需要经过 测试项目经理或者测试组长的同意 版本发布流程 采用研发编译提交代码 质量部门做版本控制 并在质量部门的测试 环境中部署的方式 软件测试项目实战 技术 流程与管理 G 2 5 缺陷严重级别定义 缺陷平重级别表 严重程度 级别 缺陷性质 定 义 标 准 一级 致命缺陷 系统级 造成服务器操作系统 相关应用服务器宕机 整个系统网络系统瘫痪等缺陷 二级 严重缺陷 应用级 影响系统稳定性 部分网络系统瘫痪类应用级的 Bug 造成本应用系统或相关的应用子 系统宕机 三级 一般缺陷 业务级 业务处理终止或者出错 交易出错及其一致性问题 安全 容错或性能方面问题 安装 部署与组织标准不符等问题 四级 微小缺陷 操作级 易用性 界面规范性 提示错误等问题 五级 建议缺陷 文档级 安装部署手册 操作手册 在线帮助 代码冗余 可跟踪性等问题 G 2 6 缺陷优先级别定义 缺陷优先级别表 优先级别 定 义 标 准 紧急 基本业务流程缺陷 功能类错误 特别是对继续进行测试有阻碍的缺陷 一般 不影响业务流程的功能缺失 或者非功能类缺陷 如界面元素位置 提示信息等 紧急缺陷要求 1 个工作日内解决 一般缺陷要求 2 3 个工作日内解决 特别是对于导 致测试环境 或者系统不能正常使用的缺陷 需要立即解决 如果因技术或者环境原因不 能按照以上时间要求解决的缺陷 就需要挂起 G 3 测试需求 根据与客户项目经理和相关负责人的沟通 确定本次测试的主要测试范围 整个测试 138 139 第 5 章 做好项目测试计划 活动主要包括研发提交一次性系统集成的集成测试 系统功能测试和性能测试 其中包括 产品集成测试 3 轮 系统功能测试 4 轮 包括与其他系统联调测试 性能测试 3 轮 以 及协助客户进行的用户验收测试 UAT 这些测试轮次中并未包括每轮测试前检查启动 准则采用的冒烟测试等测试活动 G 3 1 物理部署图 可以直接用客户需求文档或概要设计文档中的图 G 3 2 系统逻辑构架图 可以直接用客户需求文档或概要设计文档中的图 1 产品集成需求 这里列出集成测试需要验证的接口需求 集成测试需求表 序号 系统大类 子系统 验证接口 优先级 2 系统功能业务需求 这里列出系统业务功能需求 软件测试项目实战 技术 流程与管理 功能测试业务需求表 序号 系统大类 功能模块 功能 分类 优先级 3 非功能需求表 非功能测试需求包括性能测试需求 批处理性能 备份恢复测试需求 安全性分析 日志管理等测试需求 这里列出系统性能需求 性能测试业务需求表 序号 测试需求 被验证的需求 优先级 G 4 测试策略 G 4 1 产品集成测试 1 测试描述 产品集成测试描述表 测试目标 XXX 系统各相关子系统集成成功 与外围模拟系统集成成功 XXX 系统正常工作 业务连通 技术或手段 通过冒烟测试 验证系统可进入系统集成测试 手工执行集成测试用例 验证 XXX 系统主功能完备 业务流工作正常 所计划的集成测试用例全部执行 所发现的缺陷已全部得到处理 完成标准 确定或说明那些将对随后的功能测试实施和执行造成影响的事项或因素 内部的或外部的 需要考虑的特殊事项 2 测试方法描述 根据系统集成测试需求 设计集成测试用例并执行 验证系统主要功能实现的完整性 140 141 第 5 章 做好项目测试计划 特别是涉及到穿越多个子系统的功能的连通性和系统业务数据流是否正常 例如 客户通 过柜面和网银进行资金进出 清算 委托下单 账户资金查询等 通过集成测试的实施 掌握如何核对账户数据 如何在模拟系统中做清算 XXX 系 统中的交易平台和备份平台如何做清算等 为功能测试的顺利进行做准备 3 产品集成测试策略 产品集成测试策略表 测试活动 测试策略 整体 整个系统集成测试采用所有相关子系统和各模块一次性集成模式 由于柜面渠道研发进度落后一些 将在集成测试的第一轮次后期集成到系统 整个产品集成测试分成 3 轮 前两轮在系统功能测试之前执行 最后一轮集成测试是与模拟资金系统 进行集成的 在系统功能测试第 4 轮与资金系统联合测试之前执行 时间上与第 3 轮功能测试并行 集成测试前 必须对提交的集成测试版本通过冒烟测试来检查是否满足集成测试的入口准则 如果不 满足入口准则 则打回研发团队完善系统 只有满足集成测试入口准则的评估才能进入集成测试 如果 不能通过入口准则 则会影响整体测试的进度 在集成测试阶段 使用独立的闭合的二期测试环境 包括核心系统 模拟系统 配合质量部门做好系 统交付版本的版本控制 集成测试中以接口功能测试为主 并不关注系统全部的功能 而是关注模块 子系统直接的连通性 出口准则是网银 柜面 交易平台和投资平台 核心系统一级与模拟系统能够正常交互 功能连通性达 到 90 以上 入口准则检查 冒烟测试 选择典型的集成测试用例 执行测试 确认穿越接口的功能正确 如果满足入口准则 则执行第一轮集成测试 如果不满足入口准则 则返回研发团队完善系统 在通过入口准则检查后 执行第一轮集成测试 第一轮 第二轮 第三轮 G 4 2 系统功能测试 1 测试描述 功能测试描述表 软件测试项目实战 技术 流程与管理 测试目标 确保被测试系统的功能正确 其中渠道 后台功能是否正确 前端功能包括交易委托 交易 查询 凭证 报表等功能要满足业务需求规格说明书的要求 保证新开户的个人客户 法人客户和自营客户能够进行正常的交易 且账务正确 技术或手段 利用有效的和无效的业务数据来执行各业务场景包括的测试用例 在 QC 中是测试实验室中设计 的测试执行流 以核实以下内容 在使用有效数据时得到预期的结果 在使用无效数据时 具有异常处理机制并显示相应的错误消息或警告消息 去掉研发人员在 调试代码时使用的调试信息 各黄金业务交易规则都得到了正确的应用 所设计的功能测试用例全部执行 所发现的缺陷已全部得到处理 确保业务功能全部被覆盖 完成标准 确定或说明那些将对功能测试的实施和执行造成影响的事项或因素 内部的或外部的 需要考虑的特殊事项 2 测试方法描述 根据系统功能需求 设计验证需求实现的测试用例并执行 验证功能实现的完整性和 正确性 尤其是客户资金账户 会计清算等的正确性 例如 中立仓申报 风险控制 参 数管理等 系统功能测试采用第一轮和第二轮手工执行全部测试用例的方法 第二轮时开始设计 自动化测试 录制自动化测试脚本 在第二轮功能测试中 将记录每个客户的输入 尤其 是与资金相关的输入和输出 以作为自动化测试的参数化数据 第三轮测试和最后一轮与 交易所的联调验证测试自动化测试脚本 与手工测试并行执行 3 功能测试策略 功能测试策略表 测试活动 测 试 策 略 整体 新增加功能的测试 即在测试范围 优先级 中标注为 高 的条项 涉及到交易 清算等资金变化相关的优 先级都标识为 高 相对于功能发生变更 升级功能的测试 即在测试范围 优先级 中标注为 中 的条项 整个 XXX 系统关键功能的回归测试 即在测试范围 优先级 中标注为 低 的条项 整个系统功能测试分成两个小组 手工测试和自动化测试小组 但是自动化测试小组利用空余时间准备 自动化测试 同时参与第一轮手工功能测试 根据系统交易上的特点进行分工 主要分为委托交易 交割和 中立仓 风险监控 提货 保证各个功能点的功能覆盖 整个测试工作以账务正确为重点 142 143 第 5 章 做好项目测试计划 在测试过程中 每周发布两个版本进行测试 版本控制由质量部门项目经理负责 第一轮测试必须通过冒烟测试等手段 验证交付的系统是否满足系统功能的条件 重点关注交付系统功 能本身和测试环境问题 在测试的后面轮次中采用手工测试和自动化测试相结合的方式 在进入第一轮功能测试之前 对于功能测试环境准备有两种方案 第一种方案 把模拟系统和二级系统的账户中的持仓 资金 库存等进行同步 保证数据一致 原来开 设的账户继续使用 以保证清算的二级系统账务对平 测试之前首先保证一级系统清算对平 第二种方案 在模拟系统中新开两个席位 个人和法人 测试组在研发组的协助下重新开户 这样保 证在新的席位下无历史数据 以保证清算的账务对平 测试之前首先保证一级系统清算对平 这两种方案的优缺点请参考本表后的方案对比表 整体 在功能测试环境中账户准备好后 对数据库进行备份 保证在需要时恢复数据库 入口准 则检查 对两轮集成测试发现的问题进行修复后的系统进行系统功能测试入口检查 在冒烟测试中从系统功能测 试用例中选择典型的业务场景进行测试 检查的依据是 G 2 3 中的功能测试启动准则 如果不满足启动准则 则研发团队在完善系统后 执行第一轮系统功能测试 如果满足启动准则 则直接进入系统功能测试第一轮测试 冒烟测试中发现的缺陷在第二轮测试中进行 验证 第一轮 第二轮 第三轮 第四轮 4 环境准备两种方案对比 环境准备方案对比表 第一种方案 第二种方案 优点 缺点 测试组建议 G 4 3 性能测试 1 测试描述 该外包项目的性能测试在生产模拟环境上实施 所有环境设备与上线环境设备配置一 致或接近 实际性能指标应该高于在测试环境上得到的指标 性能测试描述表 测试目标 测试系统各关键环节基本性能指标 尤其是并发交易量 响应时间等指标 分析系统性能瓶 颈 并提交性能测试报告 软件测试项目实战 技术 流程与管理 技术或手段 在生产模拟环境中 进行并发测试 获取系统响应指标 实施负载压力测试 分析系统性能瓶颈 在大数据量条件和长时间工作的条件下 对系统进行测试 评估系统稳定性 按性能测试方案完成测试 提交性能测试报告并通过评审 完成标准 测试所需的生产设备按要求及时到位 并能正常工作 需要考虑的特殊事项 2 测试方法描述 对批处理性能测试 选取批处理 利率调整等交易相关的时间点 进行批处理并记录 处理时间 系统资源占用状况 然后进行性能瓶颈分析 对系统交易性能测试 选取典型功能场景进行针对性测试 使用相应的性能测试脚本 和场景进行测试 分析响应时间的状况和性能计数器 3 性能测试策略 测试类型策略表 测试类型 测试策略 基准测试 基准测试系统在无其他负载的情况下 测试典型业务的响应时间指标 以作为响应时间的基 准进行评估 测试策略 在与运营环境相同或相近的环境上进行基准测试 用典型单业务测试脚本 在一个用户负载迭代 10 次的情况下 执行 3 遍 取均值 作为 基准性能数据进行记录 包括响应时间 吞吐量 CPU 和内存等 典型单业务包括 续表 测试类型 测试策略 单一业务压力负载测试 混合业务压力负载测试 大数据量下 混合业务压力测试 清算性能测试 大数据量下稳定性测试 144 145 第 5 章 做好项目测试计划 G 4 4 数据库服务器测试 1 测试描述 数据库服务器相关的测试包括两项 数据库服务器的主备切换测试 数据库备份与恢 复测试 数据库服务器测试描述表 测试目标 主备切换核实 主机宕机 备机接管主机的工作 继续生产运行 对数据备份和恢复测试 文件恢复的操作和结果正确 日志管理测试 技术或手段 主备切换测试 建立双机冷备测试环境 进行主机断线和恢复运行操作 检查系统的访 问和备机的切换状况 数据备份与恢复测试 根据实现方案设计场景 执行备份和恢复脚本 通过系统功能来 验证备份和恢复情况 成功地核实出主备切换按照预期的方式运行 成功地核实出数据备份与恢复按照预期的方式 运行 完成标准 测试环境具备主备数据库服务器 且提供测试外包项目组访问测试环境的权限 需要考虑的特殊事项 2 测试方法描述 对主备切换测试 在本地建立双机备份模拟环境 通过主机掉电 关机 断开跳线等 方式来模拟主机故障状况 通过系统访问和备机状态查看命令检查切换和系统运行状况 主机恢复运行后 通过命令及系统访问检查备机运行和切换状况 对数据备份和恢复测试 在本地测试环境中 在系统运行了一段时间以后进行交易操 作 使用备份文件和相应的方式恢复备份时的数据 通过系统功能和账务信息的变化来验 证数据备份和恢复状况 3 数据库测试策略 数据库测试策略表 软件测试项目实战 技术 流程与管理 测试活动 测 试 策 略 备份和恢复测试 主要测试数据库主机在意外断开的情况下 切换到的备份机是否正常运转 且对正常用户交易业务不 造成影响 测试策略 正常处理交易时 通过掉电 关机 断开网线 3 种方式断开数据库主机服务 检查这些异常是否对 系统已有数据产生破坏 在主机恢复正常后 检查上一步骤中交易客户的账务 信息等是否正常 由于数据库放在主备共用的磁盘阵列上 所以不涉及到数据库的备份 注 测试期间应有数据库备份机 如果没有备份机该测试将无法验证 G 4 5 安全性和访问控制测试 1 测试描述 安全性和访问控制测试侧重于安全性的以下两个关键方面 应用程序级别的安全性 包括对数据或业务功能的访问 系统级别的安全性 包括对系统的登录或远程访问 网络传输等 由于系统级 别的安全性属于运维制度 网络和系统管理的职能 所以不在 XXX 系统中进行 测试 安全测试描述表 测试目标 应用程序级别的安全性主要核实以下内容 核实 XXX 系统用户只能访问权限组内赋予的功能或数据 系统本身具有风险控制能力 例如 对于自营业务在系统中有无风险防范功能 黄金业务功能中的认证方式 验证有效 确定并列出各权限组的用户 核实这些用户只能访问其被授权访问的功能或数据 使用网络 协议分析软件分析系统中交互的敏感信息 技术或手段 成功地核实出各权限组的用户能够按照预期的方式运行 对敏感信息的处理满足安全要求 完成标准 需要考虑的特殊事项 由于网银渠道是集成在整个客户的系统内的 所以并不关注整个网银的安全性 而是关注黄 金系统本身的安全因素 146 147 第 5 章 做好项目测试计划 2 测试方法描述 根据系统安全性和访问控制功能的需求 设计验证安全性的测试用例并执行 例如 各角色只能处理与角色相关的操作 而不能访问到或者处理其他角色的信息和操作 结合功能测试 对用户身份验证方式进行测试 测试结果安全 有效 安全性和访问性测试 主要在系统功能测试阶段来测试 3 安全性测试策略 安全性测试策略表 测试活动 测 试 策 略 安全性和访问控 制测试 主要测试应用级别上的账户权限安全 包括登录安全 资金账户安全 测试策略 在网银端验证个人客户 法人客户登录安全后 账户安全及传输数据的安全可通过分析 网络抓包 等手段验证 通过验证客户出入金 委托交易等业务操作时的资金账务安全 客户管理端的级别账户权限安全 对内部 自营交易员 风险控制机制进行分析等 对系统中的数据安全进行分析 G 4 6 用户界面测试 1 测试描述 用户界面 UI 测试用于核实用户与软件之间交互界面的规范性 UI 测试的目标是确保 用户界面能通过测试对象的功能来为用户提供相应的访问或浏览功能 另外 UI 测试还可 确保 UI 中的对象按照预期的方式运行 并符合公司或行业的标准 界面测试描述表 测试目标 需要核实以下内容 通过测试进行的浏览可正确反映业务的功能和需求 这种浏览包括窗口与窗口之间 字 段与字段之间的浏览 以及各种访问方法 Tab 键 鼠标移动和快捷键 的使用 窗口的对象和特征 例如 菜单 大小 位置 状态和中心 都符合标准 为每个窗口创建或修改测试 以核实各个应用程序窗口和对象都可以正确地进行浏览 并 处于正常的对象状态 技术或手段 成功地核实出各个窗口都与基准版本保持一致 或符合可接受标准 完成标准 需要考虑的特殊事项 并不是所有定制或第三方对象的特征都可以访问 软件测试项目实战 技术 流程与管理 2 测试方法描述 根据系统的功能和界面要求 并结合 Windows 平台的界面规范 以及用户操作习惯 构面规范和网上金融操作规程 设计并执行测试用例 验证界面的规范性 一致性和合 理性 例如 客户信息管理页面 验证页面控件的布局 风格 访问方式等对业界标准和外 包项目规范是否符合 和系统其他同类页面相比的风格一致性 功能排列 以及 Tab 访问 次序的合理性 3 用户界面测试策略 用户界面测试策略表 测试活动 测 试 策 略 用户界面测试 主要测试网银 柜面 管理端和风险控制端的用户操作界面是否符合相应规范和操作习惯 测试策略 在测试用例执行过程中 同时渠道网银进行用户界面测试 对用户使用的柜面 管理端和风险控制端进行操作界面测试 G 4 7 易用性 1 测试描述 易用性测试描述表 测试目标 界面上的表单和控件同时支持键盘和鼠标操作 表单和控件名称应能够自我解释 有适当提示信息 无二义性 界面控件按照功能逻辑成组放置 以操作次序布局 在设计分辨率和界面大小时 让用户能够看到足够多的信息 基于有基本业务知识和计算机操作应用能力的使用者水平 为每个界面 功能 流程 以及相关 的提示信息创建测试 以测试系统的易用程度 技术 成功地核实出各界面的易用程度 或符合可接受的标准 完成标准 无 需要考虑的特殊事项 2 测试方法描述 根据金融行业用户的特点 行业标准术语和使用习惯等 设计并执行测试用例 验 证系统的易理解性 易学习性和易操作性 148 149 第 5 章 做好项目测试计划 例如 产生的报表是否易被有权用户查看和核对 用户提交信息页面的功能易用性测 试 验证控件名称和提示信息是否与空