12-测试管理(二).pptx

功能测试及工具 焦忭忭2017 3 第十一讲软件测试过程 软件测试过程概述测试计划与测试需求测试用例的开发与设计测试的执行软件测试文档测试配置管理 1 软件测试过程概述 软件测试过程中的活动及内容 软件测试过程中的关键活动包括 软件测试过程中的活动及内容 提取测试需求 软件测试过程度量 软件测试过程度量指标 软件测试过程度量指标 软件测试过程度量 在CMMI体系的测试过程中定义了四个度量指标测试覆盖率 测试覆盖率是指测试用例对需求的覆盖情况测试执行率 实际执行过程中确定已经执行的测试用例比率测试执行通过率 在实际执行的测试用例中 执行结果为 通过 的测试用例比率测试缺陷解决率 某个阶段已关闭缺陷占缺陷总数的比率 对软件测试过程质量度量应该遵循四项原则要制定明确的度量目标建立软件测试过程质量度量的指标体系 度量指标的定义应该具有一致性 客观性度量的方法应该尽可能简单 可计算度量数据的收集应该尽可能自动化 软件测试过程度量原则 软件测试过程度量 软件测试管理过程 软件测试流程图 软件测试过程主要工作内容项目启动 确定项目组长 进行项目的前期准备 测试需求分析 以软件开发需求为基础 形成可测试的内容 制定测试计划 确定测试范围 测试策略和方法 以及对风险 日程表 资源等进行分析和评估 测试设计和开发 制定测试的技术方案 设计测试用例 选择测试工具 写测试脚本等 并且进行评审 测试实施和执行 建立或设置相关的测试环境 准备测试数据 执行测试用例 并提交发现的缺陷 测试结果的审查和分析 分析测试结果 确定产品质量 提供发布依据 软件测试过程管理 软件测试过程管理的理念 尽早测试尽早测试的理念是 测试与开发是两个相互依存的并行的过程 测试活动在开发活动的前期已经开展 测试人员早期参与软件项目 及时开展测试的准备工作 包括编写测试计划 制定测试方案以及准备测试用例 尽早开始测试执行 单元测试 集成测试 系统测试 软件测试过程管理的理念 尽早测试的意义 降低成本 规避风险 软件测试过程管理的理念全面测试全过程测试独立 迭代的测试 全面测试 测试内容包括 需求 设计文档 代码 用户文档等软件开发及测试人员 有时包括用户 全面地参与到测试工作中 全面测试的意义 全方位把握软件质量 尽可能排除影响软件质量的因素 满足需求 软件测试过程管理的理念 全过程测试测试人员关注开发过程 对各种变化作出响应 测试人员要对测试的全过程进行全程的跟踪 及时调整测试策略全过程测试的意义及时应对项目变化 降低测试风险 软件测试过程管理的理念 独立的 迭代的测试 独立的 迭代的测试 着重强调了测试的就绪点 也就是说 只要测试条件成熟 测试准备活动完成 测试的执行活动就可以开展 测试过程是独立的迭代的测试测试条件成熟 测试准备活动完成 测试的执行活动就可以开展 2 测试计划与测试需求 软件测试计划 定义 软件测试计划是指导测试过程的纲领性文件 包含了产品概述 测试策略测试方法 测试区域 测试配置 测试周期 测试资源 测试交流 风险分析等内容 软件测试计划制定 11 制定测试计划的目的 2 测试计划阶段划分 2 测试计划阶段划分 测试计划的要点 测试计划的要点 测试计划的编写内容 测试环境测试基本原理和策略测试计划阶段划分测试计划要点功能描述和功能覆盖说明测试用例清单测试开始和退出准则 按照国家标准或有关行业标准编写测试计划 测试计划要提供被测软件的背景信息 测试目标 测试步骤 测试数据整理以及评估准则 测试需求 软件测试需求分析软件测试需求的收集与被测软件相关的各种文档资料与客户或系统分析员的沟通业务背景资料正式与非正式的培训其他 测试需求 测试需求分析需要考虑几个层面的因素在测试需求分析过程中 要确定测试需求的优先级别对测试需求的覆盖率 测试阶段 被测软件的特性 测试的焦点 软件测试需求分析 对于测试人员 理解需求主要有如下几个方面对需求进行理解 测试需求的特性要求 可核实的 满足需求的正常的前置条件 不满足需求时的出错条件 注 测试需求不涉及具体的测试数据 测试需求分析过程 测试需求分析过程 需求采集的过程是将软件开发需求中的那些具有可测试性的需求或特性提取出来 形成原始测试需求 需求采集的方法通过列表的形式对软件开发需求进行梳理 形成原始测试需求列表 测试需求分析过程 测试需求分析过程 测试需求分析过程 测试要点分析 质量特性分析功能性可靠性易用性 测试类型分析功能测试完整性测试容量测试安全性测试接口测试结构性测试 测试需求跟踪矩阵的设定 测试需求 测试需求的评审完整性审查准确性审查相互评审 交叉评审轮查走查小组评审审查评审人员组成开发经理 项目经理 测试经理 系统分析人员 相关开发人员和测试人员等 制定测试策略测试需求分析需要制定测试策略 测试策略描述当前测试的目标和所采用的测试方法 要使用的测试技术和工具测试完成标准 用以计划和实施测试 及通报测试结果影响资源分配的特殊考虑 确认测试方法 3 软件测试设计和开发 软件测试设计和开发 软件测试设计则是将测试需求转换成测试用例的过程 它要描述测试环境 测试执行的范围 层次和用户的使用场景以及测试输入和预期的测试输出等 测试设计与开发的主要内容制定测试的技术方案设计测试用例设计测试用例特定的集合测试开发测试环境的设计 测试用例设计的方法和管理 高质量测试用例特点 正确性完整性 涵盖功能 性能 压力等 准确性清晰 简洁可重用性可维护性 根据需求更新 增加 删除 基于测试方法 不同的测试方法 基于测试需求 单元 集成 配置项 系统 兼顾测试充分性和效率测试用例代表性测试结果的可判定性测试执行可再现性 一个测试用例对应一个功能点测试用例易读测试用例的执行粒度越小越好步骤清晰结果明确测试用例抽象并归类 测试用例设计原则 测试用例更具体的设计原则 避免冗长和复杂的测试用例 总体思路是先进行基本功能测试 再进行复杂功能测试 先进行一般用户测试 在进行特殊用户使用测试 先进行正常情况测试 再进行特殊情况测试 用测试用例文档替代产品文档 测试用例考虑单次投入成本和多次使用成本 正确性测试容错性 健壮性 测试完整 安全 性测试接口测试数据库测试边界值测试压力测试 等价划分测试错误推测效率可理解 操作 性测试可移植性测试回归测试比较测试 测试用例的覆盖内容 针对不同的测试类型和测试阶段 测试用例编写的侧重点有所不同 针对不同的测试类型和测试阶段 测试用例编写的侧重点有所不同其中1 2 6 8 9 13为模块 组件 控件 测试 组合 集成 测试 系统测试都涉及 要重点进行测试 测试用例的覆盖内容 正确性测试容错性 健壮性 测试完整 安全 性测试接口测试数据库测试边界值测试压力测试 等价划分测试错误推测效率可理解 操作 性测试可移植性测试回归测试比较测试 针对不同的测试类型和测试阶段 测试用例编写的侧重点有所不同单元 模块 测试 组件 控件 测试要重点测试5集成测试重点进行接口数据输入及逻辑测试 即4 测试用例的覆盖内容 正确性测试容错性 健壮性 测试完整 安全 性测试接口测试数据库测试边界值测试压力测试 等价划分测试错误推测效率可理解 操作 性测试可移植性测试回归测试比较测试 针对不同的测试类型和测试阶段 测试用例编写的侧重点有所不同系统测试重点测试3 7 10 11 12 14 其中压力测试和可移植性测试如果是公司的系列产品 可以选用其中有代表性的产品进行一次代表性测试即可 测试用例的覆盖内容 正确性测试容错性 健壮性 测试完整 安全 性测试接口测试数据库测试边界值测试压力测试 等价划分测试错误推测效率可理解 操作 性测试可移植性测试回归测试比较测试 针对不同的测试类型和测试阶段 测试用例编写的侧重点有所不同 测试用例的覆盖内容 在基础的功能测试用例设计完成后 其他的测试项目只编写设计与之不同部分的测试用例每个测试项目的测试用例不是一成不变的 随着测试经验的积累或在测试其他项目发现有测试不充分的测试点时 可以不断的补充完善测试项目的测试用例 测试用例主要元素 测试环境 测试输入数据 测试执行步骤 测试预期结果 测试用例要素与模板 52 测试用例编写要素 53 测试用例编写实例 page341 54 测试用例编写实例 page341 测试用例编写实例 page341 56 测试用例注意事项 功能检查 面向用户的考虑 数据处理 软件流程测试 功能是否齐全功能是否多余功能是否可以合并功能是否可以细分软件流程是否与实际业务流程一致 软件流程是否能顺利完成各个操作之间的逻辑关系是否清晰各个流程数据传递是否正确模块是否与需求分析及概要设计相符批量增删改查操作或大数据量较多的页面 是否支持全键盘或全鼠标操作 并支持通键切换 编写测试用例注意事项 功能检查 操作是否符合用户习惯 各种选项可用或禁用是否合理 某些相似操作能否成通用模块 编写测试用例注意事项 面向用户的考虑 编写测试用例注意事项 数据处理 数据输入 1 边界值2 最大个数3 最小个数4 空值5 空表6 极限值7 0值8 负数9 非法字符10 日期和时间11 跨年数据12 数据格式 数据处理 数据输出 1 正确率2 输出格式3 预期结果4 实际结果 1 处理速度2 处理能力3 数据处理正确率4 计算结果正确性5 数字精度6 汇总数据7 分项数据的累加的误差问题 编写测试用例注意事项 软件流程测试 1 反流程操作2 反逻辑操作3 重复操作4 反业务流程操作以及违反流程操作5 打乱流程操作或不按操作手册操作 测试用例设计步骤 设计测试用例的时候 需要有清晰的测试思路 对要测试什么 按照什么顺序测试 覆盖哪些需求做到心中有数 测试用例编写者不仅要掌握软件测试的技术和流程 而且要对被测软件的设计 功能规格说明 用户使用场景以及程序 模块的结构都有比较透彻的理解 测试用例更新完善 测试用例分级 重要性 1基本 2重要 3一般 4特殊 优先级 1高 2中 3低 测试用例设计的错误看法 软件测试用例设计的误区 4 软件测试执行 测试执行分类 测试用例执行的跟踪 1 可追踪信息 缺陷ID 唯一的缺陷ID 可以根据该ID追踪缺陷 2 缺陷基本信息 软件缺陷描述 3 缺陷的详细描述描述应尽可能详细4 测试环境说明对测试环境的描述5 必要的附件对于某些文字很难表达清楚的缺陷 使用图片等附件是必要的6 从统计的角度出发还可以添加上 缺陷引入阶段 缺陷修正工作量 等项目 软件缺陷描述 软件缺陷的分类 缺陷的类型10F Function 功能 20A Assignment 赋值 30I InterfaceandTiming Serialization 接口 时序 40C Checking 检查 50B Build package merge 联编打包 60D Documentation 文档 70G Algorithm 语法 80U UserInterface 用户接口 90P Performance 性能 10100N Norms 标准 软件缺陷的类型 缺陷的分类 严重程度软件测试错误的严重程度同行评审错误的严重程度Major 主要的 较大的缺陷Minor 次要的 小的缺陷 软件缺陷分类 缺陷的分类 解决优先级 软件缺陷分类 确定缺陷解决或修复的优先顺序 缺陷的分类 缺陷来源 软件缺陷分类 软件缺陷分类 缺陷的分类 缺陷根源测试策略过程 工具和方法团队 人缺乏组织和通信硬件 软件 工作环境等 报告缺陷的基本原则尽快报告缺陷有效描述缺陷短小 只解释事实和演示 描述缺陷必需的细节单一 每一个报告中针对一个缺陷步骤清晰 要清楚地描述出缺陷的发生场景 包括前置条件和操作的详细步骤使用IT业界惯用的表达术语和表达方式明确指明错误类型报告缺陷时不做任何评价确保缺陷可以重现 第一PPT PPT模板PPT素材免费下载 Correct 准确 Consistent 一致 Complete 完整 Concise 简洁 Clear 清晰 每个组成部分的描述准确 不会引起误解 每个组成部分的描述清晰 易于理解 只包含必不可少的信息 不包括任何多余的内容 包含复现该缺陷的完整步骤和其他本质信息 1 2 3 4 5 按照一致的格式书写全部缺陷报告 为书写更好的缺陷报告 需要遵守 5C 准则 缺陷报告的读者对象直接读者是软件开发人员和质量管理人员 来自市场和技术支持等部门的人也可能需要查看缺陷情况读者最希望获得的信息包括 易于搜索软件缺陷报告中的缺陷报告的软件缺陷进行了必要的隔离 报告的缺陷信息更具体 准确软件开发人员希望获得缺陷的本质特征和复现步骤市场和技术支持等部门希望获得缺陷类型分布以及对市场和用户的影响程度 衡量优秀的bugreport的质量指标对管理层来说 是清晰明了的 特别是在概要这一级对于开发部门是有用的 主要是给出能够让开发人员高效地调试问题的相关信息可以很快的将bug从 Opened 状态转变成 Closed 状态 减少为得到更多的信息从开发人员打回的差的bugreport并导致测试人员返工的时间 缺陷报告撰写标准 1 标题 Itcrashed Sawanerror Bug2 平台 Windows3 缺陷描述 1 摘要 Therewasanerror butIclickeditawayanddidnotreadit 2 重现步骤 Itriedtoprint butitdidnotwork3 期望结果 Iexpectedittowork4 实际结果 Itdidnotwork5 附件 没有 1 标题 Error5C79whenprintingfromKifu Kifuhonorsreportisblank 2 平台 Windows7 InternetExplorer93 缺陷描述 1 摘要 Error403 Accessdenied 2 重现步骤 step1 Fromthe HonorsReport screen clickonthe Print button 3 期望结果 IexpectedtoseeaPDFoftheHonorsReport4 实际结果 IreceivedablankPDFfile or Error403 Accessdenied 5 附件 error jpg VS 好的缺陷描述与坏的缺陷描述 缺陷生命周期 初始化New 待修正Open 修正Fixed 关闭Closed 测试人员 开发人员 再修正Reopen 拒绝Reject 项目经理 评审委员会 待修正Open 待修正Open 关闭Closed 缺陷跟踪管理是测试工作的一个重要部分测试的目的是为了尽早发现软件系统中的缺陷对缺陷进行跟踪管理 确保每个被发现的缺陷都能够及时得到处理是测试工作的一项重要内容缺陷跟踪管理的目标确保每个被发现的缺陷都能够被解决收集缺陷数据并根据缺陷趋势曲线识别测试过程的阶段收集缺陷数据并进行数据分析 作为组织的过程财富 软件缺陷管理 收集缺陷必须首先收集缺陷数据 然后才能了解这些缺陷 并且找出如何预防它们 同时也能领会到如何更好地发现 修复甚至预防仍在引入的缺陷可以按照以下步骤收集关于缺陷的数据为测试和同行评审中发现的每一个缺陷做一个记录对每个缺陷要记录足够详细的信息 以便以后能更好地了解这个缺陷分析这些数据以找出哪些缺陷类型引起大部分的问题设计出发现和修复这些缺陷的方法 缺陷排除 软件缺陷管理 缺陷管理基本流程 软件缺陷分类 初始化 测试人员提交 New 项目经理分配 Open 开发人员修正 Fixed 测试人员验证 Closed 缺陷管理流程中的各种角色 软件缺陷管理 缺陷管理流程 缺陷所处的状态初始化 缺陷的初始状态待分配 缺陷等待分配给相关开发人员处理待修正 缺陷等待开发人员修正待验证 开发人员已完成修正 等待测试人员验证待评审 开发人员拒绝修改缺陷 需要评审委员会评审关闭 缺陷已被处理完成 软件缺陷流程管理的要点为了保证错误的正确性 需要 有丰富测试经验的测试人员验证和确认发现的错误是否是真正的错误测试步骤是否准确 简洁 可以重复软件错误的确认并不总是轻而易举的事情由于对软件设计具体要求的不了解 对测试报告的个别软件错误 可能无法确认是否属于真正的软件错误 本地化服务商需要与软件供应商交流并确认每次对错误的处理都要保留处理信息包括处理者姓名 时间 处理方法 处理步骤 错误状态 处理注释等对错误的拒绝不能由程序员单方面决定应该由项目经理 测试经理和设计经理共同决定对错误延期处理不能由本地户服务商决定应该由软件供应商决定错误修复后必须由报告错误的测试人员验证后 确认已修复 才能关闭 软件缺陷管理 在软件开发过程中对缺陷度量与分析对于提高软件开发和测试效率预防缺陷发生 保证软件产品质量有着十分重要的作用软件缺陷度量缺陷度量是对项目过程中产生的缺陷数据进行采集和量化 将分散的缺陷数据统一管理 使其有序而清晰缺陷度量是软件质量度量的重要组成部分 它和软件测试密切相关软件缺陷度量方法较多 从简单的缺陷计数到严格的统计建模 软件缺陷度量 软件缺陷度量 软件缺陷度量的主要方法有 缺陷密度 缺陷在规模上的分布 缺陷密度 已知缺陷的数量 产品规模缺陷率 缺陷在时间上的分布 缺陷率 一定时间范围内的缺陷数 错误几率缺陷清除率整体缺陷清除率 开发过程中发现的所有缺陷数 发现的总缺陷数阶段性缺陷清除率 开发阶段清除的缺陷数 产品潜伏的缺陷总数缺陷趋势通常用缺陷趋势图来表示缺陷发现率 软件缺陷分析将软件开发各个阶段产生的缺陷信息进行分类和汇总统计 计算分析指标 编写分析报告的活动用来评估当前软件的可靠性 并且预测软件产品可靠性变化 缺陷分析在软件可靠性评估中占有相当大的作用 软件缺陷分析 软件缺陷分析 软件缺陷分析步骤 软件缺陷统计是软件分析报告中的重要内容之一从统计的角度出发 可以对软件过程的缺陷进行度量软件功能模