(高清版)GBT 41905-2022 软件与系统工程 软件测试工具能力

软件与系统工程软件测试工具能力I Ⅲ 1 1 14软件测试工具的对象模型 2 6 7 9附录A(资料性)能力与测试过程的映射关系 附录B(资料性)本文件方法论概述 附录C(规范性)测试工具能力的技术要求 25 ⅢV1软件与系统工程软件测试工具能力GB/T25000.10—2016系统与软件工程系统与软件质量要求和评价(SQuaRE)第10部分：GB/T38634.2—2020系统与软件工程软件测试第2部分：测试过程(ISO/IEC/IEEE29119-23<<输入55《<输个测试对象包括软件开发中的源代码和可执行代码。测试对象具有层次结测试对象测试对象测试对象版本测试对象动态测试执行实体是用来确定一次动态测试执行所使用的必要实体。这个包里标识了测试数据、4测试数据仓库测试数据仓库测试数据集规格说明技术测试数据1..*测试对象版本1目标环境1测试结果动态测试执行的输入测试用例目标511测试计划测试计划质量记录报告验证与确认报告测试状态报告静态代码分析执行：动态测试执行：测试资产测量67依据GB/T25000.10—2016中定义的软件质量，作为软件测试目标最重要的特性，相关内容●功能完备性，●功能正确性●成熟性，●可用性，●易恢复性●可辨识性，●易学性●易操作性，●用户差错防御性●用户界面舒适性，●易访问性●易用性的依从性。8●时间特性，●资源利用性，●容量，●性能效率的依从性。●模块化，●可重用性，●易分析性，●易修改性，●易测试性，●维护性的依从性。●适应性，●易替换性，●可移植性的依从性。●共存性，●互操作性，●保密性，●完整性，●抗抵赖性，●可核查性，9b)中级单元除了质量特性和粒度，其他方面的特性也可影响测试范围。其他方面的特性包括但不限于完整性本章描述软件测试工具的能力，每个能力都与第5章定义的类别和第6章定义的特性进行映射。软件测试工具能力与测试过程之间的映射关系见附录A,本文件采用的方法论见附录B。b)基于风险的优先级排序●功能性，●信息安全性。a)测试执行控制和自动化测试执行e)调试●功能性；●性能效率。●功能性，●性能效率，●兼容性。●可靠性，●性能效率。●功能性，●性能效率，●信息安全性。●中级单元，●最大单元。●功能性，●性能效率●信息安全性。●中级单元，●最大单元。●功能性，●性能效率。●中级单元，●最大单元。●中级单元，●最大单元。能力计划资产与确告性性易用性性信息性最小中级基于风险的测试执行控制和自动化测试执行关键字驱动测试用例监测测试数据准备和品表1能力与特性总述(续)能力计划资产与确告性性易用性性信息性最小中级●自动化环境设置基于代码的信息测试监测“●”表示测试工具能力支持对应的分类和特性。(资料性)A.1概述本附录描述了从软件测试工具能力至GB/T38634.2—2020中测试过程的映射。对于在GB/T38634.2—2020中定义的过程中所有活动的名称，本附录中均使用其缩写。这些活动名称的缩写如表A.1所示。活动名称活动名缩写理解上下文编写测试计划获得一致性测试计划沟通并提供测试计划监测控制识别经验教训总结测试完成情况导出测试条件导出测试覆盖项导出测试用例表A.1过程与活动的名称缩写对应表(续)活动名称活动名缩写比较测试结果分析测试结果能力 XXX 关键字驱动测试用例一 监测 一 — 能力自动化环境设置 XXXX 测试监测 能力XX -关键字驱动测试用例 监测X一XX 能力一 自动化环境设置 -一 测试监测能力XXXXXXXX关键字驱动测试用例XXX能力一监测 XXX XXXX自动化环境设置 XX XX 一 测试监测能力XX关键字驱动测试用例一XXX监测XXX XX一XX 自动化环境设置一XXXX 一测试监测OOO的相关术语第4章和第5章中定义了软件测试工具对象模型分类，考虑了两个方面的特性，一方面是软件质量特性软件质量特性粒度测试设计对象模型对象模型框架特性类型特性能力集能力7.2.1动态测特征、质量属性或标识),并记录在测试规格说明中；b)应能导出测试覆盖项，例如按照测试计划要求导出需要执行的测试覆盖项；c)应能导出测试用例，例如按照测试计划要求导需要执行的测试用例；d)应能汇集测试集，将测试用例根据执行的约束分配到一个或多个测试集中；性，对测试集内的测试用例进行排序；f)可支持测试设计中需求覆盖率测量；基于风险的行适当的分类；b)应能根据识别的风险，辅助设计基于风险的测试策略；c)应能辅助确定测试人员的角色和工作安排；d)应能对测试过程中的风险进行监视；7.2.2动态测测试执行a)应能按照测试规程对测试用例执行过程进行控制；b)应能按照测试规程自动执行测试用例；c)宜支持并行或串行执行策略，可支持高并发调度执行；d)宜根据配置文件自动选择对应的测试环境执行测试用例；a)应能对测试过程数据(如测试输入、测表C.1动态测试执行工具能力的技术要求(续)能力7.2.2动态测关键字驱动测试用例a)应支持关键字的自动捕获或手工录入；b)应支持包含简单关键字和复合关键字的测试用例的编写；c)应支持单层或多层的关键字驱动测试用例的编写；d)宜支持组合关键字测试用例的编写；测试用例测试对比所有比较结果，并对比较结果为不通过的情况进行提示；应能根据测试输入，以设置断点或单步调试等方赋值的指针检测、检查点的计算、内存分配、内存泄漏检测等)监测a)应能持续收集并记录测试测度和结果；a)应能在测试执行过程中记录和展示相应代码覆盖率结果；b)应能区分展示测试已覆盖代码和未覆盖代码；c)宜能将覆盖结果以规定格式导出至测试报告；d)可提供多种代码覆盖率的选择，例如，语句覆盖、判定覆盖、条件覆盖；(如，渗透测试、SQL注入等)a)应支持发送接口请求，返回对应的响应结果；b)宜支持接口测试的断言能力；c)宜支持组合接口场景编排，以及前后接口上下文动态变量传递的能力；d)宜支持前置步骤(数据预制)、测试步骤(被测对象动化执行能力；e)接口入参宜具备传递全局和局部变量能力；备和测试数a)应支持创建、生成、编辑规定要求数据类型；b)应支持从多种数据中选择特定的数据；c)应支持数据的增、删、改、查；d)应支持结构化或非结构化数据存储的能力；e)宜具备数据备份的能力；f)宜支持生产/真实环境下的数据导入或者复制能力；g)宜支持数据类型分类存储和查找的能力能力压力测试和负载测试a)应具备在达到或超出指定工作负载限制的情况下评估系统的能力；性达到峰值),并用于可靠性分析验证；的能力；d)宜具备脚本编辑，实现自动化压力测试和负载测试的能力数据验证和备数据加密验证和访问权限控制的能力；b)应具备对数据总量进行验证的能力；c)应具备对数据质量进行验证的能力(至少包括数的能力);证的能力(可包括逻辑耦合、数值耦合)a)应具备确定数据库的有效性和正确性的数据库加密验证和访问权限控制的能力；b)应具备数据库中字符码检查的能力；c)应具备监测数据库连接状态的功能；d)应具备通过脚本文件等方式实现数据集之间兼容性检查的功能；e)应具备编写数据验证规则和验证文本的能力7.2.4测试a)仿真器和模拟器在接收与被仿真或模拟与被仿真或模拟的对象相同的输出的能力；b)仿真器应实现被仿真对象系统的真实状呈现出的现象和内部自处理过程；c)仿真器应具备仿真时间系统，通过定时器组件为虚拟外围提供时序；d)模拟器应实现被模拟对象系统对外呈现出的状态变化和过程变化；e)仿真器和模拟器中的所有功能组件宜相互独立存在，支持配置构建；f)仿真器内核宜采取指令集仿真的形式实现；g)仿真器内核宜实现直接执行原有程序目标码的功能；(Input/Output,输入/输出)访问延迟；件、环境、条件的状态；j)仿真时间系统时序流动时间速度可等比例控制，实现加速或减速变化；k)仿真器可记录一定条数的执行指令，包括位置、指令、周期等信息；1)模拟器内核可采取模型搭建的形式实现；m)外围环境仿真或模拟可对相关联的其他部件或分系统进行完全表C.1动态测试执行工具能力的技术要求(续)能力7.2.4测试a)应具备针对代码最小函数单元开展动态测试的能力；b)应提供桩函数(模拟函数)替代被调用函数的能力；c)应提供被测函数运行时测试驱动的能力；d)应支持测试用例中函数单元参数、变量等输入和输出数值的更改；e)单元测试框架应支持调用外部多种编译器的接口；f)应支持至少一种语言(如C/C++、C#、Java、Python)的编译和执行；g)应支持桩和驱动函数的创建；h)宜支持代码中的地址重映射，防止源代码中的直接地址访问异常自动化环境a)应具备自动安装部署软件环境的能力；b)应具备自动化加载测试数据的能力；c)应具备测试用例脚本化编写的能力；d)应具备测试用例和测试数据分离的能力；e)应具备测试数据批量自动化读取并加载到对应测试用例中的能力；f)应具备自动化测试过程监测的能力；g)应支持测试用例的保存和自动化回归测试部署；h)宜提供第三方工具的接口(例如性能测试、安全性测试等工具的接入调用);i)宜支持测试用例执行过程的回溯；j)可支持代码级别的插桩和编译a)应具备管理测试需要的硬件和软件配置信息的能力；化环境等)的状态配置能力；态的能力；d)宜具备对不同的仿真器、模拟器、单元测试框架、自动化环境的兼容能力；e)宜具备运行环境整体打包在同版本操作系统下进行移植的能力；化环境等)的状态配置能力；g)可具备运行环境整理打包在不同版本操作系统下进行移植的能力；h)可将测试运行环境相关状态记录在日志文件中；i)可将测试运行环境相关状态实时显示在界面中代码分析工具能力的技术要求见表C.2。表C.2代码分析工具能力的技术要求能力b)宜支持软件结构的可视化分析；c)宜支持源码差异比对；d)宜支持代码审查的覆盖管理；e)可支持代码协同审查与评审a)应在不运行软件产品的情况下，支持源代码分析；b)应提供问题的缺陷和定位；c)应与至少一种编译器兼容；d)应支持编码规则集定制；e)应支持源码数据流分析、控制流分析、接口分析、表达式分析和风格问题分析；f)应支持源码质量度量分析，例如圈复杂度、扇入扇出、代码规模、注释率等；g)宜支持编码规范标准或者自定制编码规则；注：相关标准包括但不限于MISRA-C、MISRA-C+十、RTCADOTOSAR、ISO26262、IEC61508等。h)宜支持源码特征分析，如语法和语义特征、开源代码对比等；i)宜支持代码分析覆盖管理；j)宜提供代码分析批处理；息安全测试a)应识别源码的安全漏洞。如缓冲区溢出、资源泄漏、资源申重释放/关闭、未初始化变量；注：若存在数据库操作，识别源码中存在的结构化查询语言(StructuLanguage,SQL)注入风险。b)应识别源码的不安全应用程序接口调用；c)应至少支持一种代码信息安全相关标准或规范；示例：CWE、GB/T39412-2020《信息安全技术代码安全审计规范d)宜识别源码死锁、数据竞争；e)宜识别源码不可达代码测试管理工具能力的技术要求见表C.3。表C.3测试管理工具能力的技术要求能力7.4.1测试计划a)应包括对测试计划、监测和控制的支持能力，如测试件管理录，进度跟踪和测试报告；测试用例和相关参与人员，并对其进行分析，保证测试计划的可行性；c)应建立测试计划所需的各类事项信息，宜通过历史的分析，完成整个计划的可行性方案；d)应为项目实施建立一个组织模型，并定义测试项目中每个角色的责任和工作e)应确定测试所需要的时间和资源，以保证其可获得性、有效性；f)应确立每个测试过程及子过程的目标和测试完成准则；g)应创建测试回归覆盖，通过关联数据支撑分析将变更影响所需要回归的测试用例关联到本次测试计划中；h)应支持测试计划的生成；i)宜借助统计图表等形式进行测试计划分析，消除可能存在的风险，降低由不可能7.4.2测试资产a)应有能力建立对测试资产，如测试数据、检查清单和被测对象的维护的能力；b)在回归测试中，应具备对测试资产进行重用的能力；c)应建立测试用例、测试脚本等资产的版本管理；d)应建立测试计划与测试用例以及测试人员、测试项目、测试缺陷等的信息数据与对应关系；e)应建立测试过程中用例与测试数据的追溯关系录报告a)应支持事件记录和状态跟踪的能力，用于识别测试不通过、常或意外事件，或复测通过的情况；b)应支持事件的确认、创建、确定、更新和报告；c)宜记录测试过程中事件的错误日志、图片、视频等，并可还原事件发生场景与d)宜获取测试过程中事件最后运行的测试数据轨迹；e)可对测试过程中事件用例与同类用例之间的差异分析，定位事件原因；f)可对测试过程中事件所影响的其他测试范围分析，比如测试用例分组、影响范围、错误执行等陷跟踪、错误a)应具备执行记录、分类、识别和处理缺陷的能力；b)应具备记录缺陷与用例、缺陷与测试计划和缺陷与需求关联关系的能力；c)应具备测试过程中发现的缺陷进行修复、复测、关闭缺陷，归档管理能力；档等能力b)应记录测试执行使用的时间和资源，并与计划进行比对分析；c)应支持回归测试用例的复用和记录；d)宜借助统计图表等形式给出记录和分析结果能力成报告a)应支持项目执行期间经验教训的总结和成果记录；b)应支持测试完成报告的生成；c)宜支持测试资产的确定、识别、存档和重用7.4.5验证和确认报告支撑验证和确认报告的关联数据版本的基础；c)宜具备测试迭代过程中，对版本累计的覆盖进行分析的能力；d)可具备测试覆盖率分析的能力a)应包括提供综合测试评估结果的准备能力；c)应支持测试计划和测试执行结果的分析和对比；Interface,APD方式进行查询和调用态报告测试监测a)应支持测试测度的收集和记录；b)应使用收集的测试测度监测测试计划的进度情况；c)应支持当前测试状态与测试计划的对比分析，记录阻碍测试进度的因素；d)应支持变更所带来风险及风险缓解的记录；e)应支持测试状态报告的生成；f)可支持数据的实时发送