版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、GB/T 15532-200X计算机软件测试规范简介,报告人:冯 惠,中国电子技术标准化研究所 信息技术研究中心技术总监,第2页,目次 1 综述 2 相关概念 3 总则 4 测试类别说明 5 关于附录 6 标准实施中的有关事项 7 小结,第3页,1 综述 1.1 修订背景和目的 GB/T 15532-1995计算机软件单元测试是参照IEEE std1008-1987制定的,远不能满足当前发展需求 GB/T 16260-2006系列标准给出了测试方向 修订GB/T 15532-1995是适时可行的 目的是为测试机构和重要的测试类别提供指导,第4页,1.2 GB/T 15532新版的内容结构 1
2、范围 2 规范性引用文件 3 术语和定义 4 总则 5 单元测试 6 集成测试 7 配置项测试 8 系统测试 9 验收测试 10 回归测试 附录A 测试方法 附录B 软件可靠性推荐模型 附录C 软件测试常用模板 附录D 软件测试内容的对应关系,第5页,1.3 新版标准的主要内容 本标准规定了每种测试类别具体的测试对象、目的、组织、管理、技术要求、内容、环境、方法、准入条件、准出条件、测试过程、文档等内容要求。并给出了每一类别的软件测试、软件回归测试的完整测试方案。,第6页,1.4 使用方法 第4章总则描述本规范的总体概貌和共性要求,第5至10章分别对单元测试、集成测试、配置项测试、系统测试和回
3、归测试进行描述。所以在了解第4章的基础上,根据选定的测试类别精读第5至10章中有关的内容,就能开展测试工作。,第7页,1.5 与其它标准的关系 GB/T8566信息技术 软件生存周期过程 GB/T16260 软件工程 产品质量 GB/T9386 计算机软件测试文档编制规范,第8页,1.6 主要解决的问题 a)依据GB /T8566定义的软件生存周期,本标准明确了测试类别的划分,规范了每种测试类别的测试过程控制以及每个节点的评审要求,解决了软件测试中的管理问题。 b)依据GB/16260 软件质量度量的定义,明确软件测试的内容以软件质量特性的分类方法,对具体的软件项目选定需测试的内容要求。解决了
4、测试内容如何保证全面、完整的问题,并统一了测试内容叫法上的混乱。另外也便于进行软件产品评价(即便于同GB /T16260软件质量度量和GB /T14598-2002软件产品评价的协调执行)。 c)推荐成熟且典型的测试方法,便于测试人员提高测试效率、保证测试质量。 d)明确了软件测试文档要求,便于同行审查与交流。,第9页,2 相关概念 2.1 软件测试定义 GB 11457的定义: 由人工或自动方法来执行或评价系统或系统部件的过程,以验证它是否满足规定的需求;或识别出期望的结果和实际结果之间有无差别。,第10页,1.2 软件测试目标 发现被测程序中的错误 发现测试方案或测试软件中的错误 发现至今
5、尚未发现的程序中的错误,第11页,2.2 测试原则 及早测试 不急于修改 被测版本确定 阶段性 独立性 对测试计划测试说明的遵循 测试终止 客观公正 测试是开发的一部分 重点测试,第12页,2.3 测试对象 软件测试对象是针对全部的软件产品 (包括源代码和文档),第13页,2.4 软件质量与测试 软件质量是站在不同的观点和立场对软件进行的评价(现在包括过程,也是动态的) 软件测试是为了发现并排除软件中存在的错误 软件测试是保证软件质量的重要手段 但软件测试不是保证软件质量的唯一手段 交出软件产品必须经过软件测试 理论上经过充分测试的软件是高质量的软件,但现实充分的测试是做不到的 或者说经过软件
6、测试的软件软件没有错误,第14页,2.5 测试技术和方法,第15页,第16页,静态测试与动态测试的区别,第17页,白盒测试,第18页,第19页,第20页,黑盒测试,第21页,第22页,第23页,集成测试,第24页,当发现软件存在缺陷后,首先要把错误定位,其次提出修改方案,经审定后进行正式修改。然后将原有的测试用例重新测试,并验证测试结果。这就是回归测试。请注意,不能简单地只执行发现缺陷的测试用例(需进行影响域分析),有时在修改程序时,会造成软件在其它处的缺陷。由此也可以看出,测试用例必须妥善保存。,回归测试,第25页,是以用户为主的测试。 对于商品化软件的测试,一般分测试和测试。测试是软件企业
7、在商品发布前的综合测试,测试是投入市场前提供给某些用户进行试用的测试。,验收测试,第26页,2.6 软件错误的分级 第1级错误。有下列行为之一的软件问题:妨碍由基线要求所规定的运行或任务的主要功能的完成;妨碍操作员完成运行或任务的主要功能;危及人员安全。 第2级错误。有下列行为之一的软件问题:给由基线要求所规定的运行或任务的主要功能的完成造成不利的影响,以致降低效能,且没有变通的解决办法;给操作员完成由基线要求所规定的运行或任务的主要功能造成不利的影响,以致降低效能,且没有变通的解决办法。,第27页,第3级错误。有下列行为之一的软件问题:给由基线要求所规定的运行或任务的主要功能的完成造成不利的
8、影响,以致降低效能,但已知有变通的解决办法;给操作员完成由基线要求所规定的运行或任务的主要功能造成不利的影响,以致降低效能,但已知有变通的解决办法。 第4级错误。这种软件问题给操作员带来不方便或麻烦,但不影响所要求的运行或任务的主要功能。 第5级错误。所有的其他错误。,第28页,2.7 软件错误的分类 程序问题。软件不按照保障文档运行,但文档是正确的。指程序编制过程中引入的错误。 文档问题。软件不按照保障文档运行,但程序运行是正确的。指文档编写过程中引入的错误。 设计问题。软件不按照保障文档运行,但存在着设计缺陷。指软件设计过程中引入的错误。 其它问题。指不属于上述三种类型的错误。,第29页,
9、3 总则 GB/T 15532新版标准从软件测试目的、测试类别、测试过程、测试方法、测试用例、测试管理、测试文档、测试工具、软件完整性级别与测试的关系等方面给出基本的要求和说明。,第30页,3.1 测试类别结构 GB/T 15532新版标准给出的测试类别有: 单元测试 集成测试 配置项测试 系统测试 验收测试 回归测试,第31页,3.2 测试类别的描述结构如下 测试对象和目的 测试的组织和管理 技术要求 测试内容 测试环境 测试方法 测试过程 文档要求,第32页,3.3 测试种类 1)功能测试;7)可靠性测试; 2)性能测试;8)安全性测试; 3)边界测试;9)安装性测试; 4)余量测试;10
10、)恢复性测试; 5)接口测试;11)功能多余物测试。 6)强度测试;,第33页,3.4 测试种类的选择 并非在每个测试类别上都要完成上述所有的测试种类,也不是对任何软件都要完成上述所有的测试。究竟必须执行哪些测试,应根据软件的复杂性、关键等级和当前的测试类别选定。例如在X工程中,对此规定如下: 单元测试阶段至少完成:功能测试、边界测试。 部件集成和测试阶段至少完成: 功能测试、性能测试、余量测试、边界测试和接口测试。 软件配置项测试阶段至少完成: 功能测试、性能测试、余量测试、边界测试和接口测试。 对于安全关键等级为A、B级的软件还必须完成:强度测试、可靠性测试、安全测试和功能多余物测试 。,
11、第34页,3.5 测试过程,第35页,测试策划 (主要进行测试需求分析) 确定需要测试的内容或质量特性; 确定测试的充分性要求; 提出测试的基本方法; 确定测试的资源和技术需求; 制定测试资源计划和测试进度计划。,第36页,测试设计与实现 分析测试用例集的层次结构,选取和设计测试用例;获取并验证测试数据;根据测试资源、风险等约束条件,确定测试用例执行顺序;获取测试资源,开发测试软件;建立并校准测试环境;进行测试就绪审查,主要审查测试计划的合理性和测试用例的正确性、有效性和覆盖充分性,审查测试组织、环境和设备工具是否齐备并符合要求。在进入下一阶段工作之前,应通过测试就绪评审。,第37页,测试执行
12、 执行测试用例,获取测试结果; 分析并判定测试结果; 同时,根据不同的判定结果采取相应的措施;对测试过程的正常或异常终止情况进行核对,并根据核对结果,对未达到测试终止条件的测试用例,决定是停止测试,还是需要修改或补充测试用例集,并进一步测试。,第38页,测试总结 评估测试效果和被测软件项,描述测试状态。如,实际测试与测试计划和测试说明的差异、测试充分性分析、未能解决的测试事件等;描述被测软件项的状态,如,被测软件与需求的差异,发现的软件错误等;最后,完成软件测试报告,并通过测试评审。,第39页,3.6 测试管理 软件测试应由相对独立的人员进行。根据软件项目的规模等级和完整性级别以及测试类别,软
13、件测试可由不同机构组织实施。 应对测试过程中的测试活动和测试资源进行管理。有关管理要求见GB/T 8566。,第40页,准入准出条件 准入条件 开始软件测试工作一般应具备下列条件: 具有测试合同(或项目计划); 具有软件测试所需的各种文档; 所提交的被测软件受控; 软件源代码正确通过编译或汇编。,第41页,准出条件 结束软件测试工作一般应达到下列要求: 已按要求完成了合同(或项目计划)所规定的软件测试任务; 实际测试过程遵循了原定的软件测试计划和软件测试说明; 客观、详细地记录了软件测试过程和软件测试中发现的所有问题; 软件测试文档齐全、符合规范; 软件测试的全过程自始至终在控制下进行; 软件
14、测试中的问题或异常有合理解释或正确有效的处理; 软件测试工作通过了测试评审; 全部测试软件、被测软件、测试支持软件和评审结果已纳入配置管理,第42页,3.7 测试用例设计 1.设计测试用例的原则 a)基于测试需求的原则。应按照测试级别的不同要求,设计测试用例。如,单元测试依据详细设计说明,部件测试依据概要设计说明,配置项测试依据软件需求规格说明,系统测试依据用户需求(系统/子系统设计说明、软件开发任务书等)。 b)基于测试方法的原则。应明确所采用的测试用例设计方法。为达到不同的测试充分性要求,应采用相应的测试方法,如等价类划分、边界值分析、猜错法、因果图等方法。 c)兼顾测试充分性和效率的原则
15、。测试用例集应兼顾测试的充分性和测试的效率;每个测试用例的内容也应完整,具有可操作性。 d)测试执行的可重复性原则。应保证测试用例执行的可重复性。,第43页,测试用例的好与差有四个特性衡量: 有效性:能否发现软件缺陷或至少可能发现软 件缺陷; 可仿效性:可仿效的测试用例可以测试多项内 容,从而减少测试用例数量; 经济性:测试用例的执行分析和排错是否经济; 修改性:每次软件修改后对测试用例的维护成 本。 以上四个特性之间会有影响,如高仿效性有可能导致经济性和修改性较低。因此,通常情况下,应对上述四个特性进行一定的权衡折衷。,第44页,2.设计测试用例的要素 每个测试用例应包括以下要素: a)用例
16、名称和用例标识。每个测试用例应有唯一的名称和标识。 b)测试追踪。说明测试所依据的内容来源,如系统测试依据的是用户需求,配置项测试依据的是软件需求,部件测试和单元测试依据的软件设计。 c)用例说明。简要描述测试的对象、目的和所采用的测试方法。,第45页,d)用例的初始化。应考虑下述初始化要求: 1)硬件配置。被测系统的硬件配置情况, 包括硬件 条件或电气状态; 2)软件配置。被测系统的软件配置情况,包括测试的初始条件; 3)测试配置。测试系统的配置情况,如用于测试的模拟系统和测试工具等的配置情况; 4)参数设置。测试开始前的设置,如标志、第一断点、指针、控制参数和初始化数据等的设置; 5) 其
17、它对于测试用例的特殊说明。,第46页,e)操作过程。实施测试用例的执行步骤。把测试的操作过程定义为一系列按照执行顺序排列的相对独立的步骤,对于每个操作应提供: 1)每一步所需的测试操作动作、测试程序的输入、设备操作等; 2)每一步期望的测试结果; 3)每一步的评估标准; 4)程序终止伴随的动作或出错指示; 5)获取和分析实际测试结果的过程。,第47页,f)输入及操作说明。在测试用例执行中发送给被测对象的所有测试命令、数据和信号等。对于每个测试用例应提供如下内容: 1) 每个测试输入的具体内容(如确定的数值、状态或信号等)及其性质(如有效值、无效值、边界值等); 2) 测试输入的来源(例如,测试
18、程序产生、磁盘文件、通过网络接收、人工键盘输入等),以及选择输入所使用的方法(例如,等价类划分、边界值分析、错误推测、因果图、功能图方法等); 3) 测试输入是真实的还是模拟的; 4) 测试输入的时间顺序或事件顺序。,第48页,g)期望测试结果。 说明测试用例执行中由被测软件所产生期望的测试结果,即经过验证,认为正确的结果。必要时,应提供中间的期望结果。期望的测试结果应该有具体内容,如确定的数值、状态或信号等,不应是不确切的概念或笼统的描述。,第49页,h)评估标准。 判断测试用例执行中产生的中间和最后结果是否正确的标准。对于每个测试结果,应根据不同情况提供如下信息: 1) 实际测试结果所需的
19、精度; 2) 实际测试结果与期望结果之间的差异允许的上 限、下限; 3) 时间的最大和最小间隔,或事件数目的最大和最小值; 4) 实际测试结果不确定时,再测试的条件; 5) 与产生测试结果有关的出错处理; 6) 上面没有提及的其它标准。,第50页,i)前提和约束。在测试用例说明中施加的所有前提条件和约束条件,如果有特别限制、参数偏差或异常处理,应该标识出来,并要说明它们对测试用例的影响。 j)过程终止条件。说明测试正常终止和异常终止的条件。 k)结果评估标准。指本测试用例的执行结果是否为通过的评估标准。 l)设计人员。指本测试用例的设计者署名处。 m)设计日期。指本测试用例的设计日期。,第51
20、页,3.8 测试文档 软件测试文档一般包括测试计划、测试说明(需要时进一步细分为测试设计说明、测试用例说明和测试规程说明)、测试项传递报告、测试日志、测试记录、测试问题报告(也称测试事件报告)和测试总结报告,测试文档的基本内容和要求见GB/T9386。,第52页,4 测试类别说明(重点介绍单元测试和配置项测试) 4.1 单元测试 测试对象和目的 软件单元测试的对象是软件单元。 软件单元测试的目的是检查每个软件单元能否正确地实现设计说明中的功能、性能、接口和其它设计约束等要求,发现单元内可能存在的各种错误。,第53页,测试组人员配备:一般由软件的供方组织并实施,第54页,必须进行的测试 : (1
21、)功能测试。 (2)接口测试。 (3)重要执行路径测试。 (4)局部数据结构测试。 (5)语句覆盖和分支覆盖测试。,第55页,根据需要可以选择的测试 : (1)错误处理能力测试。 (2)边界测试。 (3)在不同语言或不同操作系统环境下被调用的正确性测试。 (4)资源占用、运行时间、响应时间等测试。,第56页,单元测试的准入条件 (1)已经按要求编写好软件详细设计文档。 (2)软件单元的程序源代码无错误地通过编译或汇编。 (3)单元代码已通过静态检查。 (4)所提供的被测软件单元受控 。,第57页,单元测试的方法 单元测试一般采用白盒测试方法, 辅之以黑盒测试方法。其中包括:逻辑覆盖、语句覆盖、
22、判定覆盖、条件覆盖、判定-条件覆盖、条件组合覆盖、路径覆盖等内容。 白盒测试方法是对程序的过程细节做严密的检查。依据程序设计的控制结构导出测试用例。,第58页,单元测试具体要求 (1)在对程序单元进行动态测试之前,必须对程序单元的源代码进行静态分析、代码审查和其它形式的审查; (2)对程序单元接口测试要检查进出程序单元的数据流是否正确; (3)被测程序单元中每条可执行的语句(或指令)都被测试用例或一个被认可的异常所覆盖。即语句覆盖100%;,第59页,(4)控制结构中的所有独立路径(基本路径)都要执行一遍(测试的分支覆盖率要求一般在85% 以上,对可靠性和安全性等级要求高的程序单元,应该至少达
23、到95%以上); (5)每个软件特性必须被一个测试用例和一个被认可的异常所覆盖; (6)测试用例必须包含至少一个有效等价类值、无效等价类值和边界数据值作为测试输入,要确保程序单元在极限状态下仍能够正确执行;,第60页,(7)在面向对象的程序设计中,类作为计算机程序单元测试的单位。对于类的每个操作的测试内容,可参考单元测试内容。对于类的属性和操作之间的相互影响,需要设计新的测试用例进行测试。 (8)测试环境包括测试的运行环境和测试工具环境。运行环境一般应符合软件测试合同或项目计划的要求,通常是开发环境或仿真环境。测试工具一般要求是经过认可的工具。 最后,需要对所有程序单元中处理错误的路径进行测试
24、,保证在出现问题时软件单元能够正确处理。,第61页,单元测试实施步骤 测试策划 测试分析人员一般根据测试合同或项目计划和被测试软件的设计文档对被测试软件单元进行分析,并确定以下内容: a) 确定测试充分性要求。根据软件单元的重要性、软件单元测试目标和约束条件,确定测试应覆盖的范围及每一范围所要求的覆盖程度(如,分支覆盖率、语句覆盖率、功能覆盖率、单元的每一软件特性应至少被一个正常的测试用例和一个异常的测试用例所覆盖);,第62页,b) 确定测试终止的要求。指定测试过程正常终止的条件(如,测试充分性是否达到要求),确定导致测试过程异常终止的可能情况(如软件编码错误); c) 确定用于测试的资源要
25、求,包括软件(如操作系统、编译软件、静态分析软件、测试数据产生软件、测试结果获取和处理软件、测试驱动软件等)、硬件(如计算机、设备接口等)、人员数量、人员技能等;,第63页,d)确定需要测试的软件特性。根据软件设计文档的描述确定软件单元的功能、性能、状态、接口、数据结构、设计约束等内容和要求,对其标识。若需要,将其分类。并从中确定需测试的软件特性; e)确定测试需要的技术和方法,如,测试数据生成与验证技术、测试数据输入技术、测试结果获取技术; f)根据测试合同或项目计划的要求和被测软件的特点,确定测试结束条件;,第64页,g)确定由资源和被测试软件单元所决定的单元测试活动的进度。 h)根据上述
26、分析研究结果,按照要求编写软件单元测试计划。 i)应对软件单元测试计划进行评审。审查测试的范围和内容、资源、进度、各方责任等是否明确、测试方法是否合理、有效和可行,测试文档是否符合规范,测试活动是否独立。一般情况下,由软件的供方自行组织评审,评审细则也自行制定。在软件单元测试计划通过评审后,进入下一步工作;否则,需要重新进行单元测试的策划。,第65页,测试设计和实现 软件单元测试的设计和实现工作由测试设计人员和测试程序员完成,一般根据软件单元测试计划完成以下工作: a)设计测试用例。将需测试的软件特性分解,针对分解后的每种情况设计测试用例,每个测试用例的设计应符合要求; b)获取测试数据,包括
27、获取现有的测试数据和生成新的数据,并按照要求验证所有数据; c)确定测试顺序,可从资源约束、风险以及测试用例失效造成的影响或后果几个方面考虑; d)获取测试资源,对于支持测试的软件和硬件,有的可从现有的工具中选定,有的需要研制开发;,第66页,e)编写测试程序,包括开发测试支持工具,单元测试的驱动模块和桩模块; f)建立和校准测试环境; g)按照要求编写软件单元测试说明。 h) 应对软件单元测试说明进行评审。审查测试用例是否正确、可行和充分,测试环境是否正确、合理,测试文档是否符合规范。通常由软件测试方自行组织单元测试的评审,评审细则也自行制定。在软件单元测试说明通过评审后,进入下一步工作;否
28、则,需要重新进行测试设计和实现。,第67页,测试执行 执行测试的工作由测试员和测试分析员完成。 软件测试员的主要工作是按照软件单元测试计划和软件单元测试说明的内容和要求执行测试。在执行过程中,测试员应认真观察并如实地记录测试过程、测试结果和发现的错误,认真填写测试记录。 测试分析员的工作主要有两方面。 第一:根据每个测试用例的期望测试结果、实际测试结果和评价准则判定该测试用例是否通过,并将结果记录在软件测试记录中。如果测试用例不通过,测试分析员应认真分析情况,并根据以下情况采取相应措施: a)软件单元测试说明和测试数据的错误。采取的措施是:改正错误,将改正错误信息详细记录,然后重新运行该测试;
29、,第68页,b)执行测试步骤时的错误。采取的措施是:重新运行未正确执行的测试步骤; c)测试环境(包括软件环境和硬件环境)中的错误。采取的措施是:修正测试环境,将环境修正情况详细记录,重新运行该测试;如果不能修正环境,记录理由,再核对终止情况; d)软件单元的实现错误。采取的措施是:填写软件问题报告单,可提出软件修改建议,然后继续进行测试;或者把错误与异常终止情况进行比较,核对终止情况。软件更改完毕后,应根据情况对其进行回归测试;,第69页,e)软件单元的设计错误。采取的措施是:填写软件问题报告单,可提出软件修改建议,然后继续进行测试;或者把错误与异常终止情况进行比较,核对终止情况。软件更改完
30、毕后,应根据情况对其进行回归测试或重新组织测试,回归测试中需要相应地修改测试设计和数据。 第二:当所有的测试用例都执行完毕,测试分析员要根据测试的充分性要求和失效记录,确定测试工作是否充分,是否需要增加新的测试。当测试过程正常终止时,如果发现测试工作不足,应对软件单元进行补充测试,直到测试达到预期要求,并将附加的内容记录在软件单元测试报告中;如果不需要补充测试,则将正常终止情况记录在软件单元测试报告中。当测试过程异常终止时,应记录导致终止的条件、未完成的测试和未被修正的错误。,第70页,测试总结 测试分析员应根据被测试软件设计文档、软件单元测试计划、软件单元测试说明、测试记录和软件问题报告单等
31、,对测试工作进行总结。一般包括下面几项工作: a)总结软件单元测试计划和单元测试说明的变化情况及其原因,并记录在软件单元测试报告中; b)对测试异常终止情况,确定未能被测试活动充分覆盖的范围,并将理由记录在测试报告中; c)确定未能解决的软件测试事件以及不能解决的理由,并将理由记录在测试报告中; d)总结测试所反映的软件单元与软件设计文档之间的差异,记录在测试报告中;,第71页,e)将测试结果连同所发现的错误情况同软件设计文档对照,评价软件单元的设计与实现,提出软件改进建议,记录在测试报告中; f)按照要求编写软件单元测试报告,该报告应包括:测试结果分析、对软件单元的评估和建议。 g)根据测试
32、记录和软件问题报告单编写软件测试问题报告。 最后,应对测试执行活动、软件单元测试报告、测试记录和测试问题报告进行评审。审查测试执行活动的有效性,测试结果的正确性和合理性,是否达到了测试目的,测试文档是否符合规范。一般情况下,评审由软件测试方自行组织,评审细则也自行制定。,第72页,单元测试准出准则 a)已按要求完成了合同或项目计划所规定的测试任务; b)实际测试过程遵循了原定的软件单元测试计划和软件单元测试说明; c)客观、详细地记录了测试过程和测试中发现的所有问题; d)测试文档齐全、符合规范; e)测试的全过程自始至终在控制下进行; f)测试中的问题或异常有合理解释或正确有效的处理; g)
33、测试工作通过了软件单元测试评审; h)全部测试文档、被测软件单元、测试支持软件和评审结果已纳入配置管理。,第73页,4.2 配置项测试 1)配置项测试的对象和目的 软件配置项测试的对象是将部件集成为配置项,并对配置项测试。 软件配置项测试的目的是检验软件配置项与软件需求规格说明的一致性。,第74页,2)软件配置项的结构,第75页,3)测试组人员配备,第76页,4)配置项测试内容 软件配置项测试主要依据软件需求规格说明文档,测试内容包括功能性、可靠性、易用性、效率、维护性和可移植性中的27个子特性的可测试项,根据软件需求的要求而选定。 软件配置项测试具体内容包括:,第77页,(1)软件配置项适合
34、性 从适合性方面考虑,应测试软件需求规格说明规定的软件配置项的每一项功能。 应设计测试用例,测试软件配置项的每项功能是否正确,已实现的功能是否满足软件需求规格说明,包括隐含的需求;按照软件需求规格说明的要求,测试软件配置项是否有遗漏了的功能。 (2)软件配置项准确性 从准确性方面考虑,可对软件需求规格说明中要求的准确性及精度(如数据处理精度、时间控制精度、时间测量精度)进行测试。 通常,所要求的准确性和精度都与软件配置项的功能有一定的关系,因此,对每一项有准确性和精度要求的功能项都应设计测试用例。,第78页,(3)软件配置项互操作性 从互操作性方面考虑,应设计测试用例测试软件配置项与外部设备的
35、接口、与其他软件配置项或系统的接口。这些接口在软件需求规格说明(含接口需求规格说明)和接口设计文档中都有规定。 测试用例应包括测试各种接口的格式和内容,包括数据交换的数据格式和内容;测试接口之间的协调性;测试软件配置项对系统每一个真实接口的正确性;测试软件配置项从接口接收和发送数据的能力;测试数据的约定、协议的一致性;测试软件配置项对外围设备接口特性的适应性。,第79页,(4)软件配置项安全保密性 在安全保密性方面,可测试软件配置项及其数据的可访问性是否受控制。测试人员可从以下方面设计测试用例: a)软件配置项及其数据是否通过设置权限来控制用户创建、删除或修改程序或信息; b)软件配置项及其数
36、据是否需要用户通过口令才能进行登录或访问; c)有效的口令能否被软件配置项接受,无效的口令能否被软件配置项拒绝; d)软件配置项是否对多次无效的口令采取了适当的反应; e)软件配置项及其数据是否设置了用户的使用期限; f)如果软件配置项设置了用户权限,那么,低级别的用户是否可操作高级别用户命令,高级别用户是否可操作低级别用户命令;,第80页,g)软件配置项及其数据是否有防火墙,如果有,是否能被激活; h)软件配置项能否正确地记录该配置项发生的错误和访问; i)软件配置项能否检测到对其的非法操作,并能够采取有效处理; j)软件配置项能否正确地保存数据; k)软件配置项能否从故障或失效中恢复; l
37、)对有保密要求的数据,软件配置项在保存他们时是否作了加密处理; m)软件配置项能否防止其数据被讹误和被破坏。,第81页,(5)软件配置项时间特性 在时间特性方面,可考虑测试软件配置项的响应时间、平均响应时间、响应极限时间;还可测试软件配置项的吞吐量、平均吞吐量、极限吞吐量;测试软件配置项的周转时间、平均周转时间、周转时间极限。 测试人员在设计测试用例时,应标识并定义出适合于软件应用的任务,如在通信应用中的切换、数据包发送;在控制应用中的事件控制;在公共用户应用中由用户调用的功能产生的一个数据的输出等。另外,测试人员所设计的测试用例不仅要包括测试一项任务,还要包括对多项任务进行测试。,第82页,
38、(6)软件配置项资源利用性 在资源利用性方面,可考虑测试软件配置项的输入/输出设备、内存和传输资源。测试人员可设计以下方面的测试用例: a) 使软件配置项执行大量的并发任务,测试软件配置项占用输入/输出设备的时间。可进行多次测试,统计出最大时间和时间分布; b) 使软件配置项在输入/输出设备达到最大的负载条件下运行,测试软件配置项利用输入/输出设备的情况; c) 使软件配置项并发执行大量的任务,测试用户等待输入/输出设备完成操作需要的时间。可进行多次测试,统计出最大时间和时间分布;,第83页,d) 在软件需求规格说明规定的负载下和时间范围内运行软件配置项,测试软件配置项占用内存的情况; e)
39、使软件配置项在最大负载下运行,测试软件配置项利用内存的情况; f) 使软件配置项并发执行软件需求规格说明规定的多项任务,测试软件配置项占用传输设备的情况; g)使软件配置项在最大负载的条件下、在规定的时间周期内运行,测试其利用传输设备的情况; h) 使软件配置项在传输设备负载最大的条件下运行,测试不同介质同步完成任务的时间周期。,第84页,(7)软件配置项成熟性 在成熟性方面,可基于软件配置项操作剖面设计测试用例,测试软件配置项满足需求规格说明的程度并获取失效数据。 测试人员应根据软件配置项实际使用的概率分布随机地选择输入。在选择时,应考虑到对重要输入变量值的覆盖、对相关输入变量可能组合的覆盖
40、、对设计输入空间与实际输入空间之间区域的覆盖、对各种使用功能的覆盖、对使用环境的覆盖。 测试人员应在软件配置项的实际运行环境中测试它。当实际情况不能满足时,也必须在有代表性的使用环境以及可能影响软件配置项运行方式的环境中测试它。如果软件配置项比较特殊,如软件配置项是实时嵌入式软件,由于在一般的使用环境下难以在软件配置项中植入错误,那么测试人员应考虑多种测试环境。 测试人员还应测试软件配置项的平均无故障时间。 测试人员还可选择可靠性增长模型,利用检测到的失效数和故障数,对软件配置项的可靠性进行预测。本标准附录B推荐了一些可靠性增长模型,测试人员可根据软件配置项的具体特点选择模型。,第85页,(8
41、)软件配置项容错性 在容错性方面,测试人员可考虑测试软件配置项的以下方面: a)软件配置项对无效的或不可能的参数的处理; b)软件配置项对无效的或超出范围的指令的处理; c)软件配置项对中断发生的反应; d) 软件配置项在边界条件下的反应; e)对允许在硬件降级情况下运行的软件配置项,在每种可能的降级方式下,软件配置项的功能、性能的适应情况; f)软件配置项对各种误操作模式的处理。测试人员可利用故障树分析技术分析软件配置项的误操作模式; g)软件配置项对各种故障模式(如数据超范围、死锁)的处理。测试人员可利用故障树分析技术分析软件配置项的故障模式; h)在双工系统或多机系统下运行的软件配置项,
42、在进行物理切换时,软件配置项的功能和性能是否正确。,第86页,(9)软件配置项易恢复性 在易恢复性方面,可考虑测试软件配置项的以下内容: a)对人工恢复的软件配置项,恢复软件配置项时所需的时间,需要哪些操作; b)具有自动恢复功能的软件配置项在自动恢复时所用的时间。可设计多个使软件配置项失效的用例,测试软件配置项自动恢复所用时间的最大值和时间分布; c)软件配置项在特定的时间范围内的平均宕机时间; d)软件配置项在特定的时间范围内的平均恢复时间; e)软件配置项是否容易重启动,重启动后是否能够继续提供原有服务; f)软件配置项在重启动中或启动后,一些必要的数据或文件是否可用; g)如果软件配置
43、项具有还原功能,该功能的正确性。 测试人员在设计测试用例时,必须考虑通过各种手段和方法让软件配置项强制性地发生故障。,第87页,(10)软件配置项易理解性 在易理解性方面,测试人员在设计测试用例时可考虑以下问题: a)软件配置项的各项功能是否容易被识别和被理解? b)软件配置项是否有演示功能?演示功能是否容易被访问?演示是否充分和有效? c)软件配置项的输入和输出是否可理解?,第88页,(11)软件配置项易学性 一个好的软件配置项,必须要有完备的帮助体系。当用户在学习使用时或使用过程中出现问题时,能够获得充分的帮助。一般情况下,一个软件配置项通常通过用户手册或/和在线帮助来提供帮助。 对于在线
44、帮助,测试其是否容易定位;帮助文件的索引是否正确;帮助文件的内容是否正确;在软件配置项运行过程中帮助能否被正常地激活;在软件配置项不同的位置激活的帮助与当前操作是否相关联;帮助是否能解决需要解决的问题。 对于用户手册(或操作手册),测试人员主要按照用户手册描述的内容设计测试用例,测试用户手册所描述的内容是否覆盖了软件配置项的所有关键功能并与软件配置项一致,描述是否足够详细、正确、易于理解。,第89页,(12)软件配置项易操作性 在易操作性方面,可考虑测试软件配置项的以下内容: a)软件配置项各项功能的访问方式。例如,是通过按钮、菜单等简单方式实现访问还是由诸如输入指令等复杂方式实现访问; b)
45、要求输入的内容是否有清晰的提示,输入数据是否进行有效性检查; c)中断执行功能能否在动作完成之前被取消; d)还原功能能否在动作完成之后再被撤消; e)软件配置项的一些参数设置或功能设置是否易于选择,是否有默认设置,默认设置是否易于实现,设置的默认是否足够清晰、易于理解; f)具有解释性质的消息是否明确。例如,当要求输入一个0,10之间的整数时,用户输入“0.1”,此时提示“输入一个整数”,这样的提示是不明确的;,第90页,g)人机交互界面上具有提示功能的界面元素是否有效; h)软件配置项能否在用户执行严重错误的操作之前提出警告、能否允许用户纠正错误的输入、能否从错误中恢复; i)软件配置项的
46、定制功能和操作是否有效; j)软件配置项运行状态监控功能是否有效。 测试人员可以以正确操作、误操作模式、非常规操作模式和快速操作为框架设计测试用例。误操作模式有错误的数据类型作参数、错误的输入数据序列、错误的操作序列等。,第91页,(13)软件配置项吸引性 从吸引性方面考虑,测试人员可根据用户对人机界面的需求或用户手册关于人机界面的描述来设计测试用例,测试软件配置项的人机界面,例如软件配置项能否根据用户的需要进行人机界面的定制。另外,也有一些关于人机界面的标准和规范,说明了人机界面应有什么样的外观和感觉,对每一个界面元素都有详细的定义。测试人员可依据这类标准或规范设计测试用例测试软件配置项的人
47、机界面。 (14)软件配置项易改变性 在易改变性方面,测试人员可考虑设计改变软件配置项的参数设置来改变软件配置项这样的测试用例。 (15)软件配置项易测试性 在易测试性方面,测试人员可考虑测试软件配置项内置的测试功能,确认它们是否完整和有效。,第92页,(16)软件配置项易分析性 在易分析性方面,测试人员可根据软件配置项运行剖面设计多个测试用例,测试在各种情况下软件配置项的运行状况并获取监测软件配置项运行状态的数据(如运行日志),检查这些数据是否容易获得、内容是否正确和充分。 如果软件配置项具有诊断功能,测试人员还应测试该功能。 (17)软件配置项稳定性 标准对软件配置项稳定性方面的测试没有推
48、荐内容。测试人员可根据被测软件配置项的实际情况设计测试用例。 注:GB/T16260 中对稳定性子特性给出两个度量元(更改成功的比率和修改影响局部化)。,第93页,(18)软件配置项适应性 在适应性方面,测试人员在设计测试用例时可考虑以下几个问题: a)软件配置项是否能使用系统所用的数据或数据库?使用时是否会出现问题?出现的问题是否容易解决? b)软件配置项是否能使用系统的硬件设备和网络设施等硬件环境?使用时是否会出现问题?出现的问题是否容易解决? c)软件配置项是否能在系统软件或并行的其他应用软件环境下运行?运行时是否会出现问题?出现的问题是否容易解决? d)软件配置项是否容易移植到其他环境
49、下?,第94页,(19)软件配置项易安装性 在易安装性方面,测试人员可考虑测试软件配置项被安装到实际运行环境下需要的工作量、安装的可定制性、安装的简易性、手工安装操作的简易性、是否容易重新安装等。测试人员在设计测试用例时,可考虑以下问题: a)软件配置项的安装是自动的安装还是人工的?如果是人工安装,那么需要用户操作什么?如,操作员只需启动安装功能并观察安装过程、操作员需回答安装功能中提出的问题、需要操作员从表或填充框中查看参数、需要操作员从文件中寻找或修改参数; b)安装过程是否被完整地文档化(如,有安装指南),并且有详细且明确的安装步骤? c)安装是否修改用户当前的环境设置? d)安装是否可
50、按用户的要求进行定制? e)安装后再安装需要做哪些操作?如,删除原有数据。,第95页,(20)软件配置项易替换性 软件配置项的替换指的是用该软件配置项替换其他的软件配置项或替代其低版本。 在易替换性方面,可考虑测试: a)软件配置项能否继续使用被其替代的软件使用过的数据; b)软件配置项是否具有被其替代的软件中的类似功能。 (21)软件配置项共存性 在共存性方面,测试人员可考虑测试软件配置项与系统中其他软件共同运行的情况。 (22)软件配置项依从性 当软件配置项在功能性、可靠性、易用性、效率、维护性和可移植性方面遵循了相关的标准、约定、风格指南或法规时,测试人员应根据所依据的标准、约定、风格指
51、南或法规设计测试用例,测试软件配置项的实际遵循情况。,第96页,以上对软件配置项测试的内容按软件质量子特性的方法进行初步的分析,测试人员可依据被测试软件的具体要求,增、减软件质量子特性下的度量元(或称度量项)。 总之,测试内容以软件质量特性的分类方法,确定可测试的部分,然后再依据被测试项目的要求,制定具体项目的测试内容(或称度量模型)。,第97页,5)配置项测试的准入条件 a)具有测试合同或项目计划; b)具有软件需求规格说明(含接口需求规格说明)、软件设计文档(含接口设计文档)、用户手册或/和操作手册、软件部件测试报告、被测软件配置项的源程序和可执行代码; c)被测配置项的软件部件已通过测试
52、; d)所提供的被测软件为本阶段最终版本,并已纳入软件配置管理中,取自受控库; e)软件配置项源代码通过编译或汇编; f)对需要固化运行的软件已提供固件。,第98页,6)配置项测试的方法 配置项测试通常采用黑盒测试方法。测试技术包括测试数据生成与验证技术、测试数据输入技术、测试结果获取技术等等。 测试人员应根据确定的测试充分性要求和需要测试的软件特性确定配置项测试要采用的测试技术和方法。所选择的测试方法不应过多,但也不能过少。多了会增加输入组合和变化的情况,少了则覆盖不了测试的充分性要求。,第99页,7)配置项测试具体要求 a)必要时,在高层控制流图中作结构覆盖测试; b)软件配置项的每个特性
53、应至少被一个正常测试用例或一个被认可的异常测试用例所覆盖; c)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值; d)应逐项测试软件需求规格说明规定的软件配置项的功能、性能等特性; e)应测试软件配置项的所有外部输入、输出接口(包括和硬件之间的接口); f)应测试软件配置项的输出及其格式; g)应按软件需求规格说明的要求,测试软件配置项的安全保密性,包括数据的安全保密性,第100页,h)应测试人机交互界面提供的操作和显示界面,包括用非常规操作、误操作、快速操作测试界面的可靠性; i)应测试运行条件在边界状态和异常状态下,或在人为设定的状态下,软件配置项的功能和性能; j)应测试
54、软件配置项的全部存储量、输入/输出通道和处理时间的余量; k)应按需求规格说明的要求,对软件配置项的功能、性能进行强度测试;,第101页,l)应测试设计中用于提高软件配置项安全性、可靠性的结构、算法、容错、冗余、中断处理等方案; m)对安全性关键的软件配置项,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试; n)对有恢复或重置功能需求的软件配置项,应测试其恢复或重置功能和平均恢复时间,并且对每一类导致恢复或重置的情况进行测试; o)对不同的实际问题应外加相应的专门测试。 测试人员必须在测试策划中确定此次测试的覆盖范围及覆盖率,并把它写入配置项测试计划中。,
55、第102页,8)配置项测试实施步骤 测试策划 测试分析人员应根据测试合同或项目计划和被测软件的需求规格说明(含接口需求规格说明)、设计文档(含接口设计文档)对被测软件项进行分析,并确定以下内容: a) 确定测试充分性要求。根据软件项的重要性和安全性关键等级,确定测试应覆盖的范围及每一范围所要求的覆盖程度; b) 确定测试终止的要求。指定测试过程正常终止的条件(如测试的充分性要求是否达到),并确定导致测试过程异常终止的可能情况(如接口错误);,第103页,c) 确定用于测试的资源要求,包括软件(如操作系统、编译软件、静态分析软件、测试数据产生软件、测试结果获取和处理软件、测试驱动软件等)、硬件(
56、如计算机、设备接口等)、人员数量、人员技能等; d)确定需要测试的软件特性。根据软件测试任务书(合同或项目计划)及软件需求规格说明(含接口需求规格说明)、设计文档(含接口设计文档)的描述确定软件配置项的功能、性能、状态、接口、数据结构、设计约束等内容和要求,对其标识。若需要,将其分类。从中确定需测试的软件特性; e)确定测试需要的技术和方法,如测试数据生成和验证技术、测试数据输入技术、测试结果获取技术、是否使用标准测试集等;,第104页,f)根据测试合同或项目计划的要求和被测软件的特点,确定测试结束条件; g)确定由资源和被测试软件项所决定的配置项测试活动的进度。 h)根据上述分析研究结果,按
57、照要求编写软件配置项测试计划。 i)应对软件配置项测试计划进行评审。审查测试的范围和内容、资源、进度、各方责任等是否明确、测试方法是否合理、有效和可行,测试文档是否符合规范,测试活动是否独立。一般情况下,由软件的供方自行组织评审,评审细则也自行制定。在软件配置项测试计划通过评审后,进入下一步工作。,第105页,测试设计和实现 测试设计和实现工作由测试设计人员和测试程序员完成,一般根据软件配置项测试计划完成以下工作: a)设计测试用例。将需测试的软件特性分解,针对分解后的每种情况设计测试用例,每个测试用例的设计应符合要求; b)获取测试数据,包括获取现有的测试数据和生成新的数据,并按照要求验证所
58、有数据; c)确定测试顺序,可从资源约束、风险以及测试用例失效造成的影响或后果几个方面考虑; d)获取测试资源,对于支持测试的软件和硬件,有的可从现有的工具中选定,有的需要研制开发;,第106页,e)编写测试程序,包括开发测试支持工具; f)建立和校准测试环境; g)按照要求编写软件配置项测试说明。 h) 应对软件配置项测试说明进行评审。审查测试用例是否正确、可行和充分,测试环境是否正确、合理,测试文档是否符合规范。当测试活动由被测软件的供方实施时,软件配置项测试说明应通过软件的需方和有关专家参加的审查;当测试活动由独立的测试机构实施时,软件配置项测试说明应通过软件的需方、供方和有关专家参加的
59、审查。在软件配置项测试说明通过评审后,进入下一步工作;否则,需要重新进行配置项测试的设计和实现。,第107页,测试执行 执行测试的工作由测试员和测试分析员完成。 软件测试员的主要工作是按照软件配置项测试计划和软件配置项测试说明的内容和要求执行测试。在执行过程中,测试员应认真观察并如实地记录测试过程、测试结果和发现的错误,认真填写测试记录。 测试分析员的工作主要有两方面。 第一,根据每个测试用例的期望测试结果、实际测试结果和评价准则判定该测试用例是否通过,并将结果记录在软件测试记录中。如果测试用例不通过,测试分析员应认真分析情况,并根据以下情况采取相应措施: a)软件配置项测试说明和测试数据的错误。采取的措施是:改正错误,将改正错误信息详细记录,然后重新运行该测试;,第108页,b)执行测试步骤时的错误。采取的措施是重新运行未正确执行的测试步骤; c)测试环境(包括软件环境和硬件环境)中的错误。采取的措施是:修正测试环境,将环境修
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027年初中九年级英语Unit 1-4写作教学设计与实施策略研究
- 初中生物七年级教学设计:绿色植物光合作用与有机物制造专题复习
- 高一地理教学设计:地球圈层结构的整体性认知与默写小纸条实施策略研究
- 高中英语必修三Unit 6 Writing-撰写安全指南教学设计
- 初中心理健康八年级教学设计:我是最棒的 自信与我同行
- 高中三年级地理产业转移对区域发展的影响复习课教学设计
- 初中七年级美术《画自己》教学设计
- 小学六年级数学教学设计:集合问题核心逻辑与建模策略深度解析
- 初中英语八年级下册Unit 1 Spring is coming 速记与默写教学设计
- 小学二年级生命生态安全《看谁记得快又牢》(记忆有妙法)教学设计
- 2025年(完整版)三级安全教育真题及答案(2025年)
- 中国鼻炎诊疗指南(2026版)
- 2026年译林版九年级英语上册 Unit5 Music speaks单元测试卷(含答案)
- 2026年数据文员笔模拟题目及答案详解
- T/COSHA 48-2024医疗机构安全生产资料管理规范
- GB 48145-2026井工煤矿机电设备完好性要求
- IEC 61000-4-2-2025 中文版(静电放电抗扰度试验 2025 年 3 月发布)
- 2026年党员发展对象培训结业试题及答案
- 2026年邮储银行山西分行秋招无领导小组面试仿真题解析
- 入团考试时事试题及答案解析
- 高中英语北师大版必修第一册全册单词表(按单元编排)
评论
0/150
提交评论