DB52-T 1620-2021 面向大数据应用的就绪可用软件产品质量要求和测试细则

ICS35.080DB52DB52/T1620—2021面向大数据应用的就绪可用软件产品质量要求和测试细则Requirementsforqualityofreadytousesoftwareproductbigdata贵州省市场监督管理局发布IDB52/T1620—2021 12规范性引用文件 13术语和定义 14缩略语 3 36软件质量要求 37数据要求 88测试环境 99测试文档集要求 910符合性评价细则 DB52/T1620—2021本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由贵州省机械电子产品质量检验检测院提出。本文件由贵州省大数据发展管理局归口。本文件起草单位：贵州省机械电子产品质量检验检测院、中电科大数据研究院有限公司（提升政府治理能力大数据应用技术国家工程实验室）、重庆市质量和标准化研究院、中再云图技术有限公司。本文件主要起草人：刘彦嘉、宿睿智、张婧慧、陈震宇、曾棋、昌攀、唐昶、薛强、邵建平、张洋、曹扬、陆莹、姚茂峰、陈驰、雷伟、杨品章。DB52/T1620—20211面向大数据应用的就绪可用软件产品质量要求和测试细则本文件规定了面向大数据应用的就绪可用软件产品的术语和定义、缩略语、符合性、软件质量要求、数据要求、测试环境、测试文档集要求、符合性评价细则。本文件适用于面向大数据应用的就绪可用软件产品的质量要求和测试。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T20271-2006信息安全技术信息系统通用安全技术要求GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价（SQuaRE）第51部分：就绪可用软件产品（RUSP）的质量要求和测试细则GB/T36344-2018信息技术数据质量评价指标3术语和定义GB/T25000.51-2016界定的以及下列术语和定义适用于本文件。3.1需方acquirer从供方获取或采购产品或服务的利益相关方。需方可能是以下之一：买主、顾客、拥有者、采购者。3.2异常anomaly与基于需求规格说明、设计文档和标准等的期望值的偏离或与某个人的感知或经验的任何条件的偏[来源：IEEEstd1044-2009]3.3应用管理职能applicationadministrationfunction由用户履行的职能，包括安装、配置、备份、维护（打补丁和升级）、卸载等。2DB52/T1620—20213.4符合性评价conformityevaluation对产品、过程或服务达到规定要求的程度所进行的系统性考核。[来源：ISO/IECGUIDE2：2004]3.5符合性评价报告conformityevaluationreport说明对RUSP实施评价的行为和结果的文档。3.6面向大数据应用的就绪可用软件产品readytousesoftwareproductbigdataapplication无论是否付费，任何用户可以不经历开发活动就能获得的基于大数据相关应用的软件产品。3.7就绪可用软件产品readytousesoftwareproduct无论是否付费,任何用户可以不经历开发活动就能获得的软件产品。3.8最终用户enduser最终受益于RUSP功能的个人。注：最终用户可以是软件产品的正式操作员;或是临时用户,例如公众中的一员。[来源：GB/T25000.1—2010，4.14]3.9故障fault计算机程序中不正确的步骤、过程或数据定义。[来源：IEEEstd610.12—1998]3.10测试用例testcase为某个特定目标(例如,为演练具体的程序路径或验证对特定需求的依从性)而开发的输入、执行条件以及预期结果的集合。[来源：IEEEstd610.12—1998]DB52/T1620—202133.11测试文档集testdocumentation测试活动特有的文档汇集。[来源：IEEEstd610.12—1998]4缩略语下列缩略语适用于本文件。RUSP：就绪可用软件产品（ReadytoUseSoftwareProduct）RUSPBDAO：面向大数据应用的就绪可用软件产品（ReadytousesoftwareproductBigdataapplicationoriented）5符合性RUSPBDAO应符合以下条件：a)应符合第6章和第7章中规定的质量属性；b)应符合第8章要求的测试文档集进行测试；c)测试期间发现的异常，可在产品发布前消除；d)若该异常违背产品广告宣传的性能，且不能消除，则应取消此种性能声称；e)如供方已考虑了该异常的性质和对潜在需方的影响，并将有关异常的文档保存以备日后改进，可认为该异常是可接受的。6软件质量要求6.1功能性6.1.1测试项功能性测试应对照大数据就绪可用软件产品设计说明中的功能点，逐项对其进行测试用例设计，测试用例设计应满足以下几个方面：a)每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所覆盖；b)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；c)逐项测试大数据就绪可用软件产品设计说明规定的功能特性；d)测试软件产品配置项之间及软件配置项与硬件之间的接口；e)测试软件产品输出及其格式。6.1.2功能完备性功能集对指定的任务、用户目标、数据质量，应覆盖功能用户的需求。DB52/T1620—202146.1.3功能正确性在特定的使用条件下，应提供具有所需精度的正确结果。注2：开发方或维护方可能通过评审或测试检查单个功能，并决定功能能否为需求规格说明中定义的特定的目标提6.1.4功能适合性在指定条件下使用时，应促使指定的任务和目标实现。6.1.5依从性产品应遵循与功能性相关的标准、约定或法规以及类似规定。6.1.6测试过程下列测试过程适用于RUSPBDAO的功能性测试：a)根据需求规格说明书、概要设计等相关软件设计说明书，分析并拆分软件产品功能点；b)根据拆分的功能点，采用“黑盒测试”方法逐一设计测试用例，测试用例应覆盖所有功能点，覆盖率应达到100%；c)根据软件产品相关设计说明，编制每条测试用例的执行步骤、测试结果；d)执行每条测试用例；e)检验执行结果是否满足测试用例预期结果；f)根据执行结果填写执行记录和缺陷报告。6.2可靠性6.2.1成熟性软件或组件在正常运行时应满足可靠性要求。注：测试指标可包括故障修复率、平均失效间6.2.2容错性当存在硬件或软件故障时，软件或组件的运行应符合预期。测试参数可包括避免失效率、组件的冗余度、平均故障通告时间等。6.2.3易恢复性发生中断或失效时，软件能够恢复直接受影响的数据并重建期望的系统状态。6.2.4测试过程下列测试过程适用于可靠性：a)软件产品操作过程中出现误操作，包括填写表单超出限制范围，违反业务逻辑等；b)记录检测过程中软件产品出现的故障及故障纠正数量；c)当出现宕机及服务停止时，记录系统恢复运行的时长，恢复后是否能正常运行，数据是否丢失；DB52/T1620—20215d)在满足最大并发数量且在选定好的测试场景下，持续对服务端进行业务请求，查看服务端运行e)软件产品在多台终端上，通过自动化测试手段持续运行，查看其运行情况。6.3易用性在指定使用周境中，软件在有效性、效率和满意度特性方面，为了达到所指定的目标，应可被特定用户使用。6.3.1可辨识性应确保用户能够辨识软件是否适合其要求。6.3.2易学性在指定使用周境中，软件在有效性、效率、抗风险和满意度特性方面，为了学习使用该软件这一指定目标，应可为指定用户使用。6.3.3易操作性软件应具有易于操作和控制的属性。注：测试指标可包括操作的一致性、消息的正确性6.3.4易访问性在指定的使用周境中，为了达到指定的目标，软件应被具有最广泛的特征和能力的个体所使用。6.3.5测试过程下列测试过程适用于易用性测试：a)查看用户手册内容，操作软件产品过程中查看页面布局，查看输入输出项的易理解性；b)查看用户手册、培训手册、系统文档，查看文档能否帮助用户学习操作；c)检测过程对表单输入边界值外的数据，查看软件产品所有提示语及页面风格一致性，是否能使用键盘快捷键；d)检测过程中查看软件产品页面所有的元素是否美观，具备吸引性。6.4性能效率6.4.1测试项RUSPBDAO运行一段时间内，应满足需求设计说明规定的测试场景、服务器资源、并发用户数量的同时，应测试其所能承受压力的强度，包括但不限于：a)响应时间：服务端响应事务的平均时长；b)每秒处理事务数：服务端每秒处理事务的数量；c)事务通过率：服务端处理事务的成功率；DB52/T1620—20216d)CPU占用率：服务端在处理事务时，服务器CPU占用情况；e)内存占用率：服务端在处理事务时，服务器内存占用情况；f)硬盘I/O读写：服务端在处理事务时，服务器硬盘读写情况。6.4.2时间特性软件时间特性应满足以下几方面要求：a)软件执行其功能时，其响应时间、处理时间及吞吐量应满足用户需求；b)测试响应时间特性，测试软件响应一个用户任务或系统任务的平均时间，或测试软件响应时间应满足规定目标；c)测试处理时间特性，测试软件完成一个作业或一个异步进程的平均时间，或处理时间应满足规d)测试吞吐量特性，测试软件单位时间内完成作业的平均数量应满足规定目标。6.4.3容量软件参数的最大限度应满足需求。a)测试指标可包括存储数据项数量、并发用户访问量、用户访问增长的充分性、通信带宽、交易吞吐量和数据库规模。b)资源利用性c)软件执行其功能时，所使用的资源数量和类型应满足需求。d)测试指标包括处理器平均占用率、内存平均占用率、I/O设备平均占用率、宽带占用率。6.4.4测试过程下列测试过程适用于性能（效率）测试：a)模拟测试场景操作步骤，与服务器建立连接，传输数据，并能得到正确的服务器反馈；b)回放操作步骤，模拟并发用户操作典型应用场景，向服务器施加压力；c)统计模拟多人操作时，服务端响应能力和服务器资源占用情况。6.5维护性6.5.1易分析性能预期变更（变更软件的一个或多个部分）对软件的影响、诊断软件的缺陷或失效原因、识别待修6.5.2模块化由多个独立组件组成的系统或计算机程序，其中一个组件的变更对其他组件的影响应最小。6.5.3易测试性应能够为软件或组件建立测试准则，并通过测试执行来确定测试准则是否被满足有效性和效率。DB52/T1620—202176.5.4可重用性资产应能被用于多个系统或其他资产建设。6.5.5测试过程下列测试过程适用于维护性测试：a)查看服务端日志，检测软件产品分析诊断能力；b)查看软件产品图形化页面及权限配置页面，检测软件产品可配置能力；c)查看软件产品配置参数元文件，检测软件产品修改能力；d)使用主流测试工具，检测软件产品对主流测试工具的支持。6.6可移植性6.6.1适应性软件应能有效地、高效地适应不同的或演变的硬件、软件或者其他运营（或使用）环境。6.6.2易替换性在相同环境中，软件应能替换另一个相同用途的指定软件产品。6.6.3易安装性在指定环境中，软件应能成功地安装和/或卸载。6.6.4测试过程下列测试过程适用于可移植性测试：a)在多操作系统环境下安装部署软件产品服务端，检测其运行情况；b)使用多种模式安装，包括服务端和移动终端；c)安装完成是否影响其他软件产品的正常运行。6.7信息安全性6.7.1保密性软件产品应能对数据进行保护,并对访问控制实行权限管理，只允许授权用户访问。6.7.2完整性6.7.2.1软件产品应能识别并防止对数据的未授权访问。6.7.2.2软件产品应具有基于先进加密算法的防篡改机制，识别并阻止对计算机程序或数据的篡改。6.7.3防入侵性软件产品应能识别并阻止恶意入侵事件，并通报给相关授权用户。DB52/T1620—202186.7.4抗抵赖性软件产品应能确保事件发生后应可以被证实且不可被否认。6.7.5可核查性软件产品的运行活动应可以被唯一地追溯到该实体地。注：测试指标可包括对用户访问系统或数据地6.7.6真实性软件产品在对处理对象或资源的合法身份标识应能够被识别并证实其符合性。6.7.7测试过程信息安全性的测试过程应符合GB/T20271-2006中5.2.6的规定。6.8兼容性6.8.1共存性在与其他产品共享通用的环境和资源的条件下，产品应能有效执行其所需的功能并且不会对其他产品造成负面影响。6.8.2互操作性两个或多个软件或组件应能够交换信息并使用已交换的信息。6.8.3测试过程兼容性测试过程包括以下步骤：a)将软件产品安装包分发至不同机型、不同分辨力、不同操作系统版本的终端上，并执行安装、卸载、启动、运行等操作，分别查看在终端上的运行情况；b)利用技术手段，使测试终端设备处于低电量、低内存空间、高CPU占用，检测软件产品在不同极限环境下的运行情况。7数据要求7.1数据量要求应符合GB/T36344-2018中规定的数据质量指标。7.2数据存储量应符合面向大数据应用的就绪可用软件产品测试用例的需求。7.3测试数据应均衡分布在计算机集群的节点上。DB52/T1620—202198测试环境8.1硬件环境面向大数据应用的就绪可用软件产品硬件测试环境应包括以下几方面要求：a)应符合面向大数据应用的就绪可用软件产品测试用例需求的分布式计算机节点集群；b)分布式计算机节点集群CPU、内存、存储容量、通信带宽等资源应满足面向大数据应用的就绪可用软件产品的数据存储、计算和集群通讯等需求；c)保证分布式集群最低的CPU和内存使用率，集群内各计算机之间应负载均衡，分布式集群具备高性能的处理基础。8.2软件环境面向大数据应用的就绪可用软件产品软件测试环境应包括以下几方面要求：a)应符合面向大数据应用的就绪可用软件产品测试用例需求的结构化数据、半结构化数据和非结构化数据的存储软件环境，契合大数据处理框架，满足就绪可用软件产品对大数据存储环境的b)应搭建面向大数据应用的就绪可用软件产品测试用例需求的大数据处理框架，包括但不限于Hadoop、Spark等框架，满足对大数据处理环境的需求。9测试文档集要求9.1基本要求测试文档集的目的是证实软件符合第6章、第7章的规定。9.1.2一致性9.1.2.1测试文档集中的每个文档所包含的信息应是正确的并且是可验证的。9.1.2.2测试文档集中的每个文档不应自相矛盾，并且不应与产品说明和用户文档集矛盾。9.1.3内容要求9.1.3.1测试文档集应包含以下几个文档：a)测试计划；b)测试说明；c)测试结果(报告)。9.1.3.2测试文档集中的每个文档，应包括以下几方面内容：b)产品标识；c)修改历史或说明该文档演变的任何其他元素；e)该文档正文中引用的文档的标识符；f)有关作者和审查者的信息；DB52/T1620—20219.1.4方法9.1.4.1在产品说明和第6章中提及的所有质量特性，均应经过至少一个测试用例的测试。9.1.4.2用户文档集中说明的所有功能，均应经过至少一个测试用例的测试。9.1.4.3测试用例应能验证软件与用户文档集中的陈述相符。9.1.4.4应指明测试用例的设计方法。9.1.4.5安装规程应经过测试用例测试。9.1.4.6在产品说明和用户文档集中指明的操作限制，均应经过测试用例测试。9.1.4.7对违法输入应经过测试用例测试。9.1.4.8如果用户文档集中给出若干示例，这些示例应用作测试用例，但整个测试不应局限于这些示例。9.2测试计划要求9.2.1通过-失败准则测试计划应明确用于判定测试结果是否符合要求的符合性准则。9.2.2测试环境测试计划应明确将要进行的测试所处的软件测试环境。9.2.3进度测试计划应明确整个测试的进度。9.2.4风险测试计划应识别、更新和记录测试活动中存在的风险，并提供应对措施。9.2.5人力资源测试计划中应明确测试活动所需的人力资源情况。9.2.6工具和环境资源9.2.6.1测试计划中应明确测试活动所需的工具，必要的测试环境。9.2.6.2如果使用特殊的工具和环境，测试计划中应说明选择这些工具和环境的原因以及预期的结果。9.3测试说明要求9.3.1测试用例说明对每个测试用例的说明应包括以下几个方面：a)测试目标；b)唯一性标识符；c)测试的输入数据和测试边界；d)详细实施步骤；e)系统的预期行为；f)测试用例的预期输出；DB52/T1620—2021g)结果判定准则；h)用于判定测试用例的肯定或否定结果的准则。9.3.2测试规程测试规程应包括以下几个步骤：a)测试准备；b)开始和执行测试所必需的动作；c)记录测试结果所必需的动作；d)停止和最终重启动测试的条件和动作；e)在软件被纠正之后,对于所涉及的功能和任何相关的功能,应有一种重新测试的规程。9.4测试结果要求9.4.1执行报告执行报告应包含以下内容：a)全部测试用例结果；b)已正式按照测试计划执行的测试用例；c)测试用例的标识符；d)测试执行日期；e)测试人员姓名和职责；f)测试用例执行的结果；g)发现的异常清单。9.4.2异常情况报告9.4.2.1异常情况报告应包括所发现的全部异常汇总及纠正情况和