2022面向大数据应用的就绪可用软件产品质量要求和测试细则

面向大数据应用的就绪可用软件产品质量要求和测试细则目 次前 言 II范围 1规范性引用文件 1术语和定义 1缩略语 3符合性 3软件质量要求 3数据要求 8测试环境 9测试文档集要求 9符合性评价细则 12I面向大数据应用的就绪可用软件产品质量要求和测试细则范围数据要求、测试环境、测试文档集要求、符合性评价细则。本文件适用于面向大数据应用的就绪可用软件产品的质量要求和测试。规范性引用文件（包括所有的修改单适用于本文件。GB/T20271-2006信息安全技术信息系统通用安全技术要求GB/T25000.51-2016（SQuaRE）51GB/T36344-2018信息技术数据质量评价指标术语和定义GB/T25000.51-2016界定的以及下列术语和定义适用于本文件。3.1需方acquirer从供方获取或采购产品或服务的利益相关方。需方可能是以下之一：买主、顾客、拥有者、采购者。[来源:ISO/IEC12207:2008]3.2异常anomaly离。[来源：IEEEstd1044-2009]3.3应用管理职能applicationadministrationfunction由用户履行的职能，包括安装、配置、备份、维护（打补丁和升级）、卸载等。13.4符合性评价conformityevaluation对产品、过程或服务达到规定要求的程度所进行的系统性考核。[来源：ISO/IECGUIDE2：2004]3.5符合性评价报告conformityevaluationreport说明对RUSP实施评价的行为和结果的文档。3.6面向大数据应用的就绪可用软件产品readytousesoftwareproductbigdataapplicationoriented无论是否付费，任何用户可以不经历开发活动就能获得的基于大数据相关应用的软件产品。3.7就绪可用软件产品readytousesoftwareproduct无论是否付费,任何用户可以不经历开发活动就能获得的软件产品。3.8最终用户enduser最终受益于RUSP功能的个人。注：最终用户可以是软件产品的正式操作员;或是临时用户,例如公众中的一员。[来源：GB/T25000.1—2010，4.14]3.9故障fault计算机程序中不正确的步骤、过程或数据定义。[来源：IEEEstd610.12—1998]3.10测试用例testcase为某个特定目标(例如,为演练具体的程序路径或验证对特定需求的依从性)而开发的输入、执行条件以及预期结果的集合。[来源：IEEEstd610.12—1998]23.11测试文档集testdocumentation测试活动特有的文档汇集。[来源：IEEEstd610.12—1998]缩略语下列缩略语适用于本文件。RUSP：就绪可用软件产品（ReadytoUseSoftwareProduct）RUSPBDAO：面向大数据应用的就绪可用软件产品（ReadytousesoftwareproductBigdataapplicationoriented）符合性RUSPBDAO应符合以下条件：678测试期间发现的异常，可在产品发布前消除；若该异常违背产品广告宣传的性能，且不能消除，则应取消此种性能声称；可认为该异常是可接受的。软件质量要求功能性测试项试用例设计应满足以下几个方面：每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所覆盖；测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；逐项测试大数据就绪可用软件产品设计说明规定的功能特性；测试软件产品配置项之间及软件配置项与硬件之间的接口；测试软件产品输出及其格式。功能完备性功能集对指定的任务、用户目标、数据质量，应覆盖功能用户的需求。注1：功能可以在需求规格说明、设计规格说明、用户手册中进行指定。注2：当软件产品无法实现指定的功能时，即检测到缺少的功能。注3：功能包括对数据质量的要求。3功能正确性在特定的使用条件下，应提供具有所需精度的正确结果。注1：不正确的功能是指功能无法给出达到特定预期目标的合理、可接受的结果。注2：开发方或维护方可能通过评审或测试检查单个功能，并决定功能能否为需求规格说明中定义的特定的目标提供正确的结果。在这种情况下，正确性的程度是由每个功能决定的。功能适合性在指定条件下使用时，应促使指定的任务和目标实现。依从性产品应遵循与功能性相关的标准、约定或法规以及类似规定。测试过程下列测试过程适用于RUSPBDAO的功能性测试：根据需求规格说明书、概要设计等相关软件设计说明书，分析并拆分软件产品功能点；100%；根据软件产品相关设计说明，编制每条测试用例的执行步骤、测试结果；执行每条测试用例；检验执行结果是否满足测试用例预期结果；根据执行结果填写执行记录和缺陷报告。可靠性成熟性软件或组件在正常运行时应满足可靠性要求。注：系统或软件能力、运行场景或功能的比例等。容错性余度、平均故障通告时间等。注：内部或外部容错性测度与发生运行故障或违反规定接口时，软件产品维持规定性能水平的能力有关。易恢复性发生中断或失效时，软件能够恢复直接受影响的数据并重建期望的系统状态。注：测试指标可包括软件从失效中恢复需要的时间，以及定期备份数据项的比例。测试过程下列测试过程适用于可靠性：软件产品操作过程中出现误操作，包括填写表单超出限制范围，违反业务逻辑等；记录检测过程中软件产品出现的故障及故障纠正数量；4情况；软件产品在多台终端上，通过自动化测试手段持续运行，查看其运行情况。易用性用户使用。（使用质量的子集来进行指定或测量。可辨识性应确保用户能够辨识软件是否适合其要求。易学性定目标，应可为指定用户使用。注：测试指标可包括用户指导完整性、输入字段的默认值设置、差错信息的易理解性、用户界面的自解释性等。易操作性软件应具有易于操作和控制的属性。注：测试指标可包括操作的一致性、消息的正确性、功能的易定制性、用户界面的易定制性、监视能力、撤销操作能力、消息分类的易理解性、外观的一致性、输入设备的支持性等。易访问性在指定的使用周境中，为了达到指定的目标，软件应被具有最广泛的特征和能力的个体所使用。测试过程下列测试过程适用于易用性测试：查看用户手册内容，操作软件产品过程中查看页面布局，查看输入输出项的易理解性；查看用户手册、培训手册、系统文档，查看文档能否帮助用户学习操作；用键盘快捷键；检测过程中查看软件产品页面所有的元素是否美观，具备吸引性。性能效率测试项RUSPBDAO时，应测试其所能承受压力的强度，包括但不限于：响应时间：服务端响应事务的平均时长；每秒处理事务数：服务端每秒处理事务的数量；事务通过率：服务端处理事务的成功率；5CPUCPU内存占用率：服务端在处理事务时，服务器内存占用情况；I/O时间特性软件时间特性应满足以下几方面要求：软件执行其功能时，其响应时间、处理时间及吞吐量应满足用户需求；应满足规定目标；定目标；测试吞吐量特性，测试软件单位时间内完成作业的平均数量应满足规定目标。容量软件参数的最大限度应满足需求。吞吐量和数据库规模。资源利用性软件执行其功能时，所使用的资源数量和类型应满足需求。测试指标包括处理器平均占用率、内存平均占用率、I/O测试过程下列测试过程适用于性能（效率）测试：模拟测试场景操作步骤，与服务器建立连接，传输数据，并能得到正确的服务器反馈；回放操作步骤，模拟并发用户操作典型应用场景，向服务器施加压力；统计模拟多人操作时，服务端响应能力和服务器资源占用情况。维护性易分析性（变更软件的一个或多个部分改部分。注：测试指标可包括系统日志完整性、诊断功能有效性和诊断功能的充分性等。模块化由多个独立组件组成的系统或计算机程序，其中一个组件的变更对其他组件的影响应最小。注：测试指标可包括组件间的耦合度、圈复杂度的充分性等。易测试性应能够为软件或组件建立测试准则，并通过测试执行来确定测试准则是否被满足有效性和效率。注：测试指标可包括测试功能的完整性、测试独立性和测试的重启动性。6可重用性资产应能被用于多个系统或其他资产建设。注：测试指标可包括系统中可重复使用资产的数量、符合所要求编码规则的模块的数量。测试过程下列测试过程适用于维护性测试：查看服务端日志，检测软件产品分析诊断能力；查看软件产品图形化页面及权限配置页面，检测软件产品可配置能力；查看软件产品配置参数元文件，检测软件产品修改能力；使用主流测试工具，检测软件产品对主流测试工具的支持。可移植性适应性软件应能有效地、高效地适应不同的或演变的硬件、软件或者其他运营（或使用）环境。注：测试指标可包括硬件环境的适应性、系统软件环境的适应性、运营环境的适应性。易替换性在相同环境中，软件应能替换另一个相同用途的指定软件产品。注：测试指标可包括使用相似性、产品质量等价性、功能的包容性和数据复用/导入能力。易安装性在指定环境中，软件应能成功地安装和/或卸载。注：测试指标可包括安装的时间效率和安装的灵活性。测试过程下列测试过程适用于可移植性测试：在多操作系统环境下安装部署软件产品服务端，检测其运行情况；使用多种模式安装，包括服务端和移动终端；安装完成是否影响其他软件产品的正常运行。软件产品应能对数据进行保护,并对访问控制实行权限管理，只允许授权用户访问。注：测试指标可包括访问控制性、数据加密正确性和加密算法的强度等。完整性软件产品应能识别并防止对数据的未授权访问。软件产品应具有基于先进加密算法的防篡改机制，识别并阻止对计算机程序或数据的篡改。防入侵性软件产品应能识别并阻止恶意入侵事件，并通报给相关授权用户。7抗抵赖性软件产品应能确保事件发生后应可以被证实且不可被否认。注：测试指标可包括使用数字签名，处理需要抗抵赖性事务的比例。可核查性软件产品的运行活动应可以被唯一地追溯到该实体地。注：测试指标可包括对用户访问系统或数据地审计跟踪地完整程度，系统日志存储在稳定存储器中地时间占要求地存储时间的比例。真实性软件产品在对处理对象或资源的合法身份标识应能够被识别并证实其符合性。注：测试指标可包括鉴别机制的充分性和鉴别规则的符合性等。测试过程信息安全性的测试过程应符合GB/T20271-2006中5.2.6的规定。兼容性共存性品造成负面影响。注：测试指标可包括当规定的其他软件产品与该软件产品共享环境，而不会对质量特性或功能产生负面影响的比。互操作性两个或多个软件或组件应能够交换信息并使用已交换的信息。注：测试指标可包括数据格式可交换性、数据交换协议充分性、外部接口充分性等。测试过程兼容性测试过程包括以下步骤：卸载、启动、运行等操作，分别查看在终端上的运行情况；CPU数据要求GB/T36344-2018数据存储量应符合面向大数据应用的就绪可用软件产品测试用例的需求。测试数据应均衡分布在计算机集群的节点上。8测试环境硬件环境面向大数据应用的就绪可用软件产品硬件测试环境应包括以下几方面要求：应符合面向大数据应用的就绪可用软件产品测试用例需求的分布式计算机节点集群；CPU可用软件产品的数据存储、计算和集群通讯等需求；CPU高性能的处理基础。软件环境面向大数据应用的就绪可用软件产品软件测试环境应包括以下几方面要求：需求；应搭建面向大数据应用的就绪可用软件产品测试用例需求的大数据处理框架，包括但不限于Hadoop、Spark测试文档集要求目的测试文档集的目的是证实软件符合第6章、第7章的规定。一致性测试文档集中的每个文档所包含的信息应是正确的并且是可验证的。测试文档集中的每个文档不应自相矛盾，并且不应与产品说明和用户文档集矛盾。内容要求测试文档集应包含以下几个文档：测试计划；测试说明；测试结果(报告)。测试文档集中的每个文档，应包括以下几方面内容：标题；产品标识；修改历史或说明该文档演变的任何其他元素；目次或对内容的说明；该文档正文中引用的文档的标识符；有关作者和审查者的信息；f)术语表。9方法6用户文档集中说明的所有功能，均应经过至少一个测试用例的测试。测试用例应能验证软件与用户文档集中的陈述相符。应指明测试用例的设计方法。注：可能的设计方法有：边界值分析、检查表、数据流分析、故障插入、容量测试。安装规程应经过测试用例测试。在产品说明和用户文档集中指明的操作限制，均应经过测试用例测试。对违法输入应经过测试用例测试。例。测试计划要求通过-失败准则测试计划应明确用于判定测试结果是否符合要求的符合性准则。测试环境测试计划应明确将要进行的测试所处的软件测试环境。进度测试计划应明确整个测试的进度。风险测试计划应识别、更新和记录测试活动中存在的风险，并提供应对措施。人力资源测试计划中应明确测试活动所需的人力资源情况。工具和环境资源测试计划中应明确测试活动所需的工具，必要的测试环境。测试说明要求测试用例说明对每个测试用例的说明应包括以下几个方面：测试目标；唯一性标识符；测试的输入数据和测试边界；详细实施步骤；系统的预期行为；测试用例的预期输出；10结果判定准则；用于判定测试用例的肯定或否定结果的准则。测试规程测试规程应包括以下几个步骤：测试准备；开始和执行测试所必需的动作；记录测试结果所必需的动作；停止和最终重启动测试的条件和动作；在软件被纠正之后,对于所涉及的功能和任何相关的功能,应有一种重新测试的规程。执行报告应包含以下内容：全部测试用例结果；已正式按照测试计划执行的测试用例；测试用例的标识符；测试执行日期；测试人员姓名和职责；测试用例