DL∕T 1729-2017 电力信息系统功能及非功能性测试规范

电力信息系统功能及非功能性测试规范国家能源局发布I Ⅱ 12规范性引用文件 1 1 24.1测试目的 2 2 3 3 44.6测试文档 6 6 7 7 85.1适合性 8 85.3互操作性 8 96非功能性 96.1可靠性 9 96.3效率 7测试阶段 7.4验收测试 7.5运行测试 附录A(资料性附录)软件测试方法 20附录B(规范性附录)电力信息系统非功能性测试指标表 Ⅱ1本标准不涉及信息系统安全性测试要求，安全性测试要求见GB/T18336信息技术安全技术GB/T8566信息技术软件生存周期过程(GB/T8566—2007,ISO/IEC12207:1995,MOD)GB/T11457信息技术软件工程术语GB/T18336信息技术安全技术信息技术安全性评估准则(ISO/IEC15408:2005,IDT)GB/T20158信息技术软件生存周期过程配置管理(GB/T20158—2006,ISO/IECTR24总则3c)对测试过程的正确或异常终止情况进行a)描述测试状态。如实际测试与测试计划和测试说明的差异、测试用例合理性、测试充分性分依据测试总结，出具相应的测试报告。测试报告应至少包括产品名称、版本号、委托单位、样品编号、测试资源(硬件测试环境、软件测试环境和测试工具)、测试项目(功能性测试和非功能性测试)和测试结论。4.3测试方法41)每个测试输入的具体内容(如确定的数值、状态或信号等)及其性质(如有效值、无效3)每一步的评价准则；5具体职责测试分析员测试设计员测试程序员测试执行员测试系统管理员对测试环境和资产进行管理和维护配置管理员设置、管理和维护测试配置管理数据库，测注2:一个人可以承担多个角色的工作，一个角色可由多1)具有测试合同(或项目计划);应按照信息系统配置管理的要求，将测试过程中产生的各种工作产品纳入配置管理。由开发组织实施的信息系统测试，应将测试工作产品纳入项目的配置管理；由独立测试组织实施的信息系统测试，应建立配置管理库，将被测对象和测试工作产品纳入配置管理。配置管理要求见6在测试执行前，对测试计划和测试说明等进行评审，评审测试计划的合理性、测试用例的正确性、完整性和覆盖充分性，以及测试组织、测试环境和设备工具是否齐全并符合技术要求等。审查的b)通过比较测试环境与信息系统真实运行的软件、硬件在测试完成后，评审测试过程和测试结果的有效性，确定是否达到测试目的，主要对测试记录、h)评审对测试过程中出现的异常进行处理的正确性。信息系统测试文档一般包括测试计划、测试说明(需要时进一步细分为测试设计说明、测试用例的基本内容和要求见GB/T9386,根据软件的完整性级别和软件规模等级可对信息系统测试文档进行合工具类型功能和特征说明举例设计和代码进行评审、走查细设计的静态分析工具很少7表2(续)工具类型功能和特征说明举例选择测试用例、设置环境、有效性评价等管理等工具活动的其他工具的测试设计、测试数据生理工具复杂度分析可用于测试计划的制定、捕获和回放、1)易用性；2)互操作性；3)稳定性；4)经济实用性；5)可维护性。 85功能性从易学性方面考虑，可测试信息系统的在线帮助，确认在线帮助是否容易定位，是否有效，还可c)要求具有还原能力(数据库的事务回滚能力)的功能，确认它们能否在动作完成之后被撤销；从时间特性方面考虑，可测试信息系统的响应时间、平均响应时间、响应极限时间；信息系统的在测试时，应标识和定义适合于信息系统应用的任务，并对多项任务进行测试，而不是仅测试一当替换整个不同的信息系统和用同一系列的高版本替换低版本时，在易替换性方面，可考虑单元测试的对象是由开发人员对信息系统中的最小可测试单元(最小功能模块)进行检查和验e)语句覆盖率应达到100%;f)分支覆盖率应达到100%;测试环境包括测试的运行环境和测试工具环境。测试的运行环境一般应b)系统性能测试1)时间特性。i)应测试运行条件(如数据结构、输入/输出通道容量、内存空间、调用频率等)在边界状态3)默认使用的寄存器的值正确吗?1)嵌套的IF是否已正确的缩进?2)注释准确并有意义吗?3)是否使用了有意义的标号?5)是否遵循全套的编程标准?1)初始入口的最终出口正确吗?2)规定的域正确吗?4)存储器重复使用吗?可能产生冲突吗?1)是否进行了浮点相等比较?2)测试条件正确吗?3)用于测试的变量正确吗?5)三种情况(大于0,小于0,等于0)是否已全部测试?1)逻辑是否被最佳地编码?1)全部设计是否均已实现?1)是否有不可能执行到的代码?4)是否有多余的程序单元?3)标识符的使用方式；4)过程的调用层次；5)违背编码规则；a)分析成规格说明，引出原因(输入条件)和结果(输出结果),并给每个原因和结果赋予一个A.2.2.7猜错法一级二级指标目的指标等级指标时长说明1(性响应时间响应时间在正常情况下处在一个特定系统负载中，从发出请求到请求完成用户经历的平均等待时间平均响应时间=测试的总时间/界面打开类：通过对用户信息系统最基本典型面打开涉及的用户端界面显示响应时长发现问题，提升信息系统性能强制型2图片/视频界1.仅限打开图片/视频操作。始加载或自动加载开始至在界面上打开并呈现的时长说明书中要求，如需求规格说明书未作要求，则图片/视频界面过10s强制型31.非打开图片完成并呈现的时长满足需求规格说明书中要求，如需求规格说明书未作要求，则普通界面打开时长不得超过5s强制型写表B.1(续)一级二级指标目的指标等级指标时长说明4(性响应时间响应时间理请求的速度在一个特定系统负载中，从发出请求到请求完成用户经历的平均等待时间平均响应时间数据处理类：型操作细化分问题，提升系统性能标准查询用户系统缺省设置查询开始到界面呈现查询结果的操作说明书中要求如需求规格说明书过5s强制型5个性查询准或高级查询点呈现查询结果的操作说明书中要求如需求规格说明书过8s强制型6向系统进行添有数据操作到系加、修改和删除的提示界面的时长说明书中要求如需求规格说明书长不超过5s强制型7(性响应时间响应时间理请求的速度在一个特定系统负载中，从发出请求到请求完成用户经历的平均等待时间平均响应时间统计分析类：析，从表格类、等相关操作响应时长分析系统性能点击展示到展示说明书中要求如需求规格说明书长不应超过20s强制型8图形式报表处理图形式报表从点击展示到展示说明书中要求如需求规格说明书未作要求，则图长不应超过30s强制型表B.1(续)一级二级指标目的指标等级指标时长说明9(性响应时间响应时间在正常情况下处在一个特定系统负载中，从发出请求到请求完成用户经历的平均等待时间平均响应时间测试的总次数不存在动态数据示的时长说明书中要求如需求规格说明书时长不应超过强制型(性响应时间响应时间在正常情况下处在一个特定系统负载中，从发出请求到请求完成用户经历的平均等待时间平均响应时间=测试的总时间/其他交互类：指除上述类别的所有功能系统登录/注销开页面到页面响应打开加上用户时长说明书中要求如需求规格说明书未作要求，销时长不应超过5s强制型(性响应时间响应时间在最坏情况下处出请求到请求完成为止用户经历的平均等待时间最大响应时间长的响应时间满足需求规格说明书中要求，如需求规格说息系统界面打开类不应超过30s;数据处理类不应超过20s;统计分析类不应超过60s;数据转换和传输类不应超过5s;系统登录/注销不应超过12s强制型(性资源利用率当系统并发用户数在设计要求范围内时，评估系统应用服务器和数据库服务器的CPU利用情况一个特定的系占用的CPU资源时间一程序占用的总CPU时间×满足需求规格说明书中要求，如需求规格说用服务器和数据库服务器的CPU平均利用率不得强制型(性资源内存利用率当系统并发用的内存利用情况一个特定的系统负载下，服务器中运行的进程内存利用率=(服务器总内存一存)/服务器总内满足需求规格说明书中要求，如需求规格说用服务器的内存平均使用率不得超过80%,强制型表B.1(续)一级二级指标目的指标等级指标时长说明效率(性成功率定压力下事务处理的能力一个特定的系统负载下，系统得到了服务器正确响应事务数在相应的总事务数中的占比事务数/相应的总事务数强制型效率(性在线用户数最大在线用户数=系统能够处理的最大在线用效率(性并发访问数同时访问系统的最大用户数最大并发访问数=系统能处理的最大用户同时性的适护者能否容易地使信息系统适应环境、信息系统是否有足够的能力使它自身适应件适应运行环境时的用户或维护境进行运行测试时能完成任务且使任务满足适当级别的运行的功能数/进行测试的功能总数性的适护者能否容易地使软件适应环境、信息系统是否有足够的能力使它自身适应运件适应运行环境时的用户或维护统软件或并行应数/进行测试的功能总数表B.1(续)一级二级指标目的指标等级指标时长说明易安的易安装性能否容易地把软件安装在运行环境中行环境中安装软件时用户或维护性=用户为自己的方便成功地更改安装操作的次方便企图更改安装操作的总次数满足需求规格说明书要求，如需求规格说明易安的易性环境中卸载软件件时用户或维护性=用户为自己的方便成功地更改卸载操作的次方便企图更改卸载操作的总次数满足需求规格说明书要求，如需求规格说明性的共共同运行时，用户遇到限制或意外失效的频繁程评价的软件与用户经常使用的其他软件并存时，评价其有效其他软件共同运行时，用户遇到的限制或意外失效的时间/与其他软件共同运行的时间满足需求规格说明书要求，如需求规格说明书未易替数据的连评估在更换原先的软件之后观能否继续使用同是否成功的转移当更换软件后观察能否连续使用原软件的数据用性=(在其他更换的软件中使用并证实能继续更换的软件中使用并计划能继续重新使用的数据个数)满足需求规格说明书要求，如需求规格说明出表B.1(续)一级二级指标目的指标等级指标时长说明易替功能的内评估在更换原先的软件之后观察用户或维护者能否继续容易地使用类似的功能、信息系统是否成功的转移当更换软件时观察信息系统的=(在新版本软件中产生类似结果而无需变更的功能数)/(由要更换的其他软件提供的类似功能并已测试过的功能数)易用性易理的完的帮助程度信息系统描述后(或功能的类型)比例=[被理解的功能(或功能的类型)数]/(测试功能[或功能的类型)总数]于90%易用性易理功能的易性息系统功能正确理解的程度阶段及完成阶段软件功能被用户正确理解的比例解能正确描述出的功能数/测试功能总数易用性易理输出的易性息系统输入数据及输出数据的理指用户在使用信息系统时能正确理解输入输出数据的比例输入输出的易功理解的输入和输出数据项的数到的输入和输出数据项的总数于90%易用性易理界面的明洁文字或提供了界面元素的明的界面元素数/难以理解的界面元素总数表B.1(续)出一级二级指标目的指标等级指标时长说明易用性易学习性帮助的完评估用户文档和/或帮助机制中进行帮助描述的完整程度帮助机制或文所占的比例=(帮助机制或文档描述过的功能数)/功能总数易用性易操用中的一性程度用户在使用信息系统时各种操作模式保持一致的比例一测试发现操作模式不一致用例易用性易操的有性检查的程度入项提供了对有效性数据进行检查的比例检查=对有效数据进行检查的输据可能进行检查的输入项数于95%易用性吸引性界面外观的易定制性的易定制性界面元素能定制为用户满意的外观的比例界面外观的易定制性=能定制为用户满意的外用户希望定制的界面元素总数性成熟性失效率测的能力周期内检测出失效的多少100%一试验周期测试用例的个数于98%性成熟性率评估测试期间信息系统执行测要求的测试用例的比例测试期间实际执按照覆盖需求要求执行的测试用例数强制型表B.1(续)一级二级指标目的指标等级指标时长说明性成熟性度评估测试计划的充分程度要求的测试用例的比例并在评审中证实的测试用例数/要求的测试用例数强制型性性失效评估能控制多少种故障模式以避免关键性的或对已经避免的故障模式的个数进行计算，并与考虑到的故障模应故障模式的测试用例，避免关键和严重失效发中执行的故障模(几乎会引起失强制型性性作评估实现了名少种抵御误操作能力的功能键或严重失效的误操作的测试用例个数进行计数，并与执行的考虑误操作模式的测试用例个数相比较避免关键失效和严重失效发生的行的(几乎引起失效的)误操作模式的测试用例的个数强制型性易恢复性易修常情况下或需要时自身的修复能力时在目标时间内成功自动修复的比例易修复性=在评审中证实已实现的具有复原功说明中的需要具有复原功能的需求数强制型性易恢复性时间目标的业务恢复能力难状态恢复到可运行状态所需的时间时间恢复目标