DB35-T 2044-2021 虚拟现实应用软件性能测试要求

ICS35.24035DB35/T2044—2021虚拟现实应用软件性能测试要求Requirementsofperformancetestingforvirtualrealityapplicationsoftware2022-03-29实施福建省市场监督管理局发布DB35/T2044—2021I前言 2规范性引用文件 3术语和定义 4缩略语 45测试指标 46测试准备 7测试流程 附录A（资料性）性能测试报告内容模板 附录B（资料性）测试案例 DB35/T2044—2021本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由福建省信息化标准化技术委员会（SAFJ/TC11）提出并归口。本文件起草单位：福建网龙计算机网络信息技术有限公司、福建省计量科学研究院、福建省华渔教育科技有限公司、福州软件职业技术学院。本文件主要起草人：刘德建、黄月月、郑培强、林志宏、钟开华、林琛、俞飚、俞发仁、隋明宏、黄明华、黄彬、赖保宇、陈雯艳、周贵燊、吴冬华、蒋逸凡。DB35/T2044—20213虚拟现实应用软件性能测试要求本文件规定了虚拟现实应用软件的测试指标、测试准备与测试流程。本文件适用于虚拟现实应用软件产品的性能测试，以及虚拟现实应用软件的设计、开发与优化。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T38258—2019信息技术虚拟现实应用软件基本要求和测试方法GB/T38259—2019信息技术虚拟现实头戴式显示设备通用规范3术语和定义GB/T38258—2019界定的以及下列术语和定义适用于本文件。3.1虚拟现实virtualreality采用以计算机为核心的现代高科技手段生成的逼真的视觉、听觉、触觉、嗅觉、味觉等多感官一体化的数字化人工环境，用户借助一些输入、输出设备，采用自然的方式与虚拟世界的对象进行交互，相互影响，从而产生身临真实环境的感觉和体验。[来源：GB/T38258—2019，2.1]3.2粒子系统particlesystem三维计算机图形学中用于模拟特定的模糊场景的系统。3.3虚拟现实引擎virtualrealityengine用于实现虚拟现实应用软件功能，整合了开发虚拟现实应用软件常用的模块或子模块的软件系统。3.4绘制调用drawcall虚拟现实引擎进行数据准备并通知图形处理器进行处理的过程。3.5纹理texture应用于几何节点时，用来创建视觉外观效果的图像。DB35/T2044—202144缩略语下列缩略语适用于本文件。CPU：中央处理器（CentralProcessingUnit）GPU：图形处理器（GraphicProcessingUnit）SDK：软件开发工具包（SoftwareDevelopmentKit）VR：虚拟现实（VirtualReality）5测试指标5.1CPU占用率CPU占用率按式（1）计算：cvn=⃞x100%…1)TCVR——VR应用软件占用CPU的时间，单位为毫秒（ms）；TCPU——CPU总运行时间，单位为毫秒（ms5.2GPU占用率GPU占用率按式（2）计算：n=⃞x100%…2)TGVR——VR应用软件占用GPU的时间，单位为毫秒（ms）；TGPU——GPU总运行时间，单位为毫秒（5.3内存占用率内存占用率按式（3）计算：en=⃞x100%…(3)M——VR应用软件的内存使用量；S——系统总内存。5.4渲染帧率应符合GB/T38258—2019中5.2.1.3规定的要求。DB35/T2044—202155.5场景加载时间测试从当前场景进入到下一场景所消耗的时间。场景加载时间按式（4）计算：i2——第i次场景加载时间，单位为毫秒（ms）；i1——第i次场景加载完成的时刻，单位为毫秒（ms）；i0——第i次场景加载开始的时刻，单位为毫秒（ms）。5.6单一场景最大粒子数测试单一场景中可以显示的最大粒子数量。单一场景最大粒子数按式（5）计算：i——第i个粒子系统列表对象中显示的粒子数；k——粒子系统类型列表中对象的数量。5.7最大纹理贴图加载时间测试随着VR场景的切换，场景内3D模型表面加载纹理、图案和其他特殊视觉效果所需要的最大时间。最大纹理贴图加载时间按式（6）计算：Tmax——最大纹理贴图加载完成的时间，单位为毫秒（ms）；i1——第i次纹理贴图加载完成的时刻，单位为毫秒（ms）；i0——第i次纹理贴图加载开始的时刻，单位为毫秒（ms）；k——纹理信息列表中对象的数量。5.8动画剪辑资源峰值测试动画系统中最大的可重用关键帧轨道集。动画剪辑资源峰值按式（7）计算：n——动画剪辑列表中第n个对象的资源大小；k——动画剪辑列表中对象的个数。5.9陀螺仪数据转换时间测试虚拟现实软件中陀螺仪将当前空间信息转换为虚拟摄像机空间信息所需要的时间。陀螺仪数据转换时间按式（8）计算：DB35/T2044—20216Ts——陀螺仪数据转换时间，单位为毫秒（ms）；T2vcam——虚拟摄像机完成转动的时刻，单位为毫秒（ms）；T1vcam——虚拟摄像机开始转动的时刻，单位为毫秒（ms）；）；T1gyro——陀螺仪开始转动的时刻，单位为毫秒（ms）。5.10VR操作杆与软件交互的最大响应时间测试从用户控制操作杆到虚拟现实软件做出响应的最大耗时。VR操作杆与软件交互的最大响应时间按式（9）计算：................................................(9)Ti——VR操作杆与软件交互的最大响应时间，单位为毫秒（ms）；Ti2——第i次操作事件完成的时刻，单位为毫秒（ms）；Ti1——第i次操作事件开始的时刻，单位为毫秒（ms）；i——用户控制操作杆的次数。6测试准备6.1最低硬件配置6.1.1VR头戴式显示设备最低硬件配置头戴式显示设备的最低硬件配置应符合GB/T38259—2019规定的要求。6.1.2VR主机最低硬件配置推荐VR主机最低的硬件配置见表1。表1VR设备主机最低硬件配置12345DB35/T2044—202176.2测试场景要求测试各性能指标的场景应符合表2的规定，测试场景的设计及相关案例见附录B。表2VR性能指标测试场景要求1234567896.3样本数据要求应提供不少于10组的样本数据，涉及时间的测试指标精度应达到0.001s，测试结果的记录格式见附录A，数据的记录案例见附录B。6.4环境搭建要求在VR应用软件使用说明书适配的设备和平台进行环境搭建。如果无环境配置说明，在6.1最低硬件配置上进行测试。7测试流程7.1CPU、GPU和内存占用率测试流程测试流程步骤如下：a)系统初始化，确保系统中无与虚拟现实应用软件运行无关的其他程序；b)启动被测VR应用软件，获取虚拟现实应用软件的相关进程ID；c)在极限运算场景中稳定运行5分钟后，进入特定的测试场景；d)根据进程ID，每秒获取一次VR应用软件的CPU、GPU和内存占用率。7.2渲染帧率测试流程测试流程步骤如下：a)启动被测VR应用软件；b)进入特定的测试场景；DB35/T2044—20218c)确定显示设备的刷新频率；d)锁帧并计算平均每秒渲染的帧数，染帧率不应低于显示设备的刷新率。7.3场景加载时间测试流程测试流程步骤如下：a)启动被动VR应用软件，确定场景的加载类型（有或无加载进度条）；b)运行进度加载读取程序；c)在触发场景切换时获取场景的加载进度，插入时间戳Ti0，即场景加载的开始时刻；d)等待加载完成，直到加载的进度值为1时，插入时间戳Ti1，即场景加载的结束时刻；e)计算Ti1与Ti0之间的7.4单一场景最大粒子数测试流程测试流程步骤如下：a)启动被测VR应用软件，进入特定的测试场景；b)声明对象变量并进行初始化，包括对象类型列表和粒子系统类型列表；c)遍历每个场景，查找并保存场景中所有的物体对象到对象类型列表中；d)遍历对象列表中的每个对象以获取每个对象的组件信息；e)通过虚拟现实引擎接口判断对象是否挂载了粒子系统组件。若存在粒子系统，则将该对象存储到粒子系统类型列表中；否则，继续从列表中选取下一个对象进行判断；f)遍历粒子系统类型列表以获取每个对象对应的粒子数，并确定当前场景的最大粒子数。7.5最大纹理贴图加载时间测试流程测试流程步骤如下：a)启动被测VR应用软件，进入特定测试场景；b)声明对象变量并进行初始化，包括资源列表和纹理信息列表；c)加载VR应用软件的场景资源包，通过分析资源之间的依赖关系来获取完整的测试资源列表；d)筛选资源库中所有类型为纹理贴图的资源，提取其纹理贴图资源的格式、名称以及路径等信息，并将其存储到对应的纹理信息列表中；e)利用虚拟现实引擎接口对纹理贴图对象绑定加载监听事件，包括加载初始化事件OnLoad(callback)和加载完成事件OnLoadDone(callback)。将纹理贴图加载开始的时间标记为Ti0，完成纹理贴图加载的结束时间标记为Ti1；f)确定最大纹理贴图的加载时间。7.6动画剪辑资源峰值测试流程测试流程步骤如下：a)启动被测VR应用软件，并进入特定的测试场景；b)声明对象变量并进行初始化，包括动画剪辑列表和对象列表；c)遍历每个场景，查找并保存场景中所有的物体对象到对象类型列表中；d)遍历对象列表中的每个对象以获取每个对象的组件信息；DB35/T2044—20219e)判断对象是否动画系统组件类型，若是动画系统组件，则将该对象存储到动画剪辑类型列表中；否则，继续从列表中选取下一个对象进行判断；f)遍历动画剪辑列表以获取动画剪辑资源的大小并计算当前场景中动画剪辑资源的峰值。7.7VR陀螺仪数据转换时间测试流程测试流程步骤如下：a)启动被测VR应用软件，并进入特定的测试场景；b)将头显放置于机械转盘上，开启陀螺仪调试模式；c)以0.5rad/s顺时针匀速转动机械硬盘360o；d)同时加载陀螺仪监听SDK，并将其绑定于虚拟摄像机对象上，记录虚拟摄像机开始转动时的时e)逐帧记录虚拟摄像机的欧拉角；f)在虚拟摄像机欧拉角等于陀螺仪转动的欧拉角时，记录虚拟摄像机转动结束时的时间戳T2vcam；g)从陀螺仪操作日志中获取陀螺仪转动的开始时间T1gyro和停止时间T2gyro；h)按式（8）计算陀螺仪和虚拟摄像机的数据转换时间差Ts。7.8VR操作杆与软件交互的最大响应时间测试流程测试流程步骤如下：a)启动被测VR应用软件，并进入特定的测试场景；b)根据VR软件产品需求说明书，确定在软件运行过程中涉及的操作杆事件类型；c)如果VR软件依赖的驱动支持记录操作日志，可直接从日志中查找事件发生的时间戳T1；d)如果无法记录操作日志，只需手动触发事件发生，并通过高精度计时器记录事件发生时间戳T1（该过程会产生与特定VR设备硬件相关的操作时延，建议测试时优先通过可编程机械臂进行。若无该设备，也可以用手代替机械臂进行操作）；e)监听事件触发函数，并记录事件完成时间戳T2；f)按式（9）计算操作杆与软件交互的最大响应时间。DB35/T2044—2021性能测试报告内容模板在进行虚拟现实应用软件的性能测试时，记录测试内容及测试数据的格式见表A.1。表A.1性能测试报告内容模板场景执行次数：次12:12:12:DB35/T2044—2021表A.1性能测试报告内容模板（续）12:12:12:12:12:DB35/T2044—2021表A.1性能测试报告内容模板（续）12:12:DB35/T2044—2021测试案例B.1《创想世界》测试方案《创想世界》是一款操作极简的VR场景编辑器，具有强大的编辑能力，不仅能实现多种模式的VR和3D作品的编辑，还能让用户自定义设计自己的资源，放飞天马行空的创意。我们在使用该软件资源时，引用