2023移动互联网应用多维度体验质量评测规范

II移动互联网应用多维度体验质量评测规范目 次前言 II112范引文件 13语定义 14略语 15测型 16测标 3功能 3视觉 3交互 4性能 4系统 5功耗 5网络 57测法 6概述 6权设定 6评计算 6等评价 7参考献 8PAGEPAGE1移动互联网应用多维度体验质量评测规范范围本文件规定了移动互联网应用多维度体验质量评测的评测模型、评测指标、评测方法。本文件适用于指导移动互联网应用企业和软件评测机构对一般移动互联网应用开展基于核心产品（GB/T11457信息技术软件工程术语GB/T11457界定的术语和定义适用于本文件。缩略语下列缩略语适用于本文件。App：应用（Application）CPU（CentralProcessingUnit）OS（OperationSystem）PING（PacketInternetGrope）UI（UserInterface）WiFi：无线保真（WirelessFidelity）4G：第四代移动通信技术（4thGenerationMobileCommunicationTechnology）5G：第五代移动通信技术（5thGenerationMobileCommunicationTechnology）431图1移动互联网应用多维度体验质量评测模型722441——评估属性：移动互联网多维度体验质量在某一方面的特征；——评测指标：移动互联网应用多维度体验质量反映在该方面特征表现好坏的具体评测项目，对所有评估属性的综合考察得到软件的评测结果。表1移动互联网应用多维度体验质量评测体系序号一级评估属性二级评估属性定义描述1功能有效性功能是否能够达到预期的结果，正常可用准确性界面的操作提示信息准确，用户是否理解正确成功率多轮次功能测试中，成功次数与总测试次数的比值2视觉一致性色彩、字体、图标、弹窗、按钮、表单等元素等设计是否保持风格一致清晰度界面图标、图片、文字等元素是否显示清晰美观度界面风格、色彩、图标、配图是否美观3交互易用性功能操作引导是否清晰、图标寓意是否准确、提示语是否简洁直观，容易理解，功能操作不犹豫容错性操作错误时，系统是否能够通过提示和引导快速帮助用户返回或解决问题效率目标任务从开始到结束的操作时间与点击次数4性能启动时延从桌面点击APP图标到APP界面完全显示所需的时间加载时延指定功能元素触发后，到预期结果完整显示的时间卡顿次数每分钟画面发生卡顿的次数帧率每秒显示的画面帧数量5系统兼容性在多种不同型号的终端上是否能够显示正常、功能使用正常稳定性长时间运行时，出现死机的频率6功耗CPU占用率程序长时间运行过程中，是否会出现系统故障或问题内存使用量运行过程中，对内存的消耗统计表1移动互联网应用多维度体验质量评测体系（续）序号一级评估属性二级评估属性定义描述6功耗流量消耗移动网络环境下，运行时对流量的消耗统计电量消耗运行过程中，对电量的消耗统计7网络PING时延测试服务器指定区域访问服务器PING时延抖动测试服务器指定区域访问服务器抖动丢包率测试服务器指定区域访问服务器丢包率功能有效性有效性的等级评测分为以下2个等级：——未通过：测试发现问题，且该问题会导致功能无法正常使用，或达不到预期结果；——通过：测试未发现问题，功能使用正常或测试发现问题但不影响功能正常使用，可针对记录问题。准确性界面的操作提示信息显示以及用户对信息提醒理解的准确程度。成功率成功率的评测分为以下2个等级：——成功：在全部自动化测试任务中，运行正常，未发现问题；——失败：在全部自动化测试任务中，出现一次及以上运行异常，导致任务终止。视觉一致性一致性的评测分为以下3个等级：——优：色彩、字体、图标、弹窗、按钮、表单等界面元素保持设计风格一致，未发现问题，或发现极少问题；——中：色彩、字体、图标、弹窗、按钮、表单等界面元素设计风格基本一致，但有部分问题，不影响整体效果；——差：色彩、字体、图标、弹窗、按钮、表单等界面元素设计风格有明显一致性问题，整体风格不一致。清晰度清晰度的评测分为以下3个等级：——优：界面图标、图片、文字等元素显示清晰，未发现问题，或发现极少问题；——中：界面图标、图片、文字等元素大部分显示清晰，但有部分问题，不影响正常浏览；——差：界面图标、图片、文字等元素明显不清晰，问题较多，影响正常浏览。美观度美观度的评测分为以下3个等级：——优：界面风格、色彩、图标、配图比较美观，视觉舒适，设计有特色，未发现问题，或发现极少问题；——中：界面风格、色彩、图标、配图比较普通，设计没有特色，有部分问题；——差：界面风格、色彩、图标、配图明显不美观，设计粗糙、视觉杂乱，问题较多。交互易用性（——易使用性：功能及界面交互操作简单，操作引导清晰，新用户无需特殊学习即可使用；——易记忆性：功能和界面交互路径清晰，便于记忆，用户使用过后可再次重复使用，并快速找到界面入口。容错性容错性的评测应包括以下方面：——节点容错性：在部分节点故障后仍能对外提供服务的能力。效率效率的评测应包括以下方面：——任务完成时间：目标任务从开始到结束的整体过程操作时间；——点击次数：目标任务从开始到结束的整体过程需要用户点击的次数。性能启动时延的评测为从点击应用图标到应用主界面完全显示所需的时间，通过采集多轮次自动化测试结果的数据并计算平均值表示，单位为s。可分为以下3个等级：——优：＜2s；——中：2s～5s；——差：＞5s。ms——优：＜190ms；——中：190ms～250ms；——差：＞250ms。卡顿次数的评测应通过固定时间内画面发生停顿、延迟的次数来表征。其中：——一次卡顿：显示帧时间＞前三帧平均耗时2倍且显示帧时间＞两帧电影帧耗时；——一次严重卡顿：显示帧时间＞前三帧平均耗时2倍且显示帧时间＞三帧电影帧耗时。帧率系统兼容性兼容性的评测应包括以下方面：——终端：应用在不同终端设备中运行的兼容性，如UI适配、功能适配等；——操作系统：应用在不同操作系统或不同版本的操作系统中运行的兼容性，包括Android、iOS、HarmonyOS等；——网络环境：应用在不同网络环境中运行的兼容性，包括4G/5G、WiFi以及弱网环境等。稳定性——系统稳定运行时长：应用从开始运行到首次出现死机或崩溃的时间；——稳定性通过率：在指定时长内，多次运行稳定性任务，计算任务运行通过的次数；——稳定性失败次数：在指定时长内，由于被测系统问题导致的任务中断次数。功耗CPUCPU占用率以稳定运行时CPU的占用情况表示。内存使用量的评测以稳定运行时内存的占用情况表示。流量消耗的评测稳定运行时网络带宽的占用以及后台应用流量使用情况表示。电量消耗的评测在移动终端稳定运行时的耗电情况表示。网络PINGPING抖动抖动以最大延迟与最小延迟的时间差表示，抖动时间小，网络表征为稳定。丢包率丢包率以测试中所丢失数据包数量占所发送数据组的比率表示。概述权重设定一级评估属性的权重反映了使用机构对移动互联网应用多维度体验质量评测的关注重点，使用机具体评测指标的权重取决于指标相对于相同一级评估属性下其他指标的重要性和可实施性，即指 𝑋=𝐸×𝐹········································································（1）式中：X—E—F—评分计算𝑖=1 𝑌=（𝑖=1

𝑃𝑖×𝑄𝑖）/𝑛····························································（2）式中：Y——一级评估属性的评分值；Pi——该一级评估属性下的第i个评测指标的评分值；Qi——该一级评估属性下的第i个评测指标的的权重；n——该一级评估属性下的评测指标数量。得出，即： 𝑍=（

𝐻𝑗×𝐾𝑗）/𝑚·······················································