移动互联网应用多维度体验质量评测规范征求意见稿_第1页
移动互联网应用多维度体验质量评测规范征求意见稿_第2页
移动互联网应用多维度体验质量评测规范征求意见稿_第3页
移动互联网应用多维度体验质量评测规范征求意见稿_第4页
移动互联网应用多维度体验质量评测规范征求意见稿_第5页
已阅读5页,还剩9页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.110

CCSL77

T/CASME

中国中小商业企业协会团体标准

T/CASMEXXX—2023

移动互联网应用多维度体验质量评测规范

Specificationformulti-dimensionalexperiencequalityevaluationofmobileinternet

application

(征求意见稿)

2023-XX-XX发布2023-XX-XX实施

中国中小商业企业协会发布

T/CASMEXXX—2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由杭州友声科技股份有限公司提出。

本文件由中国中小商业企业协会归口。

本文件起草单位:杭州友声科技股份有限公司、XXX。

本文件主要起草人:XXX。

II

T/CASMEXXX—2023

移动互联网应用多维度体验质量评测规范

1范围

本文件规定了移动互联网应用多维度体验质量评测的评测模型、评测指标、评测方法。

本文件适用于指导移动互联网应用企业和软件评测机构对一般移动互联网应用开展基于核心产品

的体验质量评测,本文件不适用于移动互联网应用核心产品以外,所涉及的特殊业务(如医疗服务、金融业

务、视频购物、直播培训等)、运营类业务(如阅读、音乐、视频等)、社交类、游戏类以及需要与智能硬

件交互的应用类型(如智能家居、物联网、车联网等)的体验评测。本文件评测模型中的评估属性和评

测指标可结合移动互联网应用特点进行合理增删。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T11457信息技术软件工程术语

3术语和定义

GB/T11457界定的术语和定义适用于本文件。

4缩略语

下列缩略语适用于本文件。

App:应用(Application)

CPU:中央处理器(CentralProcessingUnit)

OS:移动设备操作系统(OperationSystem)

PING:因特网包探索器(PacketInternetGrope)

UI:用户界面(UserInterface)

WiFi:无线保真(WirelessFidelity)

4G:第四代移动通信技术(4thGenerationMobileCommunicationTechnology)

5G:第五代移动通信技术(5thGenerationMobileCommunicationTechnology)

5评测模型

移动互联网应用多维度体验质量评测模型主要从核心产品的体验维度评测,包括功能、视觉、交

互、性能4个评估属性,结合对使用环境维度评测,包括系统、功耗、网络3个评估属性,见图1。

1

T/CASMEXXX—2023

图1移动互联网应用多维度体验质量评测模型

移动互联网应用多维度体验质量评测体系具有一级评估属性、二级评估属性、评测指标三个层次,

共有7项一级评估属性、22项二级评估属性和44项评测指标,见表1。其中:

——评估属性:移动互联网多维度体验质量在某一方面的特征;

——评测指标:移动互联网应用多维度体验质量反映在该方面特征表现好坏的具体评测项目,对

所有评估属性的综合考察得到软件的评测结果。

表1移动互联网应用多维度体验质量评测体系

序号一级评估属性二级评估属性定义描述

有效性功能是否能够达到预期的结果,正常可用

1功能准确性界面的操作提示信息准确,用户是否理解正确

成功率多轮次功能测试中,成功次数与总测试次数的比值

一致性色彩、字体、图标、弹窗、按钮、表单等元素等设计是否保持风格一致

2视觉清晰度界面图标、图片、文字等元素是否显示清晰

美观度界面风格、色彩、图标、配图是否美观

功能操作引导是否清晰、图标寓意是否准确、提示语是否简洁直观,容易理解,功

易用性

能操作不犹豫

3交互

容错性操作错误时,系统是否能够通过提示和引导快速帮助用户返回或解决问题

效率目标任务从开始到结束的操作时间与点击次数

启动时延从桌面点击APP图标到APP界面完全显示所需的时间

4加载时延指定功能元素触发后,到预期结果完整显示的时间

性能

卡顿次数每分钟画面发生卡顿的次数

帧率每秒显示的画面帧数量

兼容性在多种不同型号的终端上是否能够显示正常、功能使用正常

5系统

稳定性长时间运行时,出现死机的频率

CPU占用率程序长时间运行过程中,是否会出现系统故障或问题

6功耗

内存使用量运行过程中,对内存的消耗统计

2

T/CASMEXXX—2023

表1移动互联网应用多维度体验质量评测体系(续)

序号一级评估属性二级评估属性定义描述

流量消耗移动网络环境下,运行时对流量的消耗统计

6功耗

电量消耗运行过程中,对电量的消耗统计

PING时延测试服务器指定区域访问服务器PING时延

7网络抖动测试服务器指定区域访问服务器抖动

丢包率测试服务器指定区域访问服务器丢包率

6评测指标

功能

6.1.1有效性

有效性的等级评测分为以下2个等级:

——未通过:测试发现问题,且该问题会导致功能无法正常使用,或达不到预期结果;

——通过:测试未发现问题,功能使用正常或测试发现问题但不影响功能正常使用,可针对记录

问题。

6.1.2准确性

界面的操作提示信息显示以及用户对信息提醒理解的准确程度。

6.1.3成功率

成功率的评测分为以下2个等级:

——成功:在全部自动化测试任务中,运行正常,未发现问题;

——失败:在全部自动化测试任务中,出现一次及以上运行异常,导致任务终止。

视觉

6.2.1一致性

一致性的评测分为以下3个等级:

——优:色彩、字体、图标、弹窗、按钮、表单等界面元素保持设计风格一致,未发现问题,或

发现极少问题;

——中:色彩、字体、图标、弹窗、按钮、表单等界面元素设计风格基本一致,但有部分问题,

不影响整体效果;

——差:色彩、字体、图标、弹窗、按钮、表单等界面元素设计风格有明显一致性问题,整体风

格不一致。

6.2.2清晰度

清晰度的评测分为以下3个等级:

——优:界面图标、图片、文字等元素显示清晰,未发现问题,或发现极少问题;

——中:界面图标、图片、文字等元素大部分显示清晰,但有部分问题,不影响正常浏览;

——差:界面图标、图片、文字等元素明显不清晰,问题较多,影响正常浏览。

3

T/CASMEXXX—2023

6.2.3美观度

美观度的评测分为以下3个等级:

——优:界面风格、色彩、图标、配图比较美观,视觉舒适,设计有特色,未发现问题,或发现

极少问题;

——中:界面风格、色彩、图标、配图比较普通,设计没有特色,有部分问题;

——差:界面风格、色彩、图标、配图明显不美观,设计粗糙、视觉杂乱,问题较多。

交互

6.3.1易用性

易用性的评测应包括以下方面:

——易理解性:界面信息简洁直观,使用用户语言(非系统语言)可帮助用户快速理解相关内容

或快速传递功能操作方法;

——易使用性:功能及界面交互操作简单,操作引导清晰,新用户无需特殊学习即可使用;

——易记忆性:功能和界面交互路径清晰,便于记忆,用户使用过后可再次重复使用,并快速找

到界面入口。

6.3.2容错性

容错性的评测应包括以下方面:

——抵御误操作:提供防止误操作的能力;

——抵御错误数据:抵御错误数据的能力;

——节点容错性:在部分节点故障后仍能对外提供服务的能力。

6.3.3效率

效率的评测应包括以下方面:

——任务完成时间:目标任务从开始到结束的整体过程操作时间;

——点击次数:目标任务从开始到结束的整体过程需要用户点击的次数。

性能

6.4.1启动时延

启动时延的评测为从点击应用图标到应用主界面完全显示所需的时间,通过采集多轮次自动化测

试结果的数据并计算平均值表示,单位为s。可分为以下3个等级:

——优:<2s;

——中:2s~5s;

——差:>5s。

6.4.2加载时延

加载时延的评测为指定功能元素触发后,到预期结果完整显示的时间。通过采集多轮次自动化测试

结果的数据并计算平均值表示,单位为ms。可分为以下3个等级:

——优:<190ms;

——中:190ms~250ms;

——差:>250ms。

4

T/CASMEXXX—2023

6.4.3卡顿次数

卡顿次数的评测应通过固定时间内画面发生停顿、延迟的次数来表征。其中:

——一次卡顿:显示帧时间>前三帧平均耗时2倍且显示帧时间>两帧电影帧耗时;

——一次严重卡顿:显示帧时间>前三帧平均耗时2倍且显示帧时间>三帧电影帧耗时。

6.4.4帧率

帧率的评测以终端应用画面每秒的更新次数表示,单位为帧。每秒钟帧数越多,所显示的动作越流

畅。

系统

6.5.1兼容性

兼容性的评测应包括以下方面:

——终端:应用在不同终端设备中运行的兼容性,如UI适配、功能适配等;

——操作系统:应用在不同操作系统或不同版本的操作系统中运行的兼容性,包括Android、

iOS、HarmonyOS等;

——网络环境:应用在不同网络环境中运行的兼容性,包括4G/5G、WiFi以及弱网环境等。

6.5.2稳定性

通过运行自动化遍历测试任务,对系统的稳定性相关数据进行采集,稳定性的评测包括以下方面:

——系统稳定运行时长:应用从开始运行到首次出现死机或崩溃的时间;

——稳定性通过率:在指定时长内,多次运行稳定性任务,计算任务运行通过的次数;

——稳定性失败次数:在指定时长内,由于被测系统问题导致的任务中断次数。

功耗

6.6.1CPU占用率

CPU占用率以稳定运行时CPU的占用情况表示。

6.6.2内存使用量

内存使用量的评测以稳定运行时内存的占用情况表示。

6.6.3流量消耗

流量消耗的评测稳定运行时网络带宽的占用以及后台应用流量使用情况表示。

6.6.4电量消耗

电量消耗的评测在移动终端稳定运行时的耗电情况表示。

网络

6.7.1PING时延

PING的评测以一个数据包从用户的设备发送到测速点,再从测速点返回用户设备的来回时间表示。

6.7.2抖动

5

T/CASMEXXX—2023

抖动以最大延迟与最小延迟的时间差表示,抖动时间小,网络表征为稳定。

6.7.3丢包率

丢包率以测试中所丢失数据包数量占所发送数据组的比率表示。

7评测方法

概述

7.1.1移动互联网应用评测过程中对评估属性和评测指标进行分级定义和分级运算,每一级有相应的

权重体系,自下而上计算得出移动互联网应用的量化评分值。实际评测时,将可量化的指标进行量化,

并通过功能测试、竞品类比、功能巡检、性能测试、网络测试等手段评测;不可量化的定性指标则采用

三到五名专家评估法的方式确定。

7.1.2以下给出参考评测方法,该评测方法采用由评测指标到一级评估属性,再到最终评测结果的两

阶段计算方式。实际评测时可根据需求制定更适合的计算及评价方法,如将二级评估属性纳入阶段计算,

采用雷达图形式的多维度评价作为评测结果等。

权重设定

7.2.1一级评估属性

一级评估属性的权重反映了使用机构对移动互联网应用多维度体验质量评测的关注重点,使用机

构重点关注的评估属性具有更大权重值。通过专家评分的方式,调研移动互联网应用各项一级评估属性

的相对重要性,并采用求平均和归一化的方法确定各一级评估属性的权重。

7.2.2具体评测指标

具体评测指标的权重取决于指标相对于相同一级评估属性下其他指标的重要性和可实施性,即指

标相对重要性和指标可实施性是决定权重的关键要素。基于专家小组调研结果,通过相乘法计算得到评

测指标的权重,即:

푋=퐸×퐹········································································(1)

式中:

X——评测指标的权重;

E——评测指标的重要性;

F——评测指标的可实施性。

评分计算

7.3.1应计算一级评估属性评分值。将一级评估属性下各评测指标的评分值与相应权重相乘,再取平

均值得到该一级评估属性的评分值,即:

푛

푌=(∑푖=1푃푖×푄푖)/푛····························································(2)

式中:

Y——一级评估属性的评分值;

Pi——该一级评估属性下的第i个评测指标的评分值;

Qi——该一级评估属性下的第i个评测指标的的权重;

n——该一级评估属性下的评测指标数量。

7.3.2应计算评测结果值。评测结果由第一阶段计算得到的一级评估属性评分值乘以相应权重后相加

6

T/CASMEXXX—2023

得出,即:

푚

푍=(∑푗=1퐻푗×퐾푗)/푚···························································(3)

式中:

Z——移动互联网应用多维度体验质量的评测结果;

Hj——第j项一级评估属性的评分值;

Kj——第j项一级评估属性的权重;

m——一级评估属性数量。

7.3.3两阶段的计算可以减弱由于属性选取的某些不合理因素带给评测结论的偏差,也可以充分体现

移动互联网应用多维度体验质量中不同评测指标的权重比例。

等级评价

针对移动互联网应用进行评价时,建议划分为AAAA、AAA、AA和A四个评价等级,将移动互联网应用

的评测结果进行归一化处理后的通用划分方法见表2,具体评分区间可根据实际需求灵活调整。

表2等级评价方法

序号等级评分区间

1AAAA0.90≤Z≤1

2AAA0.80≤Z<0.90

3AA0.60≤Z<0.80

4A0≤Z<0.60

7

T/CASMEXXX—2023

参考文献

[1]GB/T19001质量管理体系要求

[2]GB/T25000.10系统与软件工程系统与软件质量要求和评价(SQuaRE)第10部分:系

统与软件质量模型

[3]GB/T25000.40系统与软件工程系统与软件质量要求和评价(SQuaRE)第40部分:评

价过程

[4]SJ/T11235软件能力成熟度模型

[5]T/SIA003软件产品评估标准

8

T/CASMEXXX—2023

目次

前言.................................................................................II

1范围...............................................................................1

2规范性引用文件.....................................................................1

3术语和定义.........................................................................1

4缩略语.............................................................................1

5评测模型...........................................................................1

6评测指标...........................................................................3

功能...........................................................................3

视觉...........................................................................3

交互...........................................................................4

性能...........................................................................4

系统...........................................................................5

功耗...........................................................................5

网络...........................................................................5

7评测方法...........................................................................6

概述...........................................................................6

权重设定.......................................................................6

评分计算.......................................................................6

等级评价.......................................................................7

参考文献..............................................................................8

I

T/CASMEXXX—2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由杭州友声科技股份有限公司提出。

本文件由中国中小商业企业协会归口。

本文件起草单位:杭州友声科技股份有限公司、XXX。

本文件主要起草人:XXX。

II

T/CASMEXXX—2023

移动互联网应用多维度体验质量评测规范

1范围

本文件规定了移动互联网应用多维度体验质量评测的评测模型、评测指标、评测方法。

本文件适用于指导移动互联网应用企业和软件评测机构对一般移动互联网应用开展基于核心产品

的体验质量评测,本文件不适用于移动互联网应用核心产品以外,所涉及的特殊业务(如医疗服务、金融业

务、视频购物、直播培训等)、运营类业务(如阅读、音乐、视频等)、社交类、游戏类以及需要与智能硬

件交互的应用类型(如智能家居、物联网、车联网等)的体验评测。本文件评测模型中的评估属性和评

测指标可结合移动互联网应用特点进行合理增删。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T11457信息技术软件工程术语

3术语和定义

GB/T11457界定的术语和定义适用于本文件。

4缩略语

下列缩略语适用于本文件。

App:应用(Application)

CPU:中央处理器(CentralProcessingUnit)

OS:移动设备操作系统(OperationSystem)

PING:因特网包探索器(PacketInternetGrope)

UI:用户界面(UserInterface)

WiFi:无线保真(WirelessFidelity)

4G:第四代移动通信技术(4thGenerationMobileCommunicationTechnology)

5G:第五代移动通信技术(5thGenerationMobileCommunicationTechnology)

5评测模型

移动互联网应用多维度体验质量评测模型主要从核心产品的体验维度评测,包括功能、视觉、交

互、性能4个评估属性,结合对使用环境维度评测,包括系统、功耗、网络3个评估属性,见图1。

1

T/CASMEXXX—2023

图1移动互联网应用多维度体验质量评测模型

移动互联网应用多维度体验质量评测体系具有一级评估属性、二级评估属性、评测指标三个层次,

共有7项一级评估属性、22项二级评估属性和44项评测指标,见表1。其中:

——评估属性:移动互联网多维度体验质量在某一方面的特征;

——评测指标:移动互联网应用多维度体验质量反映在该方面特征表现好

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论