CESA-2024140可交互系统用户体验成熟度模型与评估团体标准（-2024）

ICS03.120.20

CCSA10/19

团体标准

T/CESAXXXX—202X

可交互系统用户体验成熟度模型与评估

Userexperiencematuritymodelandassessmentforinteractivesystems

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

目次

前言...........................................................................III

引言............................................................................IV

1范围...............................................................................5

2规范性引用文件.....................................................................5

3术语和定义.........................................................................5

4基于用户端评估.....................................................................6

4.1评估模型.......................................................................6

4.2维度分数生成...................................................................6

4.2.1有效性分数生成.............................................................6

4.2.2效率分数生成...............................................................6

4.2.3满意度分数生成.............................................................7

4.2.4NPS分数生成................................................................7

4.2.5可用性问题及其严重性分数生成...............................................8

4.3权重构建.......................................................................9

5基于专家端评估.....................................................................9

5.1评估模型.......................................................................9

5.2维度分数生成..................................................................10

5.2.1可用性问题及其严重性分数生成..............................................10

5.2.2评估原则符合度分数生成....................................................10

5.3权重分配......................................................................11

6成熟度总分生成....................................................................11

7成熟度等级........................................................................11

附录A.............................................................................12

A.1综述..........................................................................12

A.2分析各因素之间的关系,建立层次结构模型.........................................12

A.3构造判断矩阵..................................................................12

A.4层次单排序....................................................................12

A.5一致性检验....................................................................13

附录B.............................................................................14

B.1案例一：基于可用性测试的冰箱用户体验成熟度评估................................14

B.1.1项目简介..................................................................14

B.1.2评估维度..................................................................14

B.1.3测试结果..................................................................14

B.1.4维度分数生成..............................................................14

I

T/CESAXXXX—202X

B.1.5权重构建...................................................................15

B.1.6成熟度总分计算.............................................................15

B.1.7成熟度等级划分.............................................................15

B.2案例二：基于专家评估的智能卫浴App用户体验成熟度评估...........................16

B.2.1项目简介...................................................................16

B.2.2评估维度...................................................................16

B.2.3专家评估结果...............................................................16

B.2.4维度分数生成...............................................................16

B.2.5权重分配...................................................................17

B.2.6成熟度总分计算.............................................................17

B.2.7成熟度等级划分.............................................................17

参考文献..........................................................................18

II

T/CESAXXXX—202X

可交互系统用户体验成熟度模型与评估

1范围

本文件确立了可交互系统用户体验成熟度的评估模型，描述了对应的成熟度评估方法。

本文件适用于包括但不限于电子类产品、软件产品、网络产品、智能家居、智能驾驶、金融保险、

医疗健康、公共服务等行业产品的用户体验成熟度评价。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T18978.11—2023人-系统交互工效学第11部分：可用性：定义和概念

3术语和定义

下列术语和定义适用于本文件。

3.1

可交互系统interactivesystem

用户为实现特定目标而与之交互的硬件、软件、服务、人员等的组合。

[来源：GB/T18978.11—2023，定义3.1.5，有修改]

3.2

用户体验成熟度userexperiencematurity

用户体验成熟度是指产品在设计、开发和使用过程中，其用户体验的整体水平。它通过以下两种方

式进行评估：

a）基于用户端的数据：评估产品的有效性、效率、满意度、NPS、可用性问题及其严重性；

b）基于专家端的数据：评估产品的可用性问题及其严重性，以及其对及时反馈、使用用户的语言、

容错性、接近现实的隐喻、设计的一致性、减少用户记忆负担、控制性和用户帮助系统这些用户体验设

计原则的符合程度。

3.3

任务完成率tasksuccessrate

用户在第一次尝试时，成功完成指定任务的比例。

注：该指标用于衡量产品的有效性，反映用户能否直观地理解并使用产品功能。

3.4

任务完成时间taskcompletiontime

用户完成指定任务所需的时间。

注：该指标用于衡量产品的效率，较短的完成时间通常表明用户能够快速找到所需信息或功能。

3.5

满意度评分satisfactionscore

5

T/CESAXXXX—202X

用户对产品的主观感受和总体满意度的评分。

注：满意度评分通常通过问卷调查或用户反馈收集，用于评估用户在使用产品后的情感和态度，包括用户对于目标结

果的满意，任务过程的满意，以及美学感受的满意。

3.6

净推荐值netpromoterscoreNPS

衡量用户忠诚度的指标，基于用户是否愿意向他人推荐产品。

注：通常通过询问用户“在0到10的范围内，你有多大可能向朋友或同事推荐本产品？”来计算分值。

4基于用户端评估

基于用户端评估（即可用性测试）的数据，生成用户体验成熟度分值的评估模型、维度分数生成及权

重构建方法。

4.1评估模型

根据GB/T18978.11及其他用户体验理论模型，基于可用性测试产生的数据，从以下五个维度评估可

交互系统的用户体验成熟度：

——有效性。较高的任务完成率表明用户能够理解并轻松使用产品，反映了产品和系统信息架构设计

的逻辑性和有效性。

——效率。较短的任务完成时间通常表明用户能够快速找到所需信息或功能，反映了产品和系统交互

设计的合理性和高效性。

——满意度。满意度反映了用户对产品的主观感受和总体满意度，衡量用户在使用产品后的情感和态

度。

——NPS。NPS是一种衡量用户忠诚度的指标，基于用户是否愿意向他人推荐产品。

——可用性问题及其严重性。可用性问题及其严重性评估产品在使用过程中遇到的各种问题及其对用

户体验的影响。通过可用性测试和启发式评估，识别并记录这些问题，并根据其严重程度进行分类和评分。

严重性等级帮助确定问题的优先级和修复紧迫性。

4.2维度分数生成

4.2.1有效性分数生成

有效性通过用户的任务完成率来评估。在可用性测试中，任务完成率的数据是按任务得出的。例如，

某可用性测试有11个任务，8名参试者，每个任务均可得出参试者的任务完成率，总计输出11个任务完

成率分值。取这些任务完成率分值的均值（该例按截尾平均处理，若任务数量不超过10个，则直接取均

值即可），得出一个任务完成率代表值。将任务完成率代表值乘以100，转换成百分制得分，用以代表有

效性的分值。

4.2.2效率分数生成

效率通过任务完成时间来评估。在可用性测试中，任务完成时间的数据是按任务得出的。例如，某

可用性测试共有11个任务，8名参试者。对任意一个任务来说，均需剔除未完成的参试者数据，对剩

余的完成时间按照百分比的方式进行百分制转换，再求其均值。共能求得11个百分制分数。取这些任

务完成时间分值的均值（如果任务数量不超过10个，则直接求均值即可），得出百分制的效率分数（任

务完成时间代表值）。

6

T/CESAXXXX—202X

其中，利用百分比进行分数标准化的原理是将所有维度上指标的得分，根据其相对最佳水平的比例，

将得分转变为百分比得分。

该方法适用于有明确上限或最佳值的指标，例如满意度评分有明确的上限（满分），任务完成时间

可以采用最短的完成时间作为最佳值。以下为具体介绍：

满意度评分可直接通过相应分数除以分数上限的方式，得到百分比得分。例如，如果在一个7点量

表中进行评分，最高分是7分，那么假如评分为4分，就可以将其转为57分（4/7*100%）。

对于任务完成时间这类指标，很难确定完成时间少到何种程度就达到了满分的标准。因此，可以采

用如下方式：将所有任务（或所有用户）中完成时间中最短的时间作为100分的标准，然后用其去除其

余的任务完成时间，将各自转为百分比分数。

表1百分比分数转换示例表

转换前转换后

编号满意度评分平均分

完成时间（s）完成时间满意度评分

（1～7）

1654.2466053

2403.5755062.5

3304.51006482

4522.8584049

满分标准307——

4.2.3满意度分数生成

在可用性测试中，参试者可对任务完成的结果、过程和整体界面美学进行满意度评分，一名参试者

可产生三个满意度评分。

任务完成结果满意度的分数生成方法：假设某测试共有8名参试者，8名参试者满意度评分的均

值除以7（满意度是7点量表），再乘以100，即可得出任务完成结果满意度的百分制得分。

按同样的方法求得任务完成过程的满意度百分制得分，以及整体界面美学的满意度百分制得分。

最后对这三个百分制满意度得分加权求和（推荐按照结果0.45、过程0.35、美学0.2的权重），

得出一个综合的满意度代表值。

4.2.4NPS分数生成

在可用性测试中，参试者对产品打完NPS分值后，根据以下公式计算NPS值：

p-d

NPS=…………（1）

e

式中：

p：评分为9或10的参试者数量；

7

T/CESAXXXX—202X

d：评分为0到6的参试者数量；

e：总参试者数量；

计算NPS值后，将其乘以100，转换成百分制得分。

4.2.5可用性问题及其严重性分数生成

可用性问题及其严重性分数生成步骤如下：

a）数据收集与标准化

1）收集每名参试者的可用性问题列表和对应的严重等级；

2）将严重等级标准化为数值（例如，严重=4，中等=3，一般=2，轻微=1）；

3）将每个问题严重等级乘以其对应的问题数量，然后加和，得到一个综合分数。

b）转换为百分制评分

1）取参试者中的最大综合分数Tmax；

2）转换为百分制评分：

对于某参试者的综合分数，其百分制评分为：

T

1-×100…………（2）

Tmax

��

式中：

T：某参试者综合分数。

这里，综合分数越高表示问题越多，用户体验越差，所以需要反转计算。

c）离群值检测（适用于参试者人数超过10人的情况，否则忽略此步骤）

参试者人数较多时（超过10人），可通过离群值检测的方式，判断并剔除离散值，具体操作方法如

下。

1）对所有参试者的百分制评分按从小到大的顺序排序；

2）计算四分位距（IQR）：

IQR=Q3-Q1…………（3）

式中：

Q1：排序后数据中位于25%位置的值；

Q3：排序后数据中位于75%位置的值。

3）确定离群值范围：

下限：Q1-1.5×IQR

上限：Q3+1.5×IQR

8

T/CESAXXXX—202X

4）识别离群值：任何低于下限或高于上限的评分都被视为离群值。

d）去除离群值并计算截尾平均值（若参试者人数不超过10人，忽略以下步骤，直接计算均值）

1）去除识别出的离群值；

2）计算去除离群值后的评分的均值。

4.3权重构建

基于国标参考和执行效率考虑，采用层次分析法来计算五个维度的权重数值。层次分析法介绍及

具体实施步骤参见附录A。

5基于专家端评估

本部分介绍基于专家端评估（即专家评估）的数据，生成用户体验成熟度分值的评估模型、维度

分数生成及权重分配方法。

5.1评估模型

通过专家评估产生的数据，结合以下两个维度进行评估：

——可用性问题及其严重性：评估专家识别出的可用性问题及其严重性。

——评估原则符合度：评估可交互系统在以下八个原则上的符合程度：

及时反馈。对于用户的操作，产品和系统应该及时给予反馈，告知用户机器目前的状态以及

正在执行的操作，便于用户了解当前人机交互的状况。机器的反馈信息可以让用户通过视觉、听觉、

触觉、嗅觉等感知通道获悉。

使用用户的语言。界面设计经常涉及到一些专业的产品和技术，用户对于很多语词不明白不

理解。所以无法执行下一步的任务。

接近现实的隐喻。隐喻是一种比喻手段，通过本质不同的事物之间的相似点来进行隐晦的表

达。这种修辞方式被借用在用户界面设计中，要求图标、颜色、形状等寓意要接近现实中人们对此

的认识和定义。

设计的一致性。包括视觉寓意的一致性，页面布局的一致性，以及交互逻辑的一致性。比如

在跨平台应用中，所有按钮的颜色、形状和位置在不同设备（如手机、平板、电脑）上保持一致，

使用户处于相同的体验感知。

容错性。犯错误是人的属性之一。生活中我们经常会犯一些错误，比如出门忘记关灯，甚至

忘记锁门等。所以，容错性设计首先要尽量避免用户错误操作的发生，其次如果用户犯了错误，要

给予改正错误的机会。

减少用户记忆负担。对用户的各项信息进行留存，帮助用户记忆。在用户输入部分信息时，

可以提示与输入信息相关的内容供用户直接选择，减轻记忆负担。声音用户界面的设计要遵循记忆

原则。

控制性。用户自由控制机器，包括开启、回退、撤销、关闭等操作。机器要提供多种控制方

式供用户选择，比如在车机交互系统中，基于场景的安全性和方便性，用户可以选择使用语音设置

导航，也可以选择使用手机进行设置，还可以选择在车机屏幕上进行设置。

9

T/CESAXXXX—202X

用户帮助系统。指帮助用户了解产品和系统的功能，并进行连接、安装、使用、维护，解决

一些简单问题和故障的说明手册。用户帮助系统是产品和系统的必备附件之一，其架构和写作也要

符合用户体验原则，达到答疑解惑的目的。

5.2维度分数生成

5.2.1可用性问题及其严重性分数生成

参考4.2.5部分的分数生成逻辑。

5.2.2评估原则符合度分数生成

评估原则符合度分数生成方法如下。

a）评估原则符合度

每位专家对可交互系统在八个原则上的符合程度打分，采用5点量表（1～5分），其中1分表示完

全不符合，5分表示完全符合。

根据对产品用户体验的影响程度大小评估，将八个评估原则分为两类：

第一类影响较大，包括：及时反馈、使用用户的语言、容错性。

第二类影响适中，包括：接近现实的隐喻、设计的一致性、减少用户记忆负担、控制性、用户帮助

系统。

两类原则分数的权重分配比例为10:7。

b）分数计算方法

1）计算每个原则的平均分

对每个原则，计算所有专家的平均评分。

2）计算每类原则的平均分

第一类原则平均分：

j+y+r

第一类原则平均分=…………（4）

3

式中：

j：及时反馈原则平均分；

y：使用用户的语言原则平均分；

r：容错性原则平均分。

第二类原则平均分：

x+z+h+k+b

第二类原则平均分=…………（5）

5

式中：

x：接近现实的隐喻原则平均分；

1

T/CESAXXXX—202X

z：设计的一致性原则平均分；

h：减少用户记忆负担原则平均分；

k：控制性原则平均分；

b：用户帮助系统原则平均分。

3）计算评估原则符合度综合评分

根据两类原则的权重分配比例（10:7），计算综合评分：

g×10+f×7

评估原则符合度综合评分=×20…………（6）

10+7

式中：��

g：第一类原则平均分；

f：第二类原则平均分。

其中，公式中的比值乘以20是为了将5点量表的分数转换为百分制分数。

5.3权重分配

使用专家共识法确定权重。召集多位用户体验专家，通过讨论确定各维度的相对重要性，根据专家

讨论结果，确定可用性问题及其严重性，及评估原则符合度按照2/3、1/3的比例分配权重。

6成熟度总分生成

根据数据来源为专家端或用户端，可依据上述内容生成的各维度分数及权重进行加权求和，分别生

成用户端和专家端的成熟度总分。

2

加权和=i=1(wixi)…………（7）

式中：∑∙

wi：第i个数值的权重；

xi：第i个数值；

7成熟度等级

成熟度总分S生成后，由用户体验专家根据产品以及目标群体的特性，对于总分进行优秀、合格、

不合格的评判。具体需要输出分数与成熟度等级对应关系，见下方示例。

表2输出分数与成熟度等级对应关系示例表

成熟度等级对应分数区间

优秀S≥80

合格60≤S＜80

不合格S＜60

11

T/CESAXXXX—202X

附录A

(资料性)

指标权重分配方法

A.1综述

指标权重可采用层次分析法(AHP)来进行分配。

层次分析法，简称AHP,是由美国运筹学家Saaty在20世纪70年代初提出的，是指把系统中

复杂问题中的各种因素，通过划分为相互联系的有序层次，使之条理化，根据对一定客观现实的判断

对每一层次相对重要性给予定量表示，利用数学方法确定每一个层次的全部元素的相对重要次序的权

值，并通过排序的结果分析和解决问题的一种决策分析方法。AHP法一般分为四个步骤。

A.2分析各因素之间的关系,建立层次结构模型

AHP的关键在于如何建立层次结构模型。依据系统分析的方法，对系统因素和其层次加以分析。

设计出层次系统结构的表示模型。为解决层次建模问题，Saaty将问题中所包含的因素分为了三个层

次：最高层、中间层和最低层。最高层也称目标层，表示层次分析需要达到的目标。中间层又叫准则

层。表示采取某种措施、政策、方案等来实现预定总目标所设计的中间环节。最低层包括措施层，指

标层、方案层，指要选用的解决问题的各种措施和方案。

A.3构造判断矩阵

AHP通过两两比较法构造判断矩阵，采用数据1～9及其倒数表示相对重要程度(也可采用数字1～7

及其倒数或数字1～5及其倒数)，标准为：

1：表示Bi比Bj一样重要；

3：表示Bi比Bj重要一点；

5：表示Bi比Bj重要；

7：表示Bi比Bj重要的多；

9：表示Bi比Bj极端重要；

用2，4，6，8分别表示两邻点的中值。

设A表示目标，B表示评价指标集，Bi表示评价指标，bi∈B(i=1，2，…，n)。bij表示bi对bj的重

b11b1n

要性赋值,则判断矩阵Z=。

bn1⋯bnn

�⋮⋱⋮�

⋯

A.4层次单排序

所谓层次单排序，是指根据判断矩阵，计算对于上层指标而言，本层次与之有联系指标的重要性次

序的权值。它是对本层次所有的指标针对上一层次而言的重要性进行排序的基础。

对于判断矩阵Z，求出满足BZ=λmaxZ的特征根和特征向量。λmax表示最大特征根，Z=(Z1，Z2，…，

T

Zn)为对应于λmax的正规化特征向量，Zi为所对应指标Bi的单排序的权值。

1

T/CESAXXXX—202X

A.5一致性检验

计算各层因素对系统目标的合成权重，并进行排序和一致性检验。

CR=CIRI称为判断矩阵的平均随机一致性指标。

CI=(λ-n)(n-1)称为一致性指标。

⁄max

当CR<0.1时，认为判断矩阵有可以接受的一致性，否则，由于判断矩阵偏离一致性程度过大而需

⁄

要对判断矩阵进行重新修订。

13

T/CESAXXXX—202X

附录B

(资料性)

用户体验成熟度评估案例

本部分介绍两个案例，分别是基于用户端评估的数据（即可用性测试）和基于专家端评估的数据

（即专家评估），生成用户体验成熟度分值的项目案例。

B.1案例一：基于可用性测试的冰箱用户体验成熟度评估

B.1.1项目简介

某品牌为了确保新款智能冰箱在市场上的竞争力和用户满意度，进行了详细的可用性测试，并评估

其用户体验成熟度，本案例介绍如何通过可用性测试的数据输出其用户体验成熟度分值。

B.1.2评估维度

如上文，评估维度为：有效性、效率、满意度、NPS、可用性问题及其严重性。

B.1.3测试结果

本项目有8个任务，由5名参试者完成，测试结果如下：

——任务完成率：95%，90%，85%，75%，80%，95%，70%，90%；

——任务完成时间：平均85秒，最短30秒；

——满意度评分：

任务完成结果满意度：平均6分；

任务完成过程满意度：平均5.5分；

界面美学满意度：平均6.5分。

——NPS：推荐者占比60%，贬损者占比20%；

——可用性问题：所有参试者总计175个可用性问题。

B.1.4维度分数生成

——有效性分数：任务完成率均值乘以100作为有效性分数，即85分。

——效率分数：

通过任务完成时间生成效率分数；

计算每个任务最短完成时间与每名参试者的完成时间的比值，然后取均值；

计算所有任务的完成时间均值：

均值=(81.66+84.52+86.2+88.19+89.04+90.06+91.29+91.19)(8)=87.77

——满意度分数：

⁄

将每个子满意度均值转换为百分制分数：

(67)×100=85.71，(5.57)×100=78.57，(6.57)×100=92.86

加权求和得出满意度分数：

⁄⁄⁄

0.45×85.71+0.35×78.57+0.2×92.86=83.15

——NPS分数：

NPS=(60%-20%)×100=40

1

T/CESAXXXX—202X

——可用性问题及其严重性分数：

标准化严重等级：严重=4，中等=3，一般=2，轻微=1；

将每个问题严重等级乘以其对应的问题数量，然后加和，得到一个综合分数。最大综合分数

为100；

将各参试者综合分数转换为百分制得分：

参试者1：综合分数45，百分制得分1-45×100=55

100

其他参试者也按照以上公式转换为百分制得分，分别为：��65，50，55，0；

计算所有参试者的百分制得分均值：45。

B.1.5权重构建

使用层次分析法（AHP）确定权重，招募5名专家参与构建：

a）建立层次结构模型

目标层：用户体验成熟度评估

准则层：有效性、效率、满意度、NPS、可用性问题及其严重性

方案层：各评估维度的具体指标

b）构建判断矩阵

将各评估维度两两比较，构建判断矩阵。将各专家的判断矩阵合并后结果如下。

表B.1各专家判断矩阵合并结果表

可用性问

有效性效率满意度NPS题及其严

重性

有效性11/21/31/31/4

效率211/211/3

满意度32111/2

NPS31111/2

可用性问题及其严重

43221

性

c）计算权重向量

对判断矩阵进行特征值分解，得到权重向量：0.2，0.25，0.2，0.2，0.15

d）一致性检验

计算一致性比率（CR），CR=-0.45，小于0.1，判断矩阵具有满意的一致性。

B.1.6成熟度总分计算

成熟度总分=85×0.2+87.77×0.25+83.15×0.2+40×0.2+45×0.15=70.32

B.1.7成熟度等级划分

由用户体验专家根据产品以及目标群体的特性，对成熟度总分S划分如下等级及对应分数区间。

15

T/CESAXXXX—202X

表B.2输出分数与成熟度等级对应关系示例表

成熟度等级对应分数区间

优秀S≥80

合格60≤S＜80

不合格S＜60

根据计算结果，冰箱的用户体验成熟度总分为70.32，判定等级为合格。

B.2案例二：基于专家评估的智能卫浴App用户体验成熟度评估

B.2.1项目简介

为了确保新款智能卫浴App在市场上的竞争力和用户满意度，某品牌进行了详细的专家评估，以评

估其用户体验成熟度。本案例介绍了如何通过专家评估的数据生成智能卫浴App的用户体验成熟度分值。

B.2.2评估维度

可用性问题及其严重性：基于问题数量和严重等级。

评估原则符合度：基于八个用户体验原则的符合度评分。

B.2.3专家评估结果

共邀请5名专家参与评估，结果如下：

可用性问题：总计116个问题。

评估原则符合度评分均值：

——反馈原则：4.5

——语词定义的可理解性：4.0

——容错性原则：4.2

——接近现实的隐喻原则：3.8

——一致性原则：4.1

——减少用户记忆负担：3.9

——可控性原则：4.0

——帮助系统：3.7

B.2.4维度分数生成

——可用性问题及其严重性分数

标准化严重等级：严重=4，中等=3，一般=2，轻微=1；

将每个问题严重等级乘以其对应的问题数量，然后加和，得到一个综合分数。最大综合分数

为70；

将各专家综合分数转换为百分制得分：

专家1：综合分数60，百分制得分为1-60×100=14.29

70

��

1

T/CESAXXXX—202X

其他专家也按照以上公式转换为百分制得分，分别为：28.57，21.43，7.14，0；