终端用户体验标准体系研究(第四次征求意见稿)_V1.5

1、 中国通信标准化协会课题编号：2013B71智能终端用户体验评测标准体系研究(征求意见稿)2014年92014年11月研 究 报 告 要 点移动互联网应用和终端技术委员会(TC11) 终端工作组(WG3)研究单位：工业和信息化部电信研究院、中国联合网络通信集团有限公司、中国移动通信集团公司、中国电信集团公司项目完成人： 刘臻、果敢、聂蔚青、林瑞杰、曾晨曦、匡晓烜、巫彤宁、易高雄、安岗、王鑫、黄笑磊、邵伟、许辉阳、耿炎、江小舟项目参加人： 完成日期： 2014年920145年113月目录1范围52规范性引用文件53术语、定义和缩略语53.1术语和定义53.2缩略语54引言54.1背景介绍54.2

2、发展历程94.3研究现状125基本概念和相关理论145.1用户体验定义145.2基本理论165.3分析视角186影响因素分析186.1影响因素概述186.2非技术层面影响因素196.2.1市场宣传196.2.2品牌形象206.2.3先前体验206.2.4用户需求和喜好206.2.5产品价格216.2.6售后服务216.2.7其他影响因素216.3技术层面影响因素216.3.1功能216.3.2性能226.3.3稳定性226.3.4舒适度236.3.5友好性237指标体系237.1指标体系范围237.2客观评测指标247.2.1连接性能247.2.2系统处理性能247.2.3稳定性257.2.4

3、兼容性257.2.5容错性267.2.6续航性能277.2.7多媒体性能277.2.8人机交互性能297.3主观评测指标297.3.1可用性297.3.2满意度308标准化建议308.1连接性能318.2系统处理性能328.3稳定性338.4兼容性348.5容错性358.6续航性能358.7多媒体性能378.8人机交互性能371范围52规范性引用文件53术语、定义和缩略语53.1术语和定义53.2缩略语54引言54.1背景介绍54.2发展历程94.3研究现状125基本概念和相关理论145.1用户体验定义145.2基本理论155.3分析视角176影响因素分析186.1影响因素概述186.2非技术

4、层面影响因素196.2.1市场宣传196.2.2品牌形象196.2.3先前体验206.2.4用户需求和喜好206.2.5产品价格206.2.6售后服务216.2.7其他影响因素216.3技术层面影响因素216.3.1功能216.3.2性能226.3.3稳定性226.3.4舒适度226.3.5友好性237指标体系237.1指标体系范围237.2客观评测指标237.2.1通信性能237.2.2系统响应性能247.2.3稳定性247.2.4兼容性257.2.5功耗257.2.6音视频体验267.3主观评测指标277.3.1可用性277.3.2满意度288标准化建议288.1人体感知298.1.1性能

5、298.1.2舒适度328.2器件性能341 范围本课题旨在开展面向终端用户体验标准体系的研究，通过研究用户体验的概念，分析用户的多层次需求，梳理用户体验的影响因素，最终形成关于终端用户体验评测指标、评测方法和评测分级的标准化建议，为后续建立可量化、可实现的终端用户体验标准体系提供思路。本课题定义的终端是指具有信息通信功能的智能终端，包括智能手机、平板电脑、笔记本等。2 规范性引用文件下列文件中的条款通过本研究报告的引用而成为本研究报告的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本研究报告，然而，鼓励根据本研究报告达成协议的各方研究可使用这些文件的最新

6、版本。凡是不注日期的引用文件，其最新版本适用于本研究报告。3 术语、定义和缩略语3.1 术语和定义3.2 缩略语4 引言4.1 背景介绍 智能终端的爆发式增长推动了移动互联网产业，移动互联网的繁荣也加速了智能终端的普及。随着3G技术和移动互联网出现的智能终端，一开始就带有为数据业务服务的“基因”。正因为此，智能终端与传统手持终端有着显著的区别，更加强调用户与外界的交流而不仅仅是人与人的沟通。通俗点说，传统的手持终端为人与人的沟通提供了一个接口，智能终端为用户与外界的交流打开了一扇窗户。宽带无线通信和超大规模集成电路技术的发展为这一变革提供了底层基础，智能操作系统和海量业务应用则分别提供了用户与

7、外界交流的方式和内容。相比于传统移动终端，智能终端的优势不仅仅是传输数据速率和运算速率的提高，更深层次的意义在于它大幅地扩展了自身的功能，提高了用户操作的便捷性和舒适性，从而增强了用户使用智能终端满足自身社会活动的愿望和能力。这种产品特性的显著变化同样也映射到了产业格局，一个重要的特征在于IT服务商开始在智能终端产业中占据重要位置：苹果利用自身强大的产业链整合能力，将智能终端的操作系统、硬件和业务应用进行了有效的整合，为用户提供完整、端到端的服务和体验；google、微软通过操作系统培养了终端用户的使用习惯，并通过收购终端制造企业来完善自身的解决方案提供能力。可以看出，在移动互联网时代，智能终

8、端不再是一个简单的用户通话的工具，而是移动互联网业务体验的重要载体，是市场为用户提供多样化、高效率服务的关键平台，如图4-1。图4-1智能终端与传统终端在产品特性上存在差异研究用户体验，有助于终端企业的市场细分和产品定位，减少硬件军备和价格比拼，开展差异化竞争。因此，主要的国内外终端厂商都在尝试开展这方面的研究，更多的关注通过产品设计去吻合用户的需求，但关于智能终端的用户体验评测的研究仍然较少。实际上，目前关于移动终端的评测仍然局限于一致性测试，其结果难以有效地反映用户使用终端时的真实感受（图4-2）。产业需要一种新的评测体系来满足自身发展的需求：图4-2 传统测试体系难以满足智能终端整机评测

9、的要求保证智能终端的可用性，开展高效、有针对性地测试。在2G时期，移动终端的检验检测方法主要是面向无线通信技术的一致性测试。随着运营商的加入，逐渐增加了运营商自有业务和特色业务的测试，包括终端的操作系统、硬件、业务应用等。但是测试方法仍偏重于工程测试，缺少终端用户操作体验层面的有效反映，而用户体验正是全面、有效评测智能终端产品作为业务载体和服务平台真实价值的核心指标。促进终端产品差异化、个性化，开展面向产业链不同环节、基于不同体验内容的评测认证。运营商希望针对不同档次以及面向不同目标受众的终端开展不同内容的分级测试，使得所采购的终端真正符合不同类型用户的需求；终端厂商在进行产品设计研发的过程中

10、以及在将产品推向市场之前希望通过用户体验测试了解产品是否符合目标群体的需求以及实际使用性能体验如何；用户选购终端产品时无法根据厂商所提供的参数信息直观判断最终使用时的用户体验，往往只能根据手机品牌以及参数的高低，用户需要获得像家电能效标识那样更直观、更权威的验证报告来协助选购。另外，产业链各环节也正在开展智能终端用户体验方面的研究和评测工作（如表4-1所示），但对于用户体验的认识和理解各不相同：表4-1 产业链各环节开展用户体验示意图芯片高通和Intel于2013年初就在不同的场合多次强调更加关注用户体验才是智能终端的发展方向，同时也在加紧推动芯片性能的benchmark评测终端三星、苹果早已

11、成立庞大的用户体验研究团队，近年来国内大中型手机企业也纷纷建立用户研究和体验创新中心，以提升自身产品的用户使用感受仪表2012年，R&S公司推出了CMW PQA吞吐量测试平台和CMW 500+VTE视频质量评估测试平台，Spirent则推出了live2lab基于用户体验的测试平台运营商中国移动成立了用户体验研究和验证中心，负责用户体验研究、标准规范制订、上市前体验验证测试、售后用户体验跟踪；中国联通在GSMA成立智能终端用户体验评测工作组，牵头开展手机网页浏览体验的评测；中国电信也在开展终端用户体验分级评测的研究和试验总体而言，面对新的移动互联网融合大潮，传统的评测体系和方法都已无法满足要求，

12、目前的很多研究也还是基于通信相关内容的微创新，不能适应新的产业发展需求。国内中小终端企业如何设计开发自己的产品以满足本土用户的需求，国内运营商如何在纷繁的产品中选取合适的终端进行采购和补贴，国内消费者如何选取性价比较高的终端或者最合适自己的终端，都需要一个更加接近和符合真实用户体验的评测体系给出有价值的指导。4.2 发展历程体验一词的字义源于拉丁文“Exprientia”，意指探查、试验。按照亚里士多德的解释，体验是感觉记忆，是由许多次同样的记忆在一起形成的经验，即为体验。在牛津英语字典（The New Shorter Oxford English Dictionary）中，体验的定义是：从做

13、、看或者感觉事情的过程中获得的知识或者技能；某事发生在你身上，并影响你的感觉；假若你经历某事，它会发生在你身上，或者你会感觉到它。在心理学领域，体验被定义为一种情绪；在商业领域，体验是一种经济手段。在产品设计领域，Houde和Hill认为体验是对产品的“看与感受”，是一种具体的对使用的“人造物”的感官体验，例如用户在使用产品时的视觉、触觉和听觉等；Forlizzi和Ford从人们如何与产品进行交互的各个方面来定义体验，认为体验就是： 产品被用户感知的方式； 用户对怎样使用产品的理解程度； 用户在使用产品时对产品的感觉如何； 产品自身使用性的好坏程度； 产品的适应性如何。 用户体验（User E

14、xperience，简称UX 或 UE）是指用户使用产品（包括物质产品和非物质产品）或者享用服务的过程中建立起来的心理感受，涉及到人与产品、程序或者系统交互过程中的所有方面。对于产品生命周期的商业价值实现，用户体验是产品成功与否的关键，这里的体验包含了产品和由产品产生的服务与用户互动所产生的所有体验。 用户体验的概念最早兴起于20世纪40年代的人机交互设计领域，以可用性（Usability）和“以用户为中心的设计(User-Centered Design，UCD)”为基础。在ISO 9241-11（ISO 9241-11，1998）可用性指南中，把可用性定义为“产品在特定使用情境下被特定用户用

15、于特定用途时所具有的有效性、效率和用户主观满意度”。但是可用性概念本身的模糊性和情境依存性依然存在，为了产品的可用性目标，UCD是业界目前常采用的方法。UCD已被国际标准化组织(ISO)作为正式标准以人为中心的交互系统设计过程（ISO 13407，1999）而发布。UCD方法的主要特征是用户的积极参与，在设计中可以邀请用户对即将发布或已经发布的产品以及设计原型进行评估，并通过对评估数据的分析进行迭代式设计直至达到可用性目标。 2004年，Robert Rubinoff将用户体验分为四个要素：品牌（Branding）、可用性（Usability）、功能性（Functionality）和内容（Co

16、ntent），并整合运用这四个要素来对产品的用户体验设计进行评价，如图4-3所示。图4-3 Robert Rubinoff提出的用户体验四要素 营销专家贝恩特施密特通过“人脑模块分析”和心理社会学说研究了消费者的体验，提出了感官、思考、创新、行为、关联等五大体验体系，如图4-4所示。图4-4 贝恩特施密特的用户体验体系 感官体验是诉诸于视觉、听觉、触觉、味觉和嗅觉的体验；情感体验是顾客内心的感觉和情感创造；思考体验是顾客创造认知和解决问题的体验；行为体验是影响身体体验、生活方式并与消费者产生互动的体验；关联体验则包含了感官、情感、思考、与行动体验的很多方面。然而，关联体验又超越了个人感情、个性

17、，加上“个人体验”，而且使个人与理想自我、他人、或是文化产生关联。4.3 研究现状基于现有文献和产业界业已开展的智能终端评测工作，主要有三种思路：第一种常见于通信厂商，具体开展方法是将智能终端分解为不同的模块，比如硬件包括显示触摸屏、无线通信处理芯片、应用处理芯片、音视频处理芯片等，软件包括操作系统、应用软件等。在完成对智能终端不同模块和功能的划分后，对这些子模块进行测试，比如对无线通信处理芯片进行协议、射频、RRM一致性测试以及网络兼容性测试，对触摸屏进行灵敏度、线性度、抗压能力等测试，对应用处理芯片进行Benchmark打分测试，对音频处理芯片进行噪声水平、动态范围、总谐波失真、互调失真等

18、测试，对操作系统和应用软件进行稳定性、兼容性、鲁棒性、安全性等方面的测试，这种测试主要考核的是产品功能特性的研发质量，最终结果通过雷达图、加权得分、累乘得分等方式给出。第二种常见于咨询机构，主要通过入户调查、街头问卷、电话访谈等市场数据搜集方式了解产品在市场上的总体表现，包括产品的总体满意度和产品存在的主要问题，并给出产品改进建议等。第三种常见于软件和互联网厂商，主要通过访谈、问卷、焦点小组、行为地图、眼动跟踪、数据分析、可用性测试等方式进行用户参与式评测，挖掘用户对产品的外在和潜在需求，分析用户在使用产品过程中的可自我察觉和难以自我察觉的感受，这种评测主要考核的是产品在外观、人机交互层面的可

19、用性。这三种方式各有优劣： 对于第一种方式而言，测试的内容比较基础，各模块的测试结果与用户的最终操作体验难以建立有效的对应关系，更接近于传统测试方法的汇总或者扩展，但是用户体验并不是功能的简单叠加或者性能的单一倍增，而更接近于一种化学反应，因此采用第一种方法很难获得有价值的用户体验评测结果，而更适宜用于体验问题分析。 对于第二种方法而言，评测过程有了用户的参与，结果也能够反映出用户对于产品的直观感受和总体评价，不足之处在于一是调查结果容易受调研样本量和调研问卷质量的影响，真正让人信服的结果需要足够大的样本量，涵盖多类型的目标人群，但这也会带来巨额的费用，同时不同水平的调研问卷最终获取的结果也是

20、有显著差异的；二是用户往往并不知道他们真正需要什么，有时甚至不知道真正让他们不满意的是什么，因此往往会受到外界评论或者直观感受的影响，给出一些简单笼统甚至是错误的建议，这样的调查结果并不能指导手机企业了解和解决自身产品存在的问题。 第三种方法覆盖面较窄，更倾向于研究人机交互过程中的用户感受，分析的重点主要集中在外观、UI界面、图标、导航设计等方面，强调产品功能的易学性和易用性以及人机交互界面的友好性，这种方法有利于发现人机交互过程中的问题，但是时间难以控制、成本难以压缩，结果难以量化，发现的问题主要还是集中在人机交互领域，不够全面。5 基本概念和相关理论5.1 用户体验定义ISO 9241-2

21、10标准将用户体验定义为 “人们对于已经使用或期望使用的产品、系统或者服务的认知印象和回应”。通俗来讲就是“这个东西好不好用，用起来方不方便”。因此，用户体验是主观的，且其注重实际应用。ISO定义的补充说明有着如下解释：用户体验，即用户在使用一个产品或系统之前、使用期间和使用之后的全部感受，包括情感、信仰、喜好、认知印象、生理和心理反应、行为和成就等各个方面。该说明还列出三个影响用户体验的因素：系统，用户和使用环境。1ISO 9241-11标准对用户体验的定义是用户在特定使用场景下被特定用户用于特定用途时所具有的有效性、效率和用户主观满意度。 综上，我们将用户体验定义为用户与产品或服务交互过程

22、中所产生的全部主观感受。与用户体验相关的有许多近似的概念，包括： 可用性：指的是产品对用户来说少错和令人满意的程度。实际上是从用户角度所看到的产品质量，是产品竞争力的核心。一开始出现在工业领域，包括军事设备、航空航天、建筑等，不太关注用户使用该产品的意愿而强调的是用户使用该产品时完成某项任务的能力，随着时代发展逐渐扩展到消费产品领域，有时也作为交互式IT产品/系统的重要质量指标。 QoE：偏重于电信领域，用于评估运营商提供的端到端网络服务和业务质量，用户对业务的主观体验，从用户的角度感觉到的系统的整体性能。 QoS：由ITU提出，初衷与QoE相同，强调从网络运营的角度去看服务和业务质量，尽可能

23、用客观指标反映用户综合满意程度 KPI：网络或设备可监视可测量的重要参数指标 KQI：反映用户对业务质量体验的可测量的指标 CEM：强调通过完整的业务质量管理体系以及市场化运作来有效管理用户对产品甚至品牌的感受和认识，强化用户体验这其中与用户体验最接近的概念就是可用性，一般来说，可用性更多的用于工业领域，用在消费产品领域时强调减少用户使用时的不便，降低用户投诉率；用户体验更多的用于服务领域，强调提升用户使用时的感受，提高用户回头率。5.2 基本理论美国著名的人本主义社会心理学家亚伯拉罕马斯洛于1943年在人类激励理论论文中创造性地提出了人的需求层次理论，他把人的各种需要分成五个层次，依次序上升

24、，如图5-1所示。图5-1 马斯洛的需求层次在马斯洛关于人的五个需求层次基础上，我们提出了如图5-2所示的智能终端用户体验的五个需求层次。图5-2 智能终端用户需求层次分级通过图5-2可以看出，终端首先需要满足用户的社会需求，也就是满足工作、生活、娱乐、出行等基本行动需求，即用户需要用，这主要受产品功能实现覆盖面的影响；其次需要满足用户的安全需求，包括了用户的身体安全、信息安全、财产安全以及周边环境的安全，即用户敢用，这主要受操作系统、射频天线性能、外壳材料的影响；第三，需要满足用户的感知需求，就与智能终端的人机交互而言包括了用户的眼睛、耳朵和手，使得用户感觉到轻松、舒服，即用户愿意用，这主要

25、受外观、主题、屏幕、音视频处理模块和应用处理器的影响；第四，需要满足用户的情感需求，尤其是用户在使用产品的过程中感受到的易用性和可用性，以及产品的友好性，即用户爱用，这主要受UI的影响；第五，满足用户的心理需求，这是最高的层次，也往往是高端机需要达到的层次，不仅需要根据不同类型用户的不同心理预期来研发设计，还需要配以品牌影响力和市场宣传效果来衬托，因此也反映了终端厂商的综合实力。5.3 分析视角智能终端可以被看作是消费类电子（Consumer Electronics）、计算机（Computer）、通讯终端（Communication Terminal）的集合体，加上移动互联网服务，也就是内容（

26、Content）就可以构成智能终端的体验，因此也可以将智能终端的用户体验看作是4C的融合（图5-3）：图5-3 从4C融合的角度看用户体验6 影响因素分析6.1 影响因素概述如用户体验的定义，智能终端的用户体验包含了用户与产品交互之前、之时、之后的全部主观感受。因此终端在不同的使用阶段，市场中的不同要素也会对用户体验产生影响。比如，在产品使用之前，用户对产品的印象其实就是用户体验，包括企业的市场宣传、品牌形象、外界口碑、先前体验都会影响用户对产品的理解和期望。在用户使用产品的过程中，产品的性能、舒适度、可用性等产品特性会与体验期望一起共同影响产品的体验质量。进一步地，产品的体验质量会与产品价格

27、、竞品性价比一起影响产品的价值质量，再往后，产品的价值质量会与投诉反馈、售后服务一起影响产品的最终满意度。图6-1 影响智能终端使用不同阶段用户体验的因素由图6-1可以看出，用户体验是一个多因素影响的结果，对于一个终端企业来说，其整个过程也是一个用户体验管理的流程，需要市场部门、研发部门、售后部门共同协作来推动。6.2 非技术层面影响因素6.2.1 市场宣传市场宣传一般简明概括终端的特点及相对竞品的优势，引导用户了解终端。用户能够通过市场宣传获得终端信息，在使用前感知终端，并锚定相应功能预期体验。在使用初期，用户使用相关功能并会与先前锚定体验对比，这种对比会强化这些功能对用户体验影响，也就会弱

28、化市场宣传中未涉及的功能对用户体验的影响。6.2.2 品牌形象品牌形象是指企业或其某个品牌在市场上、在社会公众心中所表现出的个性特征。就终端而言，终端生产企业与终端所属品牌都会对终端的品牌形象产生影响，对普通用户而言，终端生产企业对品牌形象影响更为重要。对不同年龄段的用户，品牌形象的影响不同，年轻用户更追求个性与自我，与其个性相符的品牌更易得到其认同，并带来更为积极的用户体验。6.2.3 先前体验先前体验包括用户之前使用同类产品的体验、通过获得产品信息等形成的对产品的间接体验、通过体验性使用产品形成的直接体验。先前体验是用户对产品更加了解，形成对产品体验的更为清晰的预期，这种预期通过对比效应加

29、强对用户体验的影响。使用同类产品的体验会在用户使用产品的整个周期内，对用户体验产生影响，而直接体验或间接体验一般在使用初期影响较大。6.2.4 用户需求和喜好用户需求和喜好主要指产品功能是否在不同条件下满足用户需求，以及功能是否满足了用户的偏好，两者需要都强调用户的特点，即部分功能对用户体验影响较大，而其余功能对用户体验影响较小。在终端可以设置目标用户群，在资源有限的情况下，集中资源于目标用户需求和喜好相关的功能，提升用户体验。6.2.5 产品价格目前，大部分终端用户已经具有终端使用体验，终端用户也能方便的通过网络等途径获得终端的价格信息，用户通过使用体验和相关信息，形成对终端性价比的判断，能

30、够超越用户性价比判断的终端将带来更加积极的用户体验。对部分不关注终端信息的用户，质优价高的心理会带来锚定效应，价高商品有助于提升用户体验。6.2.6 售后服务售后服务的影响范围很广，可能出现在终端的整个体验周期，并且，用户体验的影响会扩展到用户对终端生产厂商的所有品牌的影响。通常，用户寻求售后服务时是遇到自己难以解决的产品使用问题，这种问题已经给用户带来了消极的体验，在此情况下，售后服务带来的用户体验更加深刻。同时，在当前发达的网络环境下，用户对售后服务的体验更容易通过网络传播，从而影响品牌形象。6.2.7 其他影响因素终端已是人们生活中不可或缺的一部分，人们随身携带并在多种环境下使用终端，特

31、殊的使用环境、周围人的评价、手机可搭配的饰品（如外壳）等因素，都会对用户体验产生影响，这些因素确实存在，也可能会对用户体验产生较大影响，但这些因素较难一一分析处理，我们把这些因素归为其他影响因素。6.3 技术层面影响因素6.3.1 功能功能是体现终端有用性的重要指标，功能与用户需求的匹配程度、获取成本、数量直接决定了用户使用终端的必要性。用户对功能的依赖和喜好基本可以从使用频率和使用时长两个指标来统计，且受时间、地域、用户年龄、收入、性别、学历、职业等因素的影响。目前主要的终端功能包括：语音通话、IM短信、拍照、上网、音乐、视频、游戏、邮件等。6.3.2 性能性能是反映终端可用性的一个重要指标

32、，该指标的好坏直接影响着用户的基础体验，例如终端可以打电话，但是拨通率很低，或者可通话时间很短，效果很差，则通话功能对于该终端而言只是一个象征意义，不具备实际使用价值。不同功能的性能指标可能会存在差异，不同类别用户对终端性能指标的要求和敏感度也不同。商务人士可能更在意语音通话的随时随地、通话时长、通话质量以及邮件收发效率等，年轻大学生可能更在意手机拍照或者听音乐的效果。6.3.3 稳定性稳定性是反映终端可用性的另一个重要指标，它决定了用户体验的可预期性和一致性。当用户对终端的下一次行为表现无法预计时，用户的情绪会变得焦躁和不安，用户难以信任该终端，用户体验随之变差。不同类别用户对终端稳定性的要

33、求和敏感度也不同，但与性能的差别在于，用户对该指标的体验是越低越敏感，越高越不敏感，当稳定性达到一定程度后，大多数用户基本都能接受，此时再提高终端稳定性，用户很难感受到。6.3.4 舒适度舒适度是一个主客观因素相结合的指标，也是一个在有用性、可用性、易用性基础之上的用户体验需求，也就是说只有当终端功能完备、性能优越、系统稳定、操作简便后，用户才会对舒适度有比较高的要求和比较明确的感知。用户对智能终端舒适度的感知主要通过触觉、视觉和听觉，与终端研发设计相关的内容包括：外观、工艺、材质、色彩、图像、音视频等。6.3.5 友好性友好性是一个主观的评价指标，主要反映的是终端的易用性。该指标在软件和互联

34、网行业中认可度高、使用广泛，主要体现产品的易学性和功能的易获取性，指标好坏直接影响用户购买和使用产品的主观意愿。提升智能终端的友好性一方面在于UI的设计，通过业务流程、操作方式、内容布局、界面美观等几个方面提升用户操作感知，解决“别让我想”的问题；另一方面在于兼容性和容错性设计，采用“一键式”和“一站式”的方式降低对用户专业性的要求，解决“别让我烦”的问题。7 指标体系7.1 指标体系范围从用户体验的影响因素来看，有的因素是由硬件器件性能决定的，有的因素是由软件设计和优化决定的，有的因素是有工艺设计决定的，因此，要综合衡量智能终端用户体验，需要将多方面的因素都考虑进来。根据对用户体验影响因素的

35、分析，可将用户体验评价指标分为两种类型，即：客观类指标、主观类指标。 客观类指标：指可以通过仪器仪表测量获取客观量化数值的一类指标 主观类指标：指需要通过用户参与获取主观认识和感受的一类指标7.2 客观评测指标对于用户评价指标，本报告从如下6个方面抽取客观衡量指标：7.2.1 通信连接性能通信连接性能是反映用户使用智能终端与网络或其他通信设备通过空口进行互联互通时无线传输性能的重要指标，影响的功能和业务不仅包括传统的语音通话、短信，还包括文件传送、网页浏览以及移动互联网应用，涉及的重要指标包含：语音呼叫性能、短信收发成功率、数据吞吐量、数据业务连接成功率、业务掉线率等。在对通信性能进行检测时，

36、很重要的一点是需要模拟和遍历真实的无线网络环境以及可能出现的应用场景，包括：高铁、地铁、体育场、市内商业区、办公区、住宅区、城乡结合带、乡村等，从而充分验证终端无线通信连接性能。7.2.2 系统响应处理性能系统响应处理性能是反映终端为用户提供功能或应用服务时，用户所感受到的等待时延、响应流畅性的指标，包括：开机等待时延、UI解锁时延、应用进入时延、电话簿录入时延、屏幕滑动流畅性等。在众多关于用户体验的要素中，“流畅、快速”是非常重要的一条，而响应时延直接与此体验相关。该指标受终端应用处理器性能的影响，同时也与终端设计过程中的软硬件协同和优化水平有关。系统响应处理性能的提取可以有两种方法，一种是

37、嵌入式，即仅仅通过读取软件Log的形式获取输入和输出的时间差，另一种是非嵌入式，即通过外部机械手模拟用户的点击和滑动行为，从而获取更加接近用户真实等待时延、流畅性的统计数据。7.2.3 稳定性如果终端长时间不关机，系统在长时间运行的情况下内存会增加，从而导致系统运行缓慢、应用程序运行出现故障、终端自动关机等情况。因此终端系统稳定性评判可以通过长时间运行某些应用程序来检测终端正常运行的平均时间。稳定性指标可分为整机稳定性指标和第三方应用稳定性指标，前者主要是标识智能终端进行长时间的使用的平均无故障时间（MTBF），以发现终端重启及死锁等缺陷；后者主要是标识第三方应用在终端上进行长时间的使用的平均

38、无故障时间（MTBF），以发现出现崩溃、强制关闭、冻僵等工作异常。7.2.4 兼容性兼容性指标主要是标识智能终端中各硬件之间、各软件之间、或是软硬件之间的相互配合程度。对于智能终端来说，兼容性主要体现在其硬件、操作系统、以及应用软件三者间的相互配合使用。终端操作系统中，以安卓为代表的开源系统占据了70%以上的市场。源代码的开放在增加其市场占有率的同时，也带来了系统版本多样，碎片化严重，使用质量良莠不齐，对硬件和应用软件兼容性差等问题。测试方法可采用整机功能测试、UI界面测试、CTS（针对安卓）测试等。终端应用软件可分为原生应用和网页版应用两种，建议从以下两方面考虑其兼容性： 浏览器兼容性 第三

39、方软件兼容性测试方法可采用应用软件功能测试、UI兼容性测试、安装卸载测试、适配性测试等。7.2.5 容错性随着人们对于智能终端的要求越来越高，智能终端系统、软件的复杂度也随之加大。与之矛盾的是，使用智能终端的人群年龄结构、知识背景都比较复杂，因此在使用智能终端的过程中，经常会出现没有按照正常的流程操作软件、没有按照正常的内容进行输入等情况。这两种情况都造成了终端厂商、软件厂商在制造中必须要考虑终端系统、应用软件的容错性。容错性指标主要是终端操作系统或者APP的容错能力，检查终端操作系统或者APP在出现故障错误或者在异常条件下自身是否具有防护性的措施或者某种故障、异常的灾难性恢复的手段。容错性是

40、检查终端在出现故障错误或异常条件下的行为，容错性好的终端能确保操作系统或者APP系统不发生无法意料的事故。从容错性的概念看出，容错性实际上是一个对抗性的过程。例如：终端ROM在终端死机、断电等等异常条件，数据不会丢失或者损坏，并在终端恢复后，一切数据能够正常使用；终端上的APP在出现ANR等问题时，不会造成APP文件损坏，并在再起启动APP时，能够正常的运行。容错性测试是对终端出现故障错误或在异常条件下自身是否具有防护性的措施或某种故障、异常恢复能力的测试。从容错性测试的概念可以看出，当终端出现故障时如何进行故障的处理与数据的恢复是十分重要的。容错性测试用于测试终端对于运行过程中出现的故障错误

41、或者异常操作导致的问题的容错能力和恢复能力。容错的测试方法主要分为两类：1、输入错误的数据，进行异常的操作，终端会有错误提示，或者自行处理掉。2、灾难性的测试，断网断电，终端可以恢复正常了，不至于永久崩溃。容错性测试主要包括两个方面：1、输入异常数据或进行异常操作，以检验终端的保护性。如果终端的容错性好，操作系统或者APP只给出提示或内部消化掉，而不会导致操作系统或者APP出错甚至崩溃。 2、故障、异常的恢复性测试。通过各种手段，让操作系统或者APP强制性地发生故障，然后验证操作系统或者APP已保存的用户数据是否丢失，操作系统、APP的数据是否能尽快恢复。7.2.6 续航性能功耗续航性能主要反

42、映终端长时间持续工作时影响用户体验的指标，包括续航时长、功耗、发热、充电三四项指标。续航时长是指终端在无外部电源供给情况下的可持续工作时长，。随着智能终端不断向大屏幕、高频、多核、多媒体应用的方向发展，越来越影响用户的实际体验，受到用户的广泛关注。功耗是决定续航时长的关键因素，。在终端电池容量一定的情况下，应用场景和业务在终端电池容量确定的情况下，基本决定了终端的续航时长，也是产品研发设计时的重要参考指标。发热不仅影响用户长时间使用终端后的触觉感受，在极端情况下甚至会伤害用户的健康。发热与终端功耗紧密相关，同时也与终端表面的材质、外界环境的温度和湿度有关联，发热对用户舒适度的影响与用户自身的触

43、觉灵敏度和耐受性也有很大关系。在评测研究过程中，应在典型的环境温湿度条件下，针对不同终端的外壳材质给予差异化的温度舒适阈值，建立典型应用场景主要通过测试终端表面温度分布来评估使用者热感受。并根据面向市场需求，针对上述不同因素制定热感受的权重，形成对特定产品的综合评分发热性能。从电源管理的角度来看，智能终端屏幕越来越大，通讯的带宽越来越宽，智能手机中的各种计算单元和并行计算的能力都越来越强。它们背后的代价都是更高的功耗，更快的电池消耗速度。为了解决电池的问题，从事手机行业的工程师想出了曲线救国的方式-“快速充电”来解决类智能机时代的电池问题。目前大家熟知采用快速充电技术的产品是OPPO的Find

44、 7，OPPO的官方数据称，只需要30分钟就可以将Find 7的电量从0充到75%，充电5分钟就可以让Find7保持通话2个小时。另外，高通表示新款搭载高通平台的手机都将会有快充功能，高通新的快充协议为Quick Charge2.0，可提高75%充电速度。与此同时，MTK也发布了省时高达50%的快充协议Pump Express。为促进快充技术在行业内现有移动智能终端的兼容使用，急需制定移动智能终端快速充电技术标准，以指导和规范设备制造商（上下游产业链）的产品研发和生产，为手机使用者创造快速、安全、兼容的充电使用环境。功耗指标，一是标识智能终端电池的续航能力以及比较不同终端的功耗差异，二是标识第

45、三方应用软件的使用对智能终端电池续航能力的影响以及比较同类型第三方应用软件在相同终端上的功耗差异。因此，我们把功耗指标分为整机功耗指标和第三方应用功耗指标。7.2.7 音视频多媒体音视频多媒体性能体验音频相关的用户体验包括用户在使用智能终端进行包括通信、音频播放等各类应用模式时的体验，同时也包括在保证各应用基本体验的前提下，终端对过大声信号防范能力和用户听力保护能力的评估。针对通信模式下的用户体验，将主要从用户在进行语音通信时所能感知到的终端音频性能和语音质量类指标进行评估。根据智能终端应用场景的区别以及通信实现方式的差异，具体指标及测试方法可参考YD/T 1538数字移动终端音频性能技术要求

46、及测试方法、YD/T 1686IP电话设备语音质量及传输性能技术要求和测试方法以及YD/T 2308车载窄带语音通信设备传输性能要求和测试方法。而音频播放等应用模式下的用户体验评估，主要需参考从终端耳机接口处或者耳机处的用户能感知到的声音播放性能和质量类指标进行评估，具体指标及测试方法可参见YD/T 1885移动通信手持机有线耳机接口技术要求和测试方法。另外，对于用户听力保护能力的评估，需主要考虑智能终端在终端耳机接口处或者耳机处用户能感知到的声音强度类指标。具体详细指标和测试方法可参见YD/T 1884信息终端设备声压输出限值要求和测量方法。视频相关的用户体验包括用户在使用移动监控、视频通信

47、应用等业务时，用户可感知到的端到端质量评测，包括视频帧频、QoS、QoE等各项指标的评级。也包括使用智能终端时的视频拍摄、即时聊天、在线游戏时视频质量评测，例如：拍摄帧频和预览帧频等。同时，智能终端的手机摄像头、显示屏的关键指标和用户体验极其相关，对摄像头、显示屏的指标进行评测亦是用户体验的关注重点，这包括摄像头像素、摄像头视觉分辨率、白平衡、色彩还原、几何失真、屏幕分辨率、坏点、亮度、对比度、色度等各类指标。针对上述视频相关用户体验，相应的具体指标和测试方法可参见YD/T 1607数字移动终端图像及视频传输特性技术要求和测试方法。人机交互性能人机交互性能主要体现用户在完成任务或获取业务体验的

48、过程中，在与终端交互时产品带给用户的性能体验。早期的终端以按键或滑轮的形式来实现命令输入，到了智能终端时期，随着触摸屏技术的发展，用户采用在终端屏幕上进行手指点击或滑动的方式完成命令的输入。随着技术的进一步发展和演进，语音输入、眼动输入都开始成为下一代终端的关键人机交互技术。不断增强的人机交互技术的价值在于给用户带来了更好的便捷性和易用性，操作更简单、更直观，这一变化很难通过量化的形式体现。但是，没有精确度、灵敏度等指标的保障，人机交互技术是无法为用户带来良好用户体验的。另外，人机交互中除了输入技术还包括输出技术，目前在智能终端中，最重要的输出模块就是屏幕，屏幕的大小、清晰度、保真度、对比度等

49、指标都直接影响用户获取反馈的效率和舒适度，具体详细的指标和测试方法可参见YD/T 1607数字移动终端图像及视频传输特性技术要求和测试方法。7.3 主观评测指标对于用户评价指标，本报告从如下2个方面抽取主观衡量指标：7.3.1 可用性可用性是体现用户与终端交互过程中对产品满意程度的重要指标，反映的是终端能否满足功能需要、符合用户的行为习惯和认知，同时保障用户能高效愉悦的完成任务和工作，达到预期的目的。可以看出，这里面涉及几方面因素：第一、可用性不仅涉及到人机交互界面的设计，也涉及到整个系统的技术水平。第二、可用性是通过人因反映的，通过用户操作各种任务去评价的，因此受人的主观差异性的影响。第三、

50、环境期间因素必须被考虑在内，在各个不同领域，评价的参数和指标是不同的，不存在一个普遍适用的评价标准。第四、要考虑非正常操作情况。例如用户疲劳、注意力比较分散、紧急任务、多任务等具体情况下的操作。因此，可用性评测也从几个角度来进行：一是以任务为视角，看用户掌握终端的哪些功能、使用的频率如何以及是否可独立实现该功能，其中应对常规功能、非常规功能和个性化功能进行区分；二是以行为为视角，看用户需要多长时间、多少步骤（包括有效的、无效的、错误的）完成该任务，每次操作获取反馈信息的频率如何；三是以体验为视角，看用户完成任务的过程是否愉悦，结果是否满意。7.3.2 满意度满意度反映的是用户通过使用智能终端满

51、足个人需求后的愉悦感，是愉悦感和满足感的数字化体现，是用户体验的最终呈现。相比其他主客观指标，满意度具有更大的外延，不仅包括用户与终端交互过程中的感知质量，还包括交互前的品牌感知和体验预期，以及交互后的价值质量和售后服务，是一个更综合化的指标，不可预知、难以判断的因素更多，但却最能够反映用户对终端产品的喜爱和忠诚度。8 标准化建议基于本课题的研究可以看出，用户体验评测是智能终端测试的新维度、新视角，目前在产业界还没有形成共识，测哪些内容、如何测都处在摸索阶段，需要产业通过跨领域协作，开展大量的摸索和实践，然后逐渐形成共识。在智能终端用户体验评测中，客观测试是基础，但是测试内容需要从原先的以系统

52、实现为主的协议、射频测试转向用户可感知的以体验为主的性能测试，通过对客观测试内容进行定性定量分析，逐渐明确评测指标和评测方法，最终形成用户可接受、符合实际需求的一套评测体系。建议后续基于图8-1的思路，围绕以下体验点开展标准化研究工作。图8-1 终端用户体验评测研究思路8.1 人体感知8.1.1 性能8.1.1.1 数据速率连接性能相关业务/终端状态测试用例说明描述电话语音呼叫（主叫/被叫）接通成功率1. 这部分内容与传统移动通信标准的差异在于只关注实际业务体验性能而不关注是产品的工程实现（如协议规范、射频指标等）；2. 连接的方式技术不局限于蜂窝通信技术，还可以包括Wifi、蓝牙等局域网或个

53、域网技术；3. 标准化需要考虑测试环境是基于空口还是cable直连，如果基于空口如何保证测试环境的一致性成功率：配置测试环境以满足预置条件，通过手动或自动的方式发起业务，成功或失败后重新进入初始状态并重复之前的操作直到满足测试样本总数的要求，统计成功的次数所占的百分比4. 时延：配置测试环境以满足预置条件，通过手动或自动的方式发起业务，触发测试例执行并第一时间获取终端反馈的目标信息，如声音、信令等，采用合理和有效的方式分析终端获取用户指令和反馈目标结果的时间，并计算相应的时间差。5. 吞吐量/掉线率：配置测试环境以满足预置条件，通过手动或自动的方式发起业务，保持相关业务直到满足时间的要求，如业

54、务发生中断则重新建立业务，监测整个测试过程中终端的吞吐量数据， 统计业务的中断次数。3. 测试应考虑无线环境的影响语音呼叫（主叫/被叫）时延语音呼叫接通率语音长保成功率信息短消息收发成功率文件传送和共享文件传送（下载/上传）连接建立成功率终端从网络服务器下载文件文件传送（下载/上传）掉线率终端向网络服务器上传文件文件传送（下载/上传）平均吞吐量数据速率终端间互传文件网页浏览网页连接建立成功率操作工作状态下开机驻网时延脱网重连时延8.1.1.2 时延系统响应处理性能相关业务/终端状态相关业务测试用例说明描述电话“电话薄”进入时延1. 这部分内容主要从终端用户可感知的客观指标反映系统对用户输入的反

55、馈速度，从侧面体现终端硬件器件（如应用处理器等）提升所带来的用户体验改善终端本地运算处理能力，其中包括响应时延（从终端接收到用户输入到反馈目标结果的时间差）是最主要的和界面流畅度（相邻帧图像切换时的平滑程度）。用户体验。2. 响应时延：设置终端满足预置条件的要求，采用手动或外部机械手自动的方式执行点击操作，触发测试例执行并第一时间获取终端反馈的目标信息，包括显示界面变换、声音、震动等。采用合理和有效的方式分析终端获取用户指令和反馈目标结果的时间，并计算相应的时间差，即响应时延。3. 流畅度：设置终端满足预置条件的要求，采用手动或外部机械手自动的方式执行滑动操作，获取滑动过程中终端显示界面变换的图像。采用合理和有效的方式分析和计算影响终端图像显示流畅度的指标，如帧率、帧间距方差等。标准化需要考虑获取时延的方法和精确度，尚没有形成广泛共识，需要进一步的研究和讨论“电话薄”导航图标切换时延“电话薄”联系人查找时延“拨号”进入时延数字键盘响应时延主叫本地响应时延信息“短信”进入时延短消息打开时延短消息新建时延彩信打开时延彩信图片加载时延“邮箱”进入时延邮件打开时延邮件新建时延邮件加载附件时延网页浏览“浏览器”进入时延网页首次加载时延网页二次加载时延网页滑动流畅度网页缩放流畅度多媒体