（机械设计及理论专业论文）情感计算在可用性测试中应用的研究.pdf

北京邮电大学硕士学位论文 情感计算在可用性测试中应用的研究 摘要 随着计算机软件开发技术的日益发展和用户水平的不断提高，用户不仅要求 软件有强大的性能，而且对软件的可用性等非功能特征要求越来越高。在软件的 可用性测试中，用户的情感作为一个影响用户体验及用户满意度的重要因素受到 越来越多的重视。用户利用计算机获取信息、完成任务的过程同时也是计算机对 用户施加影响，导致用户情感产生变化的一个过程，我们通过对用户的情感的变 化的研究，来寻找其与软件可用性以及用户满意度直接的关系。 目前对用户的满意度存在着较难实时地获取用户的满意度、准确度不够高、 无法进行定量研究等问题。本文主要利用p a d 情绪量表获取用户情感状态，并 利用神经网络建立用户情感变化与可用性的关系，通过用户情感变化的度量来度 量用户的满意度，整合用户的情感模型及算法，通过测试对得出的模型进行验证。 本文的研究成果可用于软件的可用性测试以及软件的用户满意度度量，并尝试计 算机获取人类情感变化的方式，指导和谐的人机交互环境的建设，并为今后相关 领域的研究提供了第一手的数据。 本文具体完成了以下工作： 首先，进行理论研究，包括相关文献的阅读整理、可用性测试的理论与具体 实践方法的研究、情感计算研究现状与相关应用。 其次，根据理论研究的情况，结合实际测试过程中用户的行为、情感变化情 况，对用户情感进行建模，建立了交互模型、用户行为h m m 模型、用户认知一 情感模型、用户情感p a d 维度模型。进行算法推导，主要包括：基于体验过程 的满意度度量算法、基于情感计算的可用性度量方法。 再次，进行实验验证，共计完成了4 组2 0 人的可用性实验测试，并获取相 关数据对算法的正确性与可靠性进行了初步验证。最后，进行了基于推导出的满 意度算法的可用性测试系统的原型设计，包括整体结构，以及界面设计。 关键字：可用性测试、情感计算、p a d 情绪空间模型、神经网络 北京邮电大学硕士学位论文 r e s e a r c ho fa f f e c t i v ec o m p u t i n gu s e di n u s a b i l i t yt e s t i n g a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rs o f t w a r et e c h n o l o g yd e v e l o p m e n ta n d i n c r e a s i n gt h el e v e lo ft h ec o n t i n u o u si m p r o v e m e n to ft h eu s e r , t h eu s e rw i l lr e q u i r e n o to n l yt h es o f t w a r eh a sa p o w e r f u lp e r f o r m a n c e ，b u ta l s ot h ea v a i l a b i l i t yo fs o r w a r e a n do t h e rn o n f u n c t i o n a lc h a r a c t e r i s t i c sh a v eb e c o m ei n c r e a s i n g l yd e m a n d i n g i n s o f t w a r eu s a b i l i t yt e s t i n g ，u s e r 8o ft h ee m o t i o n a li m p a c ta sau s e re x p e r i e n c ea n du s e r s a t i s f a c t i o na r ei m p o r t a n tf a c t o r si nm o r ea n dm o r ei m p o r t a n c e u s e r su s et h e c o m p u t e r t oo b t a i ni n f o r m a t i o nt oc o m p l e t et h ep r o c e s so fm i s s i o ni sa l s ot oi n f l u e n c e c o m p u t e ru s e r s ，r e s u l t i n gi ne m o t i o n a lc h a n g e so fap r o c e s s ，w ep a s so nt h eu s e r s e m o t i o n a lc h a n g e si nr e s e a r c h ，t of i n di t sr e l a t i o n s h i pw i t hs o f t w a r eu s a b i l i t ya n du s e r s a t i s f a c t i o nw i t hd i r e c tr e l a t i o n $ c u r r e n tc u s t o m e rs a t i s f a c t i o nt h e r ei sam o r ed i 伍c u l tr e a l t i m ea c c e s st o c u s t o m e rs a t i s f a c t i o n , a c c u r a c yi sn o th i g he n o u g h , c a nn o tc a r r yo u tq u a n t i t a t i v e r e s e a r c ha n ds oo n i nt h i sp a p e r , t h eu s eo fp a d m o o ds c a l et oo b t a i nau s e re m o t i o n a ls t a t e sa n dt o m a k eu s eo fn e u r a ln e t w o r ku s e r st os e tu pc h a n g e sa n dt h ea v a i l a b i l i t yo fe m o t i o n a l r e l a t i o n s ，e m o t i o n a lc h a n g e st h r o u g ht h e u s e rm e t r i c st om e a s u r ec u s t o m e r s a t i s f a c t i o n ，i n t e g r a t i o no ft h eu s e r se m o t i o nm o d e l sa n da l g o r i t h m s ，t op a s st h et e s t o fav e r i f i c a t i o no ft h em o d e l i nt h i sp a p e r , t h er e s u l t so fr e s e a r c hc a nb eu s e df o r s o f t w a r eu s a b i l i t yt e s t i n g ，a n ds o f t w a r ec u s t o m e rs a t i s f a c t i o nm e a s u r e m e n t ，a n dt r yt o a c c e s st h ec o m p u t e rc h a n g e st h ew a yo fh u m a ne m o t i o n , g u i d a n c ea n dh a r m o n i o u s e n v i r o n m e n tf o rt h ec o n s t r u c t i o no fh u m a n - c o m p u t e ri n t e r a c t i o na n dr e l a t e da r e a sf o r f u t u r er e s e a r c hp r o v i d e daf i r s t h a n dd a t a t h i sa r t i c l es p e c i f i c a l l yc o m p l e t e dt h ef o l l o w i n gw o r k ： f i r s to fa l l ，t h e o r e t i c a lr e s e a r c h ，i n c l u d i n gf i n i s h i n gr e a d i n gr e l a t e dl i t e r a t u r e ，t h e a v a i l a b i l i t yo ft e s t i n gt h e o r y a n dm e t h o d so ft h ec o n c r e t ep r a c t i c eo fr e s e a r c h , i 1 1 北京邮电大学硕士学位论文 a f f e c t i v ec o m p u t i n gr e s e a r c ha n dr e l a t e da p p l i c a t i o n s s e c o n d l y ，b a s e do nt h e o r e t i c a ls t u d i e s ，c o m b i n e dw i t ht h ea c t u a lt e s t i n gp r o c e s s i nt h eu s e r sb e h a v i o r , e m o t i o n a lc h a n g e s ，b s e rm o d e l i n ge m o t i o n , s e tu pa n i n t e r a c t i v em o d e l ，h m mm o d e lo fu s e rb e h a v i o r , u s e rc o g n i t i v e - e m o t i o n a lm o d e l ， t h eu s e re m o t i o n a ld i m e n s i o np a dm o d e l a l g o r i t h mi s d e r i v e dt oc a r r yo u t , i n c l u d i n g ：b a s e do nt h ee x p e r i e n c e o ft h ep r o c e s so fs a t i s f a c t i o nm e a s u r e m e n t a l g o r i t h m , b a s e do na f f e c t i v ec o m p u t i n gt h ea v a i l a b i l i t yo f m e a s u r e m e n tm e t h o d s t h i r d , f o re x p e r i m e n t a lv e r i f i c a t i o n , f o rat o t a lo f2 0c o m p l e t e dt h e4g r o u p so f p e o p l et h ea v a i l a b i l i t yo fl a b o r a t o r yt e s t sa n d t oo b t a i nr e l e v a n td a t af o rt h ea l g o r i t h m c o r r e c t n e s sa n dr e l i a b i l i t yo fap r e l i m i n a r yv a l i d a t i o n f i n a l l y , b a s e do nt h es a t i s f a c t i o nd e r i v e da l g o r i t h mp r o t o t y p eu s a b i l i t y t e s t s y s t e md e s i g n , i n c l u d i n gt h eo v e r a l ls t r u c t u r e , a n di n t e r f a c ed e s i g n k e yw o r d s ：u s a b i l i t yt e s t i n g , a f f e c t i v ec o m p u t i n g , p a de m o t i o ns p a c em o d e l ， n e u r a ln e t w o r k i v 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承 本人签名：么垂缁雀卜日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围， 本人签名： 导师签名：日期： 北京邮电大学硕士论文 1 1 研究背景 第一章绪论 在社会、经济发展的层面上，近代人类社会的发展经历了蒸汽时代、电气时 代、信息时代。目前在欧美国家，正在以发达的服务经济为基础，并紧跟“信息 时代，逐步开展体验经济发展n 1 。体验经济被认为是继农业经济、工业经济和服 务经济阶段之后的第四个人类经济发展阶段，或称为服务经济的延伸。它的主要 特点就是对用户体验进行设计，以给用户提供体验为利润的最大来源，满足用户 需求，提升用户满意度。 一家企业的成功是有道理的。自古以来，在中国依靠提升用户的满意度，进 而获得成功的企业有很多。例如中药界素有“北有同仁堂，南有胡庆余堂之称， 同仁堂以信誉为本，坚持药物质量，提高顾客的满意度；今天，优秀的商家更是 继承了前辈的宝贵经验，例如北京各家超市的免费班车，海底捞火锅店里的服务 等等。从经济学上进行分析，良好的用户体验可以提升用户黏度，在同等成本的 情况下获取更高的利润，从而在行业内拥有更高的利润率用于发展，在遇到危机 的时候，抵抗危机的能力也更强。因此，能为用户提供良好体验的商家更有机会 成长成百年老店比，。 那么，什么是用户体验呢? 从定义上来说，用户体验口1 ( u s e re x p e r i e n c e ， 简称u x 或u e ) 是指一种纯主观的在用户使用一个产品( 服务) 的过程中建立 起来的心理感受。因为它是纯主观的，就带有一定的不确定因素。个体差异也决 定了每个用户的真实体验是无法通过其他途径来完全模拟或再现的。但是对于一 个界定明确的用户群体来讲，其用户体验的共性是能够经由良好设计的实验来认 识到。 简单地说，用户体验归根到底在于用户是否满意，而用户是否满意取决于用 户的心情，也就是说要使所提供的服务、产品的带来的体验，能使用户的心情变 好，使情绪朝着正向发展，能达到这个目的就是较好的用户体验。 让用户在使用产品及服务的过程中获得良好的用户体验，满足用户需求已经 成为商家、企业在市场竞争中为了取得成功所必须要充分考虑的内容。如果能满 足用户的高级需要，能给用户带来更好的用户体验，从而给企业带来更大的利润 空间。而用户研究开始成为体验经济时代的核心内容。能否使用户获得良好的用 北京邮电大学硕士论文 户体验，能成为一个企业，尤其是信息产业相关企业能否取得成功的核心内容。 美国著名心理学家马斯洛h 1 提出的人的需求层次理论，他把人的需要归纳为 五大类，由低到高分成五个阶层，像金字塔一样，把人的需要按重要性和层次性 排成一定的次序，从基本的( 如食物和住房) 到复杂的( 如自我实现) 。 生理需要：是人类本能的最基本的需要，位于需要层次金字塔的底部。这种 需要包括衣、食、住、行及延续种族的需要等。 安全需要：实质上是生理需要的保障。包括生命安全、财产安全、职业安全、 劳动安全、环境安全和心理安全等。 社会需要：也可称为归属和爱的需要。包括社会交往，从属于某一个组织或 某一种团体，并在其中发挥作用，得到承认；希望同伴之间保持友谊和融洽的关 系，希望得到亲友的爱等。 尊重需要：即自尊、自重，和要求被他人所尊重。包括自尊心、信心、希望 有地位、有威望，受到别人的尊重、信赖以及高度评价等。 自我实现需要：是人生追求的最高目标，位于需要层次金字塔的顶端。包括 能充分发挥自己的潜力，表现自己的才能，成为有成就的人物。 根据马斯洛的需求层次理论，我们可以对人的需求有一个基本了解，而在信 息时代，人类对计算机的需求可以据此推导得到，即完成信息化生存的需求、在 信息社会中的安全需求、信息社会中的社会化需求、信息社会中获得尊重的需求、 信息社会中自我实现需求。 以上需求在目前的信息社会中均有较为明显的产品及服务来满足人们的需 求，而提供这些产品及服务的企业，也因为满足了人们的各种层次的需求而得到 了较好的发展。例如，信息化生存：淘宝网的出现，满足了人们进行购物从而进 行生活的需求；信息社会中的安全需求：各类杀毒软件，满足了人们安全使用计 算机的需求；信息社会中的社会化需求：校内网、百合网等交友社区网站；信息 社会中获得尊重的需求：用户在各类有社会性的论坛、社区、游戏中达到较高的 水准，获得低等级用户的尊重；信息社会中自我实现需求，如图1 - 1 所示： 2 北京邮电大学碗论文 高 低 精神 格需求 墼一型堕z 至垂耍 三墨熊煎 重匿 7 m $ $ * g n * 目f d # o 十* $ h g 目* 目 图卜l 基于马斯洛需求层班理论的信息社奢中用户的需求层次模型 与此同时，在科学层面，当人类进入2 l 世纪之后，美国推出了两大科学计 划“人类基因组计划”和“人类认知组计划”，分别对生命的奥秘与心智 的奥秘进行探索。以破解人类心智奥秘为目标的认知科学( c o g n i t i v es c i e n c e ) 越来越引起各国的重视。当前国际公认的认知科学的核心包括认知心理学、认知 神经科学、计算机科学、语言学、人类学、哲学六个相关学科。这些相关学科互 相交叉，又产生出众多的分支学科，如控制论、神经语言学、神经心理学、认知 过程仿真、计算语言学、心理语言学、心理哲学、语言哲学、人类学语言学、认 知人类学、脑进化等等。其中情感计算作为该综合学科中的一支，备受关注。 当前情感建模的研究是国内外相关研究的热点与难点。情感建模“主要是通 过数学方法来对人类情感变换做出定量描述和分析，反映人类情感变换的基本规 律。由于人类对本身情感变化规律的研究尚不完善，因此目前情感模型主要是基 于已有心理学研究成果上的一种简化模型。国内的情感计算研究重点在于，通过 各种传感器获取由人的情感所引起的生理及行为特征信号，建立情感模型4 ， 从而创建个人情感计算系统”1 ，研究内容主要包括脸部表情处理、情感计算建模 方法、情感语音处理、姿态处理、情感分析、自然人机界面等。对于情感识别， 并不是说计算机能直接识别或测量情感状态，应该解释为“通过观察表情、行为 和情感产生的前提环境来推断情感状态”。因为情感状态是内在的并包含生理和 心理的变化，这样只能获得情感状态的一些可观测的东西，如表情、行为等等。 假设这些东西的观测可靠的话，那么潜在的情感状态就可以推断出来。将情感识 别看作一种模式识别问题、情感表达看作模式合成问题，计算机进行情感交流才 具有可行性。 这些研究使人类在向了解自身的道路上大步前进。这也使我们对情感计算的 相关研究成果的应用，使计算机获取用户情感，进而对用户的满意度进行度量提 北京邮电大学硕士论文 供了理论依据。 1 2 研究现状 可用性测试n 们( u s a b i l i t yt e s t i n g ) 是一种建立在认知心理学理论基础上 的产品原型测试方法。作为用户代表的参试人员被邀请参加对实际产品或其原型 的测试，测试的过程依照经过精心设计的脚本进行，测试人员通过对用户行为的 观察和用户评论的理解，找出界面中影响用户使用的问题，籍此提升产品的用户 体验水平。 可用性测试的应用始于2 0 世纪8 0 年代初，i b m 最早开始进行利用可用性测 试的设计和开发工作，之后微软等公司也开始大力提倡。i b m 在佛罗里达的b o c a r a t o n 建立了较完备的可用性实验室n 1 1 ，由1 6 个实验室环形分布构成，利用中 心数据库记录相关的使用和运行情况。 在软件产品开发过程中，软件可用性的测试是必不可少的一环。可用性是从 人的角度来看软件系统是否易用、高效、使人满意。作为一种特殊的i t 产品， 它的可用性显得格外重要。考察软件系统的可用性一般来讲就是测试软件的可用 性是否达到了用户的要求。目前的方法大致可以分为用户模型法、用户调查法、 专家评审法和用户测试法四类。 用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过 程看作是解决问题的过程。它认为人使用软件系统是有目标的。而一个大的目标 可以被细分为许多不同的小目标。这了完成每个小的目的，又有不同的动作和方 法可供选择，每一个细小的过程都可以计算完成的时间。这个模型就可以用来预 测用户完成任务的时间了。这个方法特别适合于无法进行用户测试的情形。在人 机交互领域中最著名的预测模型是g o m s ( g o a l s ，o p e r a t o r s ，m e t h o d s ， s e l e c ti o n s ) 模型。 用户调查法包括问卷调查法和访谈法。这两种方法是社会科学研究，市场研 究和人机交互学中沿用己久的技术，适用于快速评估、可用性测试和实地研究， 以了解事实、行为、信仰和看法。 访谈与普通对话的相似程度取决于待了解的问题和访谈和类型。访谈有4 种 主要类型：开放化( 或非结构化) 访谈、结构化访谈、半结构化访谈和集体访谈 具体就采用何种访谈技术取决于评估目标、待解决的问题和选用的评估范型。例 如，如果目标是大致了解用户对新设计构思( 如交互设计) 的反映，那么非正式的 开放式访谈通常是最好的选择。但如果目标是搜集关于特定特征( 如新型w e b 浏 览器的布局) 的反馈，那么，结构化的访谈调查通常更为适合，因为，它的目标 和问题更为具体。 4 北京邮电大学硕士论文 调查问卷是用于收集统计数据和用户意见的常用方法，它与访谈有些相似， 也是用来了解用户的满意度和遇到的问题。问卷需要认真的设计，可以是开放式 的问题，也可以是封闭的问题，但必须措辞明确，避免可能的误导问题，保证所 收集的数据有高的可信度。在学术论文中常见的可用性问卷包括：用户交互满意 度问卷( q u e s t i o n n a i r ef o ru s e ri n t e r a c t i o ns a t i s f a c t i o n ，q u i s ) ，软件可 用性测量目录( s o f t w a r eu s a b i l i t ym e a s u r e m e n ti n v e n t o r y ，s u i i ) 计算机系统 可用性问卷( c o m p u t e rs y s t e mu s a b i l i t yq u e s t i o n n a i r e ，c s u q ) 。 专家评审法分为启发式评估和走查法。启发式评估是由j a k o bn i e l s e n 和他 的同事们开发的非正式可用性检查技术，使用一套相对简单、通用、有启发性的 可用性原则来进行可用性评估。具体方法是，专家使用一组称为“启发式原则 的可用性规则作为指导，评定用户界面元素( 如对话框，菜单，在线帮助等) 是否 符合这些原则。在进行启发式评估时，专家采取“角色扮演 的方法，模拟典型 用户使用产品的情形，从中找出潜在的问题。参与评估的专家数目可以不同。由 于启发式评估不需要用户参与，也不需要特殊设备，所以它的成本相对较低，而 且较为快捷，因此也称为“经济评估法 。 走查法包括认知走查和协作走查，是从用户学习使用系统的角度来评估系统 的可用性的。这种方法主要用来发现新用户使用系统时可能遇到的问题，尤其适 用于没有任何用户培训和系统。走查就是逐步检查使用系统执行的过程，从中找 出可用性问题。走查的重点非常明确，适合于评估系统的一小部分。 用户测试法：可用性既然是评价软件质量的标准，而且是从用户的角度出发， 评价起来当然少不了用户的参与，在所有的可用性评估法中，最有效的就是用户 测试法了。该方法是在测试中，让真正的用户使用软件系统，而测试人员在旁边 观察、记录、测量。因此，用户测试法最能反映用户的要求和需要的。根据测试 的地点不同，用户测试可分为实验室测试和现场测试。实验室测试是在可用性实 验室里进行的，而现场测试则是由可用性测试人员到用户的实际使用现场进行观 察和测试。根据试验设计的方法不同，用户测试以可分为有控制条件的统计试验 和非正式的可用性观察测试。这两种试验方法在某些情况下也可以混合使用，所 以经常被笼统的称为可用性试验。可用性的实验就是在产品实际应用的环境之 外，就特定的环境、条件、使用者进行测试，藉以记录系统的表现，更能对特定 的因果关系进行验证，得到量化的数据。 用户测试常用的方法包括实验室的实验、焦点小组讨论( f o c u sg r o u p d is c u s s i o n ) 及发声思考( t h i n k i n ga l o u d ) 。焦点小组讨论是一般市场营销研究 常用的手段。邀请一群用者，一般五至八人一起就几个焦点问题进行讨论，由一 位主持人掌控讨论的方向，围绕着预定的题目进行，让参与者都能畅所欲言并热 5 北京邮电大学硕士论文 烈讨论。不过若针对软件进行讨论，必须要考虑系统的规模与使用的体验，对企 业的软件来说，一次的讨论绝对不够，必须要进行一系列的讨论与评价。 发声思考法是心理学研究所用的研究方法，在国外被人机交互或可用性的研 究者用来评估软件的使用。发声思考法要求受测者使用指定的系统，边用边说话， 说出使用之时心中想的一切，包括困难、问题、感觉等。这个方法能从每位受测 者的评价过程中收集到相当大的信息，而所需邀请的受测者也不多，在国外的相 关业界可说是标准的软件使用质量评价方法。 为了提高可用性测试中的自动化程度，加快测试速度，缩短研究周期，人们 开始研究各种应用于可用性测试的计算机辅助工具，减轻研究人员在数据收集和 分析方面的工作强度。在这方面，较为著名的工具有o v os t u d i o 、o b s e r v e r 、 u s a b i l i t yw a r e 和m o r a e n 2 1 等。这些工具能够帮助研究人员在测试过程中进行数 据的收集，并提供统计分析等功能。本文中将用到的测试工具为m o r a e ，在下文 中将进行较为详细的描述。 产品的可用性，作为产品的一项重要属性，很大程度上关系到用户使用产品 的满意度，国外企业和研究机构在研究用户需求，研究产品可用性，尽可能提升 用户的满意度等方面已经做了很多工作，例如，微软在1 9 8 8 年开始组建由人因 工程学、社会心理学、工业设计师、技术沟通、研发、信息科学和计算机科学等 专业背景的可用性团队，开展可用性测试，1 9 8 9 年起微软建立了第一个可用性 实验室，并逐步建立新可用性的实验室，西门子、通用电气、英特尔等设备商也 相继设立可用性部门。企业通过对产品或服务的可用性测试，来了解产品或服务 在被用户使用过程中带给用户的体验，并发现相应的可用性问题，从而节省开发 成本。国内企业随着全球化的冲击，将不断进行产业链的升级，从单纯的制造业 逐步走向以满足用户高层次需求为主的体验经济，可以看到，各个企业开始对用 户研究部门、可用性测试部门的投入以及相关人材的培养方面也进行了很大的投 入。国内的中国移动、海尔、百度、腾讯等n 3 1 企业也先后开始设置可用性研究部 门。 于此同时，国内外有大量企业、科研机构在情感计算领域展开研究，其中， 情感建模是当今国内外研究的热点与难点。情感建模主要是通过数学方法来对人 类情感变换做出定量描述和分析，反映人类情感变换的基本规律。由于人类对本 身情感变化规律的研究尚不完善，因此目前情感模型主要是基于已有心理学研究 成果上的一种简化模型。对于情感识别，并不是说计算机能直接识别或测量情感 状态，应该解释为“通过观察表情、行为和情感产生的前提环境来推断情感状态 。 因为情感状态是内在的并包含生理和心理的变化，这样只能获得情感状态的一些 可观测的东西，如表情、行为等等。假设这些东西的观测可靠的话，那么潜在的 6 北京邮电大学硕士论文 情感状态就可以推断出来。只有将情感识别看作一种模式识别问题，情感表达看 作模式合成问题，计算机进行情感交流才具有可行性。 魏哲华提出了状态空间法的情感建模，该方法考虑了三种基本情感，认为人 在某一时刻的情感均是这三种基本情感或这三种基本情感在不同程度上的组合。 给每一个基本情感进行量化，任意时刻情感状态均是一个三维向量，在这个三维 情感空间中存在2 7 个情感状态，在三维空间中构成了一个立方体。由于人的情 感在下一时刻的状态只与当前时刻有关，因此情感变化的过程符合马尔可夫过 程，各个情感状态之间的关系可通过一个状态转移矩阵来描述。为了确定每个情 感状态的出现概率，及其转移概率，该方法通过借鉴信息熵的概念，提出了情感 熵和情绪熵的两个概念，利用情感熵可以对情感状态的概率分布进行评价，情感 熵越大，则情感空间所包含的情感越丰富细腻，所以情感熵是描述情感的微观变 化和宏观表现的桥梁。而情绪熵则表征了在某一时刻情感变化的不确定程度，情 绪熵越大，意味着情绪的不确定性越大，性格越不稳定，表现为一种情绪混乱状 态；而情绪熵越小，则意味着情绪不确定性越小，性格越稳定。通过数值求解使 得情感熵最大从而得到情感状态的概率和状态转移概率，由于各状态之间的转移 概率的获得是基于状态之间的相对欧氏距离而得到，因此该方法提出了三个约束 条件，使得求解出的转移概率更符合一定的常理，同时，这种基于欧氏距离的转 移概率，存在一个缺点，即在某一时刻转移到其它状态的概率有可能出现相等的 情形。 k i s m e t 的情感状态空间由唤醒度( a r o u s a ) 、价( v a l e n c e ) 和态( s t a n c e ) 三 维构成，空间中每个点均代表一种情感状态，整个空间被分成以若干个点为中心 的几个区域，每个区域代表特定的一种情感状态。某时刻的情感状态是综合考虑 k i s m e t 的感知系统、动机系统和行为系统的作用而得到。距离该情感点最近的 区域将被激活，k i s m e t 根据该区域代表的情感状态产生相应的面部表情，表情 的强度和该情感状态点与被激活区域中心的距离成正比。 日本早稻田大学开发的w e 3 r v 情感机器人能够识别多种外界刺激信号， 改变自己的情感状态，并做出一系列的情感表达如作出相应面部表情、颈部运动 及声音表情。设计者使用了e k m a n 的六种基本情绪，增加中性、酒醉的、害羞 的三种共为w e 3 r v 定义了九种表情，每种表情的强度按照与中性表情的差别 又分为5 0 个等级。w e 3 r v 不仅具有感知和表达功能，而且具有一个情感模型， 它能根据外界刺激改变自己的情感状态，由愉悦轴、激活轴和确定轴构成。此外， 正如每个人有不同个性一样，w e 3 r v 也有机器人个性，它包括感知个性和表达 个性，其中，感知个性决定刺激如何影响机器人情感状态，表达个性则影响机器 人表情和颈部运动。 7 北京邮电大学硕士论文 a a r d j a nv a nk e s t e r e n 等人针对外界刺激建立了一个分布式情感模型。整个 分布式系统是把特定的外界刺激转换成与之相对应的情感状态，过程分为两阶 段：第一阶段评价事件( 外界刺激) 的情感意义，这由事件评估器完成，针对每 一类相关事件，分别定义了一个事件评估器，当事件发生时，先确定事件的类型 和事件信息，然后选择相关事件评估器进行情感评估，并产生量化结果e w ( e m o t i o n i n p u l s e v e c t o r ，情感脉冲向量) ：在第二阶段，对e i v 归一化得到n e w ， 通过e s c ( e m o t i o n a ls t a t ec a l c u l a t o r ) 计算出新的情感状态。事件评估器、e w 到n e w 及e s c 均采用神经网络实现。 国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生 理及行为特征信号，建立“情感模型 ，从而创建个人情感计算系统，研究内容主 要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、 自然人机界面等。哈尔滨工业大学以高文教授为主，研究多功能情感机，主要包 括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语合成、表情合成、唇 读等内容，并与海尔公司合作研究服务机器人。东南大学的学者寻找不同情感信 号特征的构造特点和分布规律，并提出了基于m m d 进行情感特征识别的方法， 此外，他们还开发了“表情识别系统”，测试者在该系统中做出喜、怒、哀、乐、 厌恶、害怕等6 种表情中任何一个表情，计算机可以确认是何种表情。中国科 学院计算技术研究所王兆其的研究组正在研究带有表情和动作的虚拟人。北京工 业大学正进行多功能感知机同情感计算的融合研究。中国科学院自动化研究所主 要研究基于生物特征的身份验证。南京航空航天大学、南京机械高等专科学校研 究语音情感计算；重庆大学主要研究智能服务、增强现实、环境感知、智能手表 等，注重软件方面的研究；海南大学主要研究军用无线局域网结构中的可穿戴计 算机；中科院心理学所、生物所主要注重人生理学、心理学方面的研究，特别是 中科院计算所高文教授提出的多功能感知技术为情感计算的研究提供了很好 的知识积累。 1 3 研究意义 本文的研究主要针对软件产品所进行，软件测试是目前可用性测试应用较多 的一个领域，用户在可用性测试中与计算机进行交互的过程中，计算机反馈对用 户产生刺激，用户通过对刺激的分析产生情感。 经过良好的可用性设计的软件，往往能带给用户操作效率高，易于寻找到需 要信息，便于用户学习，较少的错误，以及较好的用户满意度。用户操作这样的 软件的过程，是一个不断获得成功的过程，这种体验，对于用户选择该产品起到 了至关重要的作用。相反，一款让用户操作困难，经常出错，反馈很慢，效率低 北京邮电大学硕士论文 下的软件，将会被用户无情地抛弃。 在开展可用性测试过程中，用户经常会遇到一些问题，而应该让软件注意到 用户的情感反应，找出用户遇到异常的压力和挫折的时候。而这些时候所对应的 就是软件可能存在可用性问题的时候。而如何对用户的这种沮丧加以测量、量化， 得到一个“沮丧指标一，对于最终为用户提供一个使用较为舒服的产品有着重要 意义。 此情感中的沮丧指标，较为客观地反映了软件操作中的可用性问题对用户满 意度的影响。目前该技术通过仪器收集用户在人机交互时与沮丧反应相对应的生 理信号，有着实时、不干扰用户、可定量比较等优势，但由于测量设备价格较为 昂贵，较难大范围地开展应用，本文的研究将提供一种相对廉价且同时拥有以上 优点的评估方法。 通过对满意度的了解，我们发现用户的满意度在很大程度上取决于用户对产 品的预期，如果预期较高而实际所能带给用户的体验较低，则较为容易产生满意 度下降的情况，反之亦然。但是对于用户的预期是较难用语言进行准确表述的， 如果能对用户的情感进行获取及度量，就能较好地避免因无法获得不同预期进行 度量而导致结果差异较大的情况。同时通过情感计算在可用性测试中的研究使人 们对于用户的情绪进行度量，发现用户反馈中使用户的愉悦度下降的地方，找出 设计中存在着问题的地方，所获得的结果可以帮助设计人员开发出能有更好的用 户体验的软件产品。 1 4 论文结构 本文利用情感计算的方法与可用性测试的相关流程进行结合，提出了基于用 户行为流程的情感模型，提出度量方法并推导出相关公式，建立了在可用性测试 中基于用户个性的行为情感影响因子库，通过实际的可用性测试实验获取研究 需要的数据，对进行推导结果进行验证。 具体章节组织如下： 第一章绪论，主要阐述了可用性测试在用户体验研究中的重要作用，主要 的测试方法，当前情感计算的主要研究现状、应用、存在问题，以及情感计算在 可用性测试中应用的前景和发展意义。 第二章可用性测试的基本理论及情感计算的相关理论研究 第三章建立可用性测试中基于用户行为的情感模型、基于用户认知的情感 模型，可用性测试中用户情感模型与满意度度量方法研究，提出基于用户认知过 程的用户满意度评估模型，用户行为与情绪的h m m 模型，并建立了个性化的用户 行为模型库。 9 北京邮电大学硕士论文 第四章进行算法推导以及实验设计与数据处理，对具体可应用的算法进行 推导利用神经网络和实验数据构建测试软件整体可用性的评估方法，利用对情感 变化的度量，构建软件满意度度量方法。并介绍主要的实验方法、被测软件、用 户选择与数据数量、以及数据处理等相关内容。 第五章基于情感计算的可用性软件模型设计与展望，进行用于可用性测试 的软件的流程设计及实现。 第六章对论文工作总结以及后续研究展望。 l o 北京邮电大学硕士论文 第二章相关理论 本章主要涉及可用性测试与情感计算的相关理论，其中可用性测试方面主要 介绍可用性测试的分类、用户、角色、流程、数据、计算机辅助工具等相关内容。 情绪基本理论方面，包括情绪的产生，包括情绪与认知的关系、情感系统的 行为特点；进行情感研究的基本实验方法，情感的建模，包括面部表情、语音、 生理、行为模型、维度模型等等；情感合成，包括o c c 认知模型、r o s e m a n 认 知评价模型以及合成情感的影响。 2 1 可用性测试 2 1 1 可用性测试的基本概念 从某种程度上讲，与系统可接受性( a c c e p t a b i l i t y ) n 钔的概念相比，可用性是 相对较狭窄的概念。系统可接受性包括社会可接受性与实际可接受性，可用性是 实际可接受性下的一个概念。其关系如下图所示： 系统可按受性 易于学习 效率 易记忆 错误少 主观满意 图2 一l 系统可接受性的属性模型 根据i s 0 9 2 4 1 一l l 标准的定义，可用性n 朝( u s a b i l i t y ) 是指产品在特定使用 环境下为特定用户用于特定用途时所具有的有效性( e f f e c t i v e n e s s ) 、效率 ( e f f i c i e n c y ) 和用户主观满意度( s a t i s f a c t i o n ) 。 有效性是指用户完成特定任务和达成特定目标时所具有的正确和完整程 度： 北京邮电大学硕士论文 效率是指用户完成任务与其所用资源( 例如时间等) 的比率； 满意度是指用户在使用产品过程中所具有的主观满意程度。 可用性来源于将用户的需要作为设计过程的中心，指的是用户能否很好地使 用系统的功能，是设计过程的一部分，应该贯穿于设计的全过程。从用户的角度 所看到的产品质量是产品竞争力的核心。n i e l s e n 在可用性工程n 铂中提出了 可用性的5 个基本属性：易学性、效率性、可记忆性、容错性和满意度。 可学习性( 1 e a r na b i l i t y ) ：系统应该容易学习，从而用户可以在短时间内开始 用系统来做某些事情。 效率( e f f i c i e n c y ) ：系统的使用应当高效，因此当用户学会使用系统之后， 可能具有高的生产力水平。 可记忆性( m e m o r a b i l i t y ) ：系统应当容易记忆，从而那些非频繁使用系统的 用户，在中间有一段时间没有使用之后能够使用系统，而不用一切事情从头学起。 出错( e r r o r s ) ：系统应当具有低的出错率，从而用户在使用系统的过程中能 够少出错，在出错之后也能够迅速恢复。而且必须能够防止灾难性错误的发生。 满意度( s a t i s f a c t i o n ) ：系统应当使用起来令人愉快，从而让用户在使用时主 观上感到满意，喜欢使用系统。 可用性工程是一套旨在提升产品可用性水平的方法论，包含了一系列过程、 方法、技术和标准，在产品生命周期的各个环节确保可用性。核心是以用户为中 心的设计方法论( u s e r c e n t e r e dd e s i g n ，u c d ) 。 可用性测试根据目的和介入的时机大体可以分为形成性( f o r m a t i v e ) 测试和 总结性( s u m m a t i v e ) 测试n 们。 形成性测试：形成性测试贯穿于产品的设计和开发过程中，通过不断的测试 对用户界面设计进行修改，设计和测试迭代进行，尽力消除用户界面的可用性缺 陷。 总结性测试：总结性测试侧重于在产品成型后，对产品的实际使用效果做出 评价，衡量实际产品的可用性水平，并为下一版本的改进收集可用性问题。 更为深入的分类则将可用性测试分为探索性测试、评估性测试、确认性测试 和比较性测试等。 2 1 2 可用性测试的主要流程及方法 2 1 2 1 参试用户 在可用性测试中，我们需要挑选能够代表最终用户群体的用户参加测试，帮 助我们衡量产品的可用性，发现可用性问题。研究对象是产品和用户之间的交互， 而不是用户自身，因此相对心理学中的“被