（计算机应用技术专业论文）个性化情感建模方法的研究.pdf

太原理工大学硕士研究生学位论文 个性化情感建模方法的研究 摘要 情感是人类智能一个不可分割的部分，它在人的感知、推理、决策、 计划、创造以及社交等诸多活动中起着不可或缺的作用。情感计算的研究 重点就在于创建一个能感知、识别和理解人类情感的智能计算系统。使机 器具有情感是一项很有挑战性的研究，因为情感是一个随机的变化过程， 受很多因素的影响。要实现具有情感的智能系统，首先要建立一个合适的 计算模型来描述情感。那么，如何来建立这个模型呢? 这就是情感建模要 研究的内容。 目前，情感建模的研究还处于初级阶段，但己取得了较大的成果，一 些相关模型己被建立起来。根据建模的主要依据不同将这些模型分为三类： 基于认知的情感模型、基于概率的情感模型以及其他情感模型。由于情感 建模涉及到计算机科学、认知科学、心理学、行为学、生理学等众多学科 领域，以及人类情感固有的复杂性和模糊性，这三类情感模型虽然能够解 决一些问题，但难免存在一些缺点和不足。基于认知的情感模型最典型的 是o c c 模型，o c c 提供了一个基于规则的情感导出机制，可以有效地通过 计算机进行模拟；但是这个模型仅仅考虑了情感本身的认知因素产生机制， 没有考虑情感的非认知性因素，基于这些不足，不少改进模型被提了出来， 但仍没有彻底的解决这些问题。基于概率的模型最典型的是h m m ( 隐马尔 科夫) 模型，但h m m 模型仅仅是从概率的角度来模拟情感，没有考虑情感 产生的认知和司e 认知因素，导致对于相同的刺激，其感知结果是确定的； t 太原理工大学硕士研究生学位论文 不少学者努力对h m m 模型进行了改进，但都不能从根本上解决这个问题。 其他情感模型典型代表的就是基于维度的情感空间描述模型和多层情感模 型。基于维度的情感模型通过假设少量的离散情感以及小范围的情感变化 幅度来描述情感，简化了情感处理，但由于没有考虑影响情感的非认知因 素，缺点还是比较明显；k s h i r s a g a rs 提出的“性格一心情情感一表情” 多层情感模型是第一个将性格和情感相联系的模型，但是对心情的处理比 较模糊，不适合描述人类复杂的心情，从而不能很好将人类的性格与情感 联系起来，也就缺乏了应用的通用性。 为此，本文从基于维度的情感空间出发，融入性格因素，引入情感产 生的认知和非认知因素，将情感的性格影响分量、前一时刻情感衰减后的 分量、情感间的相互影响分量、外界的刺激强度以及情感的激活阂值有机 的结合到一起，建立了基于强度的个性化情感模型。这个模型克服了o c c 模型和基于维度的情感模型忽视非认知因素的缺点，弥补了洲模型仅仅 从概率上处理情感的缺陷，克服了多层情感模型通用性不强和“性格一心 情一情感”处理模糊性的缺点。这个个性化的情感模型的建立对于情感计 算、人工心理学及智能人机交互等研究领域都具有很大的学术价值和现实 意义。 为了验证本文提出的个性化情感模型的可用性和有效性，设计实现了 一个基于此情感模型的情感预测系统。经过5 0 个志愿者的测试，实验取得 了很好的结果。通过与一个对比实验进行结果比较分析，发现本文的个性 化情感模型具有明显优越性。 关键字：情感模型，情感强度，o c e a n 模型，情感衰减，激活阈值 太纛理z 大学硕士研究生学位论文 r e s e a r c ho nm 匮t h o d s0 fp e r s o n ai ，弪蟹d a f f e c t i m o d e l l n 寸g a bs t r a c t e m o t i o n sp l a ya ne s s e n t i a lr o l ei nd e c i s i o nm a k i n g ，p e r c e p t i o n ，l e a r n i n g a n dm o r e t h e yi n f l u e n c et h ev e r ym e c h a n i s m so fr a t i o n a lt h i n k i n g n o to n l y t o om u c h ，b u ta l s ot o ol i t t l ee m o t i o nc a ni m p a i rd e c i s i o nm a k i n g t h ek e yo b je c t o fa f f e c t i v ec o m p u t i n gi sb u i l d i n ga ni n t e l l i g e n tc o m p u t i n gs y s t e m 做hc a n s e n s i n g ，r e c o g n i z i n g ，a n du n d e r s t a n d i n g h u m a ne m o t i o n s e m o t i o ni s c h a n g e a b l ea n di n f l u e n c e db ym a n yf a c t o r s ，s om a k i n gc o m p u t e r si n t e l l i g e n ti sa t o p i cf u l lo fc h a l l e n g e t ob u i l da na f f e c t i v ei n t e l l i g e n ts y s t e m ，f i r s t l yw p r o p e r m a t h e m a t i c a lm o d e ls h o u l db ee s t a b l i s h e dt od e s c r i b eh u m a ne m o t i o n s a n d h o wc a l lt h ea f f e c t i v em o d e lb eb u i l t ? t h a ti st h er e s e a r c ha r e ao fa f f e c t i v e m o d e l l i n g a tp r e s e n t , a f f e c t i v em o d e l i n gi sa ti t si n f a n t ，b u tt h e r ea r es t i l ls o m e s t i r r i n gp r o g r e s s e so c c u r r e d ，m a n ym o d e l sw e r ep r o p o s e d ，a n dt h e s em o d e l sc a n b ed i v i d e di n t ot h r e ec a t e g o r i e s ，c o g n i t i v em o d e l s ，p r o b a b i l i t y - b a s e dm o d e l s ， a n do t h e rm o d e l s t h et h r e ek i n d so fm o d e l sh a v er e s o l v e ds o m ep r o b l e m s ，b u t t h e ys t i l lh a v es o m ed i s a d v a n t a g e sr e p e c t i v e l y , b e c a u s em e yi n v o l v em a n ya r e a s i i i 太原理工大学硕士研究生学位论文 l i k ec o m p u t e rs c i e n c e ，c o g n i t i v es c i e n c e ，p s y c h o l o g y , b e h a v i o ra n dp h y s i o l o g y a r e p r e s e n t a t i v em o d e lo fc o g n i t i v em o d e l si so c cm o d e l ，a c c o r d i n gt ot h i s t h e o r y , e m o t i o n sc o m ef r o mt h ea p p r a i s a lo ft h ec u r r e n ts i t u a t i o n t h eo u t c o m e o ft h ea p p r a i s a ld e p e n d su p o nh o wt h ec u r r e n ts i t u a t i o nf i t sw i t ho n e sg o a l sa n d p r e f e r e n c e s f o rn on o n c o g n i t i v ef a c t o r sc o n s i d e r a t i o n ，t h ed i s a d v a n t a g eo f o c cm o d e li so b v i o u s ar e p r e s e n t a t i v em o d e lo fp r o b a b i l i t y b a s e dm o d e l si s h m mm o d e l ，t h em o d e lo n l ys i m u l a t e de m o t i o n sf r o mt h e p e r s p e c t i v eo f p r o b a b i l i t y , b u tn oc o g n i t i v e a n dn o n c o g n i t i v ef a c t o r sc o n s i d e r a t i o n t h e d i s a d v a n t a g eb r i n go nt h a tp e r c e p t i o nr e s u l t sa r ea l ls a m ei nt h es a m ek i n d s t i m u l u s m a n yi m p r o v e dh m v lw e r ep r o p o s e d ，b u tt h e yc a nn o ta b l et o f u n d a m e n t a l l yo v e r c o m et h es h o r t c o m i n gy e t t h er e p r e s e n t a t i v em o d e l so f o t h e r sm o d e l si sd i m e n s i o n b a s e dm o d e la n dl a y e r e dm o d e l d i m e n s i o n b a s e d m o d e ld i v i d e de m o t i o n si n t od i s c r e t ec a t e g o r i e s ，t os i m p l i f yp r o c e s so f e m o t i o n s ， e m o t i o n sj u s tc h a n g ei nt h es m a l ls c o p eo fe m o t i o n a lr a n g ei nt h em o d e l f o rn o n o n c o g n i t i v ef a c t o r sc o n s i d e r a t i o n ，t h ed i s a d v a n t a g eo ft h em o d e li so b v i o u s ， t o o t h el a y e r e dm o d e l ( p e r s o n a l i t y m o o d s e m o t i o n s ) ，p r o p o s e db yk s h i r s a g a r s i st h ef i r s tm o d e lt h a th a v ee s t a b l i s h e dt h er e l a t i o nb e t w e e np e r s o n a l i t ya n d e m o t i o n f o rt h ev a g u et r e a t m e n to fm o o d ，t h em o d e lc a nn o td e s c r i b et h e c o m p l i c a t e df e e l i n g so fh u m a n ，a n dl o s ei t su n i v e r s a lp r o p e r t yi na p p l i c a t i o n t h e r e f o r e ，t oi m p r o v et h ee x i s t i n ga f f e c t i v em o d e l s ，t h i sa r t i c l ec o n s t r u c t sa n o v e li n t e n s i t y b a s e da f f e c t i v em o d e lt h a ti n c o r p o r a t e sp e r s o n a l i t ya n ds o m e i v 太原理工大学硕士研究生学位论文 c o g n i t i v ea n dn o n c o g n i t i v ef a c t o r s t h em o d e li n v o l v e dp e r s o n a l i t yi n f l u e n c e ， e m o t i o nd e c a y ，e m o t i o ni n t e r a c t i o n s ，e x t e r n a la f f e c t i v e s t i m u l u s ，a c t i v a t i o n t h r e s h o l da n ds oo n t h ep e r s o n a l i z e dm o d e lh a sg r e a ta c a d e m i ca n dp r a c t i c a l s i g n i f i c a n c eo nf u t u r ew o r k t os h o wt h ee f f i c i e n c yo ft h em o d e l ，a ne m o t i o n a lp r e d i c t i o ns y s t e mi s d e s i g n e da n di m p l e m e n t e do nt h eb a s i so ft h em o d e l a f t e rt w oc o n t r a s t i n g g r o u pt e s t sb y5 0s t u d e n t s ，t h ee x p e r i m e n tg o tg o o dr e s u l t s t h er e s u l t ss h o w t h a to u rm o d e lc o m p l yw i t ht h e t h en a t u r el a wo fh u m a ne m o t i o na n d p e r s o n a l i t y , a n di ss u p e r i o rt h a no t h e rc u r r e n ta f f e c t i v em o d e l s k e yw o r d s ：a f f e c t i v em o d e l ，a f f e c t i v ei n t e n s i t y , o c e a nm o d e l ，e m o t i o n d e c a y , a c t i v a t i o nt h r e s h o l d v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果岱对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：蔓一蠢期： 黝8 、j 、0 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为：凰的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 奄 签 导师签名： 日期：。兰里望塞：望 日期：三! 菱：占：f 翌 太原理工大学硕士研究生学位论文 1 1 选题背景和意义 第一章绪论 情感是人类智能的一个不可分割的部分，它在人的感知、推理、决策、计划、创造 以及社交等诸多活动中起着不可或缺的作用【1 】【2 】。情感计算是关于情感、情感产生以及 影响情感方面的计算，其目的是赋予计算机识别、理解、表达和适应人情感的能力。情 感计算研究的主要内容包括：情感机理的研究、情感信号的获取、情感信号的分析、建 模与识别、情感理解、情感表达、可穿戴计算机等方面i l j 。 情感计算是未来人工智能理论与应用中不可缺少的重要组成部分【3 】【4 】。没有情感计 算能力的智能机器是不能实现充分的人工智能的。然而，目前的计算机从设计原理上来 讲主要是基于逻辑推理式系统，这样的系统( 包括所谓智能系统) 大都忽视了情感能力的 作用。例如，人与计算机之间的交互多少年来一直主要依靠键盘与鼠标来进行，这种交 互方式的弊端是显而易见的。这种局面的形成主要是因为传统的计算机不仅“盲”( 不 具备视觉功能) 、“哑”( 不具备语言功能) ，并且“聋”( 不具备听觉功能) ，更谈不上具 备“善解人意”的能力( 即理解和适应人的情感或心情的能力) 。没有这种情感能力，就 很难指望计算机具有类似人一样的智能，也很难真正实现人机交互的和谐与自然【5 j 。 情感计算的研究重点就在于创建一个能感知、识别和理解人类情感，并能针对用户 的情感做出智能、灵敏、友好反应的个人计算系统。使机器具有情感是一项很有挑战性 的研究，因为情感是一个随机的变化过程，受很多因素的影响。要实现具有情感的智能 系统，首先要建立一个合适的计算模型来描述情感。那么，如何来建立这个模型呢? 这 就是情感建模要研究的内容。 由于涉及到计算机科学、认知科学、心理学、行为学、生理学等众多学科领域以及 人类情感具有的复杂性和模糊性，虽然目前已建立了很多情感计算模型，但它们大多偏 重针对部分典型情感进行辨识和分析，或从纯概率的角度来处理情感，或通过假设少量 的离散情感以及小范围的情感变化幅度来简化模型。这些工作对于情感研究十分有益， 然而在赋予计算机理解和解释人们在真实世界中面对复杂多变的外界环境时所产生的 各种各样的情感现象的能力方面，它们还远远达不到要求。而且这些模型大多不能y 。l 徊p c 完 太原理工大学硕士研究生学位论文 整的描述人的情感动态变迁过程，在实践上有很大的限制。因此，建立一个系统化的、 结构化的、可操作的、能够较好的模拟人类情感变迁的情感模型是迫在眉睫的。 本文深入研究了情感产生的认知条件以及各种情感状态之间的相互作用，提出了一 种新的融入了个人性格特征的情感模型。这个模型考虑了影响情感的几个关键因素：情 感衰减、情感的激活阈值、情感间的相互影响因子等，能够很好的模拟情感的变迁过程， 同时将个人的性格数据很好的融入到情感的更新过程中，充分考虑了不同个体的性格差 异，此外，这个模型易于在计算机中实现。本课题涉及到心理学、认知科学、人工智能 及计算机科学等多个学科，是计算机技术、人工智能、心理学、模式识别技术的交叉和 综合运用的前沿领域，对于推动情感计算、智能人机交互和人工心理理论研究具有重要 的学术价值和现实意义。 1 2 国内外研究热点以及现状 19 9 7 年美国m i t 媒体实验室p i c a r d 教授提出了情感计算( a f f e c t i v ec o m p u t i n g ) 一词 并给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。其目的是 赋予计算机识别、理解、表达和适应人情感的能力【l j 。情感计算研究的重点就在于通过 各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创 建感知、识别和理解人类情感，并能针对用户的情感做出智能、灵敏、友好反应的个人 计算系统，缩短人机之间的距离，营造真正和谐的人机环境。 2 0 0 3 年召开的第一届中国情感计算及智能交互学术会议标志着中国人工智能领域 的情感研究也已经开始起步。会上王志良教授提出了一个新的概念一人工心理，它是指 利用信息科学的手段，对人的心理活动( 着重是人的情感、意志、性格、创造) 的更全 面内容的再一次人工机器( 计算机、模型算法等) 实现，主要是利用人工智能已有的基 础( 研究成果、研究方法) ，结合心理学、脑科学、神经科学、信息科学、计算机科学、 自动化科学的新理论和新方法，对人的心理活动全面进行人工模拟。人工心理认为情感 的变化是具有统计规律的，围绕对情感的统计规律的描述，可以计算出情感的概率转移 矩阵，从而构造出一个具体的情感模型【6 】【7 】。 无论是情感计算还是人工心理研究，情感建模都是其研究的核心内容之一。目前， 已经存在了一些情感模型，不过情感建模的研究仍然还处在初级阶段。这些情感模型根 据建模的主要依据不同主要可以分为以下几种：基于认知的情感模型、基于概率的模型、 2 太原理工大学硕士研究生学位论文 以及其他情感模型。由于情感建模涉及到计算机科学、认知科学、心理学、行为学、生 理学等众多学科领域，以及人类情感固有的复杂性和模糊性，这三类情感模型虽然能够 解决一些问题，但难免存在一些缺点和不足。 基于认知的情感模型最典型的是o c c 模型。1 9 8 8 年o r t o n y ，c l o r e ，和c o l l i n s 等人从 情感产生的认知角度，根据事件、动作和目标三个方面的评价标准将情感分为2 2 种状态， 提t j o c c 模型【8 】o 这个模型是第一个易于在计算机上实现的模型，很快得到计算机科学 家和心理学家的认同。1 9 9 4 年，e l l i o t t 在此基础上对o c c 模型进行了扩展，将情感分类 增加至2 6 种【9 】。o c c 模型提供了一个情感的分类方案，并给出了这些情感类型之下的潜 在的推理过程。它提供了一个基于规则的情感导出机制，可以有效地通过计算机进行模 拟；但是这个模型仅仅考虑了情感本身的认知因素产生机制，没有考虑情感的非认知性 因素，如性格的影响等，基于o c c 模型的这些不足，不少改进模型被提了了出来，但仍 没有彻底的解决这些问题。比如，2 0 0 6 年，y a s m i n h e m h n d e z ，j u l i e t a n o g u e z ，e n r i q u es u c a r 等人建立了o c c 模型与动态决策网络相结合的情感模型，并将之用到了移动机器人的智 能辅导系统( i n t e l l i g e n tt u t o r i n gs y s t e m ，i t s ) 中【l5 1 ，虽然这个模型比传统的o c c 模型 能更好地描述人类的情感，但是仍然缺乏对非认知因素的处理。 基于概率的模型最典型的是 丑m ( 隐马尔科夫) 模型。1 9 9 5 年m i t 的皮卡德( p i c a r d ) j 教授提出将隐马尔科夫模型( h i d d e nm a r k o vm o d e l s ，m 心嗄) 运用到情感建模中来。 h m m 模型有两个随机过程，其中之一是m a r k o v 链，它描述状态的转移，由初始状态分 布概率和转移概率矩阵描述，输出为状态序列；另一个随机过程描述状态和观察值之间 的统计对应关系【l l 【1 0 】。北京科技大学的王志良教授等人对h m m 模型做了更加深入的研 究，取得了较大成果】。但是h m m 模型仅仅是从概率的角度来模拟情感，没有考虑情 感产生的认知和非认知因素，导致对于相同的刺激，其感知结果( 状态) 是确定的；其 实，对于相同的刺激，不同的人会有不同的反应，即使是同一个人，由于在不同时刻或 环境下，具有不同的心情状态，对相同的刺激仍会有不同的情感反应。显然，用h m m 还是不能很好的描述人类的情感。不少学者努力对h m m 模型进行了改进，但都不能从 根本上解决这个问题。如，2 0 0 5 年山东大学的y o n gc h e n 构造了一个基于粗糙集的情感 模型【1 4 】，这个模型创造性的将粗糙集与马尔科夫链相结合，描述了静态的情感空间和情 感的动态变迁过程，但是仍然是从纯的概率出发，没有考虑更多的认知和非认知因素。 其他情感模型典型的代表就是基于维度的情感空间描述模型和多层情感模型。基于 3 太原理工大学硕士研究生学位论文 维度的情感模型通过假设少量的离散情感以及小范围的情感变化幅度来描述情感，简化 了情感处理，但由于没有考虑影响情感的非认知因素，缺点还是比较明显。 2 0 0 2 年k s h i r s a g a rs 提出了一个“性格一心情一情感一表情”多层情感模型，是第 一个将性格和情感相联系的模型。通过“性格一心情情感三层相互作用实现了性格 与情感之间的联系，并且成功的用应到了虚拟人的面部表情合成中【1 2 】。但是这个模型在 处理“性格一心情情感三层相互作用的过程中，对心情的处理比较模糊，只是将其 粗糙的分为：好的、坏的、中性三种心情，不适合描述人类复杂的心情，从而不能很好 将人类的性格与情感联系起来，也就缺乏了应用的通用性。g e b h a r d ，p a t r i c k 在2 0 0 5 年对 k s h i r s a g a rs 的工作进行了扩展，提出了a l m a ( al a y e r e dm o d e lo f a f f e c t ) 1 3 】，引入了p a d 空间来描述心情，使得“性格一心情一情感”三层相互作用的关系更加明确，密切了性 格和情感的联系，但是这个模型处理情感的前提是必须提供a f f e c t m l 形式的情感产生规 则和性格一心情一情感映射规则，这就极大的制约了此模型的应用领域，所以这个模型 不具有通用性。 尽管以上的情感模型在一点程度上解决了某些特定领域的问题，但是缺点也是明显 的。为此，本文从基于维度的情感空间出发，融入性格因素，引入情感产生的认知和非 认知因素，将情感的性格影响分量、前一时刻情感衰减后的分量、情感间的相互影响分 量、外界的刺激强度以及情感的激活闽值有机的结合到一起，建立了基于强度的个性化 情感模型。这个模型克服了o c c 模型和基于维度的情感模型忽视非认知因素的缺点，弥 补了h m m 模型仅仅从概率上处理情感的缺陷，克服了多层情感模型通用性不强和“性 格一心情一情感”处理模糊性的缺点。 1 3 本文研究的主要内容 本文研究的内容主要围绕建立个性化情感模型的主题展开的，主要包括以下几个方 面： 1 ) 分析人类情感产生的认知与非认知因素，建立基于维度的情感空间表示模型。 分析人类的情感的产生、变迁过程，建立情感的维度空间，每一维度的情感以强度来描 述，情感状态的变迁由情感强度和情感的激活阈值共同决定。如果当前时刻某种情感的 强度值高于情感的激活阈值，则此种情感被激活，就会表现出此种情感状态；否则此种 情感不会被激活，就不会呈现此种情感状态。 4 太原理工大学硕士研究生学位论文 2 ) 分析人类性格对情感的影响机理，建立“o c e a n 性格一p a d 心情o c c 情感 一基本情感 的映射模型。采用o c e a n 模型来表示人类的性格数据，将o c e a n 模型 映射到p a d 三维空间，再将p a d 空间的数据映射到o c c 情感空间，最后由o c c 情感 空间映射到基本情感空间。 3 ) 分析情感间的相互影响因素和情感衰减因素，建立情感间的相互影响因子矩阵 和情感的衰减函数。根据情感间是否存在相互作用及存在何种相互作用进行分析，建立 情感的相互影响因子矩阵；分析情感衰减的机理，总结衰减规律，建立衰减函数。 4 ) 综合影响情感的五个主要因素，建立个性化情感模型。综合影响情感的五个主 要因素：当前时刻的情感刺激强度、前一时刻情感强度衰减后的分量、性格对情感的影 响分量、情感间相互影响的分量、情感的激活阈值等，建立个性化情感模型。 5 ) 设计实现了一个情感预测系统，来验证本文提出的个性化情感模型的可用性和 有效性。选取具有丰富情感信息的图片资源；定义基于x m l 的情感标记语言 e m l ( e m o t i o nm a r k u pl a n g u a g e ) ，用来描述这些图片资源的情感信息；开发一个程序用 于标注情感素材；设计、实现了情感预测系统验证个性化情感模型的有效性。毒 4 - ； 本文按照如下顺序组织内容：第一章为绪论，主要论述了课题研究背景、目的和意 义，对目前国内外研究现状进行了概括总结，提出本文的研究内容；第二章，描述了情 感计算和情感建模的基本理论，总结了情感的分类和表示方法，以及国内外的研究进展 和主要应用；第三章，本文的核心部分，深入研究了情感产生的认知条件以及各种情感 状态之间的相互作用，提出了一种新的融入了个人性格特征的个性化情感模型，这个模 型考虑了影响情感的几个关键因素：当前时刻的情感刺激、情感的性格影响、情感衰减、 情感的激活阈值、情感间的相互影响等，能够很好的模拟情感的变迁过程；第四章，为 了验证个性化情感计算模型的可用性和有效性，设计了一个情感预测系统，本章对这个 实验的设计与实现细节做了详细的描述，对实验的系统结构、情感计算模型的参数计算 与选取做了详细的分析，同时对实验的开发平台和运行环境做了简单描述。第五章为实 验结论、探索与展望，对实验结果进行了分析，对所做的工作进行了总结，同时，对下 一步的研究工作进行了必要的探索与展望。 5 太原理工大学硕士研究生学位论文 第二章情感计算和情感建模的基本理论 2 1 情感计算的研究进展 2 1 1 国外研究进展 很久之前，人们就注意到了情感对认知、情感对智能的作用，即情感与认知、情感 与智能之间的关系。1 9 8 1 年就有人研究人工情感问题【l6 1 ，但只是在1 9 9 0 年以后才开始 逐渐引起人们的注意，特别是近几年来对人工情感的研究越来越受到人们的重视。美国 m i t 媒体实验室的r p i c a r d 教授于19 9 5 年提出情感计算( a f f e c t i v ec o m p u t i n g ) 的概念， 并于1 9 9 7 年正式出版专著( ( a f f e c t i v ec o m p u t i n g ( 情感计算) 【l 】。在该书中她定义“情 感计算是与情感相关、来源于情感或能够对情感施加影响的计算 。此概念一经提出， 就引起了很大反响，p i c a r d 领导的情感计算课题组以对人类情感的生理信号处理为基本 出发点，研究工作取得了很大进展，其应用领域也日益扩大，在m i t 媒体实验室的技 术报告中已经涉及到约5 0 种应用。 日本从上个世纪九十年代就开始了感性工学( k a n s e i e n g i n e e r i n g ) 的研究。按照他 们的定义，所谓感性工学，就是将感性( 情感) 与工程结合起来的技术，是在感性科学 的基础上，通过分析人类的感性( 情感) ，把人的感性( 情感) 需要加入到商品设计、 制造中去，它是一门从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科 学，感性工学由于可以给人们的生活带来快乐和舒适，因而也被称为“快乐而舒适”的 科学，把基于感性工学技术而生产的商品称为“感性商品”。日本已经形成了举国研究 感性工学的高潮【1 7 】。1 9 9 6 年日本文部省就以国家重点基金的方式开始支持“情感信息 的信息学、心理学研究”的重大研究课题【1 8 】，参加该项目的有十几个大学和研究单位， 主要目的是把情感信息的研究从心理学角度过渡到心理学、信息科学等相关学科的交叉 融合。每年都有日本感性工学全国大会召开。与此同时，一向注重经济利益的日本，在 感性工学产业化方面取得了很大成功。日本各大公司竞相开发、研究、生产了所谓的个 人机器人( p e r s o n a lr o b o t ) 产品系列。其中，以s o n y 公司的a i b o 机器狗( 已经生 产6 万只，获益近l o 亿美元) 和q e d o 型以及s d r 4 x 型情感机器人为典型代表。应 6 太原理工大学硕士研究生学位论文 该说，日本在人工情感技术的应用方面是领先全世界的。 欧盟国家也在积极地对情感信息处理技术( 表情识别、情感信息测量、可穿戴计算 等) 进行研究。欧洲许多大学成立了情感与智能关系的研究小组，其中比较著名的有： 日内瓦大学k l a u ss c h e r e r 领导的情感研究实验室。布鲁塞尔自由大学的d c a n a m e r o 领 导的情感机器人研究小组以及英国伯明翰大学的a s l o m a n 领导的c o g n i t i o na n da f f e c t p r o j e c t 。a s l o m a n 教授提出了情感三层体系结构c o g a f fa g e n ta r c h i t e c t u r e ( 认知情感体 系) ，其目的是探讨情感与认知的相互作用。在市场应用方面，德国m e h r d a dj a l a l i s o l i 等人在2 0 0 1 年提出了基于e m b a s s i 系统的多模型购物助手。e m b a s s i 是由德国教育 及研究部( b m b f ) 资助并由2 0 多个大学和公司共同参与的，以考虑消费者心理和环境 需求为研究目标的网络型电子商务系统【1 9 1 。 m i t 对情感计算进行了全方位的研究，目前正在开发研究情感机器人，最终有可能 人机融合。其媒体实验室与h p 公司合作进行情感计算的研究。 i b m 公司的“蓝眼计划”，可使计算机知道人想干什么，如当人的眼瞄向电视时， 它竟知道人想打开电视机，它便发出指令打开电视机。此外该公司还研究了情感鼠标， 可根据手部的血压及温度等传感器感知用户的情感。 2 1 2 国内研究进展 我国对人工情感的研究始于上世纪九十年代，大部分研究工作是针对人工情感单元 理论与技术实现。哈尔滨工业大学研究多功能感知机【2 0 1 ，主要包括表情识别、人脸识别、 人脸检测与跟踪、手语识别、手语合成、表情合成、唇读等内容，并与海尔公司合作研 究服务机器人。清华大学进行基于人工情感的机器人控制体系结构的研究【2 。北京交通 大学进行多功能感知机同情感计算的融合研究 2 2 】。中国科学院自动化研究所主要研究基 于生物特征的身份验证l z 3 j 。中科院心理学所、生物所主要注重情感心理学与生理学关系 的研究。中国科技大学开展了基于内容的交互式感性图象检索的研究【2 4 1 。中国科学院软 件所主要研究智能用户界面【2 5 】。南京航空航天大学研究语音情感计算。重庆大学主要研 究智能服务、增强现实、环境感知、台智能手表等，注重软件方面的研究。浙江大学研 究e t e a t r i x 中虚拟人物及情感系统构造【z 6 】。不仅仅是人工智能领域的专家学者关心人 工情感与人工心理的研究问题，更是值得注意的是，情感心理学家对于“情感智力与人 工智能中的感情计算”也进行了很深的思考【2 。他们认为，基于情感的智力是加工、处 7 太原理工大学硕士研究生学位论文 理情感及情感信息的能力，而人工智能中的感情计算是要赋予计算机与人互动过程中情 感信息的加工能力，人脑处理情感信息的能力与电脑处理情感信息的能力可以进行类 比。近几年来，人工智能专家已经认识到情感智力在感情计算中的重要作用和意义，把 人类识别和表达情感的能力赋予计算机，开发了具有部分情感能力的计算机。新一代情 感计算机的研发和应用依赖于人工智能专家与心理学家之间的密切合作，两者的研究成 果可以相互借鉴和互补。 2 2 人类情感和情绪的基本理论 2 2 1 情感和情绪的概念分析 情感在人类的日常行为和感官体验中处于核心地位，人类与当前智能机器的最大区 别就在于前者具有产生情感的能力。早在1 9 世纪，情感就成为了自然科学研究的对象， 然而情感研究在计算机科学中却一直处于被忽略的地位，直到最近三十年来这种情况才 发生了巨大的改变。不断发展的情感理论有力地支持了计算机科学中人工智能领域的研 究。越来越多的人工智能学者认识到，为了实现计算机“拟人化”的美好梦想，仅仅使 其具有智能是远远不够的，还必须让计算机理解并具有类似人类的情感，能与人进行情 感的交互。 情感( a f f e c t i v e ) 和情绪( e m o t i o n ) 是心理学中两个相近却不同的概念。情绪和情感是 人对客观事物是否符合自己需要而产生的态度的体验，它是人对客观事物与人的需要之 间的关系的反映。具体来说，“情绪”代表着感情性反映的过程，也就是说，感情性反 映作为心理活动的过程，用“情绪”这一术语来标示，无论人类还是其他的动物，都具 有产生情绪的能力；“情感”经常被用来描述社会性高级感情，一般认为，具有稳定而深 刻社会含义的感情性反映叫做“情感”，它标示感情的内容。所谓感情的内容并不是指 这一反映情感的语义内容或思维内容，而是指那种带有享乐色调的体验，只有人类才有 情感能力。根据情绪和情感的概念辨析可知，情绪是情感的外部表现，情感则是情绪的 本质内容。从本质上说情感和情绪是一致的，从计算机工作者的角度我们不做仔细分辨。 人类在加工外界输入的信息时，不仅能认识事物的属性、特性和关系，还会产生对 事物的态度，引起满意、高兴、厌恶等主观体验，这就是情感j 。 情感是一种心理状态或过程，目前在科学界还没有对情感的定义取得一致的意见。 8 太原理工大学硕士研究生学位论文 情感主要限于瞬间的、自发的生理过程，它常常不受主观意识控制。情感的构成包括三 种层面，众多的情感研究者们大都从三个方面来考察和定义情感：在认知层面上的主观 体验，在生理层面上的生理唤醒，在表达层面上的外部行为3 】【2 8 1 。当情感产生时，这三 种层面共同作用，构成一个完整的情感体验过程。 2 2 2 情感的分类及表示 目前为止关于情感的表示和分类有两种方法。一种是使用一组基本情感将情感分为 离散的类别。关于情感的分类，在我国古代“七情”说、苟子倡导的“六情”说以及西 方思想家d e s c a r t e s 的六种原始情感基础上，中外心理学家从不同的角度对情感进行分类 2 8 1 2 9 】【3 0 】。我国心理学家林传鼎将人的情感归纳为安静、喜悦等1 8 类。o c c 模型中将情 感分为2 2 类。p l u t c h i k 从强度、相似性和两极性三方面进行情感划分，得出8 种基本情感： 狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受、憎恨【3 l 】。i z a r d 用因素分析方法，提出人 总共具有8 到1 1 种基本情感：兴趣、惊奇、痛苦、厌恶、愉快、愤怒、恐惧和悲伤，以 及害羞、轻蔑和自罪感【3 2 1 。而心理学k r e c h 等人把情感分作四类：一是原始情廊( 快乐、 愤怒、恐俱、悲哀) ；二是与感觉刺激有关的情感；三是与自我评价有关的情感；四是 与他人有关的情感。由此可知，情感种类有多种，且划分情感的方法亦有多种。丽e k m a n 按面部表情不同把情感分为六类【3 3 】【3 4 1 1 3 5 1 ，即高兴、愤怒、厌恶、恐惧、悲伤、惊奇， 在心理学界和工程界占有主体地位。 有些研究者对于是否存在8 种或几种情感的问题并不太关心，他们关心的是连续的 情感维问题。通常采用三维表示，其中前两维名称得到广泛的认同。最广泛的二维是“激 励”( 镇静激动) 和“诱力”( 负面正面) 【3 6 】。w u n d t 的情感三维理论认为，情感由三 个维度组成，它们是：愉快不愉快；激动平静；紧张松驰。各种具体情感 分布在三个维度的两极之间的不同位置上。s c h l o b e r g 认为，情感的维度有愉快不愉 快、注意拒绝和激活水平三个维度，三种不同水平的整合即可得到各种情感，并据 此建立了三维模式图。此外还有i z a r d 的四维度理论等。 不同场合适合使用不同的表达方式。如像涉及电视新闻广播这样的应用，适合用激 励和诱力二维来描述。高度激励的故事吸引注意力；极端负面的内容对记忆力有强有力 的影响，高度激励的故事能吸引观众但是人们不愿意要太多负面的东西，所以对于广播 工作者来说，重要的是发现具有正面的诱力和高度激励的内容。当关系到文字，图像这 9 太原理工大学硕士研究生学位论文 一类情感，则适合用离散的情感表示，给出一段文字或是一幅图画，直接判断文字或图 像中包含了怎样的情感色彩。一个好的作家或画家能够在他的作品中表达出丰富的情感 内容。此外，采用何种表示方式还与所选用的情感模型有关。不同模型规定了不同的基 本情感状态或维度，如，在o c c 模型中定义了2 2 种基本情感，这个模型则使用这2 2 种离散基本情感作为基本情感集。 2 2 3 情感计算的研究内容 根据情感计算的过程，可将情感计算的研究内容分为以下9 个方面：情感机理、情 感信息的获取、情感模式识别、情感的建模与理解、情感的合成与表达、情感计算的应 用、情感计算机接v 1 、情感的传递与交流和可穿戴计算机刚。如图2 1 所示。 图2 1 情感计算的研究内容 f i g 2 1t h er e s e a r c hc o n t e n to f a f e c t i v ec o m p u t i n g 从人类情感的交流过程来