（计算机应用技术专业论文）虚拟教学中基于表情计算的情感交互算法研究.pdf

硕士学位论文 m a s t e r st h e s i s 摘要 随着信息技术的迅猛发展，新的教学媒体不断涌现。继多媒体之后，教育技术 领域又出现了一种新型教学媒体一一虚拟现实技术( r c u a lr e a l i t yt e c l l i l o l o g y ) 。虚 拟现实技术能够非常容易的生成立体视觉和音效，易于建立基于自然技能的、和谐 友好的人机交互，因此虚拟现实技术在教育领域的应用( 远程虚拟教学一d i s t 锄c e v i m 】a l i n s t m c t i o n ) 得到越来越广泛的关注。 尽管远程虚拟教学在教育模式和教育观念上引发了一场深刻的变革，也存在着 很多不足，特别是在双向交互上。远程虚拟教学中的时空分离使得学习者无法满足 情感的交流而存在情感缺失，这会影响学生的认知学习甚至心理健康。因此，情感 交互对于保障远程虚拟教学质量和提高教学效果具有重要意义。近年来，利用情感 计算技术解决远程教育中的情感缺失问题成为一个新颖独特的研究课题。 针对远程虚拟教学中的情感缺失问题，在“构建和谐人机交互系统”的研究背 景下，本文探索性地提出并设计了一种基于人脸表情识别的情感交互模型 ( e i m b e r ) 。它以情感计算为理论基础，以人脸表情识别为核心技术，通过捕获和 识别学习者的表情，判断和理解其情绪状态，并根据学习者特定的情绪状态给出相 应的情感鼓励或情感补偿策略。e i m b e r 促进了人机和谐交互，在一定程度上增进 了远程学习系统中的情感交互，为解决远程虚拟教学的情感缺失，实现和谐人机情 感交互做出了有益的探索。 关键词：虚拟教学；表情识别；i c a 算法；情感计算；情感交互；e i m b e r 硕士学位论文 m a s t e r st h e s i s a b s t r a c t w i t h 也ed e v e l o p m e n to ft h ei n f o n n a t i o nt e c l l l l o l o 鼢an e w t p y eo ft e a c l l i n gm e d i a h a sa 1 耻a r e di n f i e l do fe d u c a t i o nt e c h n o l o 既w l l i c hi s n _ u a lr e a l i t y ( v r ) t e c l m o l o g y b e c a u s eo f h a n n o n yr e s u l to f3 dv i d e o a u d i o ，a i l do fh 啪a i l - c o m p u t e ri m e r a c t i o n 饵c i ) b 2 l s e do nh 啪a i ln a n 珊ls k i l lh 锄o i l i o u s l ya n d 衔e n d l y ，v rh 硒b c e n 谢d e l yu s e d i nd i 咖c ee d u c 撕o na 1 1 dd i s t a n c ev i n u a li n 仃o d u c t i o n ( d v i ) b o m s i nr e c e n ty e a r s ，d v ih a s t r i g g e r e dp r o f i o m l dc h a i l g e si i le d u c a t i o nm o d e la i l de d u c a - t i o nc o n c e p t i o n h o 、e v e r ，i t ss t i l li n s u m c i e n ti nt h eb i d i r e c t i o na l t e m a t i o n t h e s p a c e - t i m es 印a r a t i o ni nd v il e a d st oa 虢c t i o nd e f i c i e n c yo fl e a m e r s ，w h i c h 谢uo b v i - o u s l yc a u s eb a de 行e t s o nt 1 1 el e a m e r s s t u d ya l l de v e nt h e i rp s y c h o l o g yh e a l 也i n e s s t h e r e f o r e ，a f r e c t i o ne n c o u r a g e m e n ta 1 1 dc o m p e n s a t i o ni sn e c e s s a r ) rf o r 毋l a r a n t e e i n g t e a c l l i n gq u a l i t ya n df o ri m 班o v i n gt e a c h i n ge 位c t si nv i m l a le d u c a t i o n n o w ，a 低c t i v e c o m p u t i n gl l a sb e c o m ear e s e a u r c hh o t s p o ti i lm ef i l e do fl m m a n c o m p u t e re m o t i o n a li n - t e r a c t i o n c o n 仃a p o s i n ge m o t i o na b s e n c ei nd v i ，a l l du r l d e rt h er e s e a r c hb a c k g r o u i l do fc o n - s 仃u c t i o no fh 锄o n i o u sh c is y s t e m ，e i m b e r ( e m o t i o ni n t e r a c t i o nm o d e lb a s e do n e x p r e s s i o nr e c o g l l i t i o n ) i sp r o p o s e de x p l o r i n g l ya i l dd e s i n e di n “sp 印e r i i l e i m b e r a 虢c t i v ec o m p u t i n gi si t st h e o r e t i cf - o u n d a t i o n ，a n df e ri si t sk e m e l t e c l l i l o l o g y e i m b e re s t i m a t e sa n dc o m p r e h e n d sl e 锄e r s e m o t i o ns t a t e sb yc a t c l l i n ga i l dr e c o g n i z i n g t l l e i re x p r e s s i o n ，m e np r e s e n t sc o r r e s p o n d i n ga f f e c t i v ee n c o u r a g e m e n ts 仃a t e 西e sa c c o r d - i n gt 0t h eg i v e ne m o t i o ns t a t e s e i m b e rp r o m o t e sh a n n o m o u sh c i ，a b a t e st h ee m o t i o n a b s e n c ep r o b l e mi ne d c a t i o i nf o rs o m ed e g r e e s ，a i l dd o e ss o m ep r o f i t a b l ef o u l l d a t i o l l a ：i 、r l 【sf o rs o l v i n gt 1 1 ep r o b l e mo fe m o t i o na b s e n c ei nd v i 觚dl l a n i l o i l i o u sh c i k e y w o r d s ：d i s t 锄c e 巾姐li n t r o d u c t i o n ；f a c i a le x p r e s s s i o nr e c o 嘶t i o n ；i c a 触g o r i t h m ；a 妇f e c t i v ec o m p u t i n g ；e m o t i o n a li n t e r a c t i o n ；e i m b e r 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：乃刁椭 日期：刃多年月罗日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名：彳勿牵衫 日期：加舌年多月多日 导师签名： 峨年勇 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程 中的 规定享受相关权益。回重途塞握童卮溢蜃；旦堂生；旦二生；旦三生筮查! 作者签名：彳巧椰 日期：朋年歹月岁日 导师签名： 日期：彬纡月 硕士学位论文 m a s t e r st h e s i s 1 1 本文研究背景和意义 第一章绪论 1 1 1 研究背景 国家十一五规划中专章论述了服务业的发展，并提出运用现代信息技术和科技 的发展改造服务业，提高服务业水平。近年来，虚拟现实技术作为一种新型的教育 媒体备受关注，为现代远程教育提供了新的发展思路，由此发展形成了远程虚拟教 学技术( d i s t a i l c e m l a li n s t m c t i o nt e c l l l l o l o g y ) 。远程虚拟教学逐渐发展成为具有代 表性的一类服务业，将现代信息技术及和谐人机交互技术应用其中具有重要意义【1 】。 此外人工心理和情感计算很重要的一个研究课题就是如何将其应用到学习和教育 领域。在国家提倡创新型服务业的大环境下，开展关于人工心理与人工情感在现代 远程教育方面的应用研究是非常有意义的，将极大的促进远程虚拟教学的发展和应 用推广。 基于上述背景，本课题提出构建个性化、人性化的远程虚拟教学系统。并借助 人脸表情识别技术，着眼于人工心理情感识别和情绪反应的分析，依靠信息科学技 术，提高教学效率。 1 1 2 研究意义 当前网络化教育系统已经进入了个性化发展时代，要求我们的教育系统实现人 性化交互教学、个性化因材施教，同时还要针对学习者的学习兴趣、学习情绪的不 同进行智能化调整。基于当前远程教育发展的要求，本课题研究的主要目的就是以 “以学生为中心，学生是认知的主体，是知识意义的主动建构者”的原则设计远程虚 拟教学中的情感交互系统，充分重视学习者的学习情绪，并给出一些情绪调节策略 对学习者进行引导，实现人性、和谐的人机交互，从而达到提高教学效率的目的。 1 2 虚拟教学的研究状况 虚拟教学( r “l a l i n s t m c t i o n ) 就是利用计算机技术、通信技术、仿真技术、人工 智能技术等进行的双向交互式教与学的一种教学模式【2 1 。对此国家也投入了大量的 物力和人力进行相关技术的研究。对于远程教育发展的趋势，著名远程教育专家基 硕士学位论文 m a s t e r st h e s i s 更( d e s m o n dk e e g 砌描述为“远程面对面教学 ( f a c e t o f a c et e a c m n g a ta d i s 仞m c e ) ， 并在构建远程教学的概念中，强调“眼光接触 ( e y et o u c h ) 或“眼球对眼球教学 ( e y e b 2 l 1 1 t o e y e b a l lt e a c h i n g ) ，即强调通过现代电子通信技术手段实现师生和同学之 间的眼光接触、眼球对眼球的沟通，达成信息、思想、情感的交流和交互作用，并 利用信息科学技术实现因人施教，提高学习效率【3 j 。 在美国，通过网络学习的人数正以每年3 0 0 以上的速度增长。美国2 0 0 0 年教 育技术高层论坛提出了“d i g i t a ll e a l l ：l i l l g 即“数字化学习”的计划。在a m e r i c a i l e d u c a t i o n so n l i n en e w s p a p e ro f r e c o r d 上的一篇题为“e d e f i n i n ge d u c a t i o n ”的文 章中提到：要欣赏数字化学习正在如何改变教育的图景，你只需要看看数字。根据 美国教育周刊州技术协调人员的新调查( 数字化教育：州技术协调人员的调查) ， 1 2 个州已经制订了联机高中项目，五个州正在开发，2 5 个州允许建立所谓电子特 许学校，3 2 个州的数字化学习行动正在进行中。同时，调查显示，1 0 个州正在施 行或计划网上测试。o r e g o n 和s o u t hd a l ( o t a 已经在使用基于万维网的评价。所有那 些项目和政策变化正在为千百万的学生打开联机教育之门。w _ e s t e d 报告说，“虚拟 学校运动 是“基于技术的k - 1 2 教育的下一个浪潮”i 4 j 。德国人工智能研究中心 d f ( g e m a l lr e s e a r c hc e n t e rf o ra r t i f i c i a li n t e l l i g e n c e ) 专门成立了一个研究开发 e l e 锄i n g 系统的中心。 国内已有一些高校在这方面进行了研究。由于虚拟现实技术的特点，在理工科 的教学中应用较为广泛，尤其在建筑、机械、物理、化学等学科有着质的突破1 5 。8 j 。 清华大学计算机系某所研究的“智能教室”的远程教育系统，该智能教室( s m 硪 c l a s s r o o m ) 把交互空间的概念引入远程教育系统，以交互空间在远程教育系统上的 应用作为背景，对交互空间的关键技术和人机交互模式的发展方向作了探讨。 同济大学建筑学院的虚拟现实实验室，采用比较高端的设备，对建筑景观、结 构进行相关的仿真。尽管高端设备价格昂贵，但是在建筑教学中运用先进技术，进 行大胆尝试，使学生对相关知识以一种崭新的方式学习，取得了良好的效果。 西南交通大学致力于工程漫游方面的虚拟现实应用研究。在跟踪国际仿真领域 先进技术发展的同时，自行开发出了一系列具有国际水平的计算机仿真和虚拟现实 应用产品，在城市规划仿真、驾驶员培训仿真及其他交互式仿真方面取得了突出成 果。 中国科技大学运用虚拟现实技术在物理实验方面，有着丰富的经验。他们己经 形成了比较成熟的产品：基于本地的大学物理仿真实验软件；广播电视大学物理虚 拟实验；几何光学设计实验平台；大学物理虚拟实验远程教学系统。 2 硕士学位论文 m a s t e r st h e s i s 1 3 人机情感交互研究现状 人与计算机利用自然途径进行交流是人机交互理论的目标。类似的构想如多模 式界面早在大约三十年前就已经出现，当时n i c h o l a s n e g r o p o n t e 提出了“交谈式计 算机”( c o n v e r s a t i o n a lc o m p u t e r ) 的概念。即人可以用语音、手势、表情、注视和肢 体语言，也就是用日常生活中相互交流的方式，与这样的机器进行交互。在人们日 常生活和工作中，随着计算机发挥的作用越来越大，人们迫切地希望能够用一种自 然的、类似人与人之间交互的方式操纵计算机。因此，近年来通过多种模式与计算 机交互的研究越来越多，从简单的语音交互已经发展到同时利用语音、手势、人的 表情、眼睛的跟踪及触觉等多种方式与计算机交互。这种类似人类之间的交互方式， 开辟了新一代人机交互研究的方向。 在人机交互领域，斯坦福大学的r e e v e s 和n a s s 进行了一系列研究【9 】。他们在研 究人的社会关系的经典实验中让计算机代替部分人的位置，实验表明人机实验结果 与人类实验结果相同。i 沁e v e s 和n a s s 得出结论：人与计算机间的联系有自然性和 社会性。在人机交互中所需要解决的问题同人和人交流中的是一致的，最关键的都 是“情感智能”的能力。 在人机情感交互方面，文献【lo 】的目标是建造计算机化的学习伴侣。试图帮助儿 童专注于一个学习任务，并且也反映出一些儿童的情感状态，了解这些情感状态在 儿童的学习经历中所扮演的角色。例如如果儿童的脸和姿势显示出对屏幕上显示的 内容有强烈的兴趣，那么计算机将保持不动以免干扰儿童。如果儿童转换他的姿势 和视线显示他在休息，那么计算机会在适当的时候打断儿童的休息过程和提供鼓励 给儿童帮助学习进展。文献【l 卜1 3 】把情感引入了教育对话领域，创造指导教师系统和 学生交流更自然和有效的方式。文献【1 4 】发展了一个方案a u r o r a 研究用机器来帮助 治疗孤独症儿童。文献【15 】介绍了德国人工智能研究中心发展的三个方案：虚拟剧场、 虚拟市场和对话a g e m 中引入情感模型和个性特征来帮助开发儿童的想象力和创造 力。 1 4 虚拟教学中的情感交互 虚拟教学就是传统教学适应信息技术和现代人才培养观的一种新型教学，是人 类进入虚拟空间进行教育的一种教学形式。从广义上讲，虚拟的教师、虚拟的教室、 实验室和虚拟的研讨等等，在这种虚拟环境中进行的教与学的活动都可以称之虚拟 教学。从狭义上讲，虚拟教学就是利用虚拟现实技术，构建一个虚拟学习环境，将 3 硕士学位论文 m a s t e r st h e s i s 知识赖以产生的活生生的客观现实再现给学生，讲授知识要点，进行理论概括，引 导学生充分利用自己的视觉、听觉等感官接受信息，激发学生的学习兴趣和创新意 识，启发学生发挥自己的想象能力，开展创新思维活动的一种教学方法。一个虚拟 教学系统至少包括三方面：教师虚拟化、学生虚拟化、教学资源虚拟化。 1 4 1 情感交互 情感是人们对客观事实是否符合自己需要、愿望和观点而产生的体验，是人们 对客观事物的反映形式。人的情绪情感具有两极性，表现在对人的智力活动起到增 力或减力的作用。所谓增力是指适量的情感因素可以起到激活动机、启动认知的作 用；反之，则会干扰记忆、迷乱思维。情绪和情感的两极性不是绝对的，而是相对 的，两者相辅相成、密切联系，又可以在一定的条件下互相转化。人际关系的本质 是一种情感的交流与互动，它是建立在认知基础之上的。认知互动为求共识，情感 互动为求共鸣【1 6 ，1 。7 1 。 1 4 2 情感交互的分类 虚拟教学中的情感交互，是指在虚拟教学中教师与学生之间、学生与学生之间 相互表现出来的情感、态度、评价等方面的积极主动倾向和相互作用，体现了在虚 拟学习环境中人与人的社会关系和积极的内心情感的交流【1 7 - 1 9 1 。 虚拟教学中的交互根据活动的主体、客体关系进行分类，主要包括两种：教学 性交互和社会性交互。教学性交互是指发生在学习者和学习环境之间的事件，主要 指学习者与教学内容以及学习者与界面之间的交互。社会性交互是指人与人之间的 交流活动，网络环境下利用电子邮件、聊天室等交互工具，学习者与学习者以及学 习者与教师之间进行的社会性交流与协作。 传统教学过程中发生的交互主要包括学习者、教师和教学内容三个要素。结合 虚拟教学中交互的实际情况，虚拟教学中情感交互的要素应包括以下三方面：教师、 学习者和学习共同体。 ( 1 ) 学习者与教师的交互 传统课堂教学中，学习者与教师的交互主导着学习的进行，虚拟环境下师生交 互依然被赋予很高的期望，发挥着重要的作用。虚拟环境下师生之间时空上的距离， 导致了双方心理上、交流上的障碍，其中潜在着教师、学习者双方发生误解的空间， 这些都迫切要求虚拟课程中加强交互活动的设计。只有让教师和学习者不断地发生 互动，学习者的学习才能有效地发生。虚拟课程教学要充分发挥学习者的主动性和 4 硕士学位论文 m a s t e r st h e s i s 教师的引导性。通过交互，学习者实现对学习信息和学习活动的有意控制，实现知 识建构的同时能够得到教师的及时指导。学习者可以根据教师的评价结果对相关学 习行为进行强化，并在课程进行的过程中观测到自己的进步与不足，及时按要求调 整学习。 ( 2 ) 学习者与学习者的交互 学习者与学习者的交互是一种可以对教学质量产生很大影响的交互形式，既可 以是两个学习者之间的对话，也可以是多个学习者之间的小组讨论。学习者通过网 络相互交流学习经验、分享学习成果，使知识水平得到共同提高。在虚拟教学过程 中不仅需要知识上的交流，更为重要的是需要一种情感上的交流。基于情感交流的 社会性交互可以减少学习者的孤独感，使学习者获得同伴的鼓励和精神支持，强化 他们的学习动力，激发他们的学习热情。 ( 3 ) 学习者与共同体的交互 共同体简言之就是指基于兴趣和关心自发集结起来的团体。在学习共同体中， 学习者感到自己和其它学习者同属于一个团体，在进行共同的学习活动，遵守共同 的规则，具有一致的价值取向和偏好。学习者对共同体的归属感、认同感以及从其 他成员身上所得到的尊重感有利于增强学习者对共同体的参与程度，维持他们持 续、努力的学习活动。 1 4 3 情感交互的作用 情感交互作为教学活动中师生交往不可缺少的一个环节，在学习中有着积极的 作用【1 7 2 0 1 。 ( 1 ) 情感交互可以激发学习者的学习动机，启动学习者的认知加工。情绪情感 影响和调节人的知觉、记忆和思维等认知过程，影响对信息的选择，监视信息的流 动，促进或阻止工作记忆，干涉决策、推理和问题的解决。学习者对什么感兴趣， 或者说他觉得从哪些行为上能获得情绪方面的满足和愉快的体验，将直接引导他认 知活动的方向，并能对认知过程加以调控。 ( 2 ) 情感交互有利于教学中情感目标的实现。情感教育包括动机的引起，兴趣 的培养，感情的陶冶，意志的锻炼，信仰的确立，习惯的养成，方法的掌握以及个 性的形成等诸多非智力因素方面的问题，还包含了思想品德教育的内容。所以正确 利用情感教育对教学有很大的促进作用。 ( 3 ) 情感交互可以有效地提高学习效率。一般地说，愉快而热烈的情绪，能使 人的大脑处于最佳状态，人在愉快的心情下学习与工作，精力集中，记忆效果好， 5 硕士学位论文 m a s t e r st h e s i s 学习与工作效率高；相反，在痛苦、烦躁不安的心情下学习与工作，注意力涣散， 记忆效果差，效率自然不高。 ( 4 ) 情感交互能扩展学习者的交际范围与能力，增加不同地域、不同文化背景 学习者的交流机会，有助于人们建立友谊，增进人际互助、谅解和相互信任。 ( 5 ) 情感交互可以缓解学习者的现实生活压力，调节心情。情绪是生命的指挥 棒，我们应该控制和调节自己的情绪和情感，使之有利于健康和生命。 ( 6 ) 情感交互有利于学习者社会化的发展。学习者最终必将实现角色的转变， 到社会中接受检验。个体要适应社会，首先要对社会的共同体价值体系、行为规范、 行为准则等方面有深刻的认识，产生积极的情感体验，进而形成社会体验。 1 5 本文组织结构 本文对解决远程虚拟教学过程中的情感缺失问题进行了有效尝试。首先提出了 一种简单的人脸表情分类算法，对人脸表情进行识别；在此基础上结合人工心理技 术，建立虚拟情感空间模拟学习者的情绪变换过程；接着提出了学生与教学平台间 的教学性情感交互算法；最后设计并实现了e i m b e r 系统，证明了本文所提出算法 是可行和有效的。 全文共分五章，结构如下： 第一章绪论。介绍了虚拟教学概况、人机情感交互现状以及虚拟教学中的情感 交互理论。 第二章情感计算相关理论介绍。首先介绍了情绪心理学基本理论；然后对情感 计算理论进行了分析；最后研究了情感计算的一个特例一一人脸表情识别技术。 第三章基于表情计算的情感交互模型。建立了基于人脸表情运动特征的表情分 类算法；构造了人工情感空间；提出了学习者与远程虚拟教学平台间的教学性情感 交互算法。 第四章虚拟教学中的情感交互系统。首先介绍了搭建该系统的基本软硬件平 台；阐述该系统的整体框架及应用；最后给出了系统运行界面及交互过程。 第五章总结与展望。本章总结了本文所做的工作，对此做出了中肯的评价，并 指出了该课题今后的研究方向。 6 硕士学位论文 m a s t e r st h e s i s 第二章情感计算相关理论介绍 情感计算是近几年来信息科学、认知科学和心理科学研究的热点，它以人类情 绪和情感理论为基础，以情感机理、情感信息的获取、情感模式识别、情感建模与 理解、情感合成与表达、情感传递与交流等为研究内容，以赋予计算机类似于人的 情感能力为最终目标。人脸表情识别作为情感计算的一个重要研究领域，是对人脸 的表情信息进行特征提取分析，按照人的认识和思维方式加以归类和理解，利用人 类情感方面的先验知识使计算机进行思考及推理，进而去分析和理解人的情绪和情 感，是人机情感交互过程中情感信息获取的重要途径。 2 1 情绪心理学基本理论 2 1 1 表情与情绪 面部表情不是孤立的，它与情绪之间存在着千丝万缕的联系【2 1 1 。情绪在种族进 化中的适应价值和人类社会中的交际作用，在很大程度上是通过表情体现的。面部 表情、声调表情和身体姿势构成了情绪表现；而情绪表现、情绪体验和情绪生理又 组成了情绪心理。虽然，情绪心理的构成比较复杂，而影响人类情绪的因素也有很 多，由于受到社会文化背景、个人生活经历和其他主客观因素的影响，每个人的情 绪表现也不尽相同，有时情绪的维度也并不唯一，因此反映出来的面部表情就不是 简单的而是复杂的混合表情。但只要我们细心观察，即使从复杂的混合表情也能发 现一些反映情绪的蛛丝马迹。所以无论是对表情的研究还是对情绪的研究，二者都 是互不可缺的因素。 2 1 2 情绪的分类与表达 2 1 2 1 情绪的分类 情绪究竟应该如何分类? 是否存在彼此独立的、具有人类普遍性的基本情绪类 型? 简单的维度空间是否能够表示出千姿百态的情绪? 总的来说，情绪主要有以下 三种分类【2 1 j ： ( 1 ) 基本情绪论。一种观点认为人类的情感是由分立的基本情绪组成的，称之 为基本情绪论。基本情绪论认为情绪在发生上有原型模式，即存在着数种泛人类的 基本情绪类型，每种类型各有其独特的体验特性、生理唤醒模式和外显模式，其不 同形式的组合形成了所有的人类情绪。从个体发展角度来看，基本情绪的产生是有 7 硕士学位论文 m a s t e r st h e s i s 机体自然成熟的结果。从生物进化的观点看，情绪原型是适应和进化的产物，也是 适应和进化的手段。 ( 2 ) 维度空间论。与基本情绪论相对立的是维度空间论。它认为人类所有的情 绪是由几个维度空间所组成，特定的情绪状态只能代表一个从亲近到退缩或者是从 快乐到痛苦的连续空间中的位置，不同情绪之间不是独立的，而是连续的，可以实 现逐渐的、平稳的转变，不同情绪之间的相似性和差异性是根据彼此在维度空间中 的距离来显示的。 ( 3 ) 基于基本情绪的维度空间论。心理学上关于这两种理论的观点虽然存在大 量的争论，但是他们所内涵的基本观点也许并不矛盾。人类确实存在着先天的基本 情绪，但这和正负情绪的分离并不矛盾。 2 1 2 2 情绪的表达 情绪虽然是一种内心的态度体验，但常常伴随着外部表现，如人的面部表情、 身体姿态以及言语表达等。情绪的外部行为特征就叫做表情。表情是人际交往中信 息传达、情感交流不可缺少的手段，也是了解他人主观心理状态的客观指标。借助 表情，才能“察言观色”，在别人的举手投足间洞悉他的内心感受。根据表情的发 生部位和方式的不同，可将表情分为面部表情、体态表情和言语表情。 ( 1 ) 面部表情。面部表情是通过眼、眉、嘴和脸颊部肌肉变化来表现情绪状态。 人的眼神变化是面部表情最重要的体现，其次是嘴角和眉头肌肉的变化。一个人喜 悦时，眉头舒展，双目含笑，颧肌收缩，嘴角上提；悲伤时则双眉紧锁，两眼呆滞， 嘴角下垂，愁容满面；愤怒时双眉倒竖，怒目圆睁，颧肌抽搐，嘴角外撇甚至咬牙 切齿。 豳尉豳 翻斟剿 图2 1 不同情感下的面部表情 如图2 1 所示，为j a f f e 数据库中不同情感状态( 从左至右，从上至下依次为兴 受 念 硕士学位论文 m a s t e r st h e s i s 奋、生气、愤怒、高兴、平静、悲伤) 的面部表情。 ( 2 ) 言语表情。言语表情是指情感发生时个体在语言的声调、节奏和速度等方 面的特征。言语表情强调的不是言语的内容，而是语音的高低、强弱、以及语调的 变化。体育节目主持人在比赛的实况解说中，语音尖锐、急促，语调激昂，有时甚 至声嘶力竭，渲染出一种紧张而兴奋的情感；当为一个逝去的人致悼词时，用缓慢、 低沉的语调更能表达出悲痛的情感。此外，在现实生活中，人们常常会正话反说， 或者反话正说，言语表情这时有助于揣摩对方的真正意图。 ( 3 ) 体态表情。体态表情是身体各部分的表情动作。喜悦时手舞足蹈，悲痛时 顿足捶胸，愤怒时双拳紧握，恐惧时手足僵硬，这些躯体和手、足的动作特征，可 以真切地流露出一个人的内在情感。在体态表情中，手势是一种重要的表达形式。 人们在语言表达中常常需要手势的辅助，有时无法借助言语时，手势就发挥着独特 的不可替代的作用。手势表情是通过学习得来的，而且随着不同的社会环境和文化 传统而存在差异。 2 1 3 几种典型的情绪模型 ( 1 ) 冯特的情绪三维理论 冯特认为情绪是一种主观体验，他以内省的方法研究情绪的主观感受，提出了 情绪的三维理论。他认为，情绪一般需要三种维度才能对它们作出有效的描述。这 三个维度是：愉快一不愉快；紧张一松弛；激动一平静。每一种情绪，首先在偷快 一不愉快两极之间游动，然后在紧张一松弛之间，最后在激动一平静之间游动。所 有的情绪都是以这三维度以某种方式所产生的【2 。 兴奋 松弛 愉快，不愉快 零 紧张 沉静 图2 2 冯特情绪三维模型 ( 2 ) p l u t c l l i k 的情绪三维模式 为了表示各种情绪之间的关系，p l u t c h i k ( 普拉切克) 利用因素分析法假设了情绪 9 之间存在着三个基本特征：强度、相似性和极性( 对立性) 。强度、相似性和极性是 表示各种情绪之间相互关系的空间模式的三个维度2 1 1 。如图2 3 所示。 情绪 强度：强( 8 5 研价) 强度：中( 7 评价 8 5 ) 图2 3 p l u t c l l i k 情绪三维模式 这个模式的8 个扇形，均表示8 种原始的情绪：狂喜、悲痛、接受、憎恨、狂 怒、惊讶、警惕、恐惧。p l u t c l l i k 认为这些原始的情绪是从进化过程中分化出来的， 并且具有适应的价值，它们最强烈，故居于顶端，沿扇面向下，越靠近底部，这种 情绪就越微弱。在扇面上越邻近的情绪性质上越相似，距离越远，差异越大，互为 对顶角的两个扇形中的情绪则是相互对立的。如“憎恨 和“接受 ，是对立的两 种情绪，靠近“憎恨”的，“悲痛”与其比较接近【l 引。 ( 3 ) p i c a r d 的h m m 模型 如图2 4 是1 9 9 5 年m i t 的p i c a r d 教授提出的一个h m m 模型【2 2 1 。这个h m m 模型( h i d d e nm a r k o vm o d e l s ，隐马尔科夫模型) 有三个情绪状态( 兴趣、高兴和悲痛) ， 但它可以扩充为多个。一个人的情绪状态不能被直接观察，但某一状态的特征能够 被观测得到，通过特征可以找出可能的情感状态。 l o 硕士学位论文 m a s t e r st h e s l s 2 2 情感计算理论基础 图2 _ 4 h m m 模型 2 2 1 情绪与情感的关系 情绪和情感既是在种族进化过程中发生的，又是人类社会历史发展的产物。对 于在这样漫长的演化过程中发生的多层次质变的现象，用一个术语来加以标志是困 难的。因为，当人们用情绪、情感这类术语来标志在如此漫长的历史演化过程中所 发生的、而且是处在不同水平上的这一心理现象时，人们心目中所指的内涵常常有 所不同l l 距。例如，有时人们把同生理需要相联系而产生的感情反应称为情绪，而 把受社会规范制约的感情称为情感；另一些时候人们又在标示感情形式时采用情 绪，而在标示感情内容时采用情感。总的来说，情绪和情感是人对客观事物是否符 合自己需要而产生的态度的体验，它是人对客观事物与人的需要之间的关系的反 映。具体来说，“情绪”代表着感情性反映的过程，也就是说，感情性反映作为心 理活动的过程，用“情绪”这一术语来标示，无论人类还是其他的动物，都具有产 生情绪的能力；“情感 经常被用来描述社会性高级感情，一般认为，具有稳定而 深刻社会含义的感情性反映叫做“情感 ，它标示感情的内容。所谓感情的内容并 不是指这一反映的语义内容或思维内容，而是指那种带有享乐色调的体验，只有人 类才有情感能力【2 3 刀】。 硕士学位论文 m a s t e r st h e s i s 2 。2 。2 情感计算理论 ( 1 ) 情感计算 情感计算( a 彘c t i v ec o m p u t i n g ) 作为一个崭新的领域，日益引起国内外各研究机 构的重视。第一次提出“情感计算”这个概念的美国m i t 媒体实验室情感计算研究 小组的领导人p i c a r d 教授【2 2 】在1 9 7 9 年她的专著“a 虢c t i v ec o m p u t i n g ”( 情感计算) 中给出：“情感计算是关于、产生于或故意影响情感方面的计算”，情感计算的目的 是通过赋予计算机识别、理解、表达和适应人的情感能力来建立和谐的人机环境， 并使计算机具有更高的、全面的智能。在传统的计算机与人的交互过程中，计算机 不能理解操作者的情绪和心情，正是因为没有这种情感能力，计算机就不可能具有 类似人的智能，更不要说实现类似于人类交流的情感互动，只能作为一个僵硬的工 具。情感计算就是要赋予计算机类似于人的观察、理解和表达各种情感特征的能力， 通过对情感特征的分析和处理来获取对情感状态有关的生理和行为特征的高层次 语义上的解释，最终达到类似于人一样的自然、亲切和生动的交流。 情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的 情感做出智能、灵敏、友好反应的计算系统。r p i c 砌将情感计算的研究内容具体 分为九个方面：情感机理、情感信息的获取、情感模式识别、情感的建模与理解、 情感合成与表达、情感计算的应用、情感计算机的接口、情感的传递与交流、可穿 戴计算机。目前的工作侧重于有关情感信号的获取( 如各类传感器的研制) 与识别。 情感计算可以从两个方面理解【2 l 】：一是基于生理学的角度，通过各种测量手段检测 人体的各种生理参数，如心跳、脉搏、脑电波等并以此为根据来计算人体的情感状 态；二是基于心理学的角度，通过各种传感器接受并处理环境信息，并以此为根据 计算人造机器( 如个人机器人) 所处的情感状态。 在情感计算领域，目前世界各国都在积极地开展相关研究，取得了诸多成果， 其中以美国m i t 媒体实验室的工作较为突出。我国也在逐步开展情感信息处理的研 究，并引起了国家有关部门的关注。例如，在国家自然科学基金1 9 9 9 年的项目指 南中“和谐人机环境中的情感计算理论研究”被列为重点项目。同时，中国科学院 自动化所、心理所以及国内众多高校在情感信息处理的研究上也取得了一定的进 展。2 0 0 3 年1 2 月8 日至9 日，由中国科学院自动化所组织，在北京举行了第一届 中国情感计算与智能交互学术会议，会议中展示了国内各研究机构近几年来从认 知、心理、模式识别、系统集成等不同角度在情感计算领域取得的研究成果，弥补 了国内情感计算领域的空白【2 5 舶】。 ( 2 ) 人工心理理论 1 2 硕士学位论文 m a s t e r st h e s l s 人工心理理论首次由北京科技大学王志良教授提出【1 8 】。人工心理研究的是对人 的心理活动( 着重是人的情感、意志、性格、创造) 的全面内容进行一次人工机器实 现。它以人工智能现有的理论和方法为基础，是人工智能的继承和发展，是人工智 能发展的高级阶段，并有着更广泛的内容，同时人工心理学是一门交叉学科，其理 论源于脑科学、心理学、生理学、伦理学、神经科学、人类工学、感性工学、语言 学、美学、法学、信息科学、计算机科学、自动化科学、人工智能等。它的应用范 围主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人 工心理编程语言、人工创造技术、人类情感评价计算机系统、人类心理数据库及数 学模型、人机和谐环境技术和人机和谐多信道接口等。 当前在人工心理理论方面的主要研究内容有【1 6 】： 1 ) 研究建立人工心理的理论结构体系( 目的、法则、研究内容、应用范围、 研究方法等) 。尤其是人工心理学说的定义、研究规则、研究内容的界定 问题，主要使其研究符合人类道德规范，这个问题在人工智能领域是不存 在的。 2 ) 研究人工心理与人工智能的相互关系，如何使二者相辅相成、互相促进、 共同发展。尤其是借鉴人工智能已有的研究成果，建立人工心理的理论体 系。 3 ) 人类心理信息的数学量化( 心理模型建立、心理状态评价标准) 。 人工心理理论与感性科学、情感计算都是研究与情感相关的信息。但感性科学 从“感性”的角度来研究关于信息处理的方法、过程以及用计算机实现的方法，偏 重于对商品的观感和舒适感进行研究，并没有致力于对情感交互能力的研究；情感 计算则侧重于采用一定的物理手段获取与情感相关的信息，目前侧重于对情感的测 量和识别，其中测量方法较多的集中在生理信号的量测。人工心理理论是利用信息 科学的手段，对人的心理活动( 着重是人的情感、意志、性格、创造) 的全面内容的进 行一次人工机器( 计算机、模型算法等) 实现，它的范围更加宽广，可以认为人工心 理是人工智能在横向和纵深方面的更进一步的发展。人工心理目前着重于对混合智 能系统中的适应性，情感交互能力以及认知方面的深层探索。 2 2 3 情感计算与表情识别 研究情感计算的首要问题是获取情感信号。脉搏频率变化、皮肤电流强度、汗 液、语音和面部表情等都是具体的情感信号，其中面部表情是最直观反映人的情绪 的信号之一，是传递具体情感信息的外显行为，而且面部表情信号比其它信号较容 1 3 硕士学位论文 m a s t e r st h e s i s 易获取：以表情理解为核心的情感计算的研究及其内容，进一步阐述了人脸面部表 情识别的价值、意义及未来发展的目标。因此很多研究者都从面部表情的识别入手， 配合语音识别、e r p ( 事件相关电位) 等手段来研究情感计算。本文也从面部表情识 别这个角度来探讨情感计算对现代远程虚拟教学在理论和技术上的情感支持【2 7 1 。 2 3 人脸表情识别技术 2 3 1 表情识别介绍 人脸表情识别的最终目标是使机器可以像人类一样识别出人的面部表情。人类 能毫不费力识别人脸表情且能对人脸表情信息进行心理分析和加工处理，因此，对 表情信息的含义、表情与情感的关系、表情信号的特点以及人类进行表情识别的原 理方法等方面的研究可以为机器识别人的表情提供理论上的指导和启示。同时人脸 表情自动识别系统是一个人工系统，需要图像处理、模式识别、人工智能、计算机 视觉等方面的发展为其提供必要的实现条件，因此表情识别是一个涉及到心理学、 生理学、行为学、社会学、传感器技术、计算机科学等诸多领域的一个交叉课题， 其发展受到其他领域的制约和影响【2 7 。2 9 1 。 人脸表情识别的3 个关键环节( 人脸检测与定位、面部表情特征的提取与表示、 人脸表情的识别分类) 构成了人脸表情分析系统( 文献 3 0 】中给出的构成与流程如图 2 5 所示) 。 图2 5 人脸表情的分析系统 ( 1 ) 人脸的检测与定位 人脸检测与定位是为了在输入图像中找到人脸的确切位置，找到特征提取的对 象。由于人脸检测在各种人脸分析工作( 如人脸识别) 中都有着重要的作用，目前已 1 4 硕士学位论文 m a s t e r st h e s i s 经成为人脸分析领域中一个非常活跃的方向，也出现了专门的针对检测的综述性介 绍【2 9 3 1 1 。 对于单幅的静态图像，人脸的检测与定位很明显就是对该图像进行操作，人脸 检测与定位的方法大致分成两类【2 9 】：一是基于统计的人脸检测方法：包括神经网络 法、子空间方法、模版法多层小波分解和遗传算法等；一是基于知识建模的人脸检 测：包括人脸规则、颜色纹理信息和对称性等。 ( 2 ) 表情特征的提取 人脸表情特征提取部分的目标是从人脸图像或者图像序列中提取出能够表征输 入表情的信息，并尽量的舍弃其他无用的可能造成干扰的因素。人脸表情特征提取 的方法按其所使用图像的类型不同可分为两大类：基于静态图像的表情特征提取和 基于动态图像序歹i j 的表情特征提取。 ( 3 ) 表情特征的分类与识别 人脸表情识别系统的最后一个步骤就是将人脸表情进行分类，首先应该制定一 组类别，并涉及相应的分类机制对表情进行识别归入相应类别。可以根据面部运动 进行分类也可以根据感情进行分类。常用的表情识别的分类器有：k 临近、神经网 络