（计算机应用技术专业论文）网络教学环境下学习情绪及情绪模型的研究.pdf

网络环境下学习情绪及其情绪模型的研究摘要现代远程教育作为创新型服务业得到越来越多人的关注，并且取得了一定的发展，然而当前的各类现代远程教育系统缺乏教师与学生的情感互动，教师无法针对学习者的学习情况实施因材施教的个性化教学，系统也没有充分考虑教学环节中教学双方的情绪状态对教学的影响。本文在北京市教委科技计划重点项目暨北京市自然科学基金重点项目( 编号：k z 2 0 0 8 1 0 0 2 8 0 1 6 ) “基于情绪认知模型的个性化数字教育关键技术研究”的资助下，通过对人工心理和情感计算的研究，将情感计算的概念引入到网络教学系统，通过对学习者面部表情的识别，根据构建的基于模糊逻辑的情感认知模型对学习者的学习状态进行分析，针对学习者学习情绪的不同进行智能化调整。本文所作的主要工作如下：1 基于情绪的基本理论和国内外常用的情绪模型，通过对情绪的分类和维度空间论的研究，结合网络教育环境下学习者的实际学习情绪，提出了基于人脸检测的趋避度和基于眼帘检测的专注度的学习情绪概念，并利用曲线拟合的方法构建了趋避度模型和专注度模型，组成了二维的情绪空间。2 研究了基于肤色的人脸检测和表情特征提取。本文在前人的肤色空间的基础上，采用基于y u v 空间的肤色模型，利用肤色密度法得到肤色区域和非肤色区域的划分，进一步用水平和垂直投影得到人脸候选区域。在确定人脸区域以后，对人脸区域二值化，利用投影积分法确定嘴巴区域和眼睛区域，进而用形态学运算确定了嘴巴和眼睛的中心。3 构建基于模糊逻辑的情感认知模型。通过对模糊逻辑的研究和分析，在样本数据的基础上，应用模糊统计法对各种情感类型的隶属函数曲线进行分析，并在m a t l a b 的模糊控制工具箱中选取了适当的、能够代表相应曲线的隶属函数。并通过对模糊模式识别中的最大隶属原则和择近原则的分析选择了最合适的辨别原则。4 通过情绪认知模型，可以得到学习者的学习状态，并据此设计情绪反应模型。影响情绪反应的因素很多，本文主要考虑在线时间评价值、学习效果评价值及学习者当前的情绪评价值三个因素。根据认知教学理论，对网络教学系统中的情感认知模块进行总体设计和功i i i i 试。关键词：情感计算；人脸检测；表情识别；情绪建模；情绪认知模型；模糊逻辑a b s t r a c tw i t ht h ei n h e r eo fp e o p l e si n t e r e s ti nt h ei n t e r f a c eo fh u m a na n dm a c h i n e ，a f f e c t i v ec o m p u t i n gi sb e c o m i n gar e s e a r c hf o c u s i fc o m p u t e r sa n dr o b o t sc o u l du n d e r s t a n da n dd e l i v e re m o t i o nj u s tl i k eh u m a n ，t h er e l a t i o nb e t w e e nh u m a na n dm a c h i n ew o u l db ec h a n g e dr a d i c a l l y , a n dt h e nt h ec o m p u t e rc o u l dp r o v i d eb e t t e rs e r v i c ef o rp e o p l e m o d e ms e r v i c ei n d u s t r yh a sb e c o m ea ni m p o r t a n td r i v i n gf o r c ef o re c o n o m i cg r o w t h ，e 1 e a r n i n gs y s t e mi sp a r t i c u l a r l yi n n o v a t i v es e r v i c e s ，a n dh a sa c h i e v e dac e r t a i nd e g r e eo fd e v e l o p m e n t p e o p l eh a v ep a i dm o r ea t t e n t i o n st oh u m a n i s t i ca n di n t e l l i g e n ti n s t r u c t i o n m e a n w h i l e ，t h er e s e a r c hr e s u l t so fb r a i ns c i e n c e si n d i c a t et h a te m o t i o nm a k ei m p o r t a n tc o n t r i b u t i o nt oh u m a nl e a r n i n g h o w e v e r , t h ec u r r e n tm o d e md i s t a n c ee d u c a t i o ns y s t e mi sl a k eo ft h ee m o t i o n a li n t e r a c t i o nb e t w e e nt e a c h e r sa n ds t u d e n t s b a s e do nt h er e s e a r c ho ft h ea r t i f i c i a lp s y c h o l o g i c a la n da f f e c t i v ec o m p u t i n g ，t h et h e s i sw i l li n t r o d u c et h ec o n c e p to fa f f e c t i v ec o m p u t i n gi n t ot h en e t w o r kt e a c h i n gs y s t e m ，w h i c hc a ni d e n t i f yt h el e a r n e r sf a c i a le x p r e s s i o n s ，a n da n a l y s i st h e i rs t u d y i n gs t a t e st h r o u g ht h ee m o t i o n a lc o g n i t i v em o d e lb a s e do nf u z z yl o g i c i nt h i sp a p e r ，t h em a i na c h i e v e m e n t sa r es u m m a r i z e da sf o l l o w s ：1 p r o v i d i n gat h o r o u g hs u r v e yo ft h ef a c i a le x p r e s s i o nr e c o g n i t i o na n dt h ee m o t i o n a lm o d e lc o m m o n l yu s e da th o m ea n da b r o a da f t e rb r i e f l yi n t r o d u c i n gt h eb a s i ce m o t i o nt h e o r y a c c o r d i n gt ot h ea c t u a ll e a r n i n gm o o di nt h en e t w o r ke n v i r o n m e n t ，t h et h e s i sp r e s e n t sam e t h o du s i n ga p p r o a c h - w i t h d r a w a la n dc a r et or e c o g n i z el e a r n s ，e m o t i o ns t a t ea f t e rt h er e s e a r c ho ft h ee m o t i o nc l a s s i f i c a t i o na n dt h ee m o t i o n a ld i m e n s i o n a lt h e o r y ，a n dc o n s t r u c t st h et w o - d i m e n s i o n a ls p a c et h r o u g ht h ec u r v e f i t t i n gm e t h o d 2 t h er e s e a r c ho ff a c ed e t e c t i o nb a s e do nt h es k i n c o l o ra n df a c i a lf e a t u r ee x 仃a c t i o n h lt h ey u vs k i n c o l o rm o d e l ，m u c hn o n s k i n - c o l o ra r e ac a nb ew i p e do f fa c c o r d i n gt ot h ec o l o rd e n s i t y , f a c i a lc a n d i d a t er e g i o nc a nb eg o t t e nt h r o u g ht h eh o r i z o n t a la n dv e r t i c a lp r o j e c t i o na n dt h ec e n t e ro fm o u s ea n de y ec a nb ea s c e r t a i n e db ym o r p h o l o g i c a lo p e r a t i o n sa f t e ri m a g eb i n a r i z a t i o n 3 p r e s e n t i n gan o v e le m o t i o nr e c o g n i t i o nm o d e lb a s e do nf u z z yl o g i c f i r s t l y ，t h es t u d e n t se m o t i o n sa r ec o n s i d e r e dt ot h r e et y p e s ，a n dt h e s et y p e sa r ed e s c r i b e db yt w oe m o t i o nc h a r a c t e r i s t i ca sav e c t o r s e c o n d l y , t h en e wm e t h o dt op i c k - u pt h et w o网络环境下学习情绪及情绪模型的研究e m o t i o nc h a r a c t e r i s t i cf r o mt h ei m a g es e q u e n c e s l a s t l y , t h em e m b e r s h i pf u n c t i o no fe a c he m o t i o nc h a r a c t e r i s t i ci se s t a b l i s h e da n dt h ea p p r o p r i a t ej u d g m e n ti sd o n e 4 d e s i g n i n ge m o t i o n a lr e a c t i o nm o d e l e m o t i o n a lr e a c t i o ni si m p a c t e db yan u m b e ro ff a c t o r s ，b u tt h r e ef a c t o r sa r ec o n s i d e r e dh e r e ：t h ee v a l u a t i o no fl e a m i n gc o n t e n t ，t h ee v a l u a t i o no fo n l i n et i m ea n dt h ec u r r e n te m o t i o n a c c o r d i n gt oc o g n i t i v et e a c h i n gt h e o r y , t h ee m o t i o nr e c o g n i t i o nm o d e li nt h ee l e a r n i n gi si m p l e m e n t e di nt h ev c6 0p l a t f o r m k e yw o r d s ：a f f e c t i v ec o m p u t i n g ；f a c i a ld e t e c t i o n ；f a c i a le x p r e s s i o n sr e c o g n i t i o n ；e m o t i o nm o d e l i n g ；e m o t i o n a lc o g n i t i o nm o d e l ；f u z z yl o g i c i i i首都师范大学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：犹秀日期：瑚矿年q - 月7 日首都师范大学位论文授权使用声明本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。学位论文作者签名：张延日期：砂堪年争月7 日网络环境下学习情绪及情绪模型的研究1 1 现代远程教育及现状第1 章绪论计算机技术、通讯技术的发展和网络的普及对人们的教学和学习方式产生了深刻的影响，近年来随着国家“现代远程教育工程的实施，各类网络化教育系统、远程教育系统不断问世。现代远程教育消除了时间和空间障碍，降低了学习成本，改变了学生的认知过程，给教与学的概念赋予了新的内涵，必将给教育带来深刻的变革，推动教育观念、教育思想、教育模式和教学方法的更新。1 1 1 远程教育中的情感缺失问题情感是教学活动中的一种非常重要的非智力因素，它对激发学习者的学习动机、创设优良的教学情境、促进学习者的认知和人格的健康发展都起到积极的推进作用。在教育过程中情感与认知是紧密相连的，单就情绪对个体的学习行为的影响来看，主要表现在两个方面：一方面，情绪可以直接对个体的认知行为产生重要影响，主要是情绪对学习行为的直接影响，是通过情感的动力功能实现的；另一方面，情绪也可以通过影响学习动机而间接地影响个体的认知行为，是通过情绪的强化功能实现的。传统智能网络教学系统可以在w e b 环境下实现认知层面上的智能化和个性化教学，这是它的一个优点。但由于它无法感知学生的学习情绪，因此也就不能实现情感方面的个性化教育，这是它存在的一个严重缺陷。远程教育虽然具有了时空自由、资源共享、系统开放、便于协作等优点，但是远程教育中的教师和学生、学生和学生不能像常规教育那样及时地、面对面地进行知识、经验的交流。传统的课堂教学环境下，教师的一个眼神、一句话、一个动作，会对学生的学习产生影响。远程教育中师生不能进行面对面的情感交流，面部表情、语音、语调所带来的情感信息在传输过程中丢失了，据调查：有7 9 6 的学习者认为现代远程教育中缺少人情味，没有了老师和学生、学生和学生之间的情感交流；7 3 4 的学习者认为远程教学中叫声和学生之间缺少诸如手势、面部表情等会影响学习情绪的非语言交际：6 7 6 的学习者认为现代远程教育虚拟性加强而交互性变弱；5 4 8 的学习者认为远程教育课程设置教学目标缺乏情感、不够人性化；6 9 2 的学习者认为远程教育的教学方法呆板，不灵活暖1 。远程教育中情感信息的缺失对师生之间的情感交互产生一定的影响。一方面，学生难以感受到教师对他们的关注，学习中容易产生迷茫、懒散的情绪；一方面，教师同样也很难体会到学生的感受，无法有效控制学生的学习进程。如何在w e b 环境下建立具有一定情感教学功能的智能网络教学系统，实现认知与情感相互协调的个性化网络教学，是智能网络环境下学习情绪及情绪模型的研究网络教学系统研究的一个重大课题。1 1 2 现代远程教育理论著名远程教育专家基更( d e s m o n dk e e g a n ) 把远程教育描述为“远程面对面教学( f a c e - t o f a c et e a c h i n ga tad i s t a n c e ) ，并在构建远程教学的概念中，强调“眼光接触( e y et o u c h ) 或“眼球对眼球教学( e y e b a l l t o e y e b a l lt e a c h i n g ) ”，他强调通过现代电子通信技术手段加强教师和同学之间的沟通，达到信息、思想、情感的交流和交互作用口1 。为了适应社会对远程教育的要求，远程教育行业提出了现代远程教育理论。现代远程教育综合利用卫星电视网络、电信网络和计算机网络这三大网络资源，以及其他可以利用的教学资源开展远程教育。与此同时，教育理论的发展，也为现代远程教育注入了新的活力。影响较大的教育理论有如下几类：( 1 ) 人本主义理论2 0 世纪在美国兴起的一种心理学思潮人本主义心理学，它主张教育要以人为出发点和归宿，主张调动学生学习的自主性、独立性、能动性和创造性；强调教学的目的是培养“学会如何学习”的人，让学生掌握独立学习的科学方法；重视教学中的情意因素，强调知情合一的学习h 1 。( 2 ) 混合学习理论混合学习是人们对网络学习进行反思后提出的一种学习方式。混合学习可以看成是面对面的传统学习( f a c e t o f a c e ) 和数字化学习( o n l i n el e a r n i n g 或e l e a r n i n g ) 两种方式的有机整合；其更深层次包括了基于不同教学理论( 如建构主义、行为主义和认知主义) 的教学模式的混合；教师主导活动和学生主体参与的混合；课堂教学与在线学习环境的混合；不同教学媒体的混合等。混合学习的核心思想是根据不同问题要求，采用不同的方式解决问题5 j 。( 3 ) 情感心理学习理论情感心理学习理论认为教学活动以传递认知信息为主，但教育的对象是人，因此必须考虑教学中情感因素的作用。教学中包括显性的认知信息和隐性的情感信息，在传统教学活动中师生间不仅有认知方面的信息传递，而且也有着情感方面的信息交流，师生之间的认知信息和情感信息交流是互相影响的。情感信息的交流方式有一种是伴随着教学认知信息传递而形成的情感交流，另一种是师生人际交往中的情感交流。伴随认知信息传递形成的情感交流虽然不属于认知信息交流，但却会影响学生的信息加工能力和积极性，从而影响认知信息传递；同时这种情感还会泛化到师生的人际情感交流，而人际情感交流反过来又通过伴随认知信息传递形成的情感交流间接影响认知信息传递砸1 。2网络环境下学习情绪及情绪模型的研究1 2 情感计算美国m i t 大学的m i n s k y 教授( 人工智能创始人之一) 首先提出让计算机具有情感能力。他在1 9 8 5 的专著“t h es o c i e t yo fm i n d ”中指出：问题不在于智能机器能否具有情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究，引起了计算机界许多人士的兴趣。m i t 大学的p i c a r d 教授在她1 9 9 7年出版的专著“a f f e c t i v ec o m p u t i n g 口1 中提出了“情感计算”一词，并给出了定义：即情感计算是关于情感：即情感计算是关于情感、情感产生及影响情感方面的计算。1 2 1 研究内容根据情感计算的过程，可将情感计算的研究内容分为以下九个方面：情感机理、情感信息的获取、情感模式识别、情感的建模与理解、情感的合成与表达、情感计算的应用、情感计算机的接口、情感的传递与交流和可穿戴计算机。图1 1 情感计算研究过程不意图从人类情感的交流过程来讲，情感计算的研究可分为四步( 如1 1 所示) ：直接或间接与人接触获得情感信息；通过建立模型对情感信息进行分析与识别；对分析结果进行推理达到感性的理解；将理解结果通过合理的方式表达出去，也就完成了情感交流的全过程。根据上述过程，情感计算的研究内容主要应包括：情感信号的获取、情感信息的分析与识别、情感信息的理解和情感的表达。此外，情感信号与人类行为和生理特征之间的关系( 即情感机理) 是情感计算研究的基础，情感计算的最佳实现平台是可穿戴计算机，故情感机理和可穿戴计算机也是情感计算的重要研究内容。( 1 ) 情感机理的研究。情感机理的研究主要是情感状态的判定及与生理和行为之间的关系，涉及到心理学、生理学、认知科学等，为情感计算提供理论基础。任何一种情感状态都可能会伴随几种生理或行为特征的变化：而某些生理或行为特征也可能起因于几种情感状态。因此，确定情感状态与生理或行为特征之间的对应关系是情感计算理论的一个基本前提，这些对应关系目前还不十分明确，需要做进一步的探索和研究。( 2 ) 情感信号的获取。情感信号的获取研究主要是指各类有效传感器的研制，它是情感计算中极为重要的环节，没有有效的传感器，可以说就没有情感计算的研究，因为情感计算的所有研究都是基于传感器所获得的信号。( 3 ) 情感信号的分析、建模与识别。一旦由各类有效传感器获得了情感信号，下一步的任务就是将情感信号与情感机理相应方面的内容对应起来，这里要对所获得的信号进行建模和识别。由于情感状态是一个隐含在多个生理和行为特征之中的不可直接观测的3网络环境下学习情绪及情绪模型的研究量，不易建模，部分可采用诸如隐马尔可夫模型、贝叶斯网络模式等数学模型。m i t 媒体实验室给出了一个隐马尔可夫模型，可根据人类情感概率的变化推断得出相应的情感走向( 显然由生气转化为愤怒的概率高于转化为高兴的概率) 。( 4 ) 情感理解：通过对情感的获取、分析与识别，计算机便可以了解其所处的情感状态。情感计算的最终目的是使计算机在了解用户情感状态的基础上，做出适当反应，去适应用户情感的不断变化。因此，这部分主要研究如何根据情感信息的识别结果，对用户的情感变化做出最适宜的反应。在情感理解的模型建立和应用中，应注意以下事项：情感信号的跟踪应该是实时的和保持一定时间记录的；情感的表达是根据当前情感状态，适时的；情感模型是针对于个人生活的，并可在特定状态下进行编辑；情感模型具有目适应性( 可根据情况自动进行调整) ；通过理解情况反馈调节识别模式；用户的模型是完整的、非片面的；保证情感的隐私性、秘密性和安全性等。( 5 ) 情感表达。前面的研究是从生理或行为特征来推断情感状态。情感表达则是研究其反过程，即给定某一情感状态，研究如何使这一情感状态在一种或几种生理或行为特征中提现出来，例如：如何在语音合成和面部表情合成中得以体现，使机器具有情感，能够与用户进行情感交流。情感的表达提供了情感交互和交流的可能，对于单个用户来讲，情感的交流主要包括人与人、人与机、人与自然的交互、交流。( 6 ) 可穿戴计算机。可穿戴计算机是情感计算实现的最佳平台，主要研究可穿戴计算机的传感器、输入、输出装置。可穿戴计算机的研究体现在软、硬件两个方面，难点在于结构的设计。可穿戴计算机应具有如下特征：结构轻便，满足一定的强度和韧性：不影响使用者的j 下常生活：具有隐秘性、安全性和可靠性：价格低，便于大规模生产；设计应具有个性化、美感等。可穿戴计算机的发展必将推动情感计算的研究，同样，没有情感计算的武装，可穿戴计算机很难最大限度地发挥其潜能和优势。可穿戴计算机的研究早于情感计算，而且研究单位众多，主要集中在美国和日本，如美国各大学的计算机系几乎都有相关内容的研究组。1 2 2 关键技术情感计算是一个多学科交叉的崭新的研究领域，它包括传感器技术、计算机科学、认知科学、心理学、行为学、生理学、哲学、社会学等。情感计算的最终目标是赋予计算机类似于人的情感能力。要达到这个目标，有许多基本科学问题有待解决，并具有很大的难度，这些问题的突破对各学科的发展都会有很大的推动作用。情感计算的关键技术包括以下几项：人类生理、心理及行为特征的情感状态分析：人类情感信息信号采集传感器的研究：人类情感及各种行为特征的计算机建模；人类生物特征的识别技术；各种感知数据的融合、集成和知识推理体系；情感感知结果的有效表达方式等。( 1 ) 人物的准确验证与识别。情感计算是针对个人的，其模型和理解过程应该在普适性情况下具有个性化的特点。这就要求在情感计算的理论和技术应用之前，准确判断用户4网络环境下学习情绪及情绪模型的研究的身份，更高的要求是对不同用户的准确识别。( 2 ) 情感机理的研究是一个非常古老的课题。这方面的研究主要是心理学家和生理学家的工作。情感机理研究首先应借鉴这些方面的工作，且首先应把重点放在普适性理论的研究方面，之后才是个性化的研究阶段。( 3 ) 情感信号的测量。所谓情感信号就是对基于或相关于情感而反应出来的多种生理或行为特征所表现出来的信息进行测量的结果。该方面信息的精确、可靠测量是至关重要的，但是有些信号的提取是有难度的。可采用多传感器集成的方式，对各种不同的情感信号进行测量，运用检测层和时空层信息融合技术。( 4 ) 情感信号分析、建模与识别。情感信号表现出较强的多样性和复杂性，这主要包括非线性、时变性、信号反应延时和饱和效应、信噪比低等特征。各类情感信号对于各种情感特征敏感度也不同。情感信号分析与识别的目的是为正确选择情感信号提供理论与实验依据，为情感的理解和表达提供可靠的原始数据。( 5 ) 情感信号的融合算法研究。某一情感的变化对应于多种生理或行为的变化，不能从单一生理或行为的变化引出相应的情感的变化，因此，情感的判定是融合各种生理或行为的过程，应该研究有关情感计算的信息融合理论与技术。1 2 3 应用前景情感计算的应用涉及到各行各业，如人文艺术、商业、经济、体育、教育、娱乐、卫生、健康、科学等。p i c a r d 在m i t 媒体实验室的技术报告中至少给出了约5 0 种应用，如情感饰物、情商( 通过情感计算机可以研究有关人类情商的有关问题) 、情感教学( 教者可根据学者的情感变化，适当调整自己的状态和方法，使教学质量达到最佳) 、司机的情感监测( 通过监测司机情感的变化，可时刻提醒司机，并可根据结果自动控制) 、情感c d ( 当人高兴时，它会自动播放快乐的曲子，并可根据自己的口味，自动选曲) 、情感玩具( 根据人们的态度，玩具自动产生相应情感的变化) 、情感地毯( 可根据脚的压力，自动生成各种音乐等) 、情感眼镜、情感鼠标、虚拟现实中的情感真实再现等。最近由日本索尼公司推出的宠物狗，虽说人机之间只能进行简单的情感交流，但得到了人们的认可，从而得到了良好的经济效益。这也说明，人类社会不仅要有人与人、人与自然的交互，同时需要人与机之间的交流、情感的传递与表达。情感计算为计算机科技发展提出了一个新的课题。情感计算是建立和谐人机环境的基础之一，同时情感计算是融合多学科为一体的学科，它的发展必将带动相关科学的发展。可穿戴计算机和后p c 时代的芯片式计算机将为情感计算提供方便的研究平台和表现形式，无论从科学意义、学术价值，还是事实需求，情感计算将有巨大的发展潜力和应用价值隅1 。5网络环境下学习情绪及情绪模型的研究1 3 课题的研究背景及意义本文是在北京市自然科学基金重点项目和北京市教委科技计划重点项目基于情绪认知模型的个性化数字教育关键技术研究( 项目号是k z 2 0 0 8 1 0 0 2 8 0 1 6 ) 的背景下进行的。建立网络学习和其他形式相互沟通的体制，推动高等学校数字化校园建设推动网络学院的发展，国家在“十一五 科技规划中已将数字化教育列为科技攻关的八个重大项目之一。无论是网络化学习还是数字化、信息化学习，一个始终没有得到完全解决的问题是人的情感沟通和情感育人的问题。人是具有丰富感情的，面对面的师生情感沟通具有潜移默化的教育作用。如何结合现代远程教学的教学理论，弥补远程教学系统的情感缺失这一缺憾，从而大大提高远程教育的教学效果和人性化程度。如果能够通过现代教学设备检测出学习者是否专注于一个学习任务，或者反映出学习者的一些情感状态，并将这些信息适时的反映给学生和教师，使学生和教师之间不断的沟通和交流，将会有很大的意义。本文通过对网络环境下学习情绪和情绪模型的研究，将情感计算的概念引入到网络教学系统，实现教育个性化，同时针对学习者的学习兴趣，学习情绪的不同进行智能化调整。本课题组研究的主要目的就是以“以学生为中心，学生是认知的主体，是知识意义的主动构件者”的原则设计个性化、人性化的网络教学系统，并借助实现的教学系统，着眼于情感识别和情绪反映的分析，依靠信息科学技术，提高教学效率。1 4 本文的研究内容和论文结构本文在人脸检测、情感识别、图像理解的研究基础上，根据学习者在学习过程中的实际的学习情绪，提出了基于肤色的人脸检测和面部特征提取；根据提取的表情特征，本文把模糊模式识别扩展应用到了情感识别，并提出了一个简单实用的基于模糊逻辑的情感认知模型；由情绪认知模型分析得到学生的情绪状态，结合情绪反应模型，实现一个网络教学系统中的情感认知模块的功能，并对该功能在c s 结构下对其测试。本文的内容分为六章，其组织构成如下：第一章首先介绍了远程教育及在远程教育中的情感缺失现状，接着介绍情感计算的研究内容、关键技术和应用前景，然后介绍了本文的研究内容和论文结构。第二章首先介绍了基于情绪的基本理论、国内外常用的情绪模型以及人脸检测和表情识别的研究现状进行综述，尤其对情绪的分类和维度空间论进行了深入的分析和研究，是本文后来建立情感认知模型的重要理论基础。第三章在分析了人脸检测各种技术的基础上，提出了本文使用的基于肤色的人脸检测，重点研究了用到的肤色模型，图像预处理，眼睛和嘴巴的定位等相关技术。通过本章的研究，提取出学习者在学习过程中关键的表情特征，是建立情感认知模型的前提。第四章是情感认知模型是本文的核心和重点。本章在上章研究的基础上，提出趋避度和振奋度的概念，并以此构建了基于趋避度模型和振奋度模型的二维情绪空间。在介绍了网络环境下学习情绪及情绪模型的研究模糊逻辑的基本理论的基础上，构建了基于模糊逻辑的情感认知模型；通过对两个模型的分析比较，证明了基于模糊逻辑的情感认知模型的合理性。结合学习者在网络环境下在线时间评价值、学习效果评价值以及情绪状态评价值三个因素，构建了情绪反应模型。最后编程实现了对网络教学系统中情感认知模块功能的测试。第五章是对本文的工作的总结，提出有待改进和进一步研究的工作。7网络环境下学习情绪及情绪模型的研究2 1 情绪的基本理论第2 章情绪的相关理论不同的心理学家对于情绪有不同的定义。p k l e i n g i n n a 嘲等人在1 9 8 1 年收集、分析了9 2 种关于情绪的定义，其中部分定义相互差异很大，或很含糊。他们给出了一种对于情绪的比较全面的定义：情绪是一系列在主观和客观因素之间的复杂的交互作用，神经激素系统是引起它的媒介，情绪能具有以下特征1 ) 弓i 起诸如觉醒，快乐，烦恼等心理体验：2 ) 产生某种特定的认知过程，诸如与情绪相关的知觉反应，评估等等：3 ) 普遍地刺激生理调节达到唤醒状态：4 ) 导致一些行为，这些行为常常是富于表情，目标确定和有适应性的。2 1 1 情绪的分类关于情绪的分类，中外心理学家从不同角度对情绪有不同的分类，归纳起来可以大致分为以下三种：2 1 1 1 基本情绪论一种观点认为人类的情感是由分立的基本情绪组成的，称之为基本情绪论。基本情绪论认为情绪存在着数种泛人类的基本情绪类型，每种类型各有其独特的体验特性、生理唤醒模式和外显模式，其不同形式的组合形成了所有的人类情绪。从个体发展角度来看，基本情绪的产生是有机体自然成熟的结果。从生物进化的观点看，情绪原型是适应和进化的产物，也是适应和进化的手段。基于不同的研究基础和背景，不同研究人员对基本情绪的定义不尽相同。其中以e k m a n的情绪理论n 阳影响最大，著名心理学家e k m a n 的情感理论主要受到达尔文的理论影响。他提出存在六种基本情感：“气愤”，“厌恶”，“恐惧”，“高兴 ，“悲伤 和“惊讶。其他情感都可以由这六种基本情感构成，而且这六种情感在文化传统间的差异很小。他同时提出了这六种基本情感存在的三点重要意义：( 1 ) 基本情感是用来区分情感类型的重要依据。( 2 ) 基本情感与人类最基本的生活行为有着密切的联系。( 3 ) 基本情感存在的重要性还在于它们可以用来描述更多的更复杂的人类情感。基本情感提供了一系列重要的用于把一个情感和另一个情感区别的特征描述。e k m a n 的情感理论主要是通过对具有不同文化背景的人们的情感统计试验得到的，他的情感理论还提出由基本情感激起的面部表情在具有不同文化背景的人中能产生相同的理解。这一论点揭示了情感具有其自身8网络环境下学习情绪及情绪模型的研究具有不同文化背景的人们的情感统计试验得到的，他的情感理论还提出由基本情感激起的面部表情在具有不同文化背景的人中能产生相同的理解。这一论点揭示了情感具有其自身独有的标准，与人类的文化背景，教育程度，生长环境有相对独立性他的情感方面的研究还进一步指出：恐惧和惊讶的表情是比较难以区分的，来自不同文化背景的人对这两类情感的辨识会出现混淆。所以e k m a n 对这两类情感的研究在进一步继续。e k m a n 对于每类基本情感及其相关情感的反应分别做了以下的描述：( 1 ) 生气( a n g e r ) ：生气这种情感的起因比较复杂，常常与个体的性格特征密切相关，与认识系统有一定关系，伴随着明显的生理信号比如：血压升高，呼吸加速等。( 2 ) 厌恶( d is g u s t ) ：厌恶是对于情感主体排斥的具体事务产生的一种不愿意亲近的心理行为反应。总的来说厌恶这种情感就是对某种物体或者环境产生的一种距离感，可以被理解成“拒绝”情绪。( 3 ) 恐惧( f e a r ) ：恐惧情感的独特作用是激发了情感主体对于危险环境的逃离或者摆脱的欲望。恐惧这种情感反应使情感主体在处于危险境况中时产生摆脱这种境况的动力，并有效的采取摆脱的措施。这对于提高机器人的自我保护能力是至关重要的，使机器人有可能产生理智的并且有效的自我保护措施。( 4 ) 高兴( j o y ) ：高兴的情感最直接的表现是使情感主体提高对一次成功经历的接受和喜爱程度，并增加情感主体的开朗外向程度。高兴这一情感多时伴随着愉快或成功的经历，并且值得注意的是这一情感即使是非常年幼的孩子都具有。对于机器人，这种情感常常伴随着一次成功的完成任务，熟悉再分配任务，对下一执行任务的充分准备等等而产生。( 5 ) 伤心( s o r r o w ) ：伤心的情感用于减缓认识系统及各动作反映的速度。这种减缓的效果在于可以使个体有时间对失望的事件环境做出合理的处理，这种处理有助于个体摆脱失望的环境，得到或者建立新的希望，从而改进未来的表现。伤心的情感对于个体处理困境十分有帮助。( 6 ) 惊讶( s u r p r i s e ) ：当违背个体期待的事情发生时，或者个体感到有所发现时，会引起惊讶的情绪。这种情感与认识系统息息相关，常常伴随着认识系统的改变而变化对这六种基本情感的描述成为情感模型的最基本的设计宗旨，成为情感模型设计的基石。2 1 。1 2 维度空间论与基本情绪论相对立的是维度空间论。它认为人类所有的情绪是由几个维度空间所组成，特定的情绪状态只能代表一个从亲近到退缩或者是从快乐到痛苦的连续空间中的位置，不同情绪之间不是独立的，而是连续的，可以实现逐渐的、平稳的转变，不同情绪之间的相似性和差异性是根据彼此在维度空间中的距离来显示的。情绪的维度，心理学界还没有统一的看法n 1 1 ，主要有以下两种维度空间：9网络环境下学习情绪及情绪模型的研究( 1 ) 效价度唤醒度二维情绪空间它是最广为接受的维度模式，具体解释为：效价度( v a l c n 嘲或者快乐度( h c d o n i ct o n e ) ，其理论基础是正负情绪的分离激活，这得到了许多研究的证明，主要体现为情感主体的情绪感受，是对情绪和主体关系的一种度量；唤醒度( a r o u s a l ) 或者激活度( a c t i v a t i o n ) ，指与情感状态相联系的机体能量激活的程度，是对情绪的内在能量的一种度量。i a p s ( 国际情绪图片系统) 和i a d s ( 国际情感数字声音系统) 分别是一组情感场景的标准图像和声音集合片 于对在媒体的刺激下人类的情感反应进行定量研究。在唤醒度和效价组成的二维空间里，基于i a p s 和i a d s 的情绪反应组成了一个大致的抛物线形状，如图21 所示：* 口n凹2 】基于l a p s 和i a d s 的基本情绪反应( 2 ) 效价度唤醒度控制度三维情绪空间另外有相当多的一些心理学家认为情绪的模式分布在一个三维的情绪空白j 早。在效价度唤醒度的基础上，又提出了控制度这一维度。控制维度体现的是人对情感的控制能力和主动程度比如轻蔑和恐惧，就处于控制维度不同的两端。h e r ms m i t h 和s h u u i c h i r o l l k e 以日本人的情感为研究对象，采用定量评估的方法，给出了生气、恐惧、悲伤、高兴、满意这五种情绪在三维情绪的定位如图2 2 所示。网络环境下学习情绪及情绪模型的研究图2 2 日本人的5 类基本情感的三维空间分布2 1 1 3 基于基本情绪的维度空间论| f粪上图2 3p l u t c h i k 提出的情绪三维模式心理学上关于这两种理论的观点虽然存在大量的争论，但是他们所内涵的基本观点也许并不矛盾。人类确实存在着先天的基本情绪，但这和正负情绪的分离并不矛盾。正因为基本情绪论和维度情绪论存在着一些联系，因此也有一些科学家试图将二者结合起来。美国心理学家( r p l u t c h i k ) 所提出的一种情绪三维模式( 如图2 4 所示) 就承认了基本情绪的存在。普拉切克的三维情绪模型反映了情绪在强度上的变化以及彼此之间的对立性质。他以强度、相似性和两极性划分情绪，构成了如图2 3 所示的锥体模型。此模型的八个扇面表示8 种基本情绪：狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受和憎恨。在图中，基本情绪在二维空间中具有一定的定位，比如快乐属于高唤醒、高正性；悲伤属于低唤醒，高负性。2 1 2 情绪和情感的关系情感的深度决定着情绪表现的强度，情感的性质决定了在一定情境下情绪表现的形式。情绪发生过程中往往深含着情感因素。情绪更多地与人的物质或生理需要相联系的态度体验。如当人们满足了饥渴需要时会感到高兴，当人们的生命安全受到威胁时会感到恐惧，这些都是人的情绪反应。情感更多地与人的精神或社会需要相联系。只有那种与人的需要有关的事物，才能引起人的情绪和情感。而且，根据人的需要是否获得满足，情绪和情感具有肯定或否定的性质。情绪和情感是人对客观事物的态度的体验，是人的需要是否获得满足的反映，它包括情感过程和情感个性两个层次：( 1 ) 情感过程：情感的具体表现则为情绪和心情两种情感状态，情感状态的变化过程是情感过程最重要的一个方面。心情状态时，激动未平较低，变化缓慢，没有强烈的情网络环境下学习情绪及情绪模型的研究绪表现和明显的情感行为：情绪状态时，激动水平较高变化较快，有强烈的情绪表现和明显的情感行为。从性质上基本的情感状态可分为：高若、愤怒、恐惧、悲哀等。( 2 ) 情感个性：包括需要、欲望、动机、辫趣等个性倾向性和能力、气质、性格、态度等个性心理特征。情感态度表示对人、事、物在态度方面的比较稳定的评价性情感，包括赞同、否定、喜爱、厌恶、兴趣等。情感在气质、性格方面主要体现了情绪体验的强度、情绪状态变化的速度、情绪的稳定性与持久性，以及在同样刺激条件下产生某种情绪的倾向性的大小等。实际上，情绪和情感总是彼此依存，相互交融在一起。稳定的情感是在情绪的基础上形成起来的，同时又通过情绪反应得以表达，因此离开情绪的情感是不存在的。而情绪的变化也往往反映了情感的深度，而且在情绪变化的过程中。常常饱含着情感。2 1 3 情绪的表达情绪虽然是一种内心的态度体验，侣常常伴随着外部表现，如人的| f i i 部表情、身体姿态以及占语表达等。情绪的外部行为特征就叫做表情。表情是人际交往中信息传达、情感交流不可缺少的手段i i 是了解他人主观心理状态的客观指标。借助表情，刊能“察占观色”，在别人的举手投足间洞悉他的内心感受。根据表情的发生部位和方式的不同，可将表情分为面部表庸、体态表情和言语表情。( 1 ) 面部表情。血部表情是通过u 艮、眉、嘴和脸颊部肌肉变化来表现情绪状态。人的眼神变化是面部表情最重要的体现，其次是嘴角和眉头肌肉的变化。一个人喜悦时，眉头舒展，双目含笑，颧肌收缩嘴角上提；悲伤时则双增紧锁两眼呆滞嘴角下垂，愁容满面：愤怒时双眉倒竖，怒目圆睁，颧肌抽搐，嘴角外撇甚至咬牙切齿。图2d 不同情感下为e k m a n 数据库中不同情感( 从左至右，从上至下依次为愤怒、惊恐、惊讶、厌恶、高兴、悲伤) 下的面部表情。国剑国蘑丽晒：懋；固瞄斟24 不同情感f 的面部表情( 2 ) 言语表情。言语表情是指情感发生时个体在语言的声调、节奏和速度等方面的特征。言语表情强调的不是言语的内容，而是语音的高低、强弱，以及语调的变化。体育节网络环境下学习情绪及情绪模型的研究目主持人在比赛的实况解说中，语音尖锐、急促，语调激昂，有时甚至声嘶力竭，渲染出一种紧张而兴奋的情感；当为一个逝去的人致悼词时，用缓慢、低沉的语调更能表达出悲痛的情感。此外，在现实生活中，人们常常会正话反说，或者反话正说，言语表情这时有助于揣摩对方的真正意图。( 3 ) 体态表情。体态表情是身体各部分的表情动作。喜悦时手舞足蹈，悲痛时顿足捶胸，愤怒时双拳紧握，恐惧时手足僵硬，这些躯体和手、足的动作特征，可以真切地流露出一个人的内在情感。在体态表情中，手势是一种重要的表达形式。人们在语言表达中常常需要手势的辅助，有时无法借助言语时，手势就发挥着独特的不可替代的作用。手势表情是通过学习得来的，而且随着不同的社会环境和文化传统而存在差异。表情是情绪的外在体现，所以如果能对人的表情进行识别，