（通信与信息系统专业论文）智能化教学中的情感识别方法研究.pdf

s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f o rt h em e d e g r e ei nc o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m b y l o uy a n c h a o p o s t g r a d u a t ep r o g r a m n a t i o n a le n g i n e e r i n gr e s e a r c hc e n t e rf o re - l e a r n i n g c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：c h e ny i n g y i n g a c a d e m i ct i t l e ：p r o f e s s o r s i g n a t u r e m a y 2 0 11 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：骞隽丕越 日期：护，年罗月；o 日 究工作 个人或 均已在 日 即：研 保留并 借阅； 复制手 翱始胁h 日期：沙年fb ；柏 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程 中的 规定享受相关权益。回童途塞堡窒唇澄蜃! 蝈垒生l 旦二玺；旦三生筮查! 作者签名：骞j i k 趋 日期：p1 年譬月；o 日 l一 钠挑硝 导师签名：r 。习锄引1 日期：p7 ，牟，月；，日 摘要 目前，智能化教学中的情感识别，只是在应用背景不太复杂、人脸姿态固定 ( 即正面) 的情况下才能表现出较好的效果。而智能化教学中并不仅仅局限于这一 特殊情况，情感缺失问题又在一定程度上大大影响了学生的学习效率。因此，如何 结合智能化教学的相关理论，解决教学中的情感缺失问题，提高智能化教学的教学 效果和智能化程度就势在必行。本论文研究了适用于智能化教学的人脸表情识别方 法，改进了传统的主动形状模型( a s m ) 来提取人脸面部特征点；然后采用人脸特征 的几何特性和支持向量机( s v m ) 方法对人脸表情进行识别。从而更有效地解决了智 能化教学中的情感缺失问题，具有重要的研究价值和广泛的市场应用前景。 本文所作的主要工作如下： 1 通过对智能化教学现状的研究，对智能化教学中情感缺失问题进行了讨论， 针对网络教学环境中学习情绪的特点和存在的问题，提出了一个智能化的人脸表情 自动识别的方法。 2 采用改进的a s m 方法提取人脸面部特征点，该方法可应用于智能检测、动 画游戏、视频检索等诸多领域。 3 在表情识别过程中，本文采用面部几何特性和s v m 方法生成表情分类器， 实现对人脸表情的自动分类。 4 对s v m 中有关核函数选取及参数优化的问题作进一步的探讨。基于图像的 几何特征，对常用的线性核函数、多项式核函数及径向核函数通过实验的方法，就 其在交叉验证准确率方面进行比较，其结论可以推广到其它数据集及特征上。 关键词：智能化教学；情感识别；主动形状模型( a s m ) ；支持向量机( s v m ) 2 b u i kah u m a nf a c em o d e lw i t hd i f f e r e n ta n g e lu s i n gt h ei m p r o v e da s mm e t h o d ， w h i c hc a l lb eu s e di nm a n yo t h e ra p p l i c a t i o nf i e l d ss u c ha si n t e l l i g e n td e t e c t i o n , a n i m a t i o ng a m e sa n dv i d e or e t r i e v a l 3 p r o p o s e dap r e c l a s s i f i c a t i o nm e t h o df o rf a c ee x p r e s s i o nr e c o g n i t i o nb a s e do n f a c i a lf e a t u r eg e o m e t r yc h a r a c t e r i s t i c sa n dr e c o g n i z e dt h ef a c i a le x p r e s s i o n sw i t h t h es v m 4 e x p l o r e dt h es v m r e l a t e dc o r ef u n c t i o n ss e l e c t i o na n dp a r a m e t e r so p t i m i z a t i o n b a s e do ni m a g e sg e o m e t r yc h a r a c t e r i s t i c s ，c o n d u c t e de x p e r i m e n t st oc o m p a r e t r a i n i n gt i m e ，p a r a m e t e ro p t i m i z i n gt i m e ，r e c o g n i z i n gt i m ea n dc r o s sv a l i d a t i o n a c c u r a c yf o rf r e q u e n t l yu s e dl i n e a rc o r ef u n c t i o n ，p o l y n o m i a lc o r ef u n c t i o na n d r a d i a lc o r ef u n c t i o n t h e s ec o n c l u s i o n sc a nb ee x t e n d e dt oo t h e rd a t as e t sa n d c h a r a c t e r i s t i e s k e y w o r d s ：i n t e l l i g e n tt e a c h i n g ；e m o t i o n a lr e c o g n i t i o n ；a c t i v es h a p em o d e l s ( a s m ) ； s u p p o r tv e c t o rm a c h i n e s ( s v m ) 1 1 硕士学位论文 m a s t e r st h e s i s 摘要 a b s t r a c t 第1 章绪论 目录 i 1 1 智能化教学现状l 1 1 1 普遍情感理论3 1 1 2 智能化教学中情感缺失的原因分析5 1 2 网络教学环境学习情绪的研究6 1 3 论文研究的理论及现实意义7 1 4 论文的研究内容及论文结构8 第2 章论文相关理论 2 1 情绪基本理论1 0 2 1 1 面部表情特征提取1 2 2 2 表情识别的研究现状13 2 3 人脸表情识别系统1 4 2 4 主动形状模型概述19 2 5 支持向量机理论2 2 2 6 本章小结2 4 第3 章基于改进的a s m 方法的人脸特征点提取。 2 5 3 1 人脸表情数据集2 5 3 1 1 人脸表情数据库介绍。2 5 3 1 2 建立人脸表情数据集2 5 3 2 改进的a s m 方法2 8 3 2 1h a a r 特征2 8 3 2 2a s m 方法中的初始化2 9 3 2 3 特征点模型3 0 3 2 4 基于改进a s m 方法的人脸面部特征点提取3 3 3 3 本章小结3 5 硕士学位论文 m a s t e r s i h e s i s 第4 章人脸情感识别 3 6 4 1 数据预处理3 6 4 2 最佳核函数选取及参数优化3 7 4 2 1 核函数3 7 4 2 2 交叉验证与参数寻优3 9 4 3 人脸表情的自动识别4 1 4 3 1 几何特征4 l 4 3 2 人脸表情识别4 3 4 3 3 实验结果与分析。4 4 4 4 本章小结4 7 第5 章总结与展望。 5 1 本文研究内容及主要工作4 8 5 1 1 主要研究内容4 8 5 1 2 主要工作4 8 5 2 展望4 9 参考文献。 致 5 1 。5 7 f f 、 硕士学位论文 m a s t e r st h e s i s 1 1 智能化教学现状 第1 章绪论 随着信息智能技术的发展，人工智能教育面临着重大挑战和机遇。多媒体计算 机被广泛应用于教育领域，对传统的教学过程产生了极大影响，各种新兴的先进教 学设备纷纷进入课堂，促使教学形式朝着多元化方向发展。 智能化计算机辅助教学系统中综合采用网络、人工智能和多媒体技术进行构 建，与传统计算机辅助教学系统( i n t e l l i g e n c ec o m p u t e r a s s i s t e di n s t r u c t i o n ，简称i c a i ) 有一定区别，其显著特点是其拥有智能化和个性化的教学功能，具有交互性、共享 性、自主性以及效率性等优点。不仅在学习的过程中能够实现人机交互，而且教师 与学生之间还可以通过网络实现教与学的交互。 传统教学媒体主要包括口头语言、板书以及教科书等。随着信息技术的发展， 人工智能在智能化教学系统中得到了广泛的应用。教学中涌现了许多新型教学 媒体，诸如电视、录像、计算机等先进设备。尤其是多媒体技术、网络技术与虚拟 技术的出现，使得教学方式呈现立体化、多通道、远距离、实时以及交互传输的发 展趋势，较大程度上延伸了教学信息的传递方式与空间。现代教学媒体与传统教学 媒体在教学中所发挥的作用并不相排斥，将两者相互结合使用，有益于教学信息的 传递，从而有力的推动教学改革和提高教学效果。 随着教育信息化程度的不断深入，教育行业对智能化教学产品的需求增长迅 速。如将智能计算机辅助教学用于医学教育领域【1 】；虚拟教室作为新型教学媒 体，是计算机、多媒体、网络通信等信息技术、多学科、多领域融合交叉结合 的产物，它是通过计算机网络使用多媒体通讯技术构造的学习环境，可以实现 l 硕士学位论文 m a s t e r st h e s i s 虚拟教室教学监控、多媒体个别化交互式网络学习等功能，允许身处异地的教 师和学生进行大多数教学活动【2 1 。j k l i a n g 等【3 】对于面对面数字教室环境的若 干设计进行了讨论。在世博会中国馆展示的华师大“数字互动教室 里，师生之 间的互动扩展了教师的教学空间，其研发还与数字图书的出版结合在一起，对教 学所用到书籍进行数字化，该系统正在全国校园进行推广【4 】。“台大虚拟教师 软件系统，为使用者创造更人性化、具弹性以及更智能的网上学习系统。在全球华 人计算机教育应用大会中，台湾陈国栋教授也提出在学习系统中引入虚拟教师或虚 拟指导者的角色5 1 。基于移动学习与混合学习理念，美国各大学正在研究将掌上电 脑( p e r s o n a ld i g i t a la s s i s t a n t ，简称p d a ) 用于教学中，当学生的手持设备与老师的 p c 连接时怎样增强测试和笔记功能；同时应用支持单个用户把p d a 作为外部输入 输出设备，并将研究p a d 作为个性化、智能化的前端设备，于其他应用或设备接 口作为未来发展方向，也是智能化教学的一个研究热点1 6 。e c a n d l e 项目，即“基 于网络的数字化学习集成环境电子共同体”，它使用移动技术进行内容提供和交流， 为偏远地区的信息化教育带来了希望。 目前各高校也在进行数字化校园建设。由此可以看出，数字化产业已经由 原来的注重产品价格向着注重产品质量和服务方向转型，尤其是教育领域。教 育涉及到千家万户，教育信息化为人民群众提供公平的受教育机会，解决教育 资源分配不均，满足群众对发展教育的期望，使得教育在更高起点上实现更大 发展。加快教育信息化建设已成为我国教育事业改革与发展的必然选择。 师生之间的相互作用和交互是提高智能化教学质量的关键。在学习过程中，教 育者应当给予学习者更多持续性关注，从而促使师生交流和学生的自主学习得以均 衡发展。在网络化学习、数字化以及信息化学习中，情感缺失问题在智能化教学系 2 统中始终没有得到很好的解决。在传统教学过程中，教师与学生之间能够及时的交 流和沟通，更容易调动起学生的学习情绪和积极性。但是对于网络教学，师生之间 缺乏交流，老师不能及时掌握学生的学习情绪和学习动态，对于学生在学习上出现 倦怠情绪的时候不能及时给予引导和疏通，最终导致学生的学习效率不高。因此， 如何通过理论与实践的相结合的方式，基于网络教学的教学理论，有效弥补智能化 教学系统中的情感缺失问题，提高其教学效果和智能化程度就势在必行。 教育信息化已成为促进教育改革和发展，推动教育现代化进程的重要支撑。 教育信息化系统正向着数字化、智能化等方面发展，实现更多个性化需求是教育 行业信息化的发展趋势。其中，智能化教学改变了传统的教学模式，对教育观念 和教学思想的转变也起到促进作用，进而提高教育发展和管理手段的现代化。 总体来看，我国教育信息化建设取得了一定进展，但同时面临着一系列 突出的问题。例如信息化基础设施建设仍处于低水平状态，缺乏统筹有效的 投入机制；信息化基础设施不能有效满足各级各类教育的发展需求等。教育 信息化需要建设配套的信息化教学环境，智能化作为教育信息化的基本特征之一 也是教育信息化过程中重点需要解决的问题，随着教育信息化工作不断深入，智 能化教学也成为学校提高教学、科研及管理水平的重要手段。如何能更好地实现 智能化教学中的交互功能将是教育信息化未来发展趋势。计算机技术以及网络技 术的不断进步，将为实现高交互性的智能化教学系统提供技术保障。 1 1 1 普遍情感理论 情感具有某些特殊差异性，但是基本的情感主要受生物因素所支配，所以情感 表达与感知的方式都具有普遍性和相似性。 1 _ _ _ _ _ _ 。1 硕士学位论炙 m a s t e r st h e s i s 从教育者的角度出发，教育者对受教育者的教育和影响是通过情绪来表达的， 情感具有动力性、情境性以及感染性等特点，在网络教育中引入情感教学，有助于 提高教学效果啊。 情感可以用来作为一种教育手段，它对学习者的认知活动可以起到一定的驱动 作用，不仅可以推动还可以制动。在教育过程中，教育者可以对受教育者进行赞扬 和欣赏，这样可以促进学习者的学习效率以及活动能力。反之，教育者对受教育者 进行批评或者憎恶的态度会制动受教育者的认知、情感和动作等各方面的学习行 为。基于网络教育环境下，教育者如果更多的关注学习者的学习状态，会促使学习 者感到更多情感上的关怀，从而对推动自身的学习行为，以便获得更好的学习效果。 情感还具有感染性的特点，即人与人之间的情感会相互影响，会带来彼此相同 的情绪体验。通过语言和表情动作可以实现情感的感染。在教学过程中，教者的表 情和语调不仅能够表达认知，同时还感染着受教育者，传递着教者的感情，两者之 间会出现彼此相同的情绪体验。比如网络教育的语文教学中，教师以悲伤或快乐的 语调再配合相关的表情，学生就会受到感染，产生相类似的情感。又如，网络课件 中的笑脸图象会感染学习者产生愉悦的情绪。 再有，对学习者而言，其自身学习状态和学习效果也要受到情绪的影响。在网 络教育的学习情境中，学习者的个性化学习更为突出，由于学习者可以自由选择学 习内容，自由制定学习进度。通常情况下，个别化学习较依赖于其自身的求知欲、 好奇心、兴趣和爱好等。因此，学习者自身情感对网络教育中的学习过程有较大影 响。比如，愉快充实的情绪能增加学习兴趣，增强对学习内容的注意和克服困难的 信心。 4 习环境中，当学习者处于良好的情绪状态，其情感积 知觉、注意、记忆以及思维等各种认知活动。因此， 一个重要组成部分。 失的原因分析 育中面对面的教学模式。在教学活动中，教师与学习 者之间缺乏言语交流、表情交流以及动作交流，从而会缺少真实教学情境中的感受 和情感。造成智能化教学中情感缺失的原因有以下几点： 首先，缺乏将情感作为教育目标的网络教育思想。情感教育有别于认知教育， 它提倡在人的发展中应将情感的发展放在重要的位置，对其赋予教育的力量。 其次，由于空间上的距离，难以形成良好的学习氛围和校园文化氛围。在现代 远程教育中，由于教师和学生受地理条件的限制，学习者还会受到所处的学习场所 等方面因素的干扰，不利于好的学习氛围的形成，也无法感受到学校优良的校园文 化和优良的学风，因此较难维持学生的学习态度踟。 最后，以情感为手段的网络教育方式较少。网络教育的环境有别于真实的环境， 网络教育中缺少人性化的互动环境。这样的教育环境中，师生之间缺乏眼神、表情、 言语以及动作的情感交流，学习者只是在独立环境中通过网络与外界交流，不必担 心教师的点名提问，也不会出现因为回答不出问题而带来的尴尬情感；无法看到教 师鼓励或批评的眼神，进而缺少学习动力，难以严格要求自己。在这种独立的教学 环境中，教学手段缺乏真实情感。 总体看来，目前正处于发展阶段的智能化教学，还存在着忽视情感的教育倾向， 值得注意的是，在其蓬勃发展的同时，不能忽视个人的发展，对于整个人的全面发 5 s 展应当引起重视，尤其是不提倡只重视智育，将学习过程仅仅当作是学生获得知识、 技能和发展智力的一个过程，人的价值观、态度体系以及情感反应对学习的发展起 到推动作用，这点是不容忽视的。情感作为网络教育中不可或缺的组成部分，应该 充分利用计算机网络、多媒体技术和通讯等各种技术，将传统教学和情感教育进行 有机结合，实现将情感教育更好的融入网络教育中。 1 2 网络教学环境学习情绪的研究 北京师范大学的余胜泉院1 0 l 教授提出远程教学系统必须能针对不同学习能力的 学习者提供不同形式的教学，即根据学习者的个别能力特征、动态呈现与学习者当 前学习能力最相关的基于适应性教学内容。陈肖生【1 通过问卷调查进行了实证性研 究，提出了我国当前网络教育中的学习适应性现状。 程响林【1 2 】将学习情绪分为中性、高兴、生气、恐惧、悲伤等五种，使用贝叶斯 网络得到学习情绪分类模型，用专注度表示每种情绪的程度，即用每种学习情绪所 对应的强度来代表该情绪的类型。采用情绪编号、情绪类型以及情绪强度来表示情 绪，其中又将情绪强度分为三个等级。 张延引入趋避度和振奋度来衡量学习者是否对学习内容感兴趣。其中，趋避 度通过对获得的脸部区域面积与整个图像窗口的面积之比来判断，如果检测获得的 人脸轮廓变大，其比值就越大，则证明学习者对内容较感兴趣，其趋避度变大，反 之趋避度变小，证明学习者可能出现厌烦感，对学习内容不感兴趣。振奋度为学习 者的眼帘距离与眼睛区域的上边( 或者下边) 之比，当学习者专心学习时，眼帘间 距会增大，其比值也就增大，振奋度就变大，反之学习者对所学内容不专注时，眼 帘间距就会变小，振奋度值就变小。该方法是通过研究学习者面部和屏幕之间的距 6 硕士学位论文 m a s t e r st h e s i s 离、以及学习者在专注情况下眼睛表现出来的状态来创建学习情绪模型，其优点是 通过对学习者当前学习状态图片的检测较容易来获得这些特征。 1 3 论文研究的理论及现实意义 面部表情识别( f a c ee x p r e s s i o nr e c o g n i t i o n ，简称f e r ) 是人工智能领域的一个重 要研究课题，机器自动面部表情识别能够进一步增强人机交互的友好性和智能性， 是计算机视觉研究的重要组成部分。人脸表情识别有着广泛的应用前景，例如：在 多模式人机交互界面( m m h c d 中，表情与声音、视线、体态等结合起来可以获得更 高效、更人性化的人机交流。此外，在人脸图像实时传输，人脸图像合成与动画， 面部神经瘫痪诊断，智能机器人，智能监控等多个领域都有着广泛的应用。 随着计算机技术和通讯技术的不断发展，对各地区网络的普及，这些先进的技 术也在不断影响着人们的教学以及学习方式，它缩短了时间和空间障碍，使得学习 成本降低。同时，改变了学生的认知过程，给教与学概念赋予了新的内容，它对教 育观念起到推动作用，改变了现有教育模式，对现有的教学方法起到完善作用。 情感作为教学活动中的一种重要的非智力因素，它能够促进学习者的学习动 机、创设优良的教学情境、推动学习者的认知和人格的健康发展，对于传统智能网 络教学系统，它使得在认知层面上的智能化和个性化教学得以在网络环境下实现。 但其也存在严重缺陷，由于它对学生的学习情绪无法感知，难以实现情感方面的个 性化教育。张延f j 3 】认为远程教育虽然具有时空自由、资源共享、系统开放、便于协 作等优点，但是对于远程教育中的教师和学生之间的交流，缺乏及时性，阻碍了它 们之间面对面地知识交流会让经验交流。在传统的课堂教学环境中，教师可以及时 掌握学生的学习状态，教师的一举一动，也会影响学生的学习情绪。远程教学过程 7 硕士学位论文 m a s t e r st t l e s i s 间缺乏面对面的情感交流，会造成面部表情、语音和语调所带来的情感 。远程教育中，由于情感信息的缺失影响到师生之间的情感交互。因而， 境下建立具有情感教学功能的智能网络教学系统，将认知与情感相互结 络教学系统研究的一个重大课题。 ，大多数算法是在应用背景不太复杂、人脸姿态固定的情况下能够表现 效果，对于复杂背景和人脸姿态未知情况下的人脸表情识别，现阶段仍 是个研究难题，而且在检测速度和精度上很难达到两全的效果。因此，对于复杂背 景和多姿态情况下的人脸表情识别仍将是今后该领域研究的主题。 在智能化教学中，根据构建的表情识别模型，可以对学习者的学习状态进行分 析，针对学习者学习情绪的不同进行智能化调整。但是有些情况下，学习者脸部带 有一定角度的偏转，所以，对于多姿态的面部表情识别尤为重要。对于计算机，正 面人脸与非正面人脸提供的人脸信息不同。同时，表情变化时导致五官移位也增加 了识别问题的复杂化。对人脸的表情识别有很高的应用价值，尤其是在智能化教学、 定位和跟踪、电脑游戏、医疗及重要岗位上的监控系统设备中有着重要的研究价值 以及广泛的市场应用前景。 1 4 论文的研究内容及论文结构 第1 章：针对目前智能化教学的现状，对智能化教学中情感缺失问题的进行分 析，结合在智能化教学中使用情感识别的现实意义，叙述了本文的研究内容。 第2 章：首先介绍了情绪的基本理论、面部表情特征，然后对人脸表情识别的 研究作了综述。最后，介绍了主动形状模型的相关基本概念，并结合统计学习理论， 分析了支持向量机理论。 硕士学位论炙 m a s t e r st h e s i s 第3 章：首先，对目前常用人脸表情数据库进行了介绍，并创建适用于本研究 的人脸表情数据集，训练相应的人脸特征形状模型。然后，改进了传统的a s m 方 法自动提取人脸面部特征点。 第4 章：基于图像的几何特征，对常用的线性核函数、多项式核函数及径向核 函数通过实验的方法，对s v m 中有关核函数选取及参数优化的问题作进一步的探 讨。采用几何特性和s v m 方法构建表情识别分类器，最终实现对人脸表情的自动 分类。 第5 章：对本文工作进行总结，对本文的下一步研究作展望。 9 做的研究报告中提出，在感情表露中，7 来自言词，3 8 来自声音，5 5 来着面部 表情。由此可以看出，面部表情在感情表露中起到重要作用。 随着社会的进步和发展，人与人之间的合作和交流也日趋频繁与复杂，相互之 间的利益联系也逐渐变的紧密和多变，这就要求每个人需要通过情感表达来及时、 准确和有效地向他人展示自己的价值关系，以期获得与他人有效的合作，与此同时， 每个人又通过及时准确有效的识别他人的情感表达来了解他人的价值关系，以便能 取得与他人更好的合作。由此可以看出，面部表情的发展在根本上源于价值关系的 发展，人类价值关系的多样性和复杂性也造就了面部表情的丰富性。 任何一种面部表情都是由面部肌肉整体活动所致，但面部某些特定部位的肌肉 对于表达某些特殊情感的作用更明显。一般情况下，表现愉悦的关键部位是嘴、颊、 眉、额：表现厌恶的是鼻、颊、嘴；表现悲伤的是眉、额、眼睛及眼睑表现恐惧的 是眼睛和眼睑。 1 9 7 1 年c e 伊扎德【1 5 1 n 8 种基本表情的照片，对欧美和亚洲8 个国家的被试作情 绪归类测验，即让被试按照片上人物的面部表情，分别把照片归在兴趣一激动、愉 快一欢乐等8 类中，其结果显示，归类具有很高的相关性。实验表明，人类的基本 情绪，如喜、怒、哀、惧等的表现具有全人类的性质。 1 0 于三维空间中。 基于基本情绪的维度空间论，r p l u t c h i k 1 刀提出了著名的三维情绪模型。该情绪 模型以强度、相似性与两级性对情绪进行划分，反映了情绪在轻度上的变化和相互 之间的对立性质。但是，使用最多的是执着于专研面部表情与内心真相之间关系的 心理学家e k m a n 1 8 1 提出的6 种基本情感，这六种基本情感受到文化差异的影响较小， 由这些基本感情可以构成其它情感。后来研究人员在其基础上又增加了“中性“表 情。 表2 1 情绪分类表 学者数量( 类) 表情定义 中屑 4 喜、怒、哀、乐 左传 6 好、恶、喜、怒、衷、乐 安静、喜悦、愤怒、哀怜、悲痛、忧愁、 林传鼎 l g 愤急、烦闷、恐惧、惊骇、恭敬、抚爱、 憎恶、贪欲、嫉妒、傲慢、惭隗、耻辱 狂喜、警惕、悲痛、惊奇、狂怒、恐瞑、 r p l u t c h i k 8 接受和憎恨 兴奋、喜悦、惊骇、悲痛、憎恶、愤怒、 c a 立o l le i z a r d9 羞耻、恐惧和傲慢 e l , a a n & f r ie s e a 6 愤怒、厌恶、恐惧、高兴、悲伤、惊奇 ( a ) 高兴 ( b ) 厌恶 ( c ) 中性( d ) 悲伤 ( e ) 惊奇 ( f ) 愤怒 ( g ) 恐惧 图2 1 基本表情 通过对目前适用于教学中情绪分类的研究，本文中将对兴趣、愉快、困惑以及 厌倦等4 种表情进行研究 2 1 1 面部表情特征提取 1 、特征分类 表情识别方法发展的同时，有关人脸特征的提取方面也在不断发展。通过对相 关文献的研究，从不同的角度对人脸特征进行了分类，包括：对于几何特征主要是 从面部的主要器官的位置、大小及相对位置出发，提取面部的特征，因而受光照和 肤色的影响小，同时，由于特征数量相对较少，所以具有维度小的特点。但是，存 在特征提取的过程中准确性难把握，提取信息误差大的缺点；纹理特征针对整个人 1 2 年代开始，m a s e 和p e n t l a n d 2 1 1 等使用光流法对面部表情进行识别，开启了面部表 情识别的新时代。 b p 网络是众多网络模型中使用最多的，由于它在特征空间分割时，采用剧变 判别边界的方法，当样本中的特征空间出现交叉情况时，不便对特征空间交叉样本 的隶属度值作出正确的估计2 2 1 。面部表情会随着情绪的变动出现诸如细微的和强烈 的等多种表现形式，使得面部表情的特征向量会出现交叉和易混淆的情况，如果采 用传统的b p 网络来识别，并不能取得较好的识别效果。美国的k a k 在其提出的量 子神经网络理论基础上，通过相关研究认为神经元的信息处理具有【2 3 】量子特性，并 把该理论用于人工智能领域。k a r a y i a n n i s 等人在量子神经网络方面做了大量的工 作，提出了基于多层激励函数的量子神经网络【2 4 2 5 1 ，为了使网络产生一种固有的模 糊性，将多个传统激励函数叠加，用来作为隐层量子神经元的激励函数，在其后的 别方面。李俊华【2 6 1 等遵循量子 函数的量子神经网络和多级分 情库进行测试，获得了较好的 ) 是人工智能领域的一个重要 步增强人机交互的友好性和智 分。人脸表情识别系统通常包 2 2 所示。目前，系统中的相 表恬 原始特征 特征降维人脸表 人脸检测与定位 特征 和提取 特征_ - 悟分类 捏取 生产分解 图2 2 人脸表情识别系统 对于该f e r 系统，首先需要对人脸进行检测与定位，即确定人脸在图像中的位 置及尺寸。接着对人脸图像或图像序列进行表情特征提取，即提取能够表征表情本 质的信息。在提取表情特征信息过程中，需要对特征进行相关处理，如对特征进行 降维与分解等。原因是避免由高位数据样本造成的维数危机，即在实际处理过程中， 较大的表情信息特征维数会带来较多的相关性以及冗余，这样不利于计算机的处 理，同时还会影响分类的准确性。最后是通过对特征点之间的关系进行分析，对输 1 4 7 = 、 硕士学位论文 m a s t e r st h e s l s 入的面部表情实现分类，关于表情的分类我们将在论文的后续章节进行详细的阐 述。 人脸检测不是本论文的研究重点，我们将采用目前成熟的v i o l a 等1 2 7 二8 j 人脸检 测方法，下面论文将对f e r 系统中的表情特征提取和表情分类两个环节做介绍： 1 人脸特征提取方法研究 特征是数字图像中我们将研究的部分，它是众多计算机图像分析方法的基础。 特征提取是计算机视觉和图像处理中的一个重要概念。它是指使用计算机对图像 信息进行提取，决定每个图像的点是否属于一个图像特征，将图像上的点分为 不同的子集，通常情况下，这些子集属于孤立的点、连续的曲线或者连续的区 域等。 刘晓曼等【2 9 1 通过研究总结出，要想获得较好的表情特征提取效果应该具 备相关条件，如能够完整的表示出人脸表情的本质特征、消除图片中噪声、光 照以及其它与表情不相关的各种干扰信息、数据的表示形式要紧凑、不同类别 表情的特征之间要有较好的区分性。 按照使用图像的类型来分，人脸表情特征提取的方法可分为对静态图像和序列 图像中的人脸表情特征提取【3 0 1 。 1 ) 对静态图像中人脸特征数据的提取 陈锋军等f 3 1 1 在实际研究中，综合的将图像处理知识运用予表情识别技术，提出 了”三角形算法”及其改进算法识别人脸的表情。p a n t i c 等【3 2 】对静态人脸图像进行表 情识别，分别对正面人脸和侧面人脸提取特征点，采用一致性检验方法给每个特征 点赋予一个确定因子c f ，通过对c f 进行比较，从多个检测器的信息中获得最准确 的检测结果。 1 5 硕士学位论文 m a s t e r st h e s i s 2 ) 基于外貌特征的特征提取中经典的方法包括：g a b o r 小波方法和p c a 法。外 貌特征中的g a b o r 特征能够很好的表示信号在局部时间和局部频带上的频谱信息， 能够有效的增强图像的低层特征。 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，简称p c a ) ，主要用于数据 降维，即将高维数据投影到较低维空间。a n d r e wj c a l d e r 3 3 , 3 4 等对将主元分析 应用于人脸表情识别，从识别理论和社会科学两个角度说明了其应用的可行性 和有效性。g i a n l u c a 3 5 1 等采用整体p c a 方法，在实验的过程中使用欧式距离， 通过选取前3 0 个主分量可以获得7 9 3 的识别率。文献3 6 1 使用子空间法与概率 模型相结合的方法识别表情及角度变化的人脸，虽然使用p c a 增加了计算量与计 算复杂度，但在算法复杂度及识别率方面具有较高的优越性。针对y a n g 等【3 7 】的二 维p c a 算法l i uk e l 3 8 】等提出了基于图像矩阵的二维鉴别分析方法，有效克服了标 准p c a 算法维数大、计算复杂的缺点。李春明等【3 9 1 采用二维p c a 方法提取特征向 量，将二维p c a 算法与统计算法结合，对于多角度不同表情下的人脸，在降低计 算复杂的同时提高了识别率。 3 ) 基于混合特征的方法 混合特征方法中常用的方法包括：基于模型的方法等。主动形状模型( a s m ) 4 0 , 4 、主动表观模型( a c t i v ea p p e a r a n c em o d e l ，简称a a m ) 、点分布模型( p o i n t d i s t r i b u t i o nm o d e l ，简称p d m ) 是当前广泛应用的人脸特征提取方法，它可以自动 化地对可变性目标的形状和纹理特征进行提取，并恢复目标图像的结构从而更好地 理解图像。张浩等f 4 2 】采用全变分模型对图像进行光照预处理，通过对基于反射系数 图的特征纹理建模来实现特征点定位。在可变光照影响下，提高了a a m 的人脸特 征点搜索与定位算法，解决了定位精度和鲁棒性下降的问题。苏亚【4 3 1 将a a m 与多 1 6 ，有效地提高基于表观的年龄估计的精度。鉴于几何 构的变化，外貌特征可以提取局部的细微变化，可以 成混合特征来完成表情识别。t i a n 删中通过将几何特 特征。文献中是使用几何特征与局部区域的g a b o r 情特征。文献【蛔提出在表情识别中使用多种特征融合 混合方法是一种基于特征的方法，具有较好的灵活性。与基于外貌特征的方法 相比，通过基于模型的方法提取的人脸特征参数更可靠，但也存在计算复杂和初始 点获取困难的问题。 4 ) 基于序列特征的方法 姚伟等4 刀表情识别时使用g a b o r 特征的经典方法有弹性图匹配技术、g a b o r 小 波网络等。g a b o r 小波变换作为一种重要的空频分析工具，在时域和频域里同时具 有良好的局部特性，它的变换系数具有较好的视觉特性和生物学背景，能够在时域 或频域逐渐细化信号高频部分，因而可以对信号任意细节进行聚焦，被广泛用于图 像处理和模式识别领域。通过g a b o r 小波变换提取的表情特征具有对光照不敏感的 优点，叶敬福等4 8 1 针对表情信息的静态灰度图像提出了一种基于g a b o r 小波变换的 人脸表情特征提取算法。首先对表情信息的静态灰度图像预处理，然后对表情子区 域执行g a b o r 小波变换，提取灰度图像中的表情特征矢量，然后使用表情子图像构 建表情特征弹性图。通过对不同光照条件下的测试者的6 种基本表情进行表情特征 提取，通过对实验结果的分析与比较，表明g a b o r 小波变换不仅能够有效地提取与 表情变化有关的特征，还对屏蔽光照变化及个人特征差异的影响也很有效。 赵永嘉等 4 9 基于点分布模型的方法还可通过用点分布模型描述手形变化，实 1 7 ： 硕士学位论文 m a s t e r st h e s i s 现对可变形手势的自动匹配，用于手势的实时跟踪。a s m 5 0 是一种经典的用于形 状建模和特征提取的方法，优点在于允许一定程度的形状变化而且保证变化后的形 状代表某一类物体或结构。 李晓雨等在基于光流特征提取的方法通过基于贡献率的k l 变换对特征进行 压缩，较好的实现对表情视频序列的分割。 刘松等【5 2 】采用局部特征和整体特征相融合( 混合) 的方法对人脸面部表情进行 特征提取，通过f i s h e r 线性判别( f l d ) 提取面部表情的整体特征，通过融合的方 法有效的提高了识别率。张国印等【5 3 】提出了一种基于局部和全局特征的特征提取算 法，该算法利用p c a 能较好地表现原数据集，该算法还对l p p 进行了改进，提出 了一种更加有利于分类的有监督局部保持投影算法。 对于基于静态图片的表情识别，由于其识别的表情类型较单一，在数据源获取 中往往过于人为化，随着人脸表情识别技术的发展，由于，表情是一个动态变化的 过程，图像序列中的表情变化往往是突然的，表情持续时间也不确定。基于视频序 列的动态表情特征提取是对表情图像序列进行处理，能够很好的反映表情本身的变 化，有利于获得更精确和鲁棒的识别效果。但是，使用动态方法对视频序列中的每 一帧图像处理时，计算量相对较大，难满足系统的实时性要求。余棉水等【跚基于 l u c a s k a n a d e 方法【5 5 j 对动态表情序列中的特征点进行跟踪，并实现对该序列特征向 量的提取。光流模型( o p t i c a lf l o wm o d e l s ) 常用于对动态表情特征的提取，b a r t l e t t 等【5 6 】通过提取图像多尺度、多方向的g a b o r 特征，然后引入s v m 进行分类；王宇 博等【5 刀使用图像的h a a r 1 i k e 特征，然后采用a d a b o o s t 方法实现表情分类；徐文晖 等5 8 1 基于k n n s v m 算法，提出了一种局部s v m 分类机制，有效的提高了对基于 视频列的表情识别的精度。 l 、h _ ， 硕士学位论炙 m a s t e r st h e s i s 2 人脸表情识别方法分类 基于模板的匹配方法是对每一个待识别表情建立一个模板，将待测表情与建好 的表情模板进行匹配，选择匹配度最高的表情作为待测表情的分类结果。l a n i t i s 5 9 】 利用人脸中显著特征点构建可变形模型，通过对特征点的相互位置与形状的测量结 果来完成对表情的识别。e s s a 等6 川在t e r z o p o u l o 6 1 】的基础之上，基于解剖学构建了 可用于识别和人脸表情合成的人脸模型。 神经网络方法在模式识别领域应用很广泛，其中，正向传播是检查输出层的实 际输出与期望的输出是否相符，如果不符，转入反向传播算法训练人工神经网络， 对于输入的脸部图像使用输入层的神经元提取与其对应的亮度分布数据，输出神经 元则对应6 种基本表情类别。只要待识别的模式具有一定的差异，神经网络就可以 使用自适应聚类学习的方式识别出不同的类别，所以神经网络具有较好的自适应和 自组织学习能力。但是，使用神经网络方法对于自然表情进行分类，它训练过程的 工作量会非常大。 基于概率模型方法对表情图像的参数分布模型进行估计，通过计算待识别表情 在各个类中的概率，分类器会将最大概率的类别当作输出的识别类别，如b a y s 决 策。对于h m m 统计模型，它常用来对动态过程时间序列进行建模，对任意长度的 时序都适合，拥有较好的时序模式分类能力。 在机器学习中常要用到分类，支持向量机s v m ( s u p p o r t v e c t o r m a c h i n e s ) 就 是一种监督式的学习方法。本文即使用该方法构建待偏转角度人脸的表情分类器。 2 4 主动形状模型概述 主动形状模型( a c t i v es h a p em o d e l s ，简称a s m ) 和主动外观模型( a c t i b e 1 9 f ：- 、 硕士学位论文 m a s t e r st l l e s i s a p p e a r a n c em o d e l s ，简称a a m ) 是c o o t e s 等川提出的两种较经典的形状特征提取 算法。对于模式识别和计算机视觉领域，目标对象的准确定位和特征配准是非常重 要的，因此，研究人员提出了很多的方法，相比较而言，a s m 与a a m 方法获得的 匹配效果较好，研究者对这两种模型又做了不断的改进。 1 a s m 基本概念 由于a s m 是基于关键特征点的点分布模型，所以需要对面部特征点进行标定。 对于面部特征点的学习集合 上= ( ，s ，) f = 1 ，m ；s ，= ( x ? ，y 7 ，y 7 ) r 公式2 1 其中，m 为训练样本的个数，是选取的特征点个数，j ，为三中的形状向量， 首先在训练图像上定义个关键特征点，通过人机交互的方式，可以获得这个