（信号与信息处理专业论文）基于禁忌搜索算法的肌电信号情感状态识别研究.pdf

捅要 基于禁忌搜索算法的肌电信号情感状态识别 研究 信号与信息处理专业硕士研究生邱红 指导教师刘光远教授 摘要 要让计算机能与人进行情感交流，获取与识别情感信号时基础也非常重要， 本文侧重于研究这两项。情感信号的获取主要是采用外界刺激，然后采集人情感 变化的信号。情感识别包括肢体情感识别、面部情感识别、语音识别、生理信号 识别等。情感识别的一个重要研究领域是生理信号，生理信号不容易受主观意识 的控制，从而能较真实客观的反应出人的情感状态和变化。采用生理信号进行情 感识别然后建立情感识别模型，通过该模型能使计算机具有人的识别、生成情感 特征的能力，能实现人机交流。 经前人的研究发现，采用生理信号中的肌电( e m g ) 信号、心电( e c g ) 信号、 脉搏( p v p ) 信号、呼吸信号( r s p ) 和皮肤电( g s r ) 信号进行情感识别是可行的。 而某些不同的情感伴有不同的肌肉收缩，从而肌电信号可以进行情感识别。文中 对高兴( j o y ) 、悲伤( g r i e f ) 、惊奇( s u r p r i s e ) 、愤怒( a n g r y ) 、恐惧( f e a r ) 和厌恶( d is g u s t ) 进行情感识别。本文进行情感识别过程包括： ( 1 ) 利用电影片段激发被试的情感后，采用美国公司提供的数据采集多导生 理记录仪b i o p a cm p l 5 0 和两台p c 机进行肌电信号高兴、悲伤、惊奇、愤怒、恐 惧和厌恶六种情感的数据采集，并且根据被试填写的问卷和对数据的分析，去除 畸形和无效的数据并建立原始数据库。 ( 2 ) 情感肌电信号特征集的获取：首先选定根据被试问卷填写和主试的记 录选取有效激发的情感肌电信号，进行下采样和数据的归一化处理，然后针对 肌电信号的特点，用小波变换的方法对肌电信号进行消躁处理，最后提取出1 2 6 种信息特征( 包括时域统计特征，小波重构系数统计特征) 形成情感肌电信号 的原始特征集。 ( 3 ) 由于原始特征维数过多，对情感计算识别模型建立带来了“维数灾难 ， 并且其中含有大量的冗余和相关特征，这些特征对情感识别模型的建立没有贡献， 为了得到有效的特征建立情感识别模型，需要进行特征选择。特征选择是一个n p 难问题，如果采用穷举法，那么时间复杂度会很大，计算速度较慢，所以必须找 到一个计算速度较快、容易被广泛应用的算法进行该组合优化问题。文中采用的 特征选择算法是两阶段算法：第一阶段，采用相关性分析方法去除原始特征集中 西南大学硕十学位论文 的高相关度特征，实现原始特征集得降维；第二阶段，采用智能优化算法中的禁 忌搜索算法，禁忌搜索算法具有很好的爬山能力和较好的平衡集中和分散搜索能 力，被广泛应用于组合优化、模糊调度、背包和数据挖掘等问题中，并将这些问 题很好的解决。但是基本的禁忌搜索算法存在对初始解和领域结构有很大的依赖 性，所以本文提出一改进的禁忌搜索算法，利用改进的禁忌搜索算法选出最能代 表肌电信号情感反应的特征子集，用f i s h e r 分类器对高兴、惊奇、厌恶、悲伤、 愤怒和恐惧六种情感进行分类。 实验结果表明： ( 1 ) 采用改进的禁忌搜索算法克服了基本禁忌搜索算法对初始解和领域结构 的依赖性，并将其与f i s h e r 分类器结合得到的特征子集维数降低，而且识别率升 高，说明改进的禁忌搜索算法运用于肌电信号的特征子集选择是可行的。 ( 2 ) 将改进的禁忌搜索算法运用于相关性分析去除高度相关的特征后的特征 子集，得到的特征子集对分类的识别率没有降低的情感下，特征子集的维数明显 降低，而且将改进的禁忌搜索算法运行多次后得到的解更加稳定，每次选出的特 征相似度很大，说明采用两阶段特征选择算法可以选出有利于情感识别模型建立 的有效特征子集。 关键字：特征选择：情感识别：肌电信号：禁忌搜索算法：相关性分析 基金项目：国家自然科学基金( t h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n au n d e rg r a n tn o 6 0 8 7 31 4 3 ) ；教 育部科学技术研究重大项目资助( s u p p o r t e db yt h ek e yg r a n tp 啊i e co f c h i n e s em i n i s t r yo f e d u c a t i o n n o 3 1 1 0 1 2 ) a o s t r a c t t h er e s e a r c ho fa f f e c t i v es t a t er e c o g n i t i o n f r o me l e c t r o m y o g r a p h y s i g n a lb a s e d o n t a b us e a r c h a l g o r i t h m m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g a u t h o r ：c t i uh o n g s u p e r v i s o r ：p r o f k i ug u a n g y u a n a b s t r a c t i ti sv e r yi m p o r t a n tt h a ta c h i e v ea n dr e c o g n i z ee m o t i o ns i g n a l sw h i c ha sab a s i sf o r a ne m o t i o n a lc o m m u n i c a t i o nb e t w e e nc o m p u t e ra n dh u m a n t h i sp a p e rf o c u s e so ns t u d y o fa c h i e v i n ga n dr e c o g n i z i n gt h e s et w op o i n t s a c c e s st oe m o t i o n a ls i g n a l sm a i n l y t h r o u g hm a k i n ge x t e r n a ls t i m u l a t ee m o t i o n a lo fs u b j e c t s a f f e c t i v er e c o g n i t i o ni n c l u d e l i m be m o t i o nr e c o g n i t i o n ，f a c i a le m o t i o nr e c o g n i t i o n ，s p e e c hr e c o g n i t i o n ，p h y s i o l o g i c a l s i g n a lr e c o g n i t i o ne t c o n eo ft h ec m c i a la r e ao fe m o t i o nr e c o g n i t i o ni sp h y s i o l o g i c a l s i g n a lr e c o g n i t i o n ，p h y s i o l o g i c a ls i g n a l s a r en o ts u s c e p t i b l et ob ec o n t r o l l e db y s u b j e c t i v ec o n s c i o u s ，s ot h a ti tc a l lm o r er e a l i s t i c l ya n do b j e c t i v e l yr e s p o n s et op e r s o n s e m o t i o n a ls t a t ea n dc h a n g e s p h y s i o l o g i c a ls i g n a l sw i l lb ee m p l o y e di n t oe m o t i o n a l r e c o g n i t i o nt h e ne m o t i o n a lr e c o g n i t i o nm o d e lw i l lb ee s t a b l i s h e d ，t h r o u g ht h i sm o d e l ， c o m p m e rw i l lh a v et h ea b i l i t i e so fr e c o g n i z i n ga n dg e n e r a t i n ge m o t i o n a lf e a t u r e sa s h u m a n f i n a l l yt h em a n - m a c h i n ec o m m u n i c a t i o nw i l lb ec o m et r u e p r e v i o u sr e s e a r c hf o u n dt h a ti ti sf e a s i b l et oa d o p te l e c t r o m y o g r a p h y ( e m g ) s i g n a l s ， e l e c t r o c a r d i o g r a m ( e c g ) s i g r l a l ，p u l s e ( p v p ) s i g n m ，r e s p i r a t o r ys i g n a l ( r s p ) a n ds k i n c o n d u c t a n c e ( g s r ) s i g n a li nt h ep h y s i o l o g i c a ls i g n a l s e m gs i g n a lr e f l e c t st h es t a t e so f n e r v ea n dm u s c l e ，a n ds h o w st h em o o dc h a n g e si ns o m er e s p e c t s t h e r ei sg r e a t s i g n i f i c a n c et oa p p l ye m gs i g n a l st o a f f e c tr e c o g n i t i o n t h i ss t u d yi s0 1 1t h ea f f e c t r e c o g n i t i o nb a s e do ne l e c t r o m y o g r a p h y ( e m g ) s i g n a lf o r j o y ，g r i e l , s u r p r i s e ，a n g r y ， f e a ra n dd i s g u s t t h ef o l l o w i n gw o r ki sd i s c u s s e di nt h i sp a p e r ： ( 1 ) v i d e oc l i p sa r eu s e da sm a t e r i a l st oe v o k es i xe m o t i o n s ( s u r p d s e ，j o y , d i s g u s t ， 鲥e l , f e a ra n da n g e r ) i nt h ee x p e r i m e n t e m gs i g n a l sa r ec o l l e c t e db yt h e m u l t i c h a n n e lp h y s i o l o g i c a lr e c o r d e rm p15 0 i no r d e rt oe x t r a c tv a l i dd a t a , a t t h ee n do fe a c hm o v i ec l i p ，t h es u b j e c ti sa s k e dt of i l li naq u e s t i o n n a i r ew h i c h i i i 两南大学硕十学位论文 ! i l l 量曼曼曼曼曼曼舅舅曼曼曼曼量曼曼曼吕曼曼曼量皇曼皇量皇曼量曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼鼍詈曼曼曼量量曼曼量舅量量量曼曼曼皇量量量曼量曼曼量曼皇笪 r e f l e c t st h ef e e l i n g so fw a t c h i n gt h ev i d e o ( 2 ) t h e nw a v e l e tt r a n s f o r mm e t h o dw a su s e df o rd e n o i s e de f f e c t i v ee m gs i g n a l s ， a f t e rn o i s er e d u c t i o n , s t a t i s t i c a lf e a t u r e si nt i m e d o m a i nw e r eo b t a i n e d ， d a u b e c h i e s 5w a v e l e tw i mo r t h o g o n a l i t ya n dc o m p a c ts u p p o r tw a sa d o p t e da s b a s i cf u n c t i o nt od o5 - l a y e rd e c o m p o s i t i o no fe m gs i g n a la f t e rn o i s e ，t h e n2 1 s t a t i s t i c a lf e a t u r e so fe a c hl a y e r sd e t a i lc o e f f i c i e n t sw e r ee x t r a c t e d s ow ec a l l o b t a i n12 6o r i g i n a lf e a t u r e si nt o t a l ( 3 ) h o w e v e r , n o ta l lf e a t u r e sm a k ec o n t r i b u t e st oe m o t i o nr e c o g n i t i o n , s oi t i s n e c e s s a r yt o f i n da f f e c t i v ef e a t u r e sf r o mt h e m ，n a m e l yf e a t u r es e l e c t i o n f e a t u r es e l e c t i o ni ne m o t i o nr e c o g n i t i o ni sac o m b i n a t o r i a lo p t i m i z a t i o n p r o b l e mt h u san pp r o b l e m s oa l le f f e c t i v ei n t e l l i g e n to p t i m i z a t i o na l g o r i t h m i sa d v i s a b l et of i n das a t i s f y i n gs o l u t i o nt ot h ep r o b l e m t h ep h a s ea l g o r i t h mi s a d o p t e di nt h i sp a p e r a tf i r s t ，t h eo r i g i n a lf e a t u r e sw i t hh i g hc o r r e l a t i o nw e r e d e l e t e dt or e d u c ed i m e n s i o n a l i t yo fo r i g i n a lf e a t u r es e tb yc o r r e l a t i o na n a l y s i s a n dt h e n ，a l li m p r o v e dt a b us e a r c ha l g o r i t h mw a sp r o p o s e dt oa c h i e v e a f f e c t i v ef e a t u r es e l e c t i o ni nt h ef e a t u r es p a c ew i t l lr e d u c e dd i m e n s i o n t h e n i m p r o v e dt a b us e a r c ha l g o r i t h mi sa d o p t e dt of i n df e a t u r es u b s e t sw h i c hb e s t r e p r e s e n tt h ea f f e c t i v er e s p o n s e so fe m gs i g n a l ，a n ds i xe m o t i o n s ( j o y , s u r p r i s e ， d i s g u s t ，g r i e f , a n g e ra n df e a r ) a l er e c o g n i z e db ym e a n so ff i s h e rc l a s s i f i e r ( 4 ) t h en e wd a t ai sa d o p t e dt ov e r i f yt h ee f f e c t i v e n e s so ft h ef e a t u r es u b s e t ， c a l c u l a t e t h er e c o g n i t i o nr a t ev e r i f i c a t i o n , v e r i f yt h ep r o m o t i o no fa f f e c t i v e c o m p u t i n gm o d e l u l t i m a t e l y , t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h es t i m u l a t i o nr e s u l ts h o w st h a t o b t a i n i n gf e a t u r ef u s i o nr e l a t e dt oe m o t i o n sf r o me m gs i g n a l si st o t a l l yd o a b l e w k l es e l e c t i n gf e a t u r e s ，a f t e rt h eo r i g i n a lf e a t u r e sw i t hh i g hc o r r e l a t i o nw e r e d e l e t e dt or e d u c ed i m e n s i o n a l i t yo fo r i g i n a lf e a t u r es e tb yc o r r e l a t i o na n a l y s i s w e u s e d i m p r o v e d t a b us e a r c h a l g o r i t h m a n df i s h e r c l a s s i f e r , t h e r e f o r e ， f e a t u r e d i m e n s i o ni sr e d u c e d ，g o o dr e c o g n i t i o ne f f e c ti so b t a i n e d ，a n dt h ep r o b l e m o ft sa l g o r i t h m sd e p e n d e n c yo nt h ei n i t i a ls o l u t i o na n df i e l ds t r u c t u r ei sa l s o s o l v e d k e y w o r d s ：f e a t u r es e l e c t i o n ；a f f e c t i v er e c o g n i t i o n ；e m gs i g n a l ；t a b u s e a r c h a l g o r i t h m ；c o r r e l a t i o na n a l y s i s i v 第一章绪论 第一章绪论 1 1 研究背景 人机交互类似于人与人之间的交流。现在大多工作都要在计算机上完成，而 现阶段的计算机主要以逻辑推理式基础建立的系统，没有情感交流，整个环境都 很枯燥无味，人在这种环境中很容易失去任何兴趣，易厌倦和迷惑。这种状态下， 工作效率很难提高，固有能力不能很好的得到发挥。在这种情况下，美国m i t 的 p i c a r d 教授在情感计算( a f f e c t i v ec o m p u t i n g ) 中提出了情感计算，并且 引起了许多研究者的关注乜3 儿劓，它是建立人与机器和谐发展的基础，让计算机具 有人的识别、生成情感特征的能力。可以从两方面理解情感计算：一是从生理学 的角度，使用测量技术采集人体的各种生理信号，国内外生理信号包括以下几种： 心电信号( e c g ) 嘲、肌电信号( e m g ) 嘲、呼吸信号( r s p ) ( 7 1 、脑电信号( e e g ) 嘲、皮肤电反应信号( g s r ) 嘲、脉搏信号( p p 6 ) n 们、皮肤温度( s k t ) 1 等。情 感计算可以让计算机具有人类类似的感情，并能调节、产生情感，让人类的工作 和生活环境更加和谐，实现人机交互；并且还具有很大的商用价值。如：情感镜 子，能提醒你说话不要过于紧张，不必停顿等，帮助人们更好的发挥出自己的能 力：协助孤独症者，用计算机识别孤独症用户的情感表达，并且能与这些患者之 间进行情感交流；闲聊，计算机带有情感色彩与人类交流，当人们伤心时能做出 安慰，当人们开心时能一同分享；情感玩具，能迎合人们把情感倾注于某人或某 物上的一种本能的需要，像许多人对待有真实生命的宠物那样。皮卡德n 羽所研究 的情感计算由以下九方面组成：情感机理、获取情感信息、情感的建模与理解、 情感的合成、情感计算的应用、情感计算机得接口、情感的传递与交流、可穿戴 计算机。要让计算机能与人进行情感交流，获取与识别情感信号时基础也非常重 要，本文侧重于研究这两项。情感信号的获取主要是采用外界刺激，然后采集人 情感变化的信号。情感识别包括肢体情感识别n 朝、面部情感识别n 4 1 、语音识别、 生理信号识别等，前两种主要受神经系统控制，容易受主观意念的影响n 引；而生 理信号是情绪产生的脑基础和生理反应，与多个脑结构有关。情感的生理激活需 要一定的能量，这些能量来自人体生理功能的激活，包括神经内分泌的变化、血 压升高、心率加快、瞳孔放大、肌肉收缩等n 钔；美国e k m a n 等人通过实验总结出 不同的情感有不同的生理反应n 7 1 如：高兴时笑肌收缩扩张频繁；愤怒时心跳加速、 呼吸加快；恐惧时增加排出肾上腺素等。通过摄像机、麦克风和传感器，计算机 很容易收集以下四种生理信号：肌电( e m g ) 信号、皮肤电( g s r ) 信号、呼吸信 号、血容量搏动( b v p ) 信号。 人在笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加，在平静 两南大学硕十学位论文 t n , 舅曼曼曼曼曼曼曼曼曼曼皇曼曼曼量曼曼舅曼曼暑皇曼皇舅舅曼曼曼曼曼毫曼皇曼曼鼍曼曼量曼曼舅曼曼曼暑曼皇曼曼曼曼量鼍曼曼曼曼笪曼! 曼曼量曼量曼鼍 时嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显，各种情感肌肉都会 有不同的反应，所以文中采用生理信号中的肌电信号进行情感识别。肌电信号是 很复杂的生理信号之一，信号很微弱，而且具有很强的随机性和噪声背景。因此， 要检测和处理肌电信号是十分困难的，在检测的过程中会受到测量状态和条件的 影响，如：受到电极和接触面相互作用的影响等产生差异，所以要对肌电信号进 行去噪。肌电图信号是在一条肌肉上使用一种小型电极来测量肌肉上的微小电压， 文中测量的是面部表情，大笑和牙齿紧咬时电压会增大。e m g 传感器也可以被放置 在其他地方，如下颚、肩膀和劲之间的斜方肌n 剐。肌电信号( e l e c t r o m y o g r a p h y ， e m g ) 是一种非线性与非平稳特性的生理电信号，是肌群动作电位在皮肤表面处时 间与空间上的综合表现，是电极所接触到的许多运动单元发放的动作电位的总和， 反映了神经肌肉的活动、功能状态n 钔例。它是一种生物电信号，其广泛深入的应 用于各个领域：人工工效学领域肌肉工作的工效学分析、临床医学领域的神经肌 肉疾病诊断、运动技术合理性分析、康复医学领域的肌肉功能评价、肌纤维类型 和无氧阀值的无损伤性预测、体育科学中的疲劳判定等方面，并且成为肌肉驱动 机器人、肌电控制假肢运动以及功能性电刺激的理想控制信号口妇凹1 。产生肌肉力 的电信号根源是肌电信号，它是由许多由a 运动神经元及其所支配的肌肉纤维的集 合构成的运单位动作电位在时间和空间上的叠加，反映了肌肉、神经的功能状态。 肌电信号能较好地体现肌肉活动的肌力水平、局部疲劳程度、运动单位兴奋传导 速度、多肌群协调性等多种肌肉活动和中枢控制特征的变化规律瞳引，根据这些规 律肌电信号能从某些方面体现情绪的变化，将e m g 信号用于情感状态识别具有重 要的意义，国内外对肌电信号的研究发展十分迅速。根据e m g 信号的采集方法可 将其分为两种，一种是通过表面肌电提取电极( 置于皮肤表面) 而另一种是通过 针式肌电提取电极( 置于肌肉内) 对信号加以引导、放大、显示和记录，从而获 得一维的电压时间序列信号，由于两者均反映了神经肌肉系统在进行随意性和非 随意性活动时的生物电变化口钔，本文研究肌电信号使用的是第一种。 一般来说，情感识别的四个主要步骤包括：数据采集和预处理、特征提取、 特征选择和分类器的设计。文中通过让被试参加情感诱发实验的方法，采集把情 绪产生时的肌电信号，经过预处理提取时域统计特征，并通过小波变提取频域特 征。对于特征选择，采用的是相关性分析和改进的禁忌搜索。用相关性分析去除 特征冗余后不仅能提高选取最优特征组合的目的，而且所选特征组合也更稳定。 禁忌搜索( t a b us e a r c h 或t a b o os e a r c h ，简称t s ) 技术是一种亚启发式搜索技 术乜钔，由g l o v e r 在1 9 8 6 年首次提出，它是对局部领域搜索的一种扩展，并且是 一种全局逐步寻优算法踟。已经广泛用于组合优化问题及调度、图论、神经网 络等领域。 第一章绪论 量鼍量曼曼蔓曼曼皇曼曼寰曼皇曼曼曼皇舅曼曼笪曼皇曼皇ii _ i i i1 1 量曼量舅寡暑葛寞皇曼舅舅皇曼曼量 1 2 国内外对肌电信号的研究现状 近年来兴起的情感计算逐渐成为热点问题。并在情感识别方面取得了很好的 成果，如：r e z ard e r a k h s h a n i 等人采用测量眨眼对恐惧情感的识别，得到了较 好的识别率嘲。c h u n g h s i e nw u 等人基于声学信息( a p ) 和语义标签( s l s ) 的情 感识别，去除个别个性品质的影响，识别率可以达到8 5 7 9 啪1 。m i l a ng n j a t o v i c 等人研究了采用人机交互会话系统去期望发生情感反应的范围啪1 。b j o r ns c h u l l e r 等人对采用语音识别情感出现的不一致性进行研究和提出策略。g e o r g ee 等人 提出多级支持向量机对心率( h r ) ，皮肤电反应( g s r ) ，皮肤温度( s t ) 进行分类， 并对情感进行识别，得到了很高的识别率口副。p e t r a n t o n a k i s 等人提出一种新的算 法结合四种分类方法对脑电信号进行六种情感的识别，最高辨识率达到8 5 1 7 口羽。 其中一个分支是基于生理信号对情感状态进行识别，通过特殊的仪器检测生理信 号并识别出情感。p i c a r d 教授率先证明情感识别可以采用从生理信号提取特征的 模式识别的方法。德国a u g s b u r g 大学计算科学多媒体实验室提取了四种生理信号 ( e m g 、e c g 、r s p 、s o ) 的特征，并且采用不同的特征选择方法结合不同的分类器 进行情感识别，对识别率进行比较，得到了不同的识别效果1 。 对于单一的肌电生理信号，最早的记载是从1 7 世纪中，f r a n c e s c or e d i 一 块高度特化的肌肉产生了电鱼的电能。1 7 7 3 年的时候，w a s h 教授证明了鳗鲤的肌 肉可以产生电活动。到了1 7 9 1 年，g a l v a n i 对蛙类做了一系列肌肉收缩的实验， 证明点与肌肉收缩有很大的关系。1 8 4 9 年法国的杜波伊斯雷蒙德首次检测到肌肉 收缩时能产生电信号。整个1 9 世纪和2 0 世纪初，很多研究者对肌肉电现象进行 了大量研究，并建立大量学说，为肌电技术在各个领域的应用奠定了基础。1 9 8 7 年d e c k e r s 采用e m g 进行情感识别时，是请被试保持中性情绪和用刺激物引发相 应的情绪表情的情况下，记录下被试某类情绪与某块或几块肌肉活动相联系的资 料。由于某些情绪之间的一些肌肉活动有重叠出现，e m g 只能作出正面和负面情绪 的区分m 1 。随着研究的深入，人们发现，不同的情感能产生不同的肌肉运动模式， 完全可以根据提取不同的肌电信号的特征识别出情感，所以将肌电信号应用于情 感识别也受到了越来越多的关注和研究。j o h a n n e sw a g n e r 采用音乐诱发的方法 对一个被试进行情感激发，激发高兴、愤怒、悲伤、恐惧四种情感，采集了2 5 天 的表面肌电信号变化的数据啪1 。2 0 0 4 年，k i m 和他的团队多人情感识别系统采用 比较少的生理信号监控，其中分类器采用支持向量机( s v m ) ，对高兴、悲伤、愤 怒、愉悦四种情感建立9 0 组样本库，测试了心电、皮肤电反应、肌电和呼吸四种 信号，并且识别率达到了7 8 4 口刀。日本东京大学的一些研究所进行情感识别采用 的是肌电信号和皮肤电反应信号，得到了很好的识别率。s c h w a r t z ，f a i r ，s a l t 等人采用想象好的情绪和坏的情绪，实验结果表明，想象悲伤时，在皱眉肌区域 两南大学硕十学1 1 i 7 ：论文 的e m g 活动比想象高兴时更多，但是在其它地方，如颧肌和周围肌区域有更少的 e m g 活动汹】。s c h w a r t z ，a h e r n 和b r o w n 记录了被试想象没情感和高兴、悲伤、恐 惧情感下邹眉肌和颧肌的e m g 信号，结果发现好情绪的情感比坏情绪的情感颧肌 活动更多，而邹眉肌活动更少呻1 。从国外将肌电信号作为情感识别的生理信号之 一，可看出e m g 信号与情感识别是相互联系的。 在国内，针对一种生理信号进行情感识别的研究比较少，而大多都采用多种 生理信号进行情感识别。生理信号的获取大多采用各种传感器来采集人的情感变 化所引起的生理信号的变化，建立“情感模型 ，从而建立个人情感计算系统。清 华大学和中科院心理所一起研究，主要研究下面几个方面：人脸表情图像结构分 析、情感语音识别分析、人脸表情视频分析、多模态多通道的情感状态分析、汉 语普通话情感状态分析等。南京航空大学进行语音方面的研究，并取得了很好 的成果。北京科技大学的王志良教授和他的团队对人工心理和情感模型的建立方 面进行了大量的研究，并出版了人工情感，该书主要描述了生理信号采集和在 情感识别的应用。重庆大学自动化学院也进行了人工智能方面的研究，主要是进 行智能机器人、智能手表和智能服务方面的研究。江苏大学采集情感数据并且建 立数据库，并对生理信号中的心电、皮肤温度、皮肤电导、呼吸四种信号进行特 征提取，用提取的特征进行情感识别；西南大学信号与信息处理研究所刘光远教 授带领他的团队采集大一年级的学生在视频刺激下的高兴、悲伤、愤怒、厌恶、 恐惧和惊奇六种情感下的生理反应数据，建立了情感数据库。采用智能算法和分 类器结合的方式进行特征选择，并用选择的特征对六种情感进行分类识别，取得 了很好的识别效果。中国科技大学开展了基于内容的交互式感性图像检索的研究。 中科院心理所、生物所主要注重情绪心理学与生理学关系的研究。哈尔滨工业大 学主要研究以下内容：手语识别、手语会成、人脸识别、表情识别、人脸检测与 跟踪、唇语等等。为了推动情感计算在人机交互领域的研究，促进研究人员的交 流与合作，第一届中国情感计算与智能交互学术会议在中国科学院自动化研究所、 中国计算机学会、中国自动化学会、中国中文信息学会、国家自然可续基金委员 会和中国图象图形学会等单位的主办下载北京顺利召开。并且涉及到的领域包括： 情感计算建模方法、情感语音、情感机器人、可穿戴式计算、情感与其他学科的 分析和自然人机等等，并认为该领域技术将在信息经济时代的的需求越来越迫切。 从上面的研究可看出，情感计算虽然是新兴领域，但已经受到相关学术界和产业 界得高度重视，相关的研究和成果也越来越多，国家自然科学基金委也将其列入 重点建设项目中。近几年来，同情感计算有密切关系的可穿戴式计算机的研究也 获得了蓬勃发展，并得到了国家的支持。对人的情感和认知的研究是- i 1 交叉学 科，主要来自于心理学、神经科学、人工智能和计算机科学等。目前，许多方面 4 第一章绪论 取得了很好的进展，主要在美国、日本和欧盟国家。 但是由于情绪心理学理论方法的多样性，导致在基础理论与方法都不成熟， 因而使得应用技术也受到了很大影响。目前在该研究领域中还有很多挑战和难题。 大规模的情感数据缺乏，而且对采集有效数据的标准没有统一，现在采用刺激情 感的方式很多，如图片、音乐和视频等，但那种方法更好还没有定论。而且研究 领域也多局限于生理、身体和语音等零散领域，仅靠这些领域的研究难以准确的 识别和生成一个人的情感状态，难以实现人工交互。对于情感感受强度，情感生 理唤醒度和情感表达强度采用什么生理指标测量和计算没有一个具体的准则，怎 样消除环境因素、精神因素、情绪因素和人体其它生理因素的影响而产生的差异 性和波动性现在还没找到非常有效的方法。因为人的情感之间相互转化、相互作 用、相互渗透，是相当复杂的关系，需要天文数字般得数据库，需要大量的计算。 而有些情感如，迷茫、怜悯、犹豫等表现，生理指标变化及其微弱和短暂，很难 计算和测量识别。在选择被试的要求方面也没有统一的标准。目前对特征的提取 没有统一的标准，导致提取的特征各种各样，得到的识别率也有差异，大多的研 究者采取统计的方法进行特征提取，但这样很容易造成“维数灾难，大量的特征 降低机器的运行速度，而且有些特征对分类是无效的、错误的，不利于情感模型 的建立。所以要进行特征选择，选出对分类能力贡献较大的特征，同时尽量控制 特征的维数。但采用什么样的方法进行特征选择没有统一，目前的特征的选择方 法有穷举法、随机搜索、序列后向选择、序列前向选择、智能算法等等。穷举法 就是把所有可能的特征组合都验证一遍效果，这种方法虽然能找到最优特征，但 是时间复杂度太大，计算机运行太久，在提取得特征太多的情况下是一个难以实 行的方法。随机搜索是利用随机数求极值而求得函数近似的最优解的方法。这种 方法是在概率论的基础上建立的，所取随机点越多，越大概率得到最优解。由于 随机数发生器大多数计算机程序都自带，所以这种方法较方便。但计算精度较差、 效率较低。序列后向算法是一种自上而下的方法，其基本思想是在运行之初假定 整个特征集合就是所需要的优化特征集，每步运行过程中删除一个对准则函数无 贡献或贡献最小的特征。而序列前向算法是一种自下而上的方法，与后向算法相 反，是从零开始每次增加一个特征直到所有特征组成一个特征组合。这两种方法 的时间复杂度比随机搜索的时间复杂度低，但都存在一个缺点在选择过程中一个 特征被删除或添加后就不能再被添加或删除，减少了可选择的特征组合数量。以 上这些方法是基于精确数学的方法，这类方法对数据的确定性和准确性有严格的 要求。但实际生活中存在很多高度不确定的信息，有些信息只能用随机变量和模 糊集合，甚至用语言变量来描述。随然传统的随机搜索能将模糊变量清晰化，但 是计算效能低。而智能算法能解决这些问题。在1 9 7 7 年g l o v e r 提出禁忌搜索算 西南大学硕十学位论文 法，这种算法能将记忆功能引入到最优解的搜索过程中，通过设置禁忌区阻止搜 索过程中的重复，从而大大提高了寻优过程的搜索效率。正因为这个优点，在本 文中选择用禁忌搜索算法进行特征选择。但基本的禁忌搜索算法又存在固有的缺 点，所以提出了改进的禁忌搜索算法。改进的禁忌搜索算法将搜索空间分解分为 多个子空间，利用序列后向算法在每个子空间得到的解作为禁忌搜索的初始解， 以f i s h e r 分类器的正确率作为评判标准，从每个初始解出发在对应的子空间开始 搜索，得到每个子空间的最优特征子集，最后对这些解进行评价，找出整个空间 的最优特征子集。 1 3 论文的内容和具体的工作 根据用生理信号进行情感识别是非常困难的一个事实和实验条件有限的情况 下，实验室经过反复讨论和研究，最后讨论出一套比较符合现有条件的实验和情 感识别方案。因为采用多个生理信号进行情感识别是相当困难的，而且没有参照， 所以首先的第一步先采用单一的生理信号进行情感识别，找出困难的地方，并且 进行解决。本文选择的是用肌电信号进行情感识别。这一套方案首先要建立生理 信号数据库，根据原始数据存在噪声的不足和肌电信号自身的特点，选用小波变 换对肌电信号进行去噪。然后借用前人研究的统计方法原理，采用小波分解的方 法提取肌电信号的特征做为原始特征集。原始特征集之间包含相关的特征，这些 相关的特征对分类的贡献是一样的，所以采用相关性去除相关的特征，然后将禁 忌搜索算法和f i s h e r 分类器结合选出对分类贡献较大的特征组合。这样可以减少 机器运行时间和提高方案的可行性。做的详细工作如下： ( 1 ) 情感e m g 信号采集：采用电影片段激发被试高兴、愤怒、厌恶、恐惧、悲伤、 惊奇六种情感，并用b i o p a cm p l 5 0 多通道生理信号记录仪采集被试肌电信号，比 对被试填写的情感激发强弱删除没有激发情感或激发相应情感强度比较弱的肌电 生理信号。 ( 2 ) 原始e m 6 信号的预处理：采集到的信号中会有基线漂移、工频干扰等噪声， 使得信号的信噪比下降，因此，在提取特征之前，需要对信号进行去噪处理。采 用小波变换( c w t ) 的方法，对采集到的e m g 信号进行分解。 ( 3 ) 情感e m g 特征的提取：通过对e m g 信号的提取，从中提取可能反映情感变化 的1 2 6 个特征构成原始特征集合，包括：时域统计特征和通过小波重构系数统计 特征。 ( 4 ) 情感特征子集选择和分类：首先原始特征数目较大且含有相关的特征，这样不 仅会降低机器运行速度且多次独立运行算法进行特征选择会得到多种不同的特征 组合，不利于情感识别系统的建立。已被证明在原特征集中增加或删除相关特征， 6 第一章绪论 i li i n _ i h i 鼍皇曼曼量量鼍鼍 不影响该特征集的分类能力的理论。所以首先采用相关性分析，删除相关度高的 特征，使入选的特征之间相关性变小，降低原始特征集得维数，可以提高机器运 行速度和多次独立运行后续特征选择算法得到的结果的稳定性；然后结合改进的 禁忌搜索算法与f i s h e r 分类器在相关性降维后的特征空间中进一步搜索，选出最 优特征子集进行情感的分类。 ( 5 ) 有效的情感特征组合分析及验证：分析比较有效特征组合的情感识别率和特 征维数，然后采用验证样品对有效特征组合进行验证，得出能够有效区分六种情 感状态的特征组合，选出最能代表心电信号情感反应的特征子集。 e m g 信号情感识别的流程图如下： ( e m g 信号采集) 1 l 筛选并截取8 0 秒有效激发e m g 情感的 数据 1 l e m g 信号预处理 特征提取 t 相关性分析进行特征降维 上 用改进的禁忌搜索算法结合分类器进 行特征选择 选出最好的特征组合 验证选出特征的有效性 上 得到能代表6 类各自情感的特征组 合，建立情感识别系统 t r 结束 、 图1 - 1 情感识别流程 两南大学硕十学位论文 1 4 论文的内容结构安排 第一章介绍了情感计算的研究背景和意义，以及国内外的研究现状和现有的 问题，并且介绍了单一生理信号肌电信号的背景以及用肌电信号进行情感识别的 可行性。 第二章首先简单介绍了肌电信号的相关背景，然后重点介绍了情感数据的采 集和数据库的建立过程，以及应该注意的问题。 第三章介绍对肌电信号数据的有效性进行分析，并且进行归一化处理，通过 小波变换进行肌电信号的预处理，然后通过统计学和小波重叠的原理进行特征提 取，提取出原始特征。 第四章首先分析了采用相关性分析去除相关特征，减少特征空间的特征维数。 然后分析了将序列后向选择做为改进的禁忌搜索算法的初始解与f i s h e r 分类器结 合进行特征选择，并将特征维数和f i s h e r 分类的正确率的折衷作为评价标准，对 高兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感状态进行分类识别，选出最能代 表肌电信号情感反应的特征子集。 第五章仿真实验所采集的肌电信号数据，分析特征子集进行分类的识别结果 和特征维数，以及多次独立运行所得到的特征组合的稳定性，证明采用肌电信号 进行特征选择是可行的，并且得到能够有效区分六种情感的特征组合。 第六章总结论文的工作以及展望。 本文工作主要是进行数据采