（信号与信息处理专业论文）基于脉搏信号的情感识别研究.pdf

k s 膏j 目录 摘要i a b s t r a c t i i i 第一章绪论1 1 1 情感计算1 1 2 研究背景2 1 3 研究意义6 1 4 具体工作及内容安排7 第二章实验设计8 2 1 情感的电影诱发8 2 2 实验问卷设计9 2 3 生理信号的采集1 0 第三章脉搏信号处理1 4 3 1 脉搏信号预处理1 4 3 1 1 小波变换与小波包变换的理论基础1 4 3 1 2 五点三次信号平滑法15 3 1 3 脉搏信号预处理1 7 3 2 脉搏信号的特征提取2 0 3 2 1 脉搏波主波波峰检测2 0 3 2 2 统计特征提取2 1 3 2 3 其他特征提取2 l 第四章特征选择与分类。2 5 4 1 蚁群算法2 5 4 2 最大最小蚂蚁算法2 7 4 2 1 改进的最大最小蚁群算法2 7 4 2 2 算法实现2 9 4 3f i s 脏r 分类器3 0 4 4d 、结3 2 第五章实验结果与分析3 3 5 1 两类情感识别效果3 3 5 2 单一情感识别效果3 7 5 2 1 基于统计特征的单一情感识别效果3 7 5 2 2 基于新特征的单一情感识别效果3 9 5 3 小结3 9 第六章总结与展望4 1 6 1 总结41 6 2 未来工作展望4 1 参考文献4 3 致谢4 7 攻读硕士期间研究成果及发表的学术论文4 9 附录5l ，t 摘要 基于脉搏信号的情感识别研究 信号与信息处理专业硕士研究生张慧玲 指导教师刘光远教授 摘要 情感识别不仅是人工智能的基础研究领域，也是人机交互领域的一个热门话 题。基于生理信号的情感识别比基于面部表情和基于语音的情感识别在实现上更 为困难和复杂，但是因为生理信号由人体自发产生，不受人的主观意识的控制【l 】， 因此在研究过程中更加准确和可靠。实验室建立了规模较大的情感生理信号数据 库，主要研究高兴、惊奇、厌恶、悲伤、愤怒和恐惧6 种情感状态下由生理过程 自发产生的7 种生理信号，其中包括电生理信号如心电( e c g ) 、脑电( e e g ) 、 肌电( e m g ) 、皮肤电导( g s r ) 和非电生理信号如心率( h e a r tr a t e ) 、脉搏( p u l s e ) 、 呼吸( r s p ) 。 脉搏信号一直以来都是一个重要的研究课题，但是基于脉搏信号的情感识别 的先行研究还较少，论文主要以脉搏信号，辅以心电信号( e l e c t r o c a r d i o g r a p h y , e c g ) 为研究对象，通过生理信号处理方法，对这些信号进行滤波和重构，并提 取重要特征，同时将局部搜索和变异策略引入到最大最小蚂蚁系统( m a x m i n a n t s y s t e m ，m m a s ) 中，结合f i s h e r 分类器对情感进行识别，获得了较好的效果。本 文主要包括了以下工作： 1 对信号进行预处理：利用小波包变换去除信号的基线漂移和工频干扰，用 五点三次法对信号进行平滑。 2 通过小波变换准确定位脉搏波的主波波峰，用高斯函数钟形波拟合脉搏波 的主波、潮波和重搏波，进而提取特征。1 3 因为提取的特征数较多，因此我们使用智能算法进行特征选择。为了改善 最大最小蚂蚁系统收敛速度慢，易陷入局部最优解的缺点，将伪随机比例、局部 1 基金项目：国家自然科学基金( n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；西南大学国家 重点学科基础心理学科研基金( t h en a t i o n a lk e ys u b j e c tf o u n d a t i o nf o rb a s i cp s y c h o l o g y ( n o n k s f 0 7 0 0 3 ) “中央高校基本科研业务费专项资金资助，编号：x d j k 2 0 0 9 8 0 0 8 ”( s u p p o r t e db y “t h ef u n d a m e n t a lr e s e a r c h f u n d sf o rt h ec e n t r a lu n i v e r s i t i e s x d j k 2 0 0 9 8 0 0 8 ”) 两南大学硕十学位论文 搜索和变异策略引入最大最小蚂蚁系统中，得到改进的最大最小蚂蚁系统 ( i m 队s ) 。 4 首先使用1 0 4 个统计特征作为原始特征集，采用i m m a s 算法与f i s h e r 分 类器相结合的方法，分别对情感进行“一对一”和“一对多”识别；继而将i m m a s 选出的最优统计特征子集与新特征相结合，重新对高兴、惊奇、厌恶、悲伤、愤 怒、恐惧进行识别，获得了更好的识别效果。 实验和仿真结果表明，使用脉搏信号进行情感识别是可行的。 关键词：情感识别脉搏信号特征选择改进的最大最小蚂蚁系统 a b s t r a c t r e s e a r c ho fe m o t i o n r e c o g n i t i o n b a s e do np u l s e s i g n a l m a j o r ：si g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f l i ug u a n g y u a na u t h o r ：z h a n gh u i l i n g a b s t r a c t e m o t i o nr e c o g n i t i o ni sn o to n l yt h eb a s i so fa r t i f i c i a li n t e l l i g e n c e ，b u ta l s oah o t r e s e a r c hi s s u ei nh u m a n - c o m p u t e ri n t e r a c t i o n ( h c i ) e m o t i o nr e c o g n i t i o nb a s e do n p h y s i o l o g i c a ls i g n a l si sm o r ed i f f i c u l ta n dc o m p l i c a t e dt oa c h i e v et h a nt h a tb a s e do n f a c i a le x p r e s s i o n sa n ds p e e c h ；h o w e v e r , b e c a u s ep h y s i o l o g i c a ls i g n a l sa r ep r o d u c e db y h u m a nb o d ys p o n t a n e o u s l y , w i t h o u tc o n s c i o u sc o n t r o lo ft h es u b j e c t , s ot h er e s e a r c h p r o c e s si sm o r ea c c u r a t ea n dr e l i a b l e af a i r l yl a r g ep h y s i o l o g i c a ls i g n a ld a t a b a s ei s c r e a t e db yo u rl a ba n d7k i n d so fp h y s i o l o g i c a ls i g n a l s ，i n c l u d i n ge l e c t r o p h y s i o l o g i c a l s i g n a l s s u c ha s e l e c t r o c a r d i o g r a m ( e c g ) ，e l e c t r o e n c e p h a l o g r a m ( e e g ) ， e l e c t r o n e u r o m y o g r a p h y ( e m g ) ， g a l v a n i cs k i n r e s p o n s e ( g s r ) a n d n o n e l e c t r o p h y s i o l o g i c a ls i g n a l ss u c ha sh e a r tm t e ，p u l s es i g n a l ，r e s p i r a t i o n ( r s p ) ， u n d e r6e m o t i o ns t a t e s ，n a m e l y , h a p p i n e s s ，s u r p r i s e ，d i s g u s t , g r i e l , a n g e ra n df e a r f o rq u i t eal o n gt i m e ，p u l s es i g n a lh a sb e e na ni m p o r t a n tr e s e a r c hi s s u e ；h o w e v e r t h e r ea r ef e wp r i o rr e s e a r c ho fe m o t i o nr e c o g n i t i o nb a s e do np u l s es i g n a l p u l s es i g n a l a i d e d 、析t he c gs i g n a la r es t u d i e di nt h i sp a p e r , a n di m p o r t a n tf e a t u r e sa r ee x t r a c t e d f r o mt h es i g n a l sa f t e rf i l t e r i n ga n dr e c o n s t r u c t i o n t h ei m p r o v e dm a x m i i la n ts y s t e m ( i m m a s ) ，c o m b i n e d 、析t hf i s h e rc l a s s i f i e ri su s e df o re m o t i o nr e c o g n i t i o n , a n d9 0 0 d e f f e c ti so b t a i n e d t h ef o l l o w i n gw o r ki sd i s c u s s e di nt h i sp a p e r ： 1 s i g n e dp r e p r o c e s s i n g ：w a v e l e tp a c k e tt r a n s f o r mi su s e dt or e m o v eb a s e l i n es h i f t a n dp o w e r - l i n ei n t e r f e r e n c eo ft h es i g n a la n df i v e s p o tt r i p l em e t h o di sa d o p t e df o r s i g n a ls m o o t h i n g i i i 西南大学硕十学位论文 2 p e r c u s s i o nw a v ec r e s to fp u l s es i g n a li sp o s i t i o n e da c c u r a t e l yt h r o u g hw a v e l e t t r a n s f o r m ，a n dt h e nt h r e eg a u s s i a nf u n c t i o n sa r eu s e dt of i tt h ep e r c u s s i o nw a v e ，t i d a l w a v ea n dd i c r o t i cw a v ef o r f e a t u r ee x t r a c t i o n 3 b e c a u s et h e r ea l eal a r g en u m b e ro fo r i g i n a lf e a t u r e s ，s oi n t e l l i g e n ta l g o r i t h mi s u s e df o rf e a t u r es e l e c t i o n i no r d e rt oo v e r c o m et h ed i s a d v a n t a g e so fm m a s ，s u c ha s s l o wr a t eo fc o n v e r g e n c ea n dl i a b l et ot r a pi n l o c a lo p t i m u m ，p s e u d o r a n d o m p r o p o r t i o n , l o c a ls e a r c ha n dv a r i a n c es t r a t e g ya r ei n t r o d u c e dt om m a sa n dt h e i m p r o v e dm m a s ( i m m a s ) i s o b t a i n e d 4 f i r s t l y , t h e10 4s t a t i s t i c a lf e a t u r e sa r eu s e da st h eo r i g i n a lf e a t u r es u b s e t ，a n d i m m a sc o m b i n e d 、析n 1f i s h e rc l a s s i f i e ri sa d o p t e do n e - v s - o n ee m o t i o nr e c o g n i t i o n a n do n e v s - r e s te m o t i o nr e c o g n i t i o n ；t h e nt h eo p t i m a lf e a t u r es u b s e t ss e l e c t e db y i m m a sc o m b i n e d 谢t l ls o m en e wf e a t u r e sa r eu s e dt or e c o g n i z eh a p p i n e s s ，s u r p r i s e ， d i s g u s t ，g r i e f , a n g e ra n df e a ro n c ea g a i n ，a n db e t t e rr e c o g n i t i o nr a t e sa r eo b t a i n e d t h ee x p e r i m e n ta n ds i m u l a t i o nr e s u l t ss h o wt h a ti ti sf e a s i b l et ou s ep u l s es i g n a l f o rf e a t u r es e l e c t i o n k e yw o r d s ：e m o t i o nr e c o g n i t i o n ；p u l s es i g n a l ；f e a t u r es e l e c t i o n ；i m m a s r 第一章绪论 1 1 情感计算 第一章绪论 情感计算是使仪器具有能够检测和对使用者的情绪或其它刺激做出近似反应 的人机交互学科。早在1 9 8 5 年，人工智能奠基人之一的m i n s k y 就提出了计算机 与情感( e m o t i o n , a f f e c t i v e ，f e e l i n g ) 的问题。他在思维的社会( t h es o c i e t yo f m i n d ) 这本书中写道：“问题不在于智能机器是否能有情感，而在于没有情感的 机器怎么能是智能的 【2 】。美国m i t 的p i c a r d 教授在1 9 9 7 年出版的情感计算 ( a f f e c t i v ec o m p u t i n g ) 中提出了“情感计算 这一说法，将其定义为“与情感 有关、有情感引发或者能够影响情感的因素的计算” 3 1 。“情感计算 的目标是 赋予计算机感知、理解以及表达情感的能力。 计算机是逻辑计算的典范，要想把人类的情感引入机器智能，关键就是要把 非逻辑的情感融入到计算机的逻辑运算中，搭建情感的计算通路，并且完备情感 辅助的机器决策策略，从而使当前以逻辑运算为基础的机器智能转化为以逻辑运 算和情感为基础的人工智能。因此，为了进行人类情感机制和情感所引起的相应 的认知与生理反应，我们不但要分析计算人体的外部表征( 如表情、姿势等) 和 内在生理指标( 如心电、脑电变化等) ，还要把客户的情感主观体验纳入计算之列， 充分实现逻辑与情感的有机结合。根据研究，纽约大学的约瑟夫勒杜克斯 ( j o s e p h l e d o u x ) 发现即使没有理智参与，情绪本身也能够激发行为【4 1 。无独有 偶，美国爱荷华大学的安东尼奥达玛西欧( a n t o n i o d a m a s i o ) 研究了一些脑部情 感通道受损的患者，发现这些人的认知能力和智商并未下降，但是他们的决策能 力却受到严重损坏【5 1 ，这种机制与智能计算机的决策机制十分相似。通过以上研 究，安东尼奥达玛西欧一反传统地提出情感的介入在理性决策机制中是不可或缺 的。 “情感计算”需要利用各种设备仪器来检测各种情感状态下人体的外在表征 和内在生理指标，然后利用信号处理技术和计算机技术等进行特征提取、模式识 别、情感建模、情感识别和人机交互等等，这些都是利用传统的计算方法进行的， 然而在“情感计算 的研究中，我们不可忽略而且必须深入探索的一个问题就是 两南大学硕十学何论文 如何将人的主观感受融入到前面所提到的运算当中，只有融入了“情感成分”，对 所提取的物理特征的情感特性才具备可挖掘的意义，情感因素才能够被很好地引 入到系统的决策过程中。 情感计算的研究方法多种多样，如基于面部表情、语音、身体姿势和生物医 学信号以及多模态相融合的分析方法。生物医学信号( 如心电、脑电) 的变化能 精准的反映人体情况并且不受人的主观意念的控制，因此基于生物医学信号的情 感识别能够更加精确、可靠地描述被试的情感状态和诱发素材对情感的唤起度。 基于生物医学信号的情感识别的诱发素材也是被广泛研究和讨论地对象，如文字、 音乐和电影片段等。 1 2 研究背景 目前，国际上对人工情感和认知领域的研究日渐成为人工智能领域研究的热 点。从上世纪九十年代开始，日本就开始了感知工学( 感性二j 力 ) 的研究。 所谓感知工学是建立在感性科学的基础上，将人的感性认识与工程科学联系在一 起，通过分析人类的感性认识，把人的感性需求融入到商品的设计和加工制造中。 感知工学是一种能从工程科学的角度给人类带来满足感和喜悦感的商品制造科学 技术。自1 9 9 6 年开始日本教育部就以国家重点科学基金的形式扶持“情感信息的 信息学与心理学研究 6 1 ，旨在把对情感信息的研究从单一的心理学层面过渡到 心理学与计算机科学、信息科学等学科的交叉层面。在日本每年都会有感知工学 大会召开，参与情感信息研究的不仅有大学和科研单位，还有注重实用和经济利 益的公司。日本各大公司对“个人机器人 ( p e r s o n a lr o b o t ) 系列产品的踊跃研 发和生产成了情感计算在实际应用中典型代表，比如在机器人展览中经常可见踪 影的s o n y 公司的a i b o 机器拘自1 9 9 9 年投放市场，截至2 0 0 6 年销售量就过1 5 万台，销售额累计3 0 0 亿日元 7 1 ，以及q r i o 型以及s d r - - 4 x 型情感机器人不仅 感情丰富能跟人进行各种交流，还具有记忆和学习成长的能力，除了能歌善舞之 外，它还被广泛用于科学研究，足见情感与认知科学在实际应用中的光明前景。 欧洲的许多大学和科研机构也成立了专门的情感智能研究小组，积极地开展 对情感识别技术，包括面部表情识别、情感信息测度、便携式计算机等的研究。 日内瓦大学的克劳斯舍尔教授领导的情绪实验室，研究情感的获取与计算。布 2 r 第一章绪论 鲁塞尔自由大学的d c a n a m c r o 在上世纪九十年代第一届国际自主智能主体会议 上就发表了智能行为中情感的激发与建模研究【8 】。英国伯明翰大学的a s l o m a n 自1 9 6 9 年就开始进行人工智能方面的研究，1 9 8 0 1 9 9 1 年期间，他率领的“认知 与计算科学小组”( s c h o o lo fc o g n i t i v ea n dc o m p u t i n gs c i e n c e s ) 关于情感的研 究对后来的研究者有着深远的影响。德国联邦教育研究部( b m b f ) 从应用层面 着手，资助多所大学和公司完成基于e m b a s s i 系统的多模型购物助手项目，这 个网络型电子商务系统能够综合消费者的心理和环境需求，以智能感性为系统的 研究目标。 美国m i t ( 麻省理工学院) 媒体实验室的p i c a r d 教授所带领的研究小组是基 于生理信号的情感识别研究的先行团队，p i c a r d 教授于1 9 9 5 年提出了“情感计算 ( a f f e c t i v ec o m p u t i n g ) 这一概念，并于1 9 9 7 年出版了情感计算方面的专著 “a f f e c t i v ec o m p u t i n g 。她所领导的课题小组率先以人类情感状态下的生理信号 处理为出发点，并与h p 公司合作，将其研究的应用利于逐渐扩大，p i c a r d 教授 在m i t 媒体实验室技术报告中所提到的涉及情感计算的应用领域已达到约5 0 种， 在国际上引起了很大的反响。 美国人工智能协会( a a a i ：a m e r i c a na s s o c i a t i o nf o ra r t i f i c i a li n t e l l i g e n c e ) 自 1 9 9 8 年开始连续组织召开专业的学术会议对人工情感和认知进行研讨。目前， 中国的人工情感和认知研究也正在日渐向国际先进水平靠拢，中国的许多学者和 研究人员积极开展了关于情感计算和认知研究的相关学术活动。2 0 0 3 年1 2 月和 2 0 0 5 年1 0 月在北京分别召开了中国第一届情感计算及智能交互学术大会和第一 届情感计算和智能交互国际学术会议，集合了世界一流的情感计算、人工情绪和 人工心理研究的著名专家学者，这充分展示了我国在情感计算的研究方面已经跻 身世界先进水平。 我国对人工情感和认知的理论和技术的研究可追溯到2 0 世纪9 0 年代，研究 工作大部分是关于人工情感单元理论与其技术实现。哈尔滨工业大学将心理学对 情感的研究应用于人脸面部的感知系统，包括唇读、人脸识别、表情识别等，并 与海尔集团合作研究服务机器人 9 1 。清华大学计算机系智能技术与系统实验室根 据人工情感的应用，提出并仿真实现了基于人工情感的拟人机器人的控制体系结 构【5 1 。北京交通大学进行多模态人机交互系统和情感计算的融合研究【1 0 l 。中国科 两南大学硕十学位论文 学院自动比研究所主要研究基于生物特征的身份验证【l 。中国科学院自动化研究 所模式识别实验室根据面部表情与语音的变化同步特性，进行语音和人脸表情的 双模态情感表达研究【1 2 1 。中国科技大学以使用者的个人偏好和情感变化为依据， 提出了基于内容的交互式感性图像检索的研究方法【1 3 1 。中国科学院软件所采用专 家系统技术，设计并建立了友好的用户界面评估系统【l4 1 。浙江大学进行了虚拟人 物和人工情感的系统构造进行了深入研究【l 5 。 对于情感计算来说，较少维数的离散情感集合可以简化识别和建模问题。 c 1 ) r i l e s 的感知状态【l6 】的排他准则指出当我们处于一种情感状态之时，就不能表现出 其他情感，比如当我们内心充满希望的时候就无法表现出愤怒。c l y n e s 强调了基本 感知状态的“单纯性 ，并且指出其他的情感状态都是由情感集合中的基本情感融 合而来的，如忧郁是爱和悲伤的融合。给定一种人类的情感状态，以愤怒为例， 那么较高的声音，怒视的表情或是指压波动较大这些将是最易观察的特征，同时 伴有的还有呼吸和心跳频率的变化；于此相反，当人感到高兴时，音调会变细， 面带微笑，指压轻微波动；即使是只有“自我意识 才能感应到的情感，如内疚 和羞愧也会随人的姿势、表情、生理信号的变化而表现出许多不同和可区分性。 因此进行情感计算的另一个关键问题就是定义情感集合中的几种基本情感。根据 前人的研究成果，将基本情感集合的研究成果汇总如表1 1 。 表1 1 基本情感的不同类别 研究者基本情感 a n g e r , a v e r s i o n , c o u r a g e ，d e j e c t i o n , d e s i r e ，d e s p a i r , f e a r , h a t e ， a m o l d h o p e ，l o v e ，s a d n e s s e k m a n ，f r i e s e n ，& e l l s w o r t h a n g e r , d i s g u s t ，f e a r , j o y , s a d n e s s ，s u r p r i s e f r i d j a d e s i r e ，h a p p i n e s s ，i n t e r e s t , s u r p r i s e ，w o n d e r , s o r r o w g r a yr a g ea n dt e r r o r , a n x i e t y , j o y a n g e r , c o n t e m p t , d i s g u s t , d i s t r e s s ，f e a r , g u i l t , i n t e r e s t , j o y , s h a m e ， i z a r d s u r p r i s e j a m e s f e a r , g r i e f , l o v e ，r a g e m c d o u g a l la n g e r , d i s g u s t ，e l a t i o n ，f e a r , s u b j e c t i o n ，t e n d e r - e m o t i o n , w o n d e r 4 第一章绪论 m o w e r p a i n , p l e a s u r e o a t l e y & j o h n s o n l a i r d a n g e r , d i s g u s t , a n x i e t y , h a p p i n e s s ，s a d n e s s p a n k s e p pe x p e c t a n c y , f e a r , r a g e ，p a n i c p l u t c h i k a c c e p t a n c e ，a n g e r , a n t i c i p a t i o n ，d i s g u s t ，j o y , f e a r , s a d n e s s ，s u r p r i s e t o m k i n s a n g e r ，i n t e r e s t , c o n t e m p t , d i s g u s t , d i s t r e s s ，f e a r , j o y , s h a m e ，s u r p r i s e w a m o n f e a r , l o v er a g e w e i n e r & g r a h a m h a p p i n e s s ，s a d n e s s 对情感计算的研究大致可以分为情感识别、情感建模和情感反应三大部分， 这其中情感识别无疑是最基础，也是最重要的部分。 国际上用于情感识别的生理信号主要包括：肌电图( e m g ) 、心电图( e c g ) 、 脑电图( e e g ) 、呼吸信号( r s p ) 、血容量搏动( b v p ) 、光电脉搏( p p g ) 、眼动 信号( e o g ) 、皮肤电反映( g s r ) 、皮肤电导( s c ) 等等。这些生理信号的变化 能够代表不同的情感状态，若多种信号结合分析，情感的识别效果会更好。 本论文主要研究脉搏信号在情感识别中的意义和方法。早在1 9 4 1 年，d o n e m o r d s 医师就研究了正常人在紧张情绪状态下血压和脉搏的变化，以及它们与情 感不稳定性的关系【l 丌。基于脉搏信号的情感识别先行研究较少，在以往的研究中， 脉搏信号常常与其他生理信号相结合进行情感识别研究。在c h u a n y uc h a n g 等人【1 8 j 设计的情感识别系统中，使用了五种生理信号e e g ，r s p , g s r ，b v p 和脉搏信号， 继而使用支持向量回归机去分类悲伤、恐惧和高兴三种情感，发现高兴状态下脉 搏的峰值要小于悲伤状态下的脉搏峰值，但是其上升坡度比悲伤信号的要小。法 i 虱m e t z 大学的c m a a o u i 等人【1 9 】研究了基于支持向量机的生理信号情感识别方法， 他们采用了b v p ，e m g ，s c ，s k t 和r s p 5 种生理信号，从中提取了3 0 个特征( 血氧 脉搏容积量的特征为其均值、标准差等) ，通过实验结果证明基于支持向量机的方 法能够较稳定和成功地区分六种情感。意大利米兰理工大学的人工智能与机器人 实验室开展了与情感计算相关的一系列工作，他们的工作主要是基于生理信号的 情感计算等，该实验室主要研究的生理信号包括血容量脉搏b v p ，皮肤电信号g s r ， 人体体温等，同时将情感计算应用于计算智能与游戏，n 认信号仪的个性化，无线 情感仪，机器人拇指修复中人类情感状态的评估等，取得较好的效果【2 们。 5 两南大学硕士学位论文 情感识别的研究是一门交叉学科，它涉及到心理学、神经科学、人工智能和 逻辑科学。虽然情感和认知研究在美国、日本和欧洲国家已经取得了诸多进展， 但是由于情绪心理学的理论方法多种多样，因此也导致了情感计算的理论基础和 研究方法还不够成熟，其应用技术研究也受到了一些限制。当前，情感计算这个 领域的研究还存在很多挑战，存在的主要问题包括：基于语音的情感识别技术、 基于身体姿势的情感识别技术和基于面部表情的情感识别技术还不够成熟，成为 制约人工情感的瓶颈；除了语音和表情之外的，情感识别技术的研究方法还有基 于生理信号的分析方法，但是对基于生理信号的情感识别技术还处于起步状态； 目前的研究要把握如何从多模态的角度( 即结合多种方法进行研究) 对情感信息 进行融合、识别以及理解。为了实现和谐的人机交互平台，我们必须解决上述问 题，这不仅仅是挑战，也将是我们未来研究的契机。 1 3 研究意义 情感计算可以使无数的应用领域获益。现在的计算机已经逐渐开始拥有表达 和识别的能力，而且不久也将会被赋予“情感表达的能力。人体认知和感悟情 感的关键作用表明情感计算机不仅应该为人类提供更好的辅助，而且能够提升计 算机的决策能力。情感计算不仅能够使用计算机识别人类情感，而且将会在计算 机辅助学习，人类健康与人机交互等方面发挥巨大的作用。情感计算的研究意义 在于： 1 在科学界，情感常常被认为是“非科学 的，情感计算的一个重要研究意 义在于它将“感性的情感引入到以理性思考、逻辑论证、可验证假说和重复试 验为基础的科学研究当中，并将情感作为科学研究的一种工具。 2 情感计算可被广泛应用于休闲娱乐。如果设计出了能够感知观众或听众情 感的摄像头，椅子或地板等，就可以使作曲者与听众互动，根据听众的情感需求 调节乐曲。 3 情感计算用于环境监测。利用情感计算系统可以监测客户在某一环境中的 情绪状态，并且根据情绪状态对其周围的环境进行调节和改善。 4 情感计算的美学应用。让计算机拥有美学意识，使它在应用过程中可以迎 合使用者的个人品味，让计算机在资源搜索过程中能够尽可能检索符合使用者个 6 第一章绪论 人审美观的资源，甚至可以用这种计算机来进行艺术设计1 1 4 具体工作及内容安排 论文的主要工作包括： 1 对信号进行预处理：利用小波包变换去除信号的基线漂移和工频干扰，用 五点三次法对信号进行平滑。 2 通过小波变换准确定位脉搏波的主波波峰，用高斯函数钟形波拟合脉搏波 的主波、潮波和重搏波，进而提取特征。 3 因为提取的特征数较多，因此我们使用智能算法进行特征选择。为了克服 最大最小蚂蚁系统收敛速度慢，易陷入局部最优解的缺点，将伪随机比例、局部 搜索和变异策略引入最大最小蚂蚁系统中，得到改进的最大最小蚂蚁系统 ( i m m 魄s ) 。 4 首先使用1 0 4 个统计特征作为原始特征集，采用i m m a s 算法与f i s h e r 分类器相结合的方法，分别对情感进行“一对一和“一对多 识别；继而将i m m a s 选出的最优统计特征子集与新特征相结合，重新对高兴、惊奇、厌恶、悲伤、愤 怒、恐惧进行识别，获得了更好的识别效果。 论文其他部分结构如下： 第二章详细介绍了实验设计的方案，包括选用电影片段作为情感激发素材的 依据，并对生物医学信号( e e c ge c g ；e m gp u l s e ，g s r , r s p , r a t e ) 及其采集方法 进行了简略介绍。 第三章主要介绍了对脉搏信号和心电信号的预处理以及重要特征的提取方 法。 第四章以实际的生理信号情感识别问题为例，重点介绍了a c o 算法和m m a s 算法的基本思想，以及为了避免m m a s 陷入局部最优而引入的变异策略和局部搜 索策略，以及结合f i s h e r 分类器的改进的最大最小蚁群算法i m m a s 如何应用到情感 识别问题当中。 第五章给出了实验结果和分析。 第六章是对论文工作的总结与展望。 7 两南大学硕士学何论文 第二章实验设计 第一章介绍了情感识别的基本概念、研究现状和研究意义，对生理信号的情 感识别有了基本的了解。本章重点介绍了数据的采集和预处理；就整个实验过程 中其他主要步骤所涉及的问题进行进一步的讨论，其中包括解决相应问题的常见 方法，以便整体把握实验过程的同时对各个步骤有所了解，为以后章节深入讨论 做好铺垫。 2 1 情感的电影诱发 在基于生理信号的情感识别的先行研究中，很多是以文字材料和音乐作为情 感的诱发素材。然而文字和音乐对情感的唤起度不仅依赖于素材本身，而且还在 很大程度上依赖于被试对文字和音乐的感悟能力。与文字和音乐相比，电影的情 感唤起强度更大，因为影片不仅能从听觉，而且还能通过视觉激发人的内在情感。 在用于学习和测试的情感识别技术中，我们尤其感兴趣的两个问题是用户的 依赖性和诱发素材的主观性【2 。不管我们使用何种实验方法，情感系统的学习和 测试是基于一种精神生理模式。精神部分是由情感的离散成分( 如高兴，悲伤) 或空间成分( 如高效价，低唤起度) 来表示的。而生理部分则是由从被试的生理 信号中提取的一系列特征所组成的。用户依赖是指对于个人的心理情感状态到生 理数据的映射，通过收集唯一的被试很多天的数据纪录训练分类器参数，所得的 识别率估计只对这个唯一的被试有效；刺激材料的主观性指的是考虑或不考虑对 刺激材料的主观评价。根据文献所提出的理论，实验室中优先考虑的是采用非 用户依赖的方法采集多个被试的生理数据和采用社会认可刺激材料的方法确定实 验素材。实验室所采用的电影片段均是经过广泛的社会调查后，组织被试体验是 否有效激发情感和情感强度，由主试评估挑选确定的。情感素材描述如表2 1 所示。 表2 1 用于情感激发的电影片段 情感持续时间电影片段素材描述 平静 1 2 0 秒风景和轻音乐 该片段主要为诱发被试的平静情绪，为数 据的归一化做准备 高兴2 7 0 秒武林外传古装喜剧，讲述江湖人以现代方式做综艺 8 第二章实验设计 娱乐节目。 过渡1 2 0 秒 风景和轻音乐该片段前有3 0 秒黑屏，方便被试填写问 卷；该片段使被试从高兴恢复到平静 惊奇3 l o 秒魔术 世界级魔术大师的表演 过渡1 2 0 秒 风景和轻音乐该片段前有3 0 秒黑屏以便被试填写问卷： 该片段为使被试从惊奇恢复到平静 厌恶 2 8 0 秒胭脂雪 讲述一个刁钻恶毒的小妾想方设法陷害 丈夫温柔善良的正妻 过渡1 2 0 秒风景和轻音乐 该片段前有3 0 秒黑屏以便被试填写问卷 该片段为使被试从惊奇恢复到平静； 悲伤3 5 0 秒暖春 讲述一个孤苦的小女孩被善良的老人收 养后爷孙两人相依为命的故事 过渡1 2 0 秒 风景和轻音乐 该片段前有3 0 秒黑屏以便被试填写问卷 该片段为使被试从悲伤恢复到平静； 愤怒5 0 0 秒 东京审判 该片段讲述战犯东条英机在法庭上对日 本侵华不仅无丝毫歉意，反而持拥护态度 过渡1 2 0 秒风景和轻音乐 该片段前有3 0 秒黑屏以便被试填写问卷 该片段为使被试从悲伤恢复到平静； 恐惧1 0 0 秒午夜凶铃 没有任何画面的电视屏幕上突然出现了 一口井，一个长发白衣女子从井中爬出 平静1 2 0 秒风景和轻音乐 该片段前有3 0 秒黑屏以便被试填写问卷 该片段为使被试从恐惧恢复到平静； 2 2 实验问卷设计 实验预约前，主试会告知被试实验相关注意事项，如不能空腹、服药或者剧 烈运动后来参加实验，不应化妆，涂指甲油或佩戴耳环手表来参加实验等，并调 查被试是否有述情障碍。 实验前，主试会要求被试填写一份“实验知情同意书，告知被试实验的基本 情况和数据用途，以及记录被试的基本信息。 9 西南大学硕十学位论文 曼曼鼍ii 曼曼蔓曼量量皇量曼皇量曼曼曼皇曼舅曼量量量皇曼舅曼穹量曼皇曼皇曼皇曼曼曼曼量量量曼量舅量曼鼍曼皇曼皇 实验过程中，被试会观看一个视频，其中包含了高兴、惊奇、厌恶、悲伤、 愤怒、恐惧6 个情感片段，在每个情感片段之后，被试须填写一个问卷调查，问 卷如表2 2 所示。 表2 - 2 实验调查问卷 问卷1 ：请问你以前是否看过该片段( 用表示) 是口否口 请选择此时最符合你心情的一项情绪和程度( 用4 表示) 情感平静高兴悲伤愤怒恐惧惊奇厌恶 ()()()()()()() 强度很强较强一般较弱很弱 ()()()()() 2 3 生理信号的采集 本研究采用美国b i o p a c 公司提供的多导生理记录仪m p l 5 0 进行生物医学信 号采集。实验被试均是西南大学本科一年级学生，年龄1 9 2 5 岁，身体状况良好且 无精神病史。实验素材选用的是经问卷调查后总结出的具有较高认可率的电影片 段。实验前，须填写个人信息、自愿测试同意书以及述情障碍问卷调查；然后休 息1 0 1 5 分钟，稳定情绪；实验过程中，我们使用一个隐藏的高分辨率摄像头记录 被试实验情况并为信号做标记，在每一种情感电影片段结束后，被试需要填写一