（信号与信息处理专业论文）相关性分析及蚁群优化算法用于脉博信号的情感识别研究.pdf

摘要 量曼曼! 曼曼皇曼笪曼皇曼曼曼舅曼曼皇皇曼曼曼舅舅曼蔓璺曼曼曼曼舅曼曼曼鼍量曼曼舅量量曼皇量寡i i 量量曼曼曼曼量曼鼍 相关性分析及蚁群优化算法用于脉搏信号的 情感识别研究木 信号与信息处理专业硕士研究生陈红 指导教师刘光远教授 摘要 在科学技术相对发达的今天，人一机交互话题已经不再陌生，情感计算作为 其关键技术也得到了广泛发展。在情感计算的研究内容中，情感识别作为其重要 组成部分之一已然受到高度重视。目前的情感识别主要通过采集并分析图像信号、 语音信号、文本信号和生理信号来进行。它们各有所长、互为补充，因为还没有 哪一种方式能十分准确地判断情感的特征。图像信号、语音信号和文本信号一般 通过多媒体方法获取，而由生理信号由传感器通过非侵入方式来获得，这些信号 都可以用计算机来加以分析计算。显然，当人们有了情感时，从身体上直接得到 的生理信号更能准确地判断其情感，甚至是潜在的情感，即前三种方式不能观察 到的情感特征。脉搏信号作为生理信号之一，在已有文献中的相关研究较少，论 文将针对脉搏信号的情感识别问题展开研究工作。 从文献可知，脉搏信号是一种微弱的生物电信号，是神经细胞传导信息时在 血管内部或皮肤表面电活动的总体反映，蕴含着人体许多生理和病理信息。假如 能从脉搏信号中找出能代表某种情感的特征或特征组合，建立起情感生理特征与 情感之间的一种映射关系，就可以通过脉搏信号的情感生理特征来进行情感识别。 具体工作实现如下： ( 1 ) 信号采集：设计恰当的脉搏信号采集实验方案，采用视觉和听觉同时刺 激的方式得到情感脉搏信号的情感生理反应样本。包括平静、高兴、惊奇、厌恶、 悲伤、愤怒、恐惧7 种情感激发状态下的脉搏信号，共计2 4 2 组样本。 ( 2 ) 特征提取：由于原始信号通常都受到各种因素的干扰，为了使数据源更 加可靠，在特征提取之前对原始样本信号进行预处理。然后提取2 0 个时域特征和 8 4 个小波系数特征( 1 0 4 个统计特征) ，并对特征数据进行去除异常数值、归一化 等处理后得到包括六类情感的11 6 5 个样本作为原始特征集合。 基金项目：国家自然科学基金( n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n a n o 6 0 8 7 3 1 4 3 ) 教育部科学技 术研究重大项目( t h e k c y g r a n t p r o j e c t o f c h i n e s e m i n i s t r y o f e d u c a t i o n n o 3 1 1 0 1 2 ) i 西南大学硕十学位论文 ( 3 ) 特征选择：论文中提出了一种相关性分析和蚁群优化算法相结合的两阶 段特征选择方法。首先将原始特征用序列后向选择( s b s ) 方法排序，然后利用线 性相关系数分析法计算特征问的相关度，并根据排序结果去除部分相关度较大的 特征，最后针对筛选后的特征子集用一种蚁群优化算法最大最小蚁群进行特 征选择，并以f i s h e r 分类识别率和特征选择维数两个因素确定适应度函数，对高 兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感进行分类。此外，再选用一种非智 能算法基于凸优化的支持向量机特征选择方法进行脉搏信号情感特征的选 择，以便与文中所提方法的结果进行对比。 ( 4 ) 模型建立：利用上述方法完成实验分析，总结出能够代表脉搏情感信号 高兴、惊奇、厌恶、悲伤、愤怒、恐惧的特征组合，建立起脉搏信号各个情感的 二分类情感识别模型。 所有实验结果表明：采用相关性分析及蚁群优化算法并结合f i s h e r 分类器的 方式用于情感脉搏信号的情感识别是有效的，该方法能在原始特征集合中找出更 稳定有效的特征组合，从而形成脉搏信号的情感生理特征与情感之间的一种映射 关系，继而建立起有效的情感识别模型。 关键字：情感识别脉搏信号特征选择相关性分析最大最小蚁群算法 i i a d s t r a c t s t u d i e so fa f f e c t i v er e c o g n i t i o nf r o mp u l s e si g n a lba s e do nc o r r e l a t i o na n a l y s i sa n da n t c o l o n yo p t i m i z a t i o na l g o r i t h m m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f l i ug u a n g y u a n a u t h o r ：c h e nh o n g a b s t r a c t n o w a d a y s , w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , t h eh u m a n - c o m p u t e r i n t e r a c t i o nf i e l dh a sb e e nn ol o n g e rs t r a n g e a sak e yo fh u m a n - c o m p u t e ri n t e r a c t i o n , a f f e c t i v e c o m p u t i n gh a sb e e nw i d e l ya p p l i e dt om a n yf i e l d s a n dg r e a ti m p o r t a n c eh a sb e e na t t a c h e dt o a f f e c t i v er e c o g n i t i o nw h i c hi so n eo ft h ei m p o r t a n tp a r t si nt h ef i e l do fa f f e c t i v ec o m p u t i n g a t p r e s e n t t h ea f f e c t i v er e c o g n i t i o ni sm a i n l ya c h i e v e dt h r o u g ht h ec o l l e c t i o na n da n a l y s i so fi m a g e s i g n a l s ，s p e e c hs i g n a l s ，t e x ts i g n a l sa n dp h y s i o l o g i c a ls i g n a l s t h e s ew a y sn o to n l yh a v et h e i ro w n s t r e n g t h s ，b u ta l s oc o m p l e m e n te a c ho t h e r , t h a ti sb e c a u s et h e r eh a v eb e e nn om e t h o dw h i c hc a n i n d e p e n d e n t l ya n da c c u r a t e l yd e t e r m i n et h ea f f e c t i v ec h a r a c t e r i s t i c s a sw ea l lk n o w , i m a g es i g n a l s ， s p e e c hs i g n a l sa n dt e x ts i g n a l sc a nb eg e n e r a l l yo b t a i n e dt h r o u g ht h em u l t i m e d i aa p p r o a c h , a n d p h y s i o l o g i c a ls i g n a l sc o i l l ef r o mt h es e n s o r st h r o u g han o n - i n v a s i v ew a y , a l lo ft h e s es i g n a l sc a nb e a n a l y z e da n dc a l c u l a t e db yc o m p u t e r o b v i o u s l y , w h e np e o p l eh a v ee m o t i o n s ，p h y s i o l o g i c a ls i g n a l s a r ed i r e c t l yp r o d u c e db yh u m a nb o d y , w h i c hc a nm o r ea c c u r a t e l yj u d g ep e o p l e se m o t i o n sa n de v e n t h ep o t e n t i a le m o t i o n st h a tt h ef a s tt h r e em e t h o d sc a nn o tb eo b s e r v e d p u l s es i g n a li so n eo f p h y s i o l o g i c a ls i g n a l s , b u tl i u l er e s e a r c hh a sb e e nd o n ei nt h ef i e l do fp u l s es i g n a l - b a s e da f f e c t i v e r e c o g n i t i o n t h er e s e a r c hw o r ki nt h i st h e s i si sc o m m e n c e db yf o c u s i n go nt h ea l t e c t i v er e c o g n i t i o n p r o b l e mo f t h ep u l s es i g n m a r e rf i l l l yr e s e a r c ho ft h ee x i s t i n gl i t e r a t u r e s ，i ti sf o u n dt h a tp u l s ei saf e e b l eb i o e l e c t r i c i t y s i g n a lw h i c hc o n t a i n saw e a l t ho fp h y s i o l o g i c a la n dp a t h o l o g i c a li n f o r m a t i o n i fs o m ef e a t u r e so r f e a t u r ec o m b i n a t i o n sw h i c hr e p r e s e n ts p e c i f i ce m o t i o n a ls t a t e sc a nb ef o u n dt h r o u g hp u l s es i g n a l ， a f f e c t i v er e c o g n i t i o nw i l lb er e a l i z e db yg e t t i n gt h em a p p i n gr e l a t i o nb e t w e e na f f e c f i v ep h y s i o l o g i c a l f e a t u r e sa n de m o t i o n s t h ei m p l e m e n t a t i o np r o c e s si sd e s c r i b e d 罄f o l l o w s ： ( 1 ) s i g n a la c q u i s i t i o n t h r o u g hs e t t i n go ft h ea p p r o p r i a t ee x p e r i m e n ta b o u tp u l s es i g n a l a c q u i s i t i o n , b o t hv i s u a la n da u d i t o r ys t i m u l a t i o na r eu s e df o ra r o u s i n gt h es u b j e c t s e m o t i o n ss ot h a t t h ee m o t i o n - i n d u c e dp u l s es i g n a l sa r er e c o r d e d a tl a s t , 2 4 2g r o u p so fe f f e c t i v ea f f e c t i v e v 西南大学硕十学位论文 p h y s i o l o g i c a lr e s p o n s es a m p l e so ft h ep u l s es i g n a l sa r eo b t a i n e d , w h i c hi n c l u d es e v e ne m o t i o n s ( c a l m , h a p p i n e s s ，s u r p r i s e ，d i s g u s t , 酊e l , a n g e ra n df e a t ) ( 2 ) f e a t u r ee x t r a c t i o n t h eo r i g i n a lp u l s es i g n a l sa r eu s u a l l ys u b j e c tt ot h ei n t e r f e r e n c eo fv a r i o u s f a c t o r s ，s op r e p r o c e s s i n gm u s tb eu s e di nt h eo r i g i n a ls a m p l e sb e f o r ef e a t u r ee x t r a c t i o nt oe n s u r e m o r er e l i a b l ed a t as o u r c e s t h e n1 0 4s t a t i s t i c a lf e a t u r e sa r ee x t r a c t e df r o mt h e2 4 2p r e p r o e e s s e d s a m p l e s ，w h i c hi n c l u d e d2 0t i m ed o m a i nf e a t u r e s ( m a x i m u m ，m i n i m u m ，m e a n , m e d i a n ，s t a n d a r d d e v i a t i o no ft h em a i nw a v ep e a k , a n ds oo n ) a n d8 4w a v e l e tc o e f f i c i e n tf e a t u r e sa f t e rd o i n g7 - l a y e r s w a v e l e td e c o m p o s i t i o n f u r t h e r m o r e ，t h em o n s t r o u sv a l u e sa r ed e l e t e df r o mt h e s ef e a t u r e sa n dt h e f e a t u r e sv a l u e sa r en o r m a l i z e db e t w e e n0a n d1t og e to r i g i n a lf e a t u r es e t s ( 3 ) f e a t u r es e l e c t i o n an e wt w o - s t a g ef e a t u r es e l e c t i o nm e t h o dw h i c hc o m b i n e sc o r r e l a t i o n a n a l y s i sw i t ha n tc o l o n yo p t i m i z a t i o na l g o r i t h mi sp r o p o s e di nt h i sp a p e r f i r s t l y , s e q u e n t i a l b a c k w a r ds e l e c t i o n ( s b s ) i su s e df o rs o r t i n go ft h eo r i g i n a lf e a t u r e s s e c o n d l y , t h el i n e a rc o r r e l a t i o n c o e f f i c i e n ti sa d o p t e dt oc o m p u t et h ec o r r e l a t i o nd e g r e e sb e t w e e nt h ef e a t u r e sa n df e a t u r e sw i t hh i l g h c o r r e l a t i o nd e g r e e sa r er e m o v e dt h r o u g ht h er e s u l to fs o r t i n g f i n a l l y , m a x - m i na n tc o l o n ya l g o r i t h m c o r r e l a t i o na n a l y s i si su s e df o rf e a t u r es e l e c t i o n , w h i c hs e a r c h e sf o ra l lo p t i m a ls u b s e tb a s e do nt h e c o m p a c tf e a t u r es u b s e t , w h i l et h ef i t n e s si sv a l u e db yb o t ht h er e c o g n i t i o nr a t eo ff i s h e rc l a s s i f i e r a n dt h en u m b e ro ff e a t u r es u b s e t , a n dt h e ns i xe m o t i o n s ( h a p p i n e s s ，s u r p r i s e ，d i s g u s t , g n e l , a n g e r a n df e a r ) a r er e c o g n i z e db ym e a l l so ff i s h e rc l a s s i f i e r f u r t h e r m o r e ，s u p p o r tv e c t o rm a c h i n e ( s v m ) b a s e do nc o n v e xo p t i m i z a t i o ni sa l s oa p p l i e dt of e a t u r es e l e c t i o nt oc o m p a r ew i t ht h er e s u l to f p r o p o s e da p p r o a c h ( 4 ) m o d e le s t a b l i s h m e n t t h ee x p e r i m e n t sa r ec o m p l e t e do nt h eb a s i so ft h ea b o v et h e o r y , a n d f e a t u r ec o m b i n a t i o n sw h i c hr e p r e s e n tas p e c i f i ce m o t i o n a ls t a t e ( h a p p i n e s s ，s u r p r i s e ，d i s g u s t , g r i e l , a n g e ra n df e a t ) c a nb ed e t e r m i n e dt h r o u g ha n a l y s i s a tl a s t , t w o - c l a s sa f f e c t i v er e c o g n i t i o nm o d e lo f e a c he m o t i o n a ls t a t eb a s e d0 1 1p u l s es i g n a l sc a nb ee s t a b l i s h e d a l lt h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o r r e l a t i o na n a l y s i sa n da n tc o l o n yo p t i m i z a t i o n a l g o r i t h mc o m b i n e dw i t ht h ef i s h e rc l a s s i f i e rc a nb ee f f e c t i v e l yu s e df o rf e a t u r es e l e c t i o na n d c l a s s i f i c a t i o nb a s e do na f f e c t i v ep u l s es i g n a l ，a n df e a t u r ec o m b i n a t i o n sw i t hm o r es t a b i l i t ya n d b e t t e rp e r f o r m a n c ec a nb eo b t a i n e df r o mt h eo r i g i n a lf e a t u r es e t s ，t h e nt h em a p p i n gr e l a t i o nb e t w e e n a f f e c t i v ep h y s i o l o g i c a lf e a t u r e sa n de m o t i o n sb a s e do np u l s es i g n a lc a nb ec o n s t r u c t e dt oe s t a b l i s h e f f e c t i v ea f f e c t i v er e c o g n i t i o nm o d e l i no t h e rw o r d s ，t h er e s u l t sp r o v et h ev a l i d i t yo f t h em e t h o da n d as o l i df o u n d a t i o nh a sb e e ne s t a b l i s h e df o r t h ec o n s t r u c t i o no fa f f e c t i v er e c o g n i t i o nm o d e l k e y w o r d s ：a f f e c t i v er e c o g n i t i o n ；p u l s es i g n a l ；f e a t u r es e l e c t i o n ；c o r r e l a t i o na n a l y s i s ； m a x - m i na n tc o l o n ya l g o r i t h m v i 绪论 皇寞蔓曼曼曼暑i i 一一 一 一 一 i i 一 i 曼曼曼皇曼曼曼曼曼量曼曼量 第一章绪论 在当今社会我们不难发现，人们与计算机的交互时间比和其他人交流的时间 更长，可以说，人一机交互l ( h u m a n - c o m p u t e ri n t e r a c t i o n ，h c i ) 是个必不可少的话 题。在人一机交互的发展过程中，人与计算机的关系已经从人操作计算机转变为 计算机辅助人，从人围绕着计算机转变为计算机围绕着人转，并且计算机从认知 型也转变成了直觉型。显然，要实现人与计算机之间智能、和谐的交互，就必须 要求人一机交互中的计算机具有情感识别和表达能力，并应该有情感，具有现在 称之为“情感智能的东西。因此，1 9 9 5 年p i c a r d 在一次报告会中首次提出“情 感计算 这一概念【l 】。到目前为止，情感计算技术给人机情感交互的实现提供了有 效的支持和帮助。在实际研究过程中，情感计算的研究内容主要集中于情感信号 的获取、情感信息的分析与识别、情感信息的理解、以及情感的表达。在情感识 别研究涉及的多个方向中，由于生理信号是由人体内部器官自然产生的生物电信 号，在情感激发状态下无法隐藏因情感变化而引起的信号变化。因此，基于生理 信号的人机情感交互基础理论与技术在客观性、可靠性等方面具有明显优势。 1 1 研究背景 对于人一机交互问题，斯坦福大学的c 1 i 硒r dn a s s ，b y r o nr e e v e s 和他们的同 事曾经采用人人交互的测试来研究人一机交互，经过大量的实验证明：人一人 研究中的经典结果在人一机交互的研究中仍然成立。所以研究者们得出结论：个 体与计算机的交互是天生自然和社交性的【2 1 。由于情感属于人类交流中自然的和社 交的一部分，所以人们在与计算机交互时也会自然而然地使用它。从过去的科学 研究表明，情感对人们的智力、感知、记忆、理性决策、社交、学习和创造能力 等方面都有着重要作用。对于智能的人来说，把情感加到不具备情感的事物上是 很常见的事情，所以情感识别和表达在交流理解上是必要的，是人们最重要的心 理需求之一。基于计算机的交流从情感方面可以说是耳聋目盲的，总体来说是受 损的情感。假如能让计算机变成至少能识别和表达情感，交流就会发生巨大变化。 事实上，p i c a r d 在其著作情感计算中就曾总结到：计算机在认知、表达以及在 某种情况下是“有 情感的【3 l 。可能大家会产生疑问，计算机被认为是逻辑、理性 和可预测性的典范，它可以有情感吗? 难道情感可以计算吗? 这个结论看似荒谬 可笑，但事实已经证明，可以根据人类情感已有知识构造出具有识别、表达“有 情感的情感计算机的条件，而情感智能是保证出能成功设计情感计算机的一些情 感能力之一。早在1 9 9 0 年，p e t e rs a l o v e y 和m a y e r 就将情感智能定义为：监控一 个人自身以及他人感觉的情感，并加以区别，而后利用这些信息指导一个人的思 维和行为的能力【4 1 。成年人的情感智能包括识别、表达和具有情感的能力，并同时 西南大学硕士学傅论文 皇皇曼蔓皇皇i- - i 曼曼鼍皇曼皇曼毫曼量曼量曼曼皇曼鼍曼皇量 具有调节这些情感的能力，以便驾驭情感来达到建设性目的和熟练掌握他人情感 的能力。当通过某种方法把这种能力赋予计算机，计算机就可以和人进行和谐的 情感交互。 从情感的定义可以知道，情感计算的研究范围较广，可以说是个高度综合化 的技术领域，涉及计算科学、心理科学和认知科学等多个学科，目的是研究人与 人交互、人与计算机交互过程中的情感特点，并进一步构建出具有情感反馈的人 机交互环境，终极目标是为实现人与计算机的情感交互。从人类情感的交流来讲， 情感计算的研究过程如图1 1 所示。 广- 1 广 广 广 _ 叫信号获取卜1 分析识别卜l 情感理解f _ 叫情感表达 _ + l _ jl - - - - - - - j1 _ jl _ j 图1 1 情感计算的研究过程 从图中可以中看出，情感识别属于情感计算的重要组成部分，它实际上是一 种模式识别问题，是人工智能的基础研究领域，也是当今世界研究中的一个热门 领域，主要包括面部表情、情感语音、姿态表情和生理信号等研究对象。其主要 实现方法是先提取初始特征集合，其次将这些特征送入分类器( 如f i s h e r 、s v m 等) 进行训练，接下来进行特征选择得到最优特征组合，最后计算最优特征组合 在被试的待分类数据中的特征值，以达到对被试情感状态分类的目的。这个过程 的关键点在予找出情感状态和表达模式之间的对应关系。如果能让计算机识别人 的情感状态并与之进行情感交流，就能够根据用户情感状态的变化情况及时地对 其进行情绪调节与建议，为计算机用户建立一个人性化的和谐系统。 基于生理信号的情感识别是情感计算研究领域的一个重要分支，它不同于表 情、语调等明显的表现形式，而是一种人体潜在的生理学反应。总所周知，长时 间的情绪低落，长期的愤怒、焦虑和压力将会影响身体健康，特别是增加了生病 的可能性。在过去的一段时间里，已经有多种科学研究不仅确认情感的这些影响 力，而且说明了负面情感是如何降低免疫系统的功能，抑制身体对抗传染病或疾 病的能力，并降低自身的治愈能力。神经免疫学这一新的医学领域中的研究者发 现，情感直接影响免疫系统的机制。虽然不能说情感能使人生病，但有证据显示 情感强烈影响身体在预防疾病和从疾病中恢复方面的能力。所以可以推想，情感 的变化必然引起生理上的某些变化，虽然对别人来说并不太明显，但这些变化是 感受者的身体完全自然真实流露的。通常，这些对别人不明显的生理反应包括心 率、脉搏、呼吸、肌电、皮肤电导及皮色和体温等信号，许多研究学者已经在基 于这些生理信号的情感识别研究中取得了一定成果。 1 2 研究意义 在过去的十多年里，情感计算在下一代人机交互中表现出的巨大潜力，因此 2 绪论 得到了快速发展【5 一，其应用前景不可限量。举个例子，假如你将要去参加一个人 生中很重要的面试。在面试过程中h r 问了许多不客气的问题，在结束正式面试后， 他说你太紧张，目光不敢正视而且手心冒冷汗。庆幸的是这不是真实的，只是你 在值得信赖的计算机面前的一次演示。这个计算机代理以h r 的身份来对你进行提 问，同时它会注意听取你的声音的变化，观察你的面部表情和肢体变化，感觉你 的生理学参数的变化，如皮肤电反应、体温等。这些都在观察你的情感反应，然 后找出与平日一般交互时的情感反应有什么不同，最后判断出你现在的情感状态， 并给与提示如何改善，以便真正面试能够应对自如。这个例子看似简单，但在生 活中的意义是显而易见的。在实际生活中，随处可见与情感计算相关的应用，只 是鲜有仅包含情感计算的应用，大多数情况下都需要与其它工具相结合，尤其是 人机接口设计、计算机视觉和听觉，概率学习和人工智能推理等工具。 p i c a r d 曾在其著作中提出，情感计算在娱乐、学习、社会发展、预防医学、与 消费者关系和其他领域方面都能应用，不仅是用于消费品，也用于对人类情感的 进一步理解。其中有些应用已经能够运用现有的技术工程实现，例如可视化的情 感和语音情感、合成语音中的情感、动画代理的简单合成情感和情感表达等。对 于更加复杂的应用，包括用户情感的识别，根据情感线索的推理，以及对给定用 户的情境懂得如何智能的反应等等。所以，情感计算的目标之一【7 】就是设计出这样 一个计算系统：对于用户的情感( 例如高兴、悲伤等) ，认知( 例如沮丧、厌烦等) ， 动机( 如说话的表达方式) 8 , 9 1 ，面部表情1o 1 ，生理信号【1 2 , 1 3 l ，神经认知表现 1 4 1 ， 以及多种方式的合并【1 5 , 1 6 ，该系统能以合理性和策略性的方式做出反应以便实时 改变。它潜在的应用可以概括为以下几方面： 学习f 1 7 l ：例如，一个电脑教学机识别了学生的情感和认知状态，就能有针 对性的提供给学生某种教学策略。 情感游戏【1 8 , 1 9 1 ：例如，一个游戏通过改变它的设置( 如难度，可视化程度、 音乐等) ，就能自动地让游戏的玩家保持参与其中的状态。 机器人技术 2 0 1 ：例如，一个具有个性化设置的机器人伙伴能够理解和表达 情感。 医疗保健和行为信息学【2 1 盈j ：例如，孤独症评定。 目前，可穿戴式的计算机已经开始应用，最适用于让商人、病人、修理工人、 以及消费者以自然的方式把手机、掌上电脑、照相机和随身听等工具集合到一个 容易穿戴的装置上。这个装置几乎可与人体的任何部位接触，因此开辟了一种全 新的人机接口可能性。特别是由于它们能长期和人体亲密接触，所以具有极大的 可能性使自己情感化。“情感可穿戴式计算机 是一种装有某些传感器和识别工具 的可穿戴系统，这些传感器和工具可以用来识别穿戴者情感模式。假如一个有语 3 西南大学硕士学位论文 言障碍能用手语的人，可以穿戴小型摄像机或者手语识别系统来“读取 他的手 语，然后将之转化为语言传送给不懂手语的人。这个过程实际上是让手语者通过 手势传达情感表达，通过适宜的情感能力，可穿戴式计算机能随着人的手势所表 达的意思说出带有合适语调的词汇，并且计算机在将文本转换为语言时，可根据 穿戴者的情感来调整语音。 其实关于穿戴一些装置来测量和交流情绪的想法早已存在，2 0 世纪7 0 年代的 情绪戒指就是典型代表。现在可穿戴式计算机的性能己逐步提升，它们可以听懂 人的语言，观察人的手势，感觉人的心率、脉搏、血压和皮肤电反应等生理信号 的变化，可见，对基于生理信号的情感计算应用也随之变得越来越广泛。例如在 用户反馈系统中，最直接的应用就是收集人一机交互时与某种情感反应相应的生 理信号，其优势在于：情感被激发时就会立即产生生理反应，通过非侵入式的传 感器收集不会突然中断交互过程，最后采集到的信号通过定量分析可以找出交互 时哪一部分最能表现这种情感，这样下次使用这个计算机时就可以比较是否在他 们同一地方，他们的情感强度是增高还是降低了。实际的应用中，当人们在使用 计算机时遇到了问题，但因不知道所遇到问题的名称，以致无法查找使用手册； 如果此时计算机软件能够注意到用户的情感反应，找出用户遇到异常压力和挫折 时而沮丧的生理信息，就能做出反应提供一种方法来帮助用户的需求。 1 3 研究现状及存在的问题 目前，各国很多学者从面部表情、情感语音、姿态表情和生理信号等方向展 开对情感计算的研究，本研究主要研究以生理信号为基础的情感识别。其实，有 关生理信号可以区别情感的话题早在上世纪8 0 年代已有接触。p a u le k m a n 是面部表 情研究中接触的权威，他指出存在“基本的”情感( 在后续的研究过程中，很多 研究者都采用了e k m a n 对情感的分类方式) ，它们中的每一种都有自己一套独特的 面部肌肉运动模式 2 3 1 。同时，e k m a n 等人也通过所做的一系列实验得出结论：当 人们脸部做出不同表情，不仅可以产生和所做出的表情相一致的自觉的情感体验， 还可以产生其他用以区别情感的生理学信号，也就是说，至少对某些情感，其生 理反应是特异的【2 4 2 5 1 。 在这些理论基础上，美国m i t 媒体实验室情感计算研究小组的p i c a r d 教授等人 邀请一位女演员表现各个情感并采集情感状态下的生理信号，率先采集肌电图 ( e m g ) 、血容量搏动( b v p ) 、皮肤电反应( g s r ) 和呼吸作用4 种生理信号并从 中提取了6 种特征( 均值、标准差、一阶差分绝对值的均值、二阶差分绝对值的均 值，以上4 种特征全部根据未经处理的信号计算，其中后两项再重复取一次，并且 这次根据归一化信号计算) ，再对愤怒、憎恨、悲伤、纯精神的爱、高兴、浪漫的 4 绪论 爱、崇敬7 种情感以及不带情感的中性状态，共8 种情感状态进行分类识别，其中 结合了模式识别工具中的经典工具f i s h e r 投影。p i c a r d 及其研究小组的工作证明了 用生理信号进行情感识别是一种客观有效的方法1 3 洲。无独有偶，k h k i m 等人使 用音频和视频作为诱发材料，采集被试的心电、脉搏、皮肤温度和皮肤电导四种 信号，对悲伤、压抑、惊奇和愤怒4 种情感状态进行分类识别【2 7 】；德国的j o h a n n e s w a g n e r ，j o n g h w ak i m 等人在a u g s b u r g 大学的多媒体信号处理实验室使用音乐诱发 愤怒、高兴、悲伤和愉悦4 种情感，采集单个被试的肌电、心电、皮肤电导和呼吸 信号，从中提取均值、中值、标准差等1 9 3 个统计特征值进行情感分类识别，取得 了较好的效剁2 刚；2 0 0 8 年j k i m 在他们之前的工作基础上，仍然使用音乐诱发愤怒、 高兴、悲伤和愉悦4 种情感，使用新方法提高了识别掣四j 。 近年来，生理信号用于情感识别研究取得了新的进展。r e z ar d e r a k h s h a n i 等人用视频记录惊吓时的眨眼情况，并从眼睑的位移和速度中提取特征，用数据 驱动的特征选择方式结合支持向量机分类，识别率接近7 9 例；p a n a g i o t i sc p e t r a n t o n a k i s 等人利用一种新的特征提取方法( 地虹h o c ) 从脑电信号中提取特 征，对高兴，惊奇，愤怒，恐惧，厌恶和悲伤6 种情感进行识别，识别率高达 8 5 1 7 【3 l 】；d o n g r u iw u 等人用支持向量机对皮肤电导，呼吸，心电和脑电信号进 行分类，建立了一个能对用户的情感和认知状态做出实时评价和处理的闭环情感 计算系统【3 2 】；d i m i t r i sg i a k o u m i s 等人采用1 9 个不同被试的心电信号和皮肤电信 号，根据生理信号中基于矩的特征自动检测游戏玩家在玩耍视频游戏过程中的厌 烦情感，其中传统特征和基于矩的特征一起可以使自动检测厌烦情感分类识别率 达到8 5 ，如果在这些特征基础上再加入变异矩( l e g e n d r ea n dk r a w t c h o u k m o m e n t s ) 的特征可以使最大正确分类识别率达到9 4 1 7 冽；a l e x a n d r en t u c h 等人测试了网页中的可视复杂内容是否会影响观察者的情感反应，实验通过搜集 4 8 个被试在观看3 6 个( 包含大量可视复杂内容) 网页时的主观感觉、行为表现和 心血管反应的信息，发现较少的复杂网页能够联系更积极的情感，包括眼动减少 ( 特别是观看的前几秒) 、三相心率反应和手指脉搏幅度，结果证明网页可以根据 用户的情感自适应显示 3 4 1 。 脉搏信号作为人体重要的生理信号之一，是一种微弱的生物电信号，是神经 细胞传导信息时在血管内部或皮肤表面电活动的总体反映，蕴含着人体许多生理 和病理信息，相对其它的生理信号而言，采集的方法比较容易且噪声较少，假如 能够从脉搏信号中找出能代表某种情感的特征或特征组合，建立起生理特征与情 感之间的一种映射关系，就可以通过脉搏信号的特征来进行情感识别。根据研究 现状来看，目前单独的脉搏信号用于情感识别的研究还相对较少，通常的方式是 与其它生理信号相结合去识别情感。在2 0 1 0 年，c h u a n - y uc h a n g 等人就采集脑电、 两南大学硕士学位论文 皮肤电反应、呼吸作用、血容量搏动和脉搏信号，利用支持向量机( s v m ) 对高 兴、悲伤和恐惧3 种情感进行分类识别【3 5 】。目前，本实验室也采用电影片段作为 诱发素材建立情感数据库，主要研究由生理过程自发产生的自主信号，如心电 ( e c g ) 、脑电( e e g ) 、肌电( e m g ) 、皮肤电导( g s r ) 、脉搏和呼吸等生理信 号，并采用了多种智能优化算方法与分类器结合的方式进行情感识别。 虽然基于生理信号的情感识别已有大量研究，但各种研究方法都存在一些难 以避免的问题需要解决，如： ( 1 ) 目前国际上没有统一标准的情感生理信号数据库，即使在已有的相关研 究中，采用的样本数量都相对较少，并且众多的信号和情感分类也是各不相同。 ( 2 ) 生理信号的情感特征提取方法不统一，一般情况下都会尽量提取较多的 特征，如此便会加大分类难度，即带来了“维数灾难”问题。这些特征中有些可 能是相关的、冗余的、错误的，反而会导致错误的结果。需要进行有效的特征选 择，筛选出对分类有用的特征组合。 ( 3 ) 特征选择是一个组合优化问题，常规方法如f i s h e r 比率法、变化权重法、 c o o m a n s 判据法和分布曲线法，常规的最优方法如穷尽搜索法、分支定界法，次 优方法如单独最优特征组合法、顺序搜索法等，这些方法有时可能因为计算量太 大而难以实现。其中用于生理信号的特征选择的方法有a n o v a 、p c a 等，计算 速度较慢、收敛性较差、结果不稳定。 ( 4 ) 建立情感识别模型，需要确定出能代表特定情感的特征或特征组合，在 目前基于脉搏信号的情感识别研究中，还没有得出这样的结论。 1 4 论文研究内容 针对现行研究存在的问题，论文主要讲述了脉搏信号的情感识别问题，利用 实验采集所需要的脉搏信号并进行处理和特征提取，然后采用基于相关性分析及 蚁群优化算法的特征选择方法完成特征选择，同时结合f i s h e r 分类器对高兴、惊 奇、厌恶、悲伤、愤怒和恐惧6 种情感进行分类识别，最后建立起脉搏信号各个 情感的二分类识别模型。整个工作流程如图1 2 所示。 6 绪论 曼皇量曼舅舅罾量曼皇曼量曼舅曼曼鼍曼曼舅曼曼皇曼曼曼曼曼曼曼皇曼曼曼曼蔓i i 曼曼皇量皇量量量皇曼曼皇皇曼曼量舅舅曼曼皇曼鼍曼皇曼皇曼 1 l 筛选并截取有效 激发的脉搏信号 上 l 对脉搏信号预处理，并提取特征， l