（信号与信息处理专业论文）两种改进的粒子群算法在皮肤电信号情感识别中的研究.pdf

户 j - - l 4 崎 i i i 目录 摘要1 a b s t r a c t i i i 第一章绪论1 1 1 情感识别l 1 2 基于皮肤电信号的情感识别研究进展3 1 3 论文的创新之处6 1 4 论文整体结构6 第二章皮肤电信号的采集和特征提取9 2 1 认识皮肤电( g s r ) 信号。9 2 2 皮肤电( g s r ) 信号的采集1 0 2 2 1 采集系统1 0 2 2 2 实验安排1 l 2 3 皮肤电( g s r ) 信号的预处理1 2 2 3 1 去躁过程1 2 2 3 2 数据的标准化过程1 3 2 4 皮肤电( g s r ) 信号的特征提取1 3 2 5 ，j 、结1 4 第三章基于g s r 信号的特征选择1 5 3 1 特征选择问题1 5 3 2 特征选择的方法1 6 3 2 1 序列后向选择算法1 6 3 2 2 粒子群优化算法1 6 3 3 小结2 6 第四章解决基于g s r 信号情感识别问题的f i s h e r 分类器设计2 7 4 1 分类器的设计原理及其分类2 7 4 2 线性f i s h e r 分类器2 7 4 3 适应度函数的选择。2 9 4 4d 、结3 0 第五章基于g s r 信号的情感识别结果分析3 l 5 1 权重系数对情感识别研究的影响3 l 5 2 后向选择算法进行情感识别的效果。3 3 5 3 改进的粒子群算法进行情感识别的效果。3 6 5 3 1 两种改进粒子群算法识别单一情感时的效果比较3 7 5 3 2i h p s o 进行一对一情感识别效果。4 2 5 4 ，j 、结4 8 第六章总结与展望。4 9 6 1 总结4 9 6 2 展望4 9 参考文献51 附勇之5 5 致谢5 7 攻读硕士期间研究成果及发表的学术论文5 9 一 ， f 口 曩 - 摘要 两种改进的粒子群算法在皮肤电信号情 感识别中的研究 信号与信息处理专业硕士研究生吴光华 指导教师刘光远教授 摘要 目前可以采用相关的皮肤电导监控系统来检测人的生理状态，但是有关g s r 信号中蕴含 的情感信息方面的研究还很少。本文主要研究的是六种情感状态( 高兴、惊奇、厌恶、悲伤、 愤怒和恐惧) 和g s r 信号特征之间的对应关系，研究的过程主要分为训练和验证两个阶段。 为建立丰富的g s r 情感生理数据库，长期招募被试，并利用精心挑选的能够代表高兴、 惊奇、厌恶、悲伤、愤怒和恐惧情感色彩的电影片段激发相应情感，采用b i o p a e 公司生产的 多通道生理信号采集仪m p l 5 0 记录各被试的g s r 信号，实验过程中，为确保数据的有效性， 主试应该密切关注被试在观看影片时的情况并实时标注，再对采集到的原始g s r 信号数据进 行滤波、标准化和归一化处理。根据主试的标记和电影片段最能激发相应情感的时间段，选 取了若干组有效数据，包括：1 9 4 组高兴数据、1 5 9 组惊奇数据、8 2 组厌恶数据、2 2 1 组悲伤 数据、2 2 4 组愤怒数据和18 9 组恐惧数据，并对上述各组数据进行特征提取，提取了能够代表 g s r 信号变化的3 0 个统计特征，为下一步的特征选择过程做好准备。 在特征选择过程中，选用了传统的序列后向选择( s b s ) 算法和两种改进的粒子群智能优 化算法，并选用f i s h e r 分类器。在上述过程中，将目标情感看做第一类，而将其他情感看做 第二类。针对基本p s o 算法容易陷入局部极小的情况，选用改进的两种p s o 算法，其中一种 是在添加了惯性权重、邻域搜索和交叉变异算子的混合粒子群( h y b r i dp a r t i c l es w a r m o p t i m i z a t i o n , h p s o ) 算法，另一种是将生物免疫系统的自调节理念引入到h p s o 算法中，将惯 性权重设置成自适应调节形式的免疫混合粒子群算法( i m m u n eh y b r i dp a r t i c l es w a r m o p t i m i z a t i o n , i h p s o ) 1 。 对比分析上述各特征选择算法寻找到的最优特征组合的验证识别效果，得到的结论如下： ( 1 ) s b s 算法和p s o 算法均在识别恐惧和惊奇情感时效果尤为明显，在识别厌恶情感时 效果不佳； ( 2 ) 在识别特定情感时，智能优化算法p s o 获得的验证识别效果都优于传统的s b s 算 法： 1 基金项目：国家自然科学基金( n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；i 丑i 南大学国家重 点学科基础，t l , j 1 学科研基金( t l l en a t i o n a lk e ys u b j e c tf o u n d a t i o nf o rb a s i cp s y c h o l o g y ( n o n k s f 0 7 0 0 3 ) i 两南大学硕十学位论文 ( 3 ) 采用i h p s o 寻找到的解识别目标情感的正确识别率、第二类情感的正确识别率、 最优特征组合的验证适应度都高于h p s o 的情况，表明在添加了免疫机制后，能够有效地解 决h p s o 算法容易陷入局部极值的缺点。 ( 4 ) 从六种情感中任意挑选两种进行一对一识别研究，共比较了1 5 种组合，将与每种 情感相关的最优特征组合结果进行对比，找出了在相应情感识别中的较优特征，然后将其与 i h p s o 选择到的最优特征组合中特征组成成分进行了比较，找出相同特征，分析出这些特征 时最能够反映各情感变化。 关键字：g s r 信号情感识别i t p s oi h p s o 后向序列选择算法特征组合f i s h e r 分类器 i i r - 墨 ， o ， a b s t r a c t r e s e a r c ho fa f f e c tr e c o g n i t i o nf r o mg s r u s i n gt w oi m p r o v e dp s oa l g o r i t h m s m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f g u a n g y u a nl i ua u t h o r ：g u a n g h u aw u a b s t r a c t n o wg a l v a n i cs k i nr e s p o n s e ( g s r ) m o n i t o r i n gs y s t e mc a nb eu s e dt od e t e c th u m a n p h y s i o l o g i c a ls t a t e s ，h o w e v e r , f e wr e s e a r c h e sh a v eb e e nd o n eo na f f e c t i v er e c o g n i t i o nf r o mg s r s i g n a l t h i sp a p e rm a i n l ys t u d i e st h ec o r r e s p o n d i n gr e l a t i o n s h i pb e t w e e ns i xk i n d so fa f f e c t s ( h a p p i n e s s ，s u r p r i s e ，d i s g u s t ，g r i e l , a n g e ra n df e a r ) a n dg s rf e a t u r e s ，a n dt h ec o u r s eo ft h er e s e a r c h i sm a i n l yd i v i d e di n t ot w os t a g e s ：t r a i n i n ga n dv a l i d a t i o n t ob u i l dr i c hg s ra f f e c t i v ep h y s i o l o g i c a ld a t a b a s e ，l o n g - t e r ms u b j e c tr e c r u i t i n gi sn e e d e d ，a n d c a r e f u l l ys e l e c t e dm o v i ec l i p sa r eu s e dt os t i m u l a t et h ec o r r e s p o n d i n ga f f e c t s ，n a m e l y , h a p p i n e s s ， s u r p r i s e ，d i s g u s t ，g r i e f , a n g e ra n df e a r t h e nt h em u l t i c h a n n e lp h y s i o l o g i c a ls i g n a la c q u i s i t i o n i n s t r u m e n tm pi5 0i su s e df o rg s rs i g n a lr e c o r d i n g t oe n s u r et h ev a l i d i t yo fd a t a , t h e e x p e r i m e n t e r ss h o u l dp a yc l o s ea t t e n t i o nt ot h es u b j e c ta n dm a k em a r k e r sw h i l et h es u b j e c ti s w a t c h i n gm o v i e s t h ec o l l e c t e dg s rs i g n a l sw i l lb ef i l t e r e d ，s t a n d a r d i z e da n dn o r m a l i z e d t h e s e l e c t e dv a l i dd a t ai n c l u d e ：19 4g r o u p sh a p p i n e s sd a t a , 15 9g r o u ps u r p r i s ed a t a , 8 2g r o u p sd i s g u s t d a t a , 2 21g r o u p sg r i e fd a t a , 2 2 4g r o u p sa n g e rd a t aa n d18 9g r o u p sf e a rd a t a 3 0s t a t i s t i c a lf e a t u r e s t h a tr e p r e s e n tc h a n g e so fg s rs i g n a la l ee x t r a c t e df r o mt h es e l e c t e dd a t a , w h i c hm a k e sp r e p a r a t i o n f o rf e a t u r es e l e c t i o n t r a d i t i o n a ls e q u e n t i a lb a c k w a r ds e l e c t i o n ( s b s ) a l g o r i t h ma n dt w oi m p r o v e dp a r t i c l es w a r m o p t i m i z a t i o n ( p s o ) a l g o r i t h m sa r eu s e df o rf e a t u r es e l e c t i o n ，r e s p e c t i v e l y f i s h e rc l a s s i f i e r i s a d o p t e di nt h ep r o c e s so fc l a s s i f i c a t i o n , a n df e a t u r es e l e c t i o nr e s u l t sa r ea n a l y z e da n dc o m p a r e d t h r o u g h o u tt h ep r o c e s sa b o v e ，t h eg o a la f f e c ti ss e e na st h ef i r s tk i n da n df i v eo t h e ra f f e c t sa st h e s e c o n d a c c o r d i n gt ot h ec a s et h a tb a s i cp s oa l g o r i t h mi se a s i l yg e ti n t ot h el o c a lo p t i m u m ，w e c h o o s et w ok i n d so fi m p r o v e dp s oa l g o r i t h m s ，o n ei sh y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ( h p s o ) a d d i n gs e l f - a d a p t i n gi n e r t i a , n e i g h b o r b o o ds e a r c ha n dc r o s s o v e r - m u t a t i o no p e r a t o r ，t h eo t h e ri s c a l l e di h p s o ( i m m u n eh y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ) w h i c hi m p o r t ss e l f - a d j u s t m e n t c o n c e p to fb i o l o g i c a li m m u n es y s t e ma n ds e l f - a d a p t i n gi n e r t i as e ti n t ot h eh p s oa l g o r i t h m s a f t e rc o m p a r i n ga n da n a l y s i n gt h eo p t i m a lf e a t u r ec o m b i n a t i o nv a l i d a t i o nr e c o g n i t i o ne f f e c to f t h ef o r e g o i n gf e a t u r es e l e c t i o na l g o r i t h m s ，w ea t t a i nt h ef o l l o w i n gc o n c l u s i o n s ： i i i 两南大学硕十学付论文 ( 1 ) s b sa n dp s oa l g o r i t h m sc a nr e c o g n i z ef e a ra n ds u r p r i s eo b v i o u s l y , w h i l ed i s g u s ta f f e c t r e c o g n i t i o ne f f e c ti sn o ts ob e a u t i f u l ( 2 ) w h e nw ei d e n t i f yp a r t i c u l a rf e e l i n g s ，t h em e t h o du s i n gi n t e l l i g e n to p t i m i z a t i o na l g o r i t h m p s oc a no b t a i ns u p e r i o rv a l i d a t i o nr e c o g n i t i o ne f f e c t st ot h a tu s i n gt r a d i t i o n a ls b s a l g o r i t h m ( 3 ) i d e n t i f i c a t i o nv e r i f i c a t i o nr e s u l t so ft h et w oi m p r o v e dp s oa l g o r i t h m sh a ss h o w e dt h a t t a r g e te m o t i o nr e c o g n i t i o nc o r r e c tr a t e ，t h es e c o n dt y p eo fe m o t i o nr e c o g n i t i o nc o r r e c tr a t e ，a n d o p t i m a lf e a t u r ec o m b i n a t i o nv a l i d a t i o nf i t n e s so fi h p s 0s o l u t i o n a r ea l lf i n e rt h a nt h eh p s o s i t u a t i o n ，w h i c hs t a t et h a ti tc a l le f f e c t i v e l ys o l v ef a u l te a s i l yi n t ol o c a lm i n i m u mo ft h eh p s ow h e n a d d e di m m u n i t ym e c h a n i s m ( 4 ) i no r d e rt of i n do u tt h eo p t i m a lf e a t u r e sw h i c hc a nr e p r e s e n tc h a n g e so fc o r r e s p o n d i n g a f f e c t s ，w es e l e c t15k i n d so fo n e - t o - o n ei n d i v i d u a l s i d e n t i f i c a t i o nf r o mt h es i xa f f e c t s ，a f t e r c o m p a r i n ge a c ho p t i m a lf e a t u r ec o m b i n a t i o ni no n e - t o o n er e s u l t s ，w ef i n do u tr e l a t i v e l yo p t i m a l f e a t u r ei nt h ec o r r e s p o n d i n ga f f e c t i v ei d e n t i f i c a t i o n f i n a l l yw ec o m p a r et h eo n e - t o o n er e s u l t sw i t h i h - p s os o l u t i o nt of i n ds o m ec h a r a c t e r i s t i c sc a nm o s tr e f l e c tt h ec o r r e s p o n d i n ga f f e c t i v ec h a n g e i v k e y w o r d s ：g s rs i g n a l ；h p s o ；a f f e c tr e c o g n i t i o n ；i h - p s o ；s b s ；f e a t u r ec o m b i n a t i o n ；f i s h e r 第一章绪论 第一章绪论 许多重要的研究证明，情感反应能力是人类智能的基本组成成分，所涉及的智能范围包 括学习、表演和决定事件的重要性i l 】【2 i 。近年来，自适应计算机系统研究进展逐渐得到延伸， 如软件a g e n t 和视频恢复系统能很好的用来跟踪学习用户，这突出地反应出了正确地感知与反 应用户的情感反馈的工作意义重大。情感智能包含有识别、表达和具有情感的能力以及调节 其他人的情绪特征并应用于建设性领域的能力。甚至研究者有研究表明，上述所提到的情感 智能方面的能力是完全可以被用来当作评价成功的一个因素，而比智商表达的含义会更广泛 【2 】。 在自适应计算机系统中，计算机可能用不到人类需要的所有情感智能能力，但是，当要 完成与人的交互，计算机至少应该具备这些能力当中的一部分，如s t a n f o r d 大学的r e e v e s 和 n a s s 两位教授用实验证明出了一个重要理论，在人与人的交流基础上，人机交互也同样是天 生固有的、自然的和具有社会性的，在他们的实验中，原来人与人的交流体系中，将一台计 算机替代了一个人的位置，但得到的交流结果和原来的一样【3 】。在与人的交互系统中，得到正 确的情绪反馈信息是相当重要的，人与人的交流过程中，我们必须观察其他人在面对不同情 况的反应，而在人机交互过程中，我们可以让计算机利用一定的算法完成判断其他人的情绪 状态的工作，以此来决定怎样与人更好的交流，也就是说计算机必须具有情感智能。来自于 美国麻省理工大学m i t 实验室的p i c a r d 教授在其1 9 9 5 年的技术报告1 4 , 5 1 1 中提出了情感计算的 概念，并于1 9 9 7 年在该技术报告的基础上出版了一部关于情感计算的专著a f f e e t i v e c o m p u t i n g ) ) ，引发了各方研究学者的普遍关注【6 ，7 , 8 1 。情感计算的最终目的是实现计算机象人一 样进行生动活泼的交流，但同时首先应该使得计算机具备类似人的获取、加工和表达每种感 情特性的技巧，使得计算机拥有情感智能 9 l o 】。因此，应用广泛的人机交互领域，必须首先实 现的技术为情感识别。 1 1 情感识别 情感能够调节几乎所有的人类交流的外在的和内在的模式：语音、语调、面部表情、行 为举止、皮肤温度呼吸、肌肉动作、心电反应、皮肤电导等等。但同时我们也要看到，人的 情绪也能主观地改变这些信息：某些时候，某些人说什么相对来说并不重要，而相应地，我 们应该更加多地关注他们怎么说，例如面部表情对反应情感流露状态来说可能是最直观的， 但是面部表情表现的内容也很容易受人为控制。因此，情感识别要能在精确的范围反应人类 情感，必须满足以下两个条件【lo 】：( 1 ) 必须使用尽可能多地反应出人类情感信息的信号；( 2 ) 必须包括了产生情感的完整情景、识别情感的目标和意义和能够人为调节的参数。一个情感 识别系统必须首先完成模式识别方案，再通过理性推理和数据处理才能更好的提供情感判别。 当设计人机交互界面时，选择何种信号当作能够识别出人类情感的载体是我们首要解决的问 西南大学硕十学位论文 题，人的脸部表情和交流的语音在一定程度上能反映人的情感，但同时我们也应该看到，人 的生理信号中同时也蕴涵丰富的情感信息：与人握手时感受到的湿度与皮肤电导有关；依在 一个人的身旁能感受得到心率；听到某人的呼吸能判断出他的紧张程度；进一步研究发现， 正是由于脸部的肌肉运动的变化产生了脸部表情。 情感识别问题因为没有存在特定的基准而显得相对来说比较困难。s c h e r e r t 】采用不带任 何感情出色彩的语音素材识别六种不同的目标情感状态，其正确识别率为6 0 ，采用计算机 算法跑出来的识别率能够稍微超过这个值【1 2 】【1 3 】。需要注意的是，采用内含中立色彩感情的语 音识别能够达到9 0 识别率的情况，在运用带有明显感情色彩的语音材料时识别率会降到 5 0 - 6 0 1 钔。 面部表情识别相对来说比上述语音识别要简单。b a s s i l i 5 l 采用由演员表现出的六类面部表 情内容识别8 3 2 个被试的5 7 种情感状态时正确识别率能够达到7 0 - 9 8 。也有一些研究不 专注于多类情感面部表情，而是只研究识别特定的面部活动，包括基本的肌肉运动和p a u l e k m a n 提出的面部活动编码系统，其目的是为了联合这些信息来表达所有的面部表情，为多 类面部活动建立的识别系统已经很成剿临1 9 1 。 尽管上述语音和面部表情识别效果不错，但是以上结果有的是建立在表情类别很少的小 部分容易被夸大或夸小的数据上，有的是通过偶然发生的面部活动子集来识别相应的情感类 别。情感识别问题的难度在某种程度上与情感的理解难易程度有关，尽管现在情感识别相关 理论经过一个多世纪的迅猛发展后卓见成效，研究者始终不能很好的解释什么是情感以及怎 么样表现情感状态。在所有问题中，一个焦点是不同的生理样本能够很好地表现各自的情感 2 0 1 ，包含了人体面部表情内容这个外部表现在内的生理肌肉运动并不总和实际基本情感状态 有关，情感实际包含的内容比之其外在生理表现来说更广泛，它同时含有内部感觉和思想， 和容易被人忽视的感觉和思想的内部形成机制。探索内部身体情感和外部可见可获得的身体 机制的表现依然是以个公开辩论的课题。j a m e s 2 1 1 拥护情感当作身体变化的体验，他举例说就 像我们心脏的跳动和手心的出汗等表现都是我们情感的外在流露，这一研究结论遭到 c a n n o n 2 2 l 的质疑，他指出生理情况的变化等经验还不足于表现出有差别的情感状态； s c h a c h t e r t 2 3 】的实验结果又有表明如果一种身体的唤醒状态被诱发后，当随便经历两种不同情 形后，主体的情绪状态完全不同，并指出手心出汗和心跳加速等生理反应出现后，大脑在得 知我们的情绪状态被诱发之后马上会分析出我们所处的情形是恐惧还是欢喜。 从s e h a c h t e r 的研究工作开始，就出现了有关情感是由特定生理情况的变化决定还是由简 单的唤醒度来体现的争论。e k m a n 等人和w i n t o n l 2 5 1 等人首次将他们的发现公布于世，其研 究结果表明在应对多种情感状态时，人体的自主神经信号有着不同的变化反应，这种研究结 果对于情感识别方面研究的进展的贡献是巨大的，不足的地方在于，他们没有做任何自动分 类的工作；f r i d l u n d 和i z a r d 2 6 】最早应用具有线性判别式的模式识别技术进行情感分类，在研 究中采集了被试在面对4 张表现4 种情绪的人脸表情下的4 路肌电信号( e m g ) ，并提取了实 2 第一章绪论 验采集到的信号的特征，然后将其运用于特征分类，得到了3 8 到5 1 的识别率，从此，基 于生理信号的情感识别研究得到进一步发展。 1 2 基于皮肤电信号的情感识别研究进展 对于情感，p a u le k m a n l 2 7 1 做出的解释中采用的标准是：将普通情感和能够产生明显面部表 情的情感，并联系起这些情感的另外八种属性，归纳出了六种情感状态，包括有悲伤、厌恶、 恐惧、惊奇、高兴和愤怒。针对生理信号的情感识别问题，国内外学者选择的生理信号种类 主要有：g s r ( 皮肤电导反应信号) 、r s p ( 呼吸反应信号) 、e c g ( 心电反应信号) 、s k g ( 皮 肤温度信号) 、e e g ( 脑电反应信号) 、b v p ( 脉搏信号) 和e m g ( 脸部肌肉反应) 。美国m i t 实验室的p i c a r d l 2 8 】【2 9 墩授在1 9 9 8 年为其实验室做技术报告中第一次证明了采用生理信号的特 征为情感识别载体的方法是行之有效的，并通过提取g s r 、r s p 、e m g 和b v p 四种生理信号 的4 0 个信号特征来识别演员的8 种不同情感状态，采用s f f s ( 序列前向选择算法) 和f i s h e r 这两种特征选择方法，并选择了多种分类器，得到的识别率为8 1 2 5 ；j o n g h w a l 3 0 j 采取生理 信号与语音信号结合的方法识别4 种极端情绪的识别率为5 5 ，在该文中，作者提取了生理 信号和语音信号共1 3 8 个特征，并用s b s ( 序列后向选择算法) 进行特征选择，所用的分类 器为l d a ( 线性判别分类器) ；l a nl i t 3 q 等人提取了g s r 、s k t 、r s p 和e c g 四种生理信号 的2 2 个特征来识别高兴、恐惧和平静( 无任何情绪) 这三种状态时，识别率高达8 6 7 。 基于生理信号的情感识别的研究工作可以惠及当今的各行各业，例如教育、医疗、卫生、 娱乐、经济等。在p i c a r d 教授的技术报告中，列举了几十种有关生理信号情感识别的应用， 包括装有情感状态传感器的情感饰物、能根据用户的情绪变化播放不同音乐的情感c d 、能通 过观测到的司机的面部表情等的变化实时提醒司机的汽车情感检测系统、采用一定的传感器 感知学生的情感变化而能够做出相应教学模式调整的情感教学系统、能感知用户的情绪特点 而做出不同反应动作的情感玩具等。特别地，有关生理信号的识别研究工作还能在司法警务 部门的调查案件的过程中针对嫌疑人进行测谎，同时该研究也能在心理健康治疗的过程中发 挥成效，对人们的健康生活能够起到重要作用。 早在1 9 世纪末期，t a r c h a n o f f 通过研究发现，在被试的手心和手背上贴有正负两片贴片， 当将这两个电极连接到灵敏的电表上时，能够观察到电表上的读数，即人的手心和手背之间 的实体间产生了电阻，g s r 反映的是皮肤这块电阻阻碍电流产生的能力。g s r 能够反应人体 的情感状态，主要原因在于，g s r 是受人体交感神经系统的变化而出现的1 3 2 1 。当外界有对交 感神经系统的刺激存在时，皮肤电导也随之发生变化，分析g s r 信号时，当信号上下起伏次 数增加和起伏时幅度的大小可以被用来解释身体内交感神经系统内部的活动的加剧【3 3 1 。 s c h e i r e r t ”】等人研究发现在被试的情感状态波动很大的情况下，他们的g s r 信号的变化幅度非 常大，并且通过实验验证了运用g s r 信号变化反应被试在焦虑状况下的生理信号变化的可行 性。人在处于某些激动或极端情绪下，皮肤的汗腺会分泌出汗液，从而导致皮肤的电阻变化， 3 西南大学硕十学位论文 m 一, 一一 r 曼曼曼曼曼曼曼鼍曼曼曼曼曼曼舅曼曼鼍皇皇皇曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼 也即皮肤电导发生了变化，例如，在惊奇和恐惧的情感背景下，人体会有不同程度的紧张， 在这种压力和刺激下，皮肤的导电性能一定会发生变化，从而引起g s r 的产生。但就像我们 在前面介绍的那样，测量皮肤电导的时候选用的电表一般需要灵敏度很高，并且g s r 信号很 容易受到外界条件的影响，这就需要在使用它来进行情感识别时，测量时要求采用参考测量 的方式，而且必须完成对该信号的校准【3 5 1 。 由于手指受温度的影响相对身体其他部分来说更直接，并且t a r c h a n o f f 也是通过在手心和 手背上放置乏极化电极的方式认识了皮肤电导，所以，测量时可以将电极和导电膏置于被试 的食指和中指上，当被试专注于特定情感诱发素材，其情感状态一定会越来越强烈，也必然 会导致皮肤温度的不段上升，从而引发g s r 的变化。因此，根据以上原则采集到的g s r 信号 中必然会蕴含有被试的特定情感，说明我们为识别人的情感时，可以选择g s r 信号，通过一 定方式，发掘出隐藏在其中的情感信息。 纵观基于生理信号情感识别研究发展的全过程，通过提取生理信号的特征并进行特征选 择，采用模式识别的技术的方法是准确而有效的。根据模式识别的识别样本的原理，当样本 特征数越多时，其进行模式分类越容易，但是相应的对分类器的要求就变得越严厉了，这无 疑增加了分类识别情感的难度，当提取的生理信号的特征都是有效特征时，在进行分类设计 之前，应该首先对这些有效特征进行特征选择，获得最能代表特定情感的特征组合，当做进 一步情感识别的基础。显然，特征组合选择的好坏对情感识别的正确率的影响是直接的，所 以，在完成预处理阶段对数据的冗余度处理和噪声消除处理后，使用一个行之有效地计算机 算法进行特征选择，能够降低后续进行情感识别的特征维度，也即降低了数据的维数，减小 了识别情感的速度和正确率。总之，在最终进行的情感识别过程之前，通过特征选择降低数 据维数，选出最能代表相应情感的特征组合是很重要的。 智能优化算澍3 q 不存在诸如s f s ( 序列前向选择算法) 【3 7 】等传统特征选择算法的筑巢效应， 也没有像穷举法那样存在计算量过大的问题，它适用于特征选择空间中维数较大的组合优化 问题，而通过对特征选择本质的探索可以得到，特征选择问题就是组合优化问题，因此在解 决特征选择的难题时，运用智能优化算法是一种很好的选择。粒子群优化算法( p a r t i c l es w a r m o p t i m i z a t i o n 3 8 】) 是一种模拟鸟群觅食行为的进化智能算法，该算法比较简洁，有待调整的参 数比较少，特别适用于连续的非线性优化问题，是解决组合优化问题的有效的方式。p s o 算 法应用于组合优化问题时，当评价粒子优劣的适应度函数选取的是单峰值和简单的单调递增 或递减函数时，算法具有较快地向全局最优位置逼近的能力，能够在算法运行不长时间后向 最优值位置迭代，达到很大的收敛速度；但是，当p s o 在处理由多峰值函数构成适应度函数 的组合优化问题时，该算法很容易陷入局部最优，出现所谓的“早熟”现象，这时，它所寻 觅到的最好位置离全局最优位置还要一段为问题不可接受的距离，也即其找到的是“局部最 优”位置而非“全局最优”p 们。 本文主要研究的是六种情感( 高兴、惊奇、厌恶、悲伤、愤怒和恐惧) 和g s r 信号特征 4 ，i 、 第一章绪论 之间的对应关系，研究工作开始于招募实验被试参加实验采集g s r 等生理信号，并提取了g s r 信号3 0 个统计特征用于情感识别，然后根据特征组合优化问题的特定性，选取了两种改进的 粒子群智能算法对特征组合进行寻优，并与传统的s b s ( 序列后向选择算法) 进行了比较分 析。其中s b s 算法的主要思想是：由原始特征集合开始每次迭代都减少一个特征数，经过2 9 次迭代得到2 9 个结果，每次迭代的结果均建立在上次迭代的基础上，即将上次迭代的过程视 为在这次特征维数加l 的空间上最好的解。另外，分类过程需要有可分离性的判别依据，( x ) ， 主要起到对分类器识别过程的评估作用，本文选择f i s h e r 分类器进行情感识别分类，在分析 分类器分类效果时，将目标情感看做一类，将其他五种情感看做第二类，并且希望达到的效 果为：目标情感和其他五类情感的识别率都能达到让人满意的程序，其中目标情感更为重要， 为此，在构造适应度函数时，应该考虑情感的权重系数，可系数具体怎么样安排还有待进一 步考证，本文通过实验来找到以上权重系数的经验值。具体介绍如下： ( 1 ) 建立g s r 情感生理数据库 招募实验被试，利用精心挑选的能够代表六种情感色彩( 高兴、惊奇、厌恶、悲伤、愤 怒和恐惧) 的电影片段激发相对应情感，其中每种情感片段之间用风景图片和轻音乐过程的 片段衔接，该片段主要起到过渡和消除被试被激发的情绪而达到平静状态。实验开始前，被 试需要被告知该实验性质和实验目的( 只用于情感识别的研究) ：实验过程中被试也被告知在 看完代表某种情感的片段之后实时记录下自己的情绪表现。记录仪采用的是b i o p a c 公司生产 的多通道生理信号采集器m p l 5 0 ，并且在观看室内放置隐藏的摄像头，记录下被试在观看影 片的反应并在信号采集软件s u p e r l a b 上作出相应的标记。采集的原始g s r 信号通过滤波和降 噪处理后，为消除个体差异性，将数据进行标准化，做法如下：将每个被试相应的情感数据“ 值减去其平静下的采集到的数据的值。最后建立统一的数据库之前，将数据进行归一化处理。 ( 2 ) 特征提取和特征选择 根据情感电影片段代表的情绪、被试的记录情绪和情绪的强度这些因素的综合考虑，选 取了能够代表高兴情感的1 9 4 组数据、能够代表惊奇情感的1 5 9 组，另外包括厌恶8 2 组、悲 伤2 2 1 组、愤怒2 2 4 组以及恐惧1 8 9 组。提取了能够代表g s r 信号变化的3 0 个统计特征用于 后续的特征选择工作。特征选择的目的是选择出可被接受的特征组合，本文选择混合粒子群 ( h y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ，h p s o ) 、s b s 和f i s h e r 分类器结合选择特征组合，其中 为防止粒子群算法陷入局部最优，将生物免疫系统的免疫原理应用于算法的改进上，形成免 疫混合粒子群算法( i m m u n eh y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ，i h p s o ) 。 ( 3 ) 选取适应度函数中情感权重 为评价粒子的优越性，本文选取适应度函数为： ，_ = - 。 j ( x ) = k 4 r ( 1 一，口f 1 ) 2 + ( 1 - r a t 2 ) 2 + 见 ( 1 1 ) 其中k 、n 、f 均为常数，r a t l 代表目标情感的识别率，r a t 2 表示目标情感外的五类情 5 两南大学硕士学位论文 感( 当做第二类) 的正确识别率，f 为以上两类情感的权重系数，f 的取值应该在1 附近浮动， 故而选取r = 0 8 、f = 1 1 和f = 1 5 确定其最佳取值。 ( 4 ) 各种特征选择算法结果的分析比较 本文在最后将上述三种算法的结果应用于情感用户系统的验证，经过各种算法的比较分 析，得出g s r 特征和情感类别的映射关系，找到能够代表相应情感的能够为我们所接受的特 。 征组合。 ， 1 3 论文的创新之处 本文研究g s r 信号与情感识别之间的对应关系，招募最能表现真实情感的西南大学的大 一新生参加实验，利用电影片段诱发相应情感并采集g s r 信号，然后对采集到的信号进行降 噪和标准化，最后根据提取的特征对情感进行识别，最后验证了其特征选择的结果的正确性。 论文的创新点在于： ( 1 ) 针对p s o 算法容易陷入局部最优的缺点，探求了p s o 算法的内部机制，通过对其 经典模型参数的分析，找到了一种自适应控制其参数的改进方法，将生物的免疫系统的自调 节原理应用于p s o 算法计算公式中参数的选择上，通过实验验证得出，改进原则的选取能够 得到比以前更优的结果。 ( 2 ) 针对本课题中六种情感识别的特定问题，将目标情感和其他五类情感分离研究，在 设置