（信号与信息处理专业论文）基于量子粒子群算法的心电信号情感状态识别研究.pdf

摘要 基于量子粒子群算法的心电信号情感状态识 别研究 信号与信息处理专业硕士研究生曹军 指导教师刘光远教授 摘要 随着计算机在人类社会的深入应用，和谐人机交互环境已经受到人们的高度重视。要做 到人机交互真正的和谐与自然，计算机必须能够识别和表达人类的情感。情感计算的研究， 使计算机拥有情感能力成为了可能。 由于生理信号的客观性和真实性，从生理信号中进行情感识别已经成为了人机交互情感 识别领域的一个重要研究内容。生理信号情感识别研究，主要是通过对采集到的情感生理信 号进行分析，抽取出能够代表特定情感的特征，建立情感识别模型，用以情感识别。心电信 号作为一个重要的生理信号，已经被证明能够包含可靠的情感生理反应。同时，心电信号是 医学上的重要研究对象，其信号处理技术已经比较成熟。因此，本文以心电信号作为研究对 象，通过采集情感心电信号、信号预处理、情感特征提取、特征选择等一系列工作，最终建 立心电信号情感识别模型。具体工作如下： ( 1 ) 情感诱发实验方案和情感心电信号采集方案的制定。通过对已有文献中情感诱发实 验的研究，发现电影片段比图片和音乐等素材更能成功激发人的情感。文中从大量的电影中 剪辑出能够诱发特定情感的电影片段作为情感唤起素材。为避免情感的交叉影响，在每个电 影片段之间加上了一定时间的风景图片和轻音乐。被试观看每个情感诱发电影片段后需要填 写问卷，包括自己的情感状态和情感强度。当被试观看情感唤起素材时，使用b i o p a c 公司的 g p l 5 0 生理信号记录仪采集被试的情感心电信号，并使用摄像头同步记录被试的面部表情和身 体姿势。 ( 2 ) 建立情感心电信号样本库。通过情感诱发实验，本文采集到多名身体健康、无心脏 病史的大学一年级学生分别在a n g e r ( 愤怒) 、d i s g u s t ( 厌恶) 、f e a r ( 恐惧) 、g r i e f ( 悲伤) 、 。基金项目：国家自然科学摹金烈a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；教育部科学技术 研究重大项1 | ( t h e k c y g r a a t p r o j e c t o f c h m e m i n i s t r y o f e d u c a t i o n n o 3 1 1 0 1 2 ) 西南大学硕士毕业论文 j o y ( 高兴) 、s u r p r i s e ( 惊奇) 六种情感状态下的心电信号。通过数据有效性分析，从情感 诱发有效的心电信号中截取出8 0 秒数据作为样本，建立情感心电信号的样本库。 ( 3 ) 情感特征提取。通过小波变换对采集到的情感心电信号进行分解和重构，去除基线 漂移等噪声，提高信号的信噪比。准确定位p q r s - t 波后，分别从不同情感状态下的数据中 提取情感特征，构成1 1 1 维的初始特征集。 ( 4 ) 对初始特征集相关性降维。由于初始特征集中包含了很多冗余特征，伪了降低特征 选择的难度和提高特征选择工作效率，文中基于相关性分析理论，提取出初始特征集中的相 关特征，只保留其中的一个特征，实现对初始特征集的降维。 ( 5 ) 特征选择。在特征选择中，引入离散二进制量子粒子群算法。针对心电信号情感特 征选择这一特殊问题，文中在离散二进制量子粒子群算法的基础上设计出一种改进算法 ( i b q p s 0 ) ，通过性能测试结果表明，i b q p s o 算法比原算法具有更好的全局搜索性能。将i b o p s o 算法分别与线性分类器f i s h e r 和非线性分类器s v m 结合，在降维后的特征集中进行特征子集 选择。 ( 6 ) 心电信号情感识别模型的建立。基于两种特征选择方法的结果，分别构建出两个不 同的心电信号情感识别模型，并对模型进行性能测试。 实验结果表明：( 1 ) 利用相关性理论对心电信号初始特征集降维是可行的，通过降维， 去除了初始特征集中的部分相关特征，降低了特征选择的难度。( 2 ) 基于两种特征选择方法 的结果，文中构建出的两个不同的心电信号情感识别模型都具有良好情感识别能力和一定的 泛化能力。( 3 ) 在识另, d i s g u s t ( 厌恶) 情感、g r i e f ( 悲伤) 两种情感时，基于i b q p s o 算法 与f i s h e r 分类器选出的特征子集构建出的情感识别模型具有更好的性能；在识j 1 l j f e a r ( 恐惧) 、 j o y ( 高兴) 、a n g e r ( 愤怒) 、s u r p r i s e ( 惊奇) 四种情感时，基于i b q p s o 算法与s 选出的特 征子集构建出的情感识别模型具有更好的性能。总体来说，基于i b q p s o 算法和s v m 选出的特征 子集构建出的情感识别模型具有更好的情感识别能力。 关键词：心电信号相关性分析量子粒子群算法特征选择情感识别 a b s t r a c t t h er e s e a r c ho fa f f e c t i v es t a t er e c o g n i t i o n f r o m e l e c t r o c a r d i o g r a p h ys i g n a lb a s e d o n q p s o a l g o r i t h m m a j o r ：si g n a la n di n f o r m a t i o np r o c e s s i n g a u t h o r ：c a oj u n s u p e r v i s o r ：p r o f l i ug u a n g y u a n a b s t r a c t w i t ht h o r o u g ha p p l i c a t i o n so fc o m p u t e ri nh u m a ns o c i e t y , h a r m o n i o u sh u m a n - c o m p u t e r i n t e r a c t i o ne n v i r o n m e n th a sb e e np a i dm o r ea n dm o r ea t t e n t i o nb yt h ew h o l es o c i e t y i no r d e rt o a c h i e v et h er e a lh a r m o n ya n dn a t u r eo fh u m a n - c o m p u t e ri n t e r a c t i o n , c o m p u t e rm u s tb ea b l et o r e c o g n i z ea n de x p r e s sh u m a ne m o t i o n t h es t u d yo fa f f e c t i o nc o m p u t i n gh a sm a d et h ec o m p u t e r w i t ha f f e c t i v ec o m p e t e n c ep o s s i b l e r e c o g n i z i n ga f f e c t i o nf r o mp h y s i o l o g i c a ls i g n a lh a sb e c o m ea l li m p o r t a n tr e s e a r c hc o n t e n ti n t h ef i e l do fh u m a n - c o m p u t e ri n t e r a c t i o na n da f f e c t i o nr e c o g n i t i o nf o rt h eo b j e c t i v i t ya n df a c t i c i t yo f p h y s i o l o g i c a ls i s a l t h es t u d yo fa f f e c t i o nr e c o g n i t i o no fp h y s i o l o g i c a ls i g n a li sa c h i e v e db y a n a l y z i n gt h ec o l l e c t e da f f e c t i v ep h y s i o l o g i c a ls i g n a la n de x t r a c t i n gc h a r a c t e r i s t i c sc a nr e p r e s e n tt h e s p e c i f i ca f f e c t i o n , t h e nc o n s t r u c t i n gm o d e lo fa f f e c t i o nr e c o g n i t i o nc a l lb eu s e dt or e c o g n i z e a f f e c t i o n e l e c t r o - e a r d i o s i g n a l ( e c g ) i sr e g a r d e da sa ni m p o r t a n tp h y s i o l o g i c a ls i g n a l ，a n di s p o s s i b l et oc o n t a i na f f e c t i v ep h y s i o l o g i c a lr e s p o n s eb a s e do nr e l i a b i l i t yh a sb e e np r o v e d m e a n w h i l e ， e c gi sa ni m p o r t a n to b j e c to fs t u d yi nm e d i c i n e ，a n di t s s i g n a lp r o c e s s i n gt e c h n o l o g yh a sb e e n m a t u r e i nt h i sp a p e r , w ef o c u so ne c ga n df i n a l l yc o n s t r u c tt h em o d e lo fe c g a f f e c t i o nr e c o g n i t i o n t h o u g has e r i e so fr e s e a r c h e sb ya c q u i s i t i o no fa f f e c t i v ee c qs i g n a lp r e p r o e e s s i n g ，a f f e c t i o nf e a t u r e e x t r a c t i o na n df e a t u r es e l e c t i o ne t c s p e c i f i cw o r kp l a n sa r ca sf o l l o w s ： ( i ) t h ef o r m u l a t i o no f a f f e c t i o n - e v o k e de x p e r i m e n t a lp r o j e c t sa n da f f e c t i v ee c g a c q u i s i t i o n p r o j e c t s b a s e do nt h es t u d yo fa f f e c t i o n - e v o k e de x p e r i e n c e si ne x i s t i n gr e f e r e n c e sa n dw ef i n do u t i l l 西南大学硕十毕业论文 t h a tm o v i ec l i p si n s p i r eh u m a ne m o t i o nm o r es u c c e s s f u l l yt h a np i c t u r e sa n dm u s i c ，e t c h lt h i sp a p e r , w ee d i tf i l mc l i p st h a tc a ne v o k es p e c i f i ce m o t i o nf r o mal o to fm o 啊e sa sm a t e r i a l so fe v o k i n g e m o t i o n i no r d e rt oa v o i dt h ec r o s s i m p a c to fa f f e c t i o n s ，s c e n e r yp i c t u r e sa n dl i g h tm u s i ca r ea d d e d f o rac e r t a i nm i n u t e sa m o n ge v e r ym o v i e c l i p t e s t e e sn e e dt of i l lo u tq u e s t i o n n a i r e si n c l u d i n gt h e i r o w ne m o t i o n a ls t a t ea n de m o t i o n a li n t e n s i t ya f t e rw a t c h i n ge v e r ya f f e c t i o n - e v o k e dm o v i ec l i p w e u s em p15 0p h y s i o l o g i c a ls i g n a lr e c o r d e ro fb i o p a cc o r p o r a t i o nc o l l e c t st h ea f f e c t i v ee c go f t e s t e e sa n du s ec a m e r ar e e o r d st h ef a c i a le x p r e s s i o n sa n db o d yp o s i t i o n so f t e s t e e ss y n c h r o n o u s l y ( 2 ) t h ee s t a b l i s h m e n to fe m o t i o n a le c gs a m p l ed a m b a s e e c go fm a n yh e a l t h yf r e s h m e n w i t h o mc 盯d i a cd i s e a s eh i s t o r ya r ec o l l e c t e df r o ma f f e c t i o n - e v o k e de x p e r i e n c eb a s e d0 1 1t h es i x a f f e c t i v es t a t e so fa n g e r , d i s g u s t , f e a r , 鲥e f , j o y , a n ds u r p r i s e a c c o r d i n gt ot h ea n a l y s i so fd a t a v a l i d i t y , a f f e c t i v ee c gs a m p l ed a m b a s ei se s t a b l i s h e db yc u t t i n go f f8 0s e c o n d s d a t aa sas a m p l e f r o ma f f e c t i v e - e v o k e dv a l i de c g ( 3 ) n 圮e m o t i o n a lf e a t u me x t r a c t i o n d e c o m p o s i t i o na n dr e c o n s t r u c t i o no ft h ec o l l e c t e d a f f e c t i v ee c ga r eg i v e nb yw a v e l e tt r a n s f o r m a t i o n , a n db a s e l i n ed r i t tn o i s e ，e t ca r er e m o v e d , a n d t h es n ro fs i g n a li si m p r o v e d 111 一d i m e n s i o n a li n i t i a lf e a t u r es e ti sc o n s t i t u t e db ye x t r a c t i n g a f f e c t i v ef e a t u r e sf r o md a t ao fd i f f e r e n ta f f e c t i v es t a t e sa f t e rp i n p o i n t i n gt h ep - q r s tw a v e ( 4 ) t h ec o r r e l a t i o nd i m e n s i o n a l i t yr e d u c t i o no f t h ei n i t i a lf e a t u r es e t b e c a u s et h ei n i t i a lf e a m r e s e tc o n t a i n sal o to fr e d u n d a n tf e a t u r e sa n di no r d e rt or e d u c ed i f f i c u l t yo ff e a t u r es e l e c t i o na n d i n c r e a s ee f f i c i e n c yo ff e a t u r es e l e c t i o n ，i nt h i sp a p e r , b a s e do nc o r r e l a t i o na n a l y s i st h e o r y , t h e r e l e v a n tc h a r a c t e r i s t i c so ft h ei n i t i a lf e a t u r es e ta e x t r a c t e da n do n l yo n ei s k e p tt or e a l i z e d i m e n s i o n a l i t yr e d u c t i o no f t h ei n i t i a lf e a t u r es e t ( 5 ) f e a t u r es e l e c t i o n d i s c r e t eb i n a r yq u a n t u mp a r t i c l es w a r ma l g o r i t h mi su s e di nf e a t u r e s e l e c t i o n t os o l v ee c ge m o t i o n a lf e a t u r e sc h o o s i n g ，a ni m p r o v e da l g o r i t h m ( i b q p s o ) b a s e do n d i s c r e t eb i n a r yq u a n t u mp a r t i c l es w a l t l lo p t i m i z a t i o na l g o r i t h mi sp r o p o s e d t h ep e r f o r m a n c et e s t r e s u l t ss h o wt h a tt h ea l g o r i t h mt b q p s oh a sb e t t e rg l o b a ls e a r c hp r o p e r t i e st h a nt h eo r i g i n a l a l g o r i t h m t h ei b q p s oa l g o r i t h mi sc o m b i n e dw i t ht h ef i s h e rc l a s s i f i e ra n ds v mr e s p e c t i v e l yt o e x t r a c tf e a t u r es u b s e ts e l e c t i o ni nt h ed i m e n s i o n a l i t yr e d u c e df e a t u r es e t ( 6 ) t h ee s t a b l i s h m e n to fe c ga f f e c t i v er e c o g n i t i o nm o d e l a c c o r d i n gt ot h er e s u l t so ff e a t u r e s e l e c t i o n ，e c ga f f e c t i v er e c o g n i t i o nm o d e li se s t a b l i s h e da n dt h ep e r f o r m a n c et e s to fi ti sc o n d u c t e d m e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a t ：( 1 ) i ti s f e a s i b l et or e a l i z et h ed i m e n s i o n a l i t y r e d u c t i o no ft h ei n i t i a lf e a t u r es e to ft h ee c gs i g n a lb yu s i n gt h ec o r r e l a t i o nt h e o r y , a n dp a r t so f c o r r e l a t e df e a t u r e si nt h ei n i t i a lf e a t u r es e ta r er e m o v e da n dt h ed i f f i c u l t yo ft h ef e a t u r es e l e c t i o ni s r e d u c e dv i at h ed i m e n s i o n a l i t yr e d u c t i o n ( 2 ) t h ea f f e c t i o nr e c o g n i t i o nm o d e l so ft h et w od i f f e r e n t e c gs i g n a l sa r ec o n s t r u c t e di nt h i sp a p e rh a v eg o o da f f e c t i o nr e c o g n i t i o nc a p a b i l i t i e sa n dt h es o m e a b s t r a c t g e n e r a l i z a t i o nc a p a b i l i t i e s ( 3 ) t h ea f f e c t i o nr e c o g n i t i o nm o d e li sc o n s t r u c t e db yt h es e l e c t e df e a t u r e s u b s e tb a s e do ni b q p s oa l g o r i t h ma n df i s h e rc l a s s i f i e rh a sb e t t e rp e r f o r m a n c ew h e nr e c o g n i z i n g t w oe m o t i o n so fd i s g u s ta n dg r i e l ；t h ea f f e c t i o nr e c o g n i t i o nm o d e li sc o n s t r u c t e db yt h es e l e c t e d f e a t u r es u b s e tb a s e do ni b q p s o a l g o r i t h ma n ds v mh a sb e t t e rp e r f o r m a n c ew h e nr e c o g n i z i n gf o u r e m o t i o n so ff e a r , j o y , a n g e ra n ds u r p r i s e i nc o n c l u s i o n , t h ea f f e c t i o nr e c o g n i t i o nm o d e li s c o n s t r u c t e db yt h es e l e c t e df e a t u r es u b s e tb a s e d0 1 1m q p s oa l g o r i t h ma n ds v mh a sb e t t e r c a p a b i l i t yo fa f f e c t i o nr e c o g n i t i o n k e yw o r d s ：e c gs i g n a l ；c o r r e l a t i o na n a l y s i s ；q p s oa l g o r i t h m ；f e a t u r es e l e c t i o n ； a f f e e t i v er e c o g n i t i o n v 第一章引言 1 1 研究背景及意义 第一章引言 随着计算机在人类社会的深入应用，先进人机交互技术的研究变得越来越重 要。科学研究表明，人机交互应遵从人际交互的基本原则，天生就是自然的和社 会的【1 1 。而传统的人机交互中，计算机无法理解和适应人的情绪，使得人机交互很 难做到真正的和谐与自然。1 9 8 5 年，m i n s k y 在专著1 1 1 es o c i e t yo f m i n d ) ) 中提出 了让计算机具有情感能力的观点【2 】，引起众多学者的兴趣，并开始了计算机情感能 力的研究。1 9 9 7 年，p i c a r d 在a f f e c t i v ec o m p u t i n g ) ) 中提出了“情感计算”的概念， 指出情感计算的目的是使计算机能够理解和表达人类的情感，建立先进的、和谐 的人机交互环境，使计算机具有更全面的智能【3 j 。 情感计算的研究内容主要包括情感机理研究、情感信号采集、情感建模、情感 识别、情感表达、情感交互等方面【4 j ，它涉及到多个学科内容，是计算机未来应用 发展的全新方向，备受学术界和企业界的日益关注，多个国家正积极开展情感计 算相关的研究工作。在我国，国家科技研究主管部门早在1 9 9 8 年便将和谐人机 环境中的情感计算理论研究列为国家自然科学基金项目信息技术高技术探索第 六主题；国家重点基础和研究发展计划( 9 7 3 ) 和国家高新技术研究发展计划( 8 6 3 ) 等项目指南中，均将先进人机交互列为重要内容；中国科学院在其2 0 0 5 年的技术 预见报告中有两项和情感计算研究相关。由此可见情感计算研究的重要程度。 “情感识别”是情感计算的关键问题之一，是建立和谐人机交互环境的基础。人 的情感状态是内在的心里和生理的变化，通过行为、表情以及生理电信号等形式 表现出来，因此，情感识别就只能通过分析这些可观测的信号来间接推断出人的 情感状态【5 1 。目前，国内外情感识别的研究工作主要分为语音信号情感识别睁7 。、 面部表情情感识别羽、文本情感识别网、生理信号情感识别【协1 9 1 等四个方面。其中， 语音、面部表情、文本三种方式在情感识别时所分析的情感信号是人以某种特定 方式外在表现出来的，会受到人的主观因素影响，当人刻意隐藏自己情感状态时， 情感识别得到的结果通常是不可靠的。而生理信号情感识别方式所分析的情感生 理信号则直接受人的自主神经系统控制，基本上不会受到人的主观影响，因此， 当人产生情感时，直接从其身上获得的生理信号更能准确的判断其真实情感。 生理信号情感识别的研究主要是对采集到的情感生理信号进行分析，抽取出能 代表特定情感的特征或特征组合，最终建立情感识别系统，实现用户的情感识别。 情感识别常用的生理信号主要有心电( e l e c t r o c a r d i o g r a m ) 、面部肌电 西南大学硕七毕业论文 ( e l e c t r o m y o g r a p h y ) 、呼吸作用( r e s p i r a t i o n ) 、脑电( e l e c t r o e n c e p h a l o g r a p h y ) 、 皮肤电反应( g a l v a n i cs k i nr e s p o n s e ) 等。p i c a r d 及其研究小组在1 9 9 7 年发表的文 献中率先证明从这些情感生理信号中进行情感识别具有可行性【l 川。国内，温万惠 等人在情感生理信号分析中通过构建随机矩阵，证明出心电、心率、皮肤电反应、 呼吸等信号包含了可靠的情感生理反应【l 。因此，构建生理信号情感识别系统是 可行的。生理信号情感识别系统的建立将具有重要的意义，在包括军事、医疗、 教育、娱乐等的众多领域中都具有巨大的应用价值。比如在军事上，当部队作战 时，如果指挥部能够通过情感识别实时监测到战士的内心情感状态变化，将可以 很好的制定出适宜的作战计划，避免因战士突然陷入极度恐慌等负面情绪时带来 的不必要损失。特别是在生活压力日益加剧的今天，常常出现某些人因为长期的 压抑，最终导致精神崩溃的事件，如果人们可以及早的通过情感识别发现这种情 况，那么可以采取一定的措施来进行调节。 心电信号( e l e c t r o c a r d i o g r a m ，e c g ) 作为一个重要的生理信号之一，一直是 医学中的重要研究对象，其信号处理技术已经比较成熟。同时，情感心电信号( 即 人在产生情感状态时的心电信号) 以及通过其计算得到的心率信号已经被证明包含 可靠的情感生理反应。因此，本文选用心电信号作为研究对象。通过对采集到的 情感心电信号进行分析，提取出能够体现情感变化的情感特征，那么，就能够通 过这些情感特征来建立心电信号情感识别模型，为人机情感交互打下基础。 1 2 国内外研究现状以及不足 自从情感计算得到关注以来，情感识别就是一个受到高度重视的课题。目前， 有关面部表情、语音信号的情感识别和情感表达的研究已经取得了一定的成果， 但生理信号情感识别的研究还比较少。国际上，美国m i t 的p i c a r d 及其研究小组 率先展开生理信号情感识别的研究工作，通过图片诱发单个被试的愤怒、高兴、 憎恶等七种情感状态，采集到皮肤电导、呼吸、肌电和血容量搏动四种情感生理 信号，建立了2 0 余组情感生理样本，对原始信号进行标准化处理后，提取出共计 2 4 个统计值作为情感特征，采用s f f s 和f i s h e r 算法进行特征选择，以d f a 、q d f 作为分类器，愤怒、高兴等情感的识别率达到7 0 e 1 2 j 。德国a u g s b u r g 大学的 j o h a n n e sw a g n e r 等人通过实验诱发单个被试的愤怒、高兴、悲伤、愉悦四种情感 状态，采集到皮肤电导、呼吸、肌电、心电四种情感生理信号，从中提取共1 9 3 个统计值作为情感特征，以s b s 、s f s 等作为特征选择算法，进行情感分类识别 研究【1 3 】。k i mj 通过音乐分别对3 个被试诱发高兴、悲伤、愤怒和愉悦四种情感状 态，同时采集皮肤电导、呼吸、肌电和心电四种情感生理信号，计算心电信号的 2 第一章引言 功率谱，并将o 1 0 h z 频段的功率谱平分成8 个子频带，以子频带的中心频率和平 均功率值作为情感特征，采用序列后向选择算法s b s 进行特征选择，以p l d a 作 为分类器，取得了较好的情感识别效果【1 4 1 。a n d r e a sh a a g 等人研究发现，心率变 异性较低时，表明人处于比较放松的状态，当心率变异性增强时，表明人处于精 神比较紧张状态【1 5 】。韩国的k i mk h 等人通过视频和音乐诱发被试的悲伤、愤怒、 惊奇、压抑四种情感状态，采集到皮肤电导、皮肤温度、血容量搏动和心电四种 情感生理信号，从心电信号中提取心率和心率变异性信号，并提取相应的情感特 征，以支持向量机( s v m ) 作为分类器，进行情感分类，正确识别率达到7 8 4 1 6 j 。 国内，以生理信号作为情感识别研究对象的单位主要有西南大学情感计算实 验室和江苏大学等。l i 等人通过电影片段诱发被试快乐、轻松和恐惧三种情感状 态，采集到被试皮肤电导、呼吸、皮肤温度和心电四种情感生理信号，得到5 5 组 情感生理反应样本，从心电中提取了包含心率变异性的功率谱、t 波和r 波幅值 在内的情感特征，通过f i s h e r 和b a y e s 进行情感分类，得出7 种能明显区分不同 情感的特征【1 7 1 。蒋德育等人从情感心电信号的p q r s t 波能量变化趋势中提取特 璧 征，实验结果证明，心电信号的p q r s t 波能量变化能体现出人情感状态的变化， 对高兴状态尤为敏感【l 引。x u 等人从情感心电信号提取了7 9 个初始特征，在特征 选择中引入了改进的粒子群算法，通过f i s h e r 情感分类，对高兴和伤心两种情感 状态取得了良好的识别效梨一j 。 总体而言，从心电信号中进行情感识别的研究已经取得了一定的进展，但目前 还没有建立起一个完备的情感识别模型。情感识别和情感表达通常被看成是模式 识别和模式合成问题，首先要建立起一个良好的情感识别模型，计算机才有可能 进行较好的情感识别与表达。在心电信号情感识别的研究中，所采集到的心电信 号必须包含可靠的情感生理反应，这是研究结果准确的前提条件，这就需要制定 一个合理的诱发方案，以保证能有效地激发出被试的情感，而且，为了使最终建 立的情感识别模型具有很好的泛化能力，这就需要有大量的不同被试的情感心电 信号样本。从研究现状来看，普遍存在情感心电信号样本少，且被试单一的问题。 其次，建立良好的心电信号情感识别模型依赖于对情感特征的选择。上述研究工 作大都是基于s f s 、s f f s 、s b s 等常规的特征选择方法来对心电信号情感特征进 行选择，这些方法明显存在的不足是需要大量的计算时间，计算速度过慢，且过 分依赖于研究者的经验。我们知道，心电信号的情感特征选择在本质上属于组合 优化问题，而在组合优化问题中，智能优化算法较之常规特征选择算法，具有明 显的优势。因此，设计一个优秀的智能优化算法用于心电信号的情感特征选择是 必要和迫切的。 西南大学硕十毕业论文 1 3 论文研究内容和创新点 论文以心电信号作为生理信号情感识别的研究对象，研究内容包括情感心电信 号的采集及样本库的建立、情感特征提取、特征选择等，最终建立心电信号情感 识别模型。具体工作流程如图1 所示。 图l 整体工作流程 论文的创新点如下： 1 、建立多被试大样本情感心电信号样本库 论文通过制定出的合理的情感诱发方案和情感心电信号采集方案，采集到本校 多名一年级学生分别在高兴、愤怒、悲伤、厌恶、惊奇、恐惧六种情感状态下的 心电信号，并通过对比视频同步记录的面部表情和被试填写的问卷，筛选出其中 情感诱发最有效的数据建立了一个多被试大样本的情感心电信号样本库。 2 、初始特征集相关性降维 为了提高特征选择工作效率和降低特征选择的难度，文中引入相关性理论， 去除了初始特征集中的部分冗余特征，实现了初始特征集的降维。 3 、对离散二进制量子粒子群算法进行改进 在心电信号情感特征选择中引入了离散二进制量子粒子群算法，并在算法的 4 第一章引言 基础上设计出一种改进算法，通过性能测试结果表明，改进算法具有更好的全局 搜索性能。 4 、建立心电信号情感识别模型 文中将心电信号情感识别模型设计成6 个二分类模型，即分别以a n g e r ( 愤怒) 、 d i s g u s t ( 厌恶) 、f e a r ( 恐惧) 、g r i e f ( 悲伤) 、j o y ( 高兴) 、s u r p r i s e ( 惊奇) 六种 情感中的一种情感作为目标情感，其余五种情感作为干扰情感。在特征选择中采 用了改进的二进制量子粒子群算法分别与f i s h e r 分类器和s v m 结合两种特征选择 方式。基于特征选择的结果，分别构建心电信号情感识别模型，并使用样本库中 的数据对模型进行性能测试。测试结果表明，构建出的心电信号情感识别模型具 有较好的情感识别能力。 1 4 论文的结构 论文的结构如下： 第一章为引言部分，对心电信号情感识别的研究背景和意义进行了阐述，并介 绍了心电信号情感识别相关研究的现状以及存在的不足。在章节的最后部分介绍 了论文的研究内容和创新点。 第二章主要介绍情感诱发方案和情感心电信号的采集过程，通过小波变换对采 集到的情感心电信号进行去噪等预处理，定位p q r s t 波后，提取情感特征。 第三章主要介绍了相关性分析的相关知识和论文中利用相关性分析实现心电 信号初始特征集降维的具体方法。在特征选择中引入量子行为粒子群算法，、介绍 了算法的起源、基本思想等，并设计出适用于心电信号情感特征选择的改进算法。 最后介绍了f i s h e r 和s v m 两种分类器的基本思想和适用范围。 第四章主要介绍了心电信号情感识别模型的建立，并对模型进行性能测试和分 析。 第五章主要是对论文工作的进行总结，以及对下一步研究方向的展望。 第二章情感心电信号样本库的建立和特征提取 第二章情感心电信号样本库的建立和特征提取 在引言部分中已经提到，建立一个良好的心电信号情感识别模型依赖于情感特 征的选择，而情感特征的正确选择则依赖于情感心电信号样本的可靠性。本章将 重点介绍情感诱发实验、情感心电信号的采集和去噪处理以及情感特征的提取。 2 1 情感心电信号样本库的建立 2 1 1 情感诱发实验方案 从研究现状来看，情感诱发实验主要是通过图片、音乐、声音、电影片段等方 式对被试进行特定情感的刺激，从而激发出被试的该种情感状态。研究小组在经 过一系列实验后发现，电影片段比图片和音乐等素材更能成功激发出被试的情感。 这有两个方面的原因：首先，电影片段可以对被试进行视觉和听觉双重刺激，比 图片和音乐等单刺激强烈；其次，包含一定文化背景的电影片段，更容易被人们 接受，且能够引起情感上的共鸣。从上述角度出发，研究小组将情感诱发素材定 为电影片段。 通过对比和调查，研究小组从大量的电影中分别剪辑出能够诱发a n g e r ( 愤怒) 、 d i s g u s t ( 厌恶) 、f e a r ( 恐惧) 、g r i e f ( 悲伤) 、j o y ( 高兴) 、s u r p r i s e ( 惊奇) 六种 情感状态的电影片段。为了尽可能的消除相邻电影片段间情感的相互影响，在每 个片段之间加上一定时间的风景图片和轻音乐，使被试者恢复到平静状态。最终， 将这六个电影片段和平静材料按照固定顺利编辑成一个完整的视频。实验过程中， 被试将在特殊环境中观看该视频，将被依次被诱发这六种情感状态。由于每个人 情感唤醒度不同，为了明确被试被激发出的情感状态和强度，在每个片段播放完 毕之后，被试者需要在相应的问卷中作出选择。情感状态选项包括愤怒、厌恶、 恐惧、悲伤、惊奇、高兴、平静，情感强度包括很强、较强、一般、较弱、很弱。 同时，在被试观看视频时，将通过摄像头和相应软件记录被试的面部表情及身体 姿势，作为本次情感诱发实验是否具有有效性的参考。 2 1 2 情感心电信号采集 情感心电信号采集整体方案如图2 1 所示，实验设备主要包括美国b i o p a c 公 司的生理信号记录仪m p l 5 0 和2 台服务器。服务器1 用于情感诱发视频的播放， 被试将通过外接的显示器观看到视频。当被试观看情感唤起视频时，使用仪器 m p l 5 0 采集心电信号，由于e c g 信号的频带范围在0 0 5 h z 1 0 0 h z ，为减小数据 7 西南大学硕士毕业论文 存储量，根据采样定理，将m p l 5 0 的采样频率设置为2 0 0 h z 。服务器2 通过s u p e r l a b 信号采集软件记录被试的心电信号，以及通过摄像头和相应软件记录被试的面部 表情和身体姿势。在实验过程中，由实验操作人员对服务器1 和服务器2 进行监 控和操作，当实验仪器出现异常时，立即终止本次实验。 采集被试 葱_ i 臻 操作 一 被试 图 情感诱发 - 服务器2 实验操作人员 服务器l 图2 1 情感心电信号采集方案 考虑到被试在前往实验室的过程中， 现象，这将对实验结果产生一定的影响， 身体的剧烈运动会导致心跳加快等生理 故被试需要在等待室中休息至平静状态 后才能进入测试室。在实验开始前，实验操作人员需要给被试详细的讲解整个实 验过程以及应该注意的事项，并按图2 2 所示的心电信号测量模式分别在被试的左 手腕、右手腕、右脚踝处贴上传感器贴片。在所有准备工作完成之后，实验操作 人员来到操作室，通过服务器1 播放情感诱发视频，通过服务器2 记录被试的，t l , 电信号和面部表情、身体姿