（信号与信息处理专业论文）基于心电信号的情感识别研究.pdf

摘要 基于心电信号的情感识别研究1 信号与信息处理专业硕士研究生徐亚 指导教师刘光远教授 摘要 情感计算是一个高度综合化的新兴研究领域，目的是通过赋予计算机识别、理解和适应 人类的情感能力来建立和谐的人机环境，并使计算机具有更高的、全面的智能。情感识别是 情感计算的一个重要部分，它研究的内容包括语音信号、身体姿态、面部表情和生理信号等 方面。由于生理信号具有真实的、可靠和难以伪造的特点，用生理信号进行情感识别成为其 中的一个热点方向。美国麻省理工学院媒体实验室情感计算研究小组首先用生理信号作为研 究对象进行情感识别，且取得一定的硕果，这也为生理信号情感识别的研究提供了可靠的支 撑。 心电、心率信号蕴含丰富的情感特征，可以明显的反映出入类在不同情感状态下的变化。 因此文中利用心电、心率信号来进行情感识别，并验证了在高兴、惊奇、厌恶、悲伤、愤怒和 恐惧这六种情感状态下情感用户模型建立的可行性。其过程有四个主要步骤：l 、情感数据采 集；2 、情感信号的特征提取；3 、情感信号的特征子集选择；4 、分类器的设计。 文中设计了周密的方案保证用于研究的心电、心率信号包含着某种特定情感：选取有效 的电影片段激发被试情感，且让被试记录当时看完后片段的感受，也通过隐藏的摄像头观察 被试观看电影片段的情况，并在s u p e r l a b 采集软件上做上相应的标记。采用美国b i o p a c 公 司提供的多导生理记录仪m p l 5 0 ，为了有效地激发被试情感，文中只对3 0 0 位西南人学在校大 一学生进行信号的采集，建立了情感心电、心率信号数据库。这个方案中对素材电影片段的 有效选取、被试的要求，保证了采集的信号包含有某种特定情感，文中激发被试的情感状态 有：高兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感； 心电信号的特征提取关键在于p - q r s - t 波位置检测，然而，采集的心电信号容易存在基 线漂移等噪声干扰而难以准确进行p - q r s - t 波的检测。小波变换具有良好的时、频局部化， 在时频域都具有表征信号局部特征的能力，且在图像分析、去噪和压缩等方面得到广泛的应 用。文中采用连续小波变换将原始心电信号进行5 层分解，根据r 波的频率范围，使用第一层 小波系数准确检测到r 波位置，然后检测q ，s ，p 和t 波位置，且能自动检测出信噪比过小的 信号段，对该信号段不进行特征提取以保证研究结果的正确性，然后通过几何平均法去除了 1 基金项目：国家自然科学基金( n a t i o n a l n a t u r a ls c i e n c e f o u n d a t i o n o f c h i n an o 6 0 8 7 3 1 4 3 ) ；l 歪南大学国 家重点学科基础心理学科研基金( t h en a t i o n a lk e ys u b j e c tf o u n d a t i o nf o rb a s i cp s y c h o l o g y ( n o n k s f 0 7 0 0 3 ) 两南大学硕十学位论文 心电的高频噪卢，对心率信号的高频噪声也进行了平滑处理。 由于提取到的大量冗余和无效的心电、心率的特征会影响情感识别的效果，需要使用特 征选择筛选出有效的特征用于情感分类。特征选择问题是一个组合优化问题，其计算复杂度 随着维数的加大成指数倍的增加，它需要使用有效的搜索算法来解决。离散二进制粒子群算 法( b p s o ) 是一种智能的全局优化算法，它因具有计算速度快、算法参数简单和易于实现而 被广泛应用，目前已应用于组合优化问题、函数优化、信号处理、神经网络训练、数据挖掘 和数据聚类等应用领域；序列后向选择算法( s b s ) 也是一种有效的搜索算法。因此，论文研 究将b p s o 、s b s 算法应用于心电、心率的特征选择问题上，以提高情感状态的识别率。针对 b p s o 易陷入局部导致早熟收敛现象，文中提出两种改进策略：一种改进算法是基于邻域搜索 的方法( i b p s o ) ，让粒子群有更多机会的跳出局部最优，向全局最优方向前进；另一种是将 遗传操作( 交义和变异) 引入到b p s o 中，用来增加种群的多样性。同时，由于f i s h e r 分类 器具有高效、准确率高的特点，文中采用f i s h e r 分类器，并且将其与b p s o 、s b s 算法结合共 同解决特征选择问题。 实验结果表明，心率特征用于情感识别优于心电特征，特别是在恐惧、惊奇情绪下，在 两种改进的b p s o 算法中，心率最佳特征组合的平均验证识别率都高于心电特征1 0 个百分点左 右。对两种改进的b p s o 来说，对于完全相同的训练集、测试集和验证集却得到了不同的最佳 特征组合，导致得到的验证识别率有较大的区别。一般来说，i b p s o 算法得到的平均验证识别 率都高于或和g b p s o 算法相差不大( 除了高兴情绪状态) ，而且i b p s o 算法得到的平均特征维数 也明显少于g b p s o 算法，这表明i b p s o 算法得到的最佳特征组合更适用于情感用户模型的建立。 而就s b s 算法而言，虽然选择的最佳特征组合的测试、验证结果都差于两种改进的b p s o 算法结 果，但是在进行高兴情感状态的识别中，获得了很少的特征，却达到了与b p s o 算法一样的效 果，而且此时选中的特征很大一部分在b p s o 算法中也被选中，证明这个特征组合适合丁= 高兴 情感用户模型的建立。 关键字：心电信号心率信号离散二进制粒子群( b p s o ) 序列后向选择( s b s ) 情 感识别 a b s t r a c t a s t u d y o fe m o t i o nr e c o g n i t i o nf r o m e l e c t r o c a r d i o g r a p h ysi g n a l s m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f l i ug u a n g y u a n a bs t r a c t a u t h o r ：x uy a a f f e c t i v ec o m p u t i n gi sah i g h l yi n t e g r a t e dr e s e a r c ha r e at h a th a sr a p i d l ye v o l v e dr e c e n t l y , a i m i n ga tg i v i n gt h ec o m p u t e rm o r ee m o t i o n a la b i l i t i e si ni d e n t i f y i n g ，u n d e r s t a n d i n ga n da d a p t i n g f o r b u i l d i n gah a r m o n i o u s m a n - m a c h i n ee n v i r o n m e n ta n df u r t h e rp o s s e s s i n gah i g h e ra n d c o m p r e h e n s i v ei n t e l l i g e n c e a sa ni m p o r t a n tp a r t o fa f f e c t i v ec o m p u t i n g ，e m o t i o nr e c o g n i t i o n m a i n l yc o n t a i n sd i v e r s es t u d i e si n c l u d i n gv o i c es i g n a l s ，b o d yp o s t u r e ，f a c i a l e x p r e s s i o n sa n d p h y s i o l o g i c a ls i g n a l sa n ds oo n o w i n gt ot h ec h a r a c t e r i s t i c so ft r u t h ，c r e d i b i l i t y , a n dd i f f i c u l t i e st o c o u n t e r f e i t ，i ti sb e c o m i n go n eo f t h eh o t t e s tr e s e a r c hf i e l d sb a s e do np h y s i o l o g i c a ls i g n a l s a f f e c t i v e c o m p u t i n gr e s e a r c hg r o u pf r o mm i t m e d i al a bf i r s th a sar e s e a r c ho ne m o t i o nr e c o g n i t i o nf r o m p h y s i o l o g i c a ls i g n a l s ，a n dh a da l r e a d yr e a c h e ds o m eg o o da c h i e v e m e n t t h e r e f o r e ，i ta l s op r o v i d e s ，a r e l i a b l es u p p o r tf o re m o t i o nr e c o g n i t i o nf r o mp h y s i o l o g i c a ls i g n a l s a se c ga n dh e a r tr a t eo fa b u n d a n te m o t i o n a lf e a t u r e s ，t h e yc a nc l e a r l yr e f l e c t h u m a n s e m o t i o n a ls t a t e su n d e rt h ed i f f e r e n tc h a n g e s t h e r e f o r e ，t h i sp a p e rh a sar e s e a r c h f o re m o t i o n r e c o g n i t i o na n dv a l i d a t i o no fu s e rm o d e lf r o mt h ee x t r a c t e dd a t a o ne c ga n dh e a r tr a t e ( s i xe m o t i o n s t a t e s ：h a p p y , a n g e r , s u r p r i s e ，f e a r , s a d n e s sa n dd i s g u s t ) m a i n c o n t e n t sa r ea sf o l l o w s ：d a t a a c q u i s i t i o n ，f e a t u r ee x t r a c t i o n ，f e a t u r es e l e c t i o na n dc l a s s i f i e rd e s i g n t h i sp a p e rh a sp l a n e de l a b o r a t er u l e sf o rg u a r a n t e e i n ge c ga n dh e a r tr a t ec o n t a i n i n gs o m e s p e c i a lc h a r a c t e r i s t i c so fe m o t i o n s i nt h ee x p e r i m e n t ，t h ep r o g r a mi sj u s td e s i g n e dt oe n s u r et h a t 0 1 1 1 c h o s em o v i ec l i p sa r ee n o u g he f f e c t i v et oe l i c i ts u h j e c t se m o t i o n ，w h i c ha l s on e e ds u b j e c t st or e c o r d t h e i ro w nf e e l i n g sa f t e rw a t c h i n go v e r b e s i d e s ，o p e r a t o rw i l la l s oc a r e f u l l yo b s e r v ee v e r y t h i n gf r o m s u b j e c t sb yt h ec a m e r ah i d d e ni ns o m e w h e r e ，a n dm o m e n t a r i l yg i v et h ea c c o r d i n gm a r k s o nc a p t u r e s o f t w a r es u p e r l a b t h r o u g hu s m u l t i p o l y g r a p hm p 15 0f r o mb i o p a c ，t h i sp a p e ra c q u i r e se m o t i o n d a t af r o m3 0 0f r e s h m a nf r o ms o u t h w e s tu n i v e r s i t ya n dt h e ns e t su pe m o t i o nd a t a b a s eo ne c ga n d h e a r tr a t e f o rt h ee f f e c t i v e l yr i g i ds e l e c t i o no nf i l mc l i p sa n ds u b j e c t s ，i tm e e t si d e a lr e q u i r e m e n ta t s o m ee x t e n tt h a tt h ec o l l e c t e ds i g n a l sm u s tc o n t a i nc e r t a i ne m o t i o nw h i c hi n c l u d e sh a p p y , s u r p r i s e ， d i s g u s t ，s a d n e s s ，a n g e ra n df e a r i i i 两南大学硕十学位论文 f e a t u r ee x t r a c t i o no fe m o t i o ns i g n a l so ne c ga n dh e a r tr a t ei sm a i n l yd e p e n d i n go np o s i t i o n d e t e c t i o no fp - q r s - tw a v e ，b u tt h e r ea r ea l s os o m ed i f f i c u l t i e si na c c u r a t e l yd e t e c t i n gp q r s t w a v ew i t hn o i s ei n t e r f e r e n c es u c ha se c gb a s e l i n ed r i f t e t c w a v e l e tt r a n s f o n t lh a sag o o dt i m ea n d f r e q u e n c yl o c a l i z a t i o n ，a n dc o u l dr e f l e c tl o c a lc h a r a c t e r i s t i c so fs i g n a l si nt h et i m e f r e q u e n c y d o m a i n ，s oi t i sw i d e l yb eu s e di ni m a g ea n a l y s i s ，d e n o i s i n ga n dc o m p r e s s i n g ，e t c i nt h i sp a p e r , c o n t i n u o u sw a v e l e tt r a n s f o r mi s s u i t a b l ya d o p t e dt oe c gs i g n a lf o r5 - l a y e rd e c o m p o s i t i o n a c c o r d i n gt of r e q u e n c yr a n g eo fr w a v eb a s e do nt h ef i r s tl e v e lo fw a v e l e tc o e f f i c i e n t s ，r w a v e p o s i t i o nc a nb ee x a c t l yd e t e c t e d ，a n dt h e nq ，s ，pa n dt - w a v el o c a t i o n sw o u l db ee a s i l yf o u n d t h r o u g ha u t o m a t i c a l l yf i l t e r i n gs i g n a li n t e r v a l so fl o w e rs i g n a l - n o i s er a t i o ，i tc a nf i n a l l yr e m o v et h e h i 曲- f r e q u e n c yn o i s ea n ds m o o t h e ne f f e c t i v es i g n a lb yt h eg e o m e t r i cm e a n a se f f e c to fe m o t i o nr e c o g n i t i o nw i l lb ed i s t u r b e db yt h ee x t r a c t e df e a t u r e so fr e d u n d a n ta n d i n e f f e c t i v ec h a r a c t e r i s t i c si ne c ga n dh e a r tr a t e ，t h e ni ti sn e c e s s a r yt os e l e c te f f e c t i v ef e a t u r ef o r c l a s s i f y i n ge m o t i o n f e a t u r es e l e c t i o ni sac o m b i n a t o r i a lo p t i m i z a t i o np r o b l e ma n di t sc o m p u t a t i o n a l c o m p l e x i t yw o u l db ee x p o n e n t i a l l ye n h a n c e dw i t ht h ei n c r e a s i n g l ya m o u n to fd i m e n s i o n ，s oi t r e q u i r e s e f f e c t i v es e a r c h a l g o r i t h m s t os o l v et h i st r o u b l e s d i s c r e t e b i n a r yp a r t i c l e s w a r m o p t i m i z a t i o n ( b p s o ) i sa ni n t e l l i g e n tg l o b a lo p t i m i z a t i o na l g o r i t h m ，w h i c hh a sb e e nw i d e l ya p p l i e d a tp r e s e n tt oc o m b i n a t o r i a lo p t i m i z a t i o np r o b l e m s ，f u n c t i o no p t i m i z a t i o n ，s i g n a lp r o c e s s i n g ，n e u r a l n e t w o r kt r a i n i n g ，d a t am i n i n ga n dd a t ac l u s t e r i n ga n do t h e ra p p l i c a t i o n sw i t hm o r ea d v a n t a g e si n s p e e dc o m p u t i n g ，s i m p l ea l g o r i t h mp a r a m e t e r s a n de a s i l y i m p l e m e n t i n g b e s i d e s ，s e q u e n c e b a c k w a r ds e l e c t i o na l g o r i t h m ( s a s ) i sa l s oa l le f f e c t i v es e a r c ha l g o r i t h m t h e r e f o r e ，t h i sp a p e rw i l l s a t i s f a c t o r i l yi n t r o d u c eb p s o ，s b st of e a t u r es e l e c t i o no ne c ga n dh e a r tr a t et oi m p r o v e r e c o g n i t i o nr a t eo fe m o t i o ns t a t e s f o rb p s oc a nb ee a s i l yl e a dt ol o c a ls e a r c hb r i n g i n gi n t o p r e m a t u r ec o n v e r g e n c e ，t h i sp a p e rp r o p o s e st w ok i n d so fi m p r o v e m e n ts t r a t e g i e s ：a ni m p r o v e d a l g o r i t h mi sb a s e do nn e i g h b o r h o o ds e a r c hm e t h o d ( i b p s o ) ，a n di tc a nc o n v e n i e n t l ys u p p l yp a r t i c l e s w a r mm o r eo p p o r t u n i t i e st oj u m po u to ft h el o c a lo p t i m u mt ot h eg l o b a lo p t i m u m ；t h eo t h e r p e r f e c t l yi n t r o d u c et h eg e n e t i co p e r a t i o n s ( c r o s s o v e ra n dm u t a t i o n ) i n t ot h eb p s o ，a n di tm a i n l y i n c r e a s et h ed i v e r s i t yo fe v o l u t i o np o p u l a t i o n m o r e o v e r , a sf i s h e rc l a s s i f i e ro fh i g he f f i c i e n c ya n d a c c u r a c y , i ti sj u s ti m p o r t e dt of e a t u r es e l e c t i o nw i t hb p s oa n ds b s u l t i m a t e l y , t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef e a t u r e so fh e a r tr a t ea r es u p e r i o rt oe c gf o r e m o t i o nr e c o g n i t i o n , e s p e c i a l l yi nf e a r , s u r p r i s e i nb o t hi m p r o v e db p s oa l g o r i t h m ，t h ea v e r a g e r e c o g n i t i o nr a t ea t t a i n e db yt h eb e s tf e a t u r ec o m b i n a t i o ni nh e a r tr a t ei sn e a r l yr e s p e c t i v e l y10 h i g h e rt h a ni ne c gf u r t h e r m o r e ，f o rt h es a m et r a i n i n g ，t e s ta n dv a l i d a t i o ns e t ，t h eb e s tc o m b i n a t i o n s a r ee x a c t l yd i f f e r e n t s ot h e r ea r eg r e a t e rd i f f e r e n c e si nr e c o g n i t i o nr a t ef o rv a l i d a t i o na m o n gt h e m i ng e n e r a l ，t h ea v e r a g er e c o g n i t i o nr a t ef o rv a l i d a t i o nb yi b p s oi sh i g h e ro ra sm u c ha sg b p s o ( i n a d d i t i o nt oh a p p y ) ，a n dt h ed i m e n s i o no ft h es e l e c t e df e a t u r es u b s e ti so b v i o u s l yl e s sa c c o r d i n g l y , w h i c hs h o w st h a tt h eb e s tf e a t u r ec o m b i n a t i o ni sm o r es u i t a b l ef o ra f f e c t i v eu s e rm o d e l i n g a n df o r s b s ，a l t h o u g ht h eb e s tf e a t u r ec o m b i n a t i o n sf o rt e s ta n dv a l i d a t i o na r ew o r s et h a nt h et w oi m p r o v e d i v a b s t r a c t b p s oa b o v e ，i tg l a d l yg a i n e daf e wf e a t u r e st h a tc o u l da c h i e v et h es a l l q ee f f e e ta sb p s od u r i n g e m o t i o nr e c o g n i t i o nf o rh a p p y a n ds u r p r i s i n g l y , s o m es e l e c t e df e a t u r e sa l s om o s t l ye x i s t i n gi n b p s o s oi td o e ss h o wt h a tt h ef e a t u r ec o m b i n a t i o ni ss u i t a b l ef o ra f f e c t i v eu s e rm o d e l i n gi nh a p p y k e yw o r d s ：e c g ( e l e c t r o c a r d i o g r a p h y ) s i g n a l ，h e a r tr a t es i g n a l ，b p s o ( b i n a r y p a r t i c l es w a r mo p t i m i z a t i o n ) ，s b s ( s e q u e n t i a lb a c k w a r d s e l e c t i o n ) ，e m o t i o n r e c o g n i t i o n v 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的研 究成果。论文中引用他人已经发表或出版过的研究成果，文中已加了 标注。 学位论文作者：悔皿 签字日期：矽f 口年多月，2 日 学位论文版权使用授权书 ，本学位论文作者完全了解西南大学有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权西南大学研究生部可以将学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至年月止) 。 学位论文作者签名：标亚 导师签名： 签字日期：芦口年占月i 日签字日期： r 、r ，f 怨锄 他泸碑毒b 第一章引言 第一章引言 1 1 研究背景及意义 当代信息科学技术的飞速发展使得人类对计算机的依赖程度不断增强，人们对计算机的 人机交互能力要求也越来越高。人工智能创始人之一美国麻省理工学院的m i n s k y 教授于1 9 8 5 年在( t h es o c i e t yo fm i n d ( 脑智社会) 专著中提出“t h eq u e s t i o ni sn o tw h e t h e r i n t e l l i g e n tm a c h i n e sc a nh a v ea n ye m o t i o n s ，b u tw h e t h e rm a c h i n e sc a nb ei n t e l l i g e n t w i t h o u te m o t i o n s 1 1 ，他的这个观点的提出引起了国内外学者对计算机情感能力的探讨。 美国麻省理工学院媒体实验室p i c a r d 教授于1 9 9 7 年出版了专著 a f f e c t i v ec o m p u t i n g ( 情 感计算) ，定义了“c o m p u t i n gt h a tr e l a t e st o ，a r i s e sf r o m ，o rd e li b e r a t e l yi n f l u e n c e s e m o t i o n 瞻h ，给出了情感计算的定义。即情感计算就是关于情感、情感产生以及影响情感方面 的计算。其中，情感计算的目的是赋予计算机更全面的智能来适应和理解人的情感，以此来 建立和谐人机环境。它涉及到计算机科学、认知科学、传感器技术、心理学、生理学、行为 学、医学和社会学等研究领域。 要想赋予计算机类似于人一样的情感能力，就需要解决许多基本科学问题进行解决，但 很人的难度。可以认为，围绕情感计算产生的科学突破将对我们人类生活质量产生重大影响。 目前的计算机大多数忽视了情感计算的能力，人与计算机只能依靠键盘与鼠标进行交流，这 样的局面不能达到人机互动，难以真正的实现人机交互的和谐。情感计算的概念虽然诞生不 久，但已受到学术界和产业界的高度重视，国家自然科学基金委也将其列入重点项目的指南 中。近年来，国际上兴起了一个新的方向一可穿戴式计算机的研究，它是移动计算技术和计 算机个性化相结合的产物。1 9 9 7 年l o 月在美国波士顿召开了一个国际研讨会，它巧妙地构成 我们日常穿戴的一部分( 如眼镜、项链、服装、腰带、手表、手镯、鞋、帽子等1 ，使得计算 机和计算机用户始终保持“形影不离”。情感计算是未来人工智能发展与计算机应用中不可或 缺的。也可以将它引入到我们的生活中，如：智能便携式个人身体保健与监护系统，它除了 计算机外，还包括接触式情感信号采集装置。通过测量穿戴者的心率、呼吸、体温等信号， 判断出穿戴者的情感状态，为穿戴者记录状态数据，提出保健建议，或发布健康报警：在司 机安全行车的智能监控系统中，采用非接触式情感信号采集装置，如语音、图像信号。用图 像监测司机面部表情的乏意，如每分钟眨眼次数，让司机的“主动式或被动式反应性”为特 定考察情感状态，可以提醒司机安全行车；在计算机游戏与娱乐系统中，为了增加人类的娱 乐兴趣，要求计算机能够有情感表达的功能。如：进攻型或者防御型棋手的情感行为。 其中，情感识别是情感计算的一个重要组成部分，它研究的内容包括面部表情、姿势、 语音和生理信号识别等方面。如果计算机能从面部、姿势、语音和生理信号中识别出人类的 情感，那么给计算机赋予人类类似的情感，进行感知和表达情感，并进行和谐、自然的人机 情感交互指日可待，而且具有具有相当火的商业应用价值。美国麻省理工学院媒体实验室 p i c a r d h l 在技术报告中指出了至少约5 0 种应用，如：情感饰物，它主要是里面装有传感器， 通过传感器可以随时搜寻人体的生理信息进而了解其情感状态，然后根据情感状态做出相应 的反应；司机的情感监测，传感器通过监测司机的面部表情或者语音、语气的变化，了解 两南大学硕十学位论文 司机情感的变化，并且时刻提醒司机；情感c d ，传感器根据当事人当时的心情，它会自动 播放欢快的歌曲，并可根据自己的口味，自动选曲；情感教学，它介绍的是教学者可以根 据学生的情感变化，适当调整自己的教学方法，从而使教学质量达到最佳状态；情感玩具， 它是玩具根据它所了解到的人们情感状态，自动产生相应情感的变化；情感地毯，它是根 据脚的压力自动生成各种音乐。情感识别还可以应用在疾病预测、情绪预测、学习伴侣和健 康评估等方面具有广阔的应用价值，它还可以应用在经济、医疗、教育、娱乐、体育、卫生、 健康等方面。尤其应用在测谎仪、心理医疗等方面具有广阔的前景。 由于生理信号情感识别被认为是更加真实的一种方法，因为面部表情、语音相对而言可 以更加容易的隐藏，面部、语言流露出来的情感状态主要受神经系统控制1 5 1 ，人们可以通过自 己的主观意识遮掩自己真实的情感；而人类的生理信号主要是受人的自主神经系统和内分泌 系统支配，而不受人的主观控制，而且现代的信号采集技术可以用一种舒服的、非入侵的方 式有效的采集到生理信号。美国m i t 多媒体实验室情感计算研究所p i c a r d 率先证明从生理信号 中提取特征进行情感识别的模式是可行的 4 1 ，美国的e k m a n 等人通过对生理信号进行一系列的 实验总结出有些生理反应对于特定的情绪是具有特异性的【引，因而用生理信号进行情感识别的 研究是非常必要。通过分析生理信号特征，我们可以识别出人类真实情感。 在生理信号中，国内外已经用于情感识别的生理指标有肌电图( e m g ) r 7 1 、皮肤电反应( g s r ) 嗍、血容量搏动( b v p ) 、光电脉搏( p p g ) 1 9 】、皮肤温度( s k t ) t 0 1 、呼吸作用( r s p ) i t l 、脑 电( e e g ) i t 2 j 、心电( e c g ) 和心率信号( h a t er a t e ) 1 3 - 1 5 j 等。文中考虑到采集生理信号的可实 施性，并从实验的复杂性和有效性出发，主要从心电信号以及从该信号计算出来的心率信号 这两种生理信号来进行情感识别。心电信号是人体心脏搏动时，心肌细胞产生的动作电位综 合而成的，它反映了人体心脏随时间的变化情况【l 。目前，心电信号已经广泛应用于医学、 情感识别等领域。由于心电信号是微弱的生物电信号，它受到基线漂移等一系列的噪声干扰， 以及它自身信号的特点，在对心电信号进行研究前，通常需要进行两大步骤：对心电信号 进行去噪处理；对心电信号的p - q r s - t 波进行波形检测；为心电信号的特征提取做好铺垫。 如果能从心电、心率信号搜索到有用的特征或者特征组合来准确的表达某些具体的情感，那 么就可以通过这些同定的特征或特征组合来进行用户的情感模型建立。用户情感模型的建立 对于我们来说具有较大的应用价值和商业价值，它可以反馈给用户不同的信息，帮助用户了 解和调节自己的情绪状态，可以在汽车驾驶、情绪调节和情感学习伴侣等领域中进行实际的 应用。 1 2 国内外研究现状以及存在的问题 情感计算的研究始于8 0 年代【1 7 】，但直n 9 0 年代才开始引起人们的重视，近几年，由于人 工智能方向的飞速发展，情感计算成了国内外学者研究的焦点。国际上，美国麻省理工学院 媒体实验室情感计算研究所率先对生理信号情感识别进行了研究，p i c a r d 等人系统地分析了 影响生理信号采集的各种因素，并介绍了几种特征提取和分类方法【4 1 ，用5 种生理信号的4 0 种 特征分类8 种情感，正确识别率达到8 2 5 ，也证明从生理信号进行情感识别是可行的。并且 它们很多研究成果已经产品化，并与惠普公司合作进行多模型情感应用的研究。法国的 0 1 i v i e rv i l l o n 等人【1 8 i 从建立生理信号情感用户模型的角度，用4 0 个被试的实验结果讨论了 2 第一章引言 在实际应用中，刺激材料个体主观情感和用户依赖( 非依赖) 问题，证明了生理信号的个体 差异性较大以及刺激材料存在很大程度的个体主观情感。韩国的j o n g h w ak i m 等人通过音乐唤 起被试的情感状态，用4 种生理信号( 心电、肌电、皮肤电导和呼吸) 的特征，其中包括时、 频域，几何分析等等，企图找到和情感状态相关的特征，最后采用沿生的线性判别分析( p l d a ) 分类器进行分类，针对用户依赖的模型最终得到了9 5 的分类率，对于用户独立的模型最终得 到了7 0 的分类识别率i i 川。 在国内，中国科学院自动化研究所走在了情感计算技术领域前端，正在投入巨资到模式 识别国家重点室，从国外引进三维扫描仪、运动捕获系统等相关设备和软件，为了加快情感 计算技术的步伐，并通过各种平台向嵌入式终端、个性化网页服务和游戏平台等应用领域发 展。近年来，为了推动在这一领域的发展，促进我国研究者在此领域的交流与合作，我国于 2 0 0 3 年8 月1 2 日在北京主办了第一届中国情感计算与智能交互学术会议，其中，中国科学院自 动化研究所、中国自动化学会、中国计算机学会和国家8 6 3 计划计算机软硬件技术等主题作为 主办单位，国内外的著名学者交流了该领域发展的最新信息。也收到了约8 1 篇论文。其涉及 的领域为：脸部表情处理、情感语音、情感计算建模方法、可穿戴式计算、情感机器人等等。 东南大学正在研究多模态情感用户接口系统；北京工业大学也正进行多功能感知机与情感计 算的融合研究。 对于单一生理信号的研究，德国的r o b e r th o r l i n g s 以脑电( e e g ) 为研究对象】，文【l 州 以表面肌电信号为研究对象，它们都是从单一生理信号提取特征进行情感识别，得到的特征 通过支持向量机或神经网络分类器分类得出较好的识别效果。文【”弓6 】主要通过离散傅立叶变 换等方法从心电、心率信号提取有用的特征，最后用神经网络分类器进行种类识别。由于心 电、心率信号的研究技术相当成熟，而且在人们在经历情感变化时，心电信号会有不同程度 的变化趋势，因此，以心电信号作为研究对象进行情感识别的学者举不胜举。美国的麻省理 工学院媒体实验室曾经从心电信号p - q r s - t 波各波的间隔、幅度等计算六种统计特征( 均值、 中值、方差、最大值、最小值和范围) 采用s f f s 、f i s h e r 投影特征选择算法和d f a 、q d f 分类 器对8 种情感进行分类，取得了较好的识别结剁4 j ；s i n h a ，r 等人于1 9 9 6 年从2 7 个男性被试中提 取心率信号特征对6 种情感采用a n o a 并i j 线性判别函数进行情感识别，得到了较好的成绩1 2 0 1 ；l e e 删曾从心率信号提取特征应用p e r s o n a ld i g i t a la s s i t a n c e ( p d a ) 技术对人们的压力状态进 行监视，也取得了较好的成果【2 1 1 ；韩国的j o n g w ak i m 用音乐作为情感唤起素材对心电信号采 用l ，0 2 4 点快速傅立叶变换，将0 i o h z 的功率谱平均分成8 个子频带，且把每个子频带的平均 功率值和中心频率值作为特征。同时，也从心电信号的r - r 波间隔计算其心率变异率信号，从 中提取频率特征，如：极低频带( 0 0 0 3 0 0 4 h z ) ，低频带( 0 0 4 0 1 5 h z ) ，高频带( 0 1 5 0 4 h z ) 等一系列特征，最后用序列后向选择算法s b s 和沿生的线性判别分类器( p l d