（信号与信息处理专业论文）基于呼吸信号的情感识别研究.pdf

摘要 基于呼吸信号的情感识别研究1 信号与信息处理专业硕士研究生王彬 指导教师刘光远教授 摘要 情感计算是让计算机具有人类的情感，以及能够理解人类的情感状态，并且使它具有识 别情感状态的能力。情感识别是情感计算的重要领域，是建立和谐人机环境的基础之一。情 感识别的研究内容包括面部表情、语音、姿势、文本和生理信号情感识别等方面，其中生理 信号方面的研究是最困难的。在基于生理信号的情感识别中，呼吸信号( r e s p i r a t o r y ，r s p ) 是主要的研究对象之一。r s p 信号的变化状况是人类情感最重要且最真实的表现之一，因此通 过对r s p 信号的研究，我们就可以识别出人们内在的情感和情绪变化，从而为情感识别系统的 建模奠定坚实的基础。 正是由于情感r s p 信号蕴含着丰富的情感信息，能够较明显地反映出人类的情感状态变 化，因此论文对采集到的r s p 信号进行特征提取，并采用智能优化算法来进行r s p 信号的情感 特征选择，在一定程度上有效的解决了以往传统方法处理特征选择的诸多局限性。在此基础 上，进一步深入地研究了基于r s p 信号中能代表特定情感的特征组合。基t - r s p 信号的情感识 别过程包括四个方面：r s p 信号的采集、r s p 信号特征提取、特征选择以及分类识别。 采集到有效的r s p 信号是情感识别的第一步。实验通过采集设备m p l 5 0 采集了被试在高 兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感状态下的r s p 信号，从而建立了情感r s p 信号 数据库。激发素材选用富含情感的电影片段，所需的被试均来自西南大学的在校大一学生。 提取r s p 信号有效的情感特征对情感状态识别的研究是至关重要的。本文在提取特征之 前，对采集到r s p 信号进行了预处理，以去掉噪声干扰。预处理方法是利用b u t t e r w o r t h 低通 滤波器进行滤波处理，并将数值根据基线值进行归一化。小波变换( w a v e l e tt r a n s f o r m ) 具有 很好的时频特性，作为一种有效的时频分析方法，能够有效的提取信号的细节特征进行多分 辨率分析。本文利用小波变换方法，从情感r s p 信号中提取出8 4 个小波系数特征，并通过对 r s p 信号自身的特点进行分析，提取出8 7 个统计特征，最后形成1 7 1 维的原始特征集，用于 1 基金项目：国家自然科学基金fn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；国家重点 学科基础心理学科研基金( t h cn a t i o n a lk e ys u b j e c tf o u n d a t i o nf o rb a s i cp s y c h o l o g yn o n k s f 0 7 0 0 3 ) 西南大学硕+ 学位论文 情感识别的研究。 特征选择实际上是一个组合优化问题，因此可以采用解决优化问题的方法来解决特征选 择问题。智能优化算法来解决组合优化问题是一个很好的选择。遗传算法是通过模拟自然进 化过程进行搜索最优解的方法。由于遗传算法的整体搜索策略和优化搜索方法只需要知道搜 索方向的目标函数和相应的适应度函数，所以遗传算法提供了一种求解复杂系统问题的通用 框架，在函数优化、组合优化、生产调度问题、自动控制、机器人学、图象处理、人工生命 和遗传编码等方面获得了广泛的运用。模拟退火算法在搜索时会在搜索空间上下移动而不依 赖初始条件，擅长解决多维问题，它能处理任意程度的非线性、不连续和随机的问题。模拟 退火算法己成功应用于组合优化、神经网络、图像处理和代码设计。遗传算法把握总体搜索 的能力较强，但局部搜索能力较差：模拟退火算法具有较强的局部搜索能力，因此可以将遗传 算法和模拟退火算法相互结合，取长补短，形成遗传模拟退火算法。论文中在引入降维策略 的基础上，将遗传模拟退火算法与f i s h e r 分类器相结合，以f i s h e r 分类器的正确识别率作为 遗传算法的评价准则函数，对六种情感进行分类识别，选择出能代表特定情感状态的有效特 征组合。 论文通过对情感数据的实验仿真，采用“一对一”和“一对多”的分类识别方法，验证 了将遗传模拟退火算法与f i s h e r 分类器相结合用于r s p 信号情感识别是有效的，不但取得了 较好的情感识别率，并且提供了识别情感状态的有效特征子集。 关键字：情感识别r s p 信号小波变换遗传模拟退火算法 a b s t r a c t ar e s e a r c ho fe m o t i o nr e c o g n i t i o nba s e do n r e s p i r a t o r ys i g n a l s m a jo r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f l i ug u a n g y u a n a b s t r a c t a u t h o r ：w a n gb i n a f f e c t i v ec o m p u t i n gi st om a k ec o m p u t e ro w n ，u n d e r s t a n d ，a n dm o r e o v e r , r e c o g n i z eh u m a n e m o t i o n s e m o t i o nr e c o g n i t i o ni sa ni m p o r t a n ta r e ai na f f e c t i v ec o m p u t i n ga n di ti st h eb a s i so f b u i l d i n gah a r m o n i o u sm a n m a c h i n ee n v i r o n m e n t t h er e s e a r c hc o n t e n t so fe m o t i o nr e c o g n i t i o n i n c l u d ef a c i a le x p r e s s i o n s ，s p e e c hs o u n d ，b e d yp o s t u r e s ，a n dp h y s i o l o g i c a ls i g n a l sa n ds oo n t h e s t u d yo fp h y s i o l o g i c a ls i g n a l si st h em o s td i f f i c u l t a n dr e s p i r a t o r y ( r s p ) s i g n a li st h em a i no b j e c t i nt h ee m o t i o nr e c o g n i t i o nb a s e do np h y s i o l o g i c a ls i g n a l t h ec h a n g eo fr s ps i g n a li so n eo ft h e m o s ti m p o r t a n ta n dt h er e a l e s te m b o d i m e n to fh u m a ne m o t i o n s ，s ot h a tt h r o u g ht h es t u d yo ft h er s p s i g n a l ，w ec a nr e c o g n i z ep e o p l e si n n e rf e e l i n g sa n de m o t i o n a lc h a n g e s a st h ee m o t i o n a lr s ps i g n a lc o n t a i n saw e a l t ho fe m o t i o n a li n f o r m a t i o n ，a n dc a no b v i o u s l y r e f l e c tt h ec h a n g e so fh u m a ne m o t i o n a ls t a t e t h e r e f o r e ，i nt h i sp a p e r , f e a t u r e sw e r ee x t r a c t e df r o m t h er s ps i g n a l s a n di n t e l l i g e n to p t i m i z a t i o na l g o r i t h m sw e r eu s e dt os e l e c tr s pe m o t i o n a lf e a t u r e s t oac e r t a i ne x t e n t , t h ea l g o r i t h me f f e c t i v e l yd e a l sw i t ht h el i m i t a t i o n so ff e a t u r es e l e c t i o nb y t r a d i t i o n a lm e t h o d s o nt h i sb a s i s ，t h ep a p e rm a k e sf u r t h e rr e s e a r c ho nr s p - b a s e df e a t u r e c o m b i n a t i o n sw h i c hc a nr e p r e s e n ts p e c i f i ce m o t i o n s t h ep r o c e s so fe m o t i o nr e c o g n i t i o nb a s e do n r s ps i g n a l si n c l u d e sf o u rs t e p s ：r s ps i g n a la c q u i s i t i o n ，f e a t u r ee x t r a c t i o n ，f e a t u r es e l e c t i o n ，a n d c l a s s i f i c a t i o nr e c o g n i t i o n c o l l e c t i n gv a l i dr s ps i g n a l si st h ef i r s ts t e pi ne m o t i o nr e c o g n i t i o n r s pd a t aw e r ec o l l e c t e di n t h es t a t eo f j o y , s u r p r i s e ，d i s g u s t ，g r i e f , a n g r ya n df e a rb yt h ea c q u i s i t i o ne q u i p m e n tm p15 0 ，w h i c h c r e a t e sa l le m o t i o n a lr s ps i g n a ld a t a b a s e t h es u b j e c t sw e r ef r e s h m e nf r o ms o u t h w e s tu n i v e r s i t y a n dm o v i ec l i p sr i c hi ne m o t i o nw e r eu s e da st h ei n s p i r e dm a t e r i a l e x t r a c t i n ge f f e c t i v ef e a t u r e sf r o mr s ps i g n a li se s s e n t i a lt or e s e a r c ho ne m o t i o nr e c o g n i t i o n b e f o r ef e a t u r ee x t r a c t i o n ，t h ec o l l e c t e dr s pd a t aw e r ef i r s t l yp r e p r o c e s s e d ：b u t t e r w o r t hl o w p a s s f i l t e ri su s e df o rf i l t e rp r o c e s s i n g ，a n dt h e nt h ed a t ai sn o r m a l i z e db yt h eb a s e l i n ev a l u e w a v e l e t i 两南大学硕十学位论文 t r a n s f o r mh a sg o o dt i m e f r e q u e n c yc h a r a c t e r i s t i c s ，t h u sa sat e l l i n gt i m e f r e q u e n c ya n a l y s i sm e t h o d ， i tc a ne f f e c t i v e l ye x t r a c tm i n u t i a ef e a t u r ef o rm u l t i r e s o l u t i o na n a l y s i s i nt h i sp a p e r 8 4w a v e l e t c o e f f i c i e n tf e a t u r e sw e r ee x t r a c t e df r o mt h ec o l l e c t e dr s ps i g n a l s a n dt h r o u g ha n a l y s i so fi t so w n c h a r a c t e r i s t i c sa b o u tt h er s ps i g n a l ，8 7s t a t i s t i c a lf e a t u r e sw e r ee x t r a c t e d a n df i n a l l yt h e 171 - d i m e n s i o n a lo r i g i n a lf e a t u r es e tw a sf o r m e d ，w h i c hw a su s e dt or e c o g n i z ee m o t i o n f e a t u r es e l e c t i o ni sac o m b i n a t o r i a lo p t i m i z a t i o np r o b l e m s ow ec a ns o l v et h ef e a t u r es e l e c t i o n p r o b l e mt h r o u g h t h ew a yo fs o l v i n gc o m b i n a t o r i a l o p t i m i z a t i o np r o b l e m s a n di n t e l l i g e n t o p t i m i z a t i o na l g o r i t h m sa r eag o o ds o l u t i o nf o rc o m b i n a t o r i a lo p t i m i z a t i o np r o b l e m s g e n e t i c a l g o r i t h m ( g a ) i sam e t h o do fs i m u l a t i n gn a t u r a le v o l u t i o n a r yp r o c e s s e st os e a r c ht h eo p t i m a l s o l u t i o n a st h eo v e r a l ls e a r c hs t r a t e g ya n do p t i m i z a t i o ns e a r c h i n gm e t h o do fg a o n l yn e e dt ok n o w t h eo b j e c t i v ef u n c t i o no fs e a r c h i n gd i r e c t i o na n dt h ec o r r e s p o n d i n gf i t n e s sf u n c t i o n ，s og ap r o v i d e s a g e n e r a lf r a m e w o r kf o rs o l v i n gt h ec o m p l e xs y s t e mp r o b l e m s ，a n di ti sw i d e l yu s e di nt h ef u n c t i o n o p t i m i z a t i o n ，c o m b i n a t o r i a lo p t i m i z a t i o n ，p r o d u c t i o ns c h e d u l i n gp r o b l e m s ，a u t o m a t i o n ，r o b o t i c s ， i m a g ep r o c e s s i n g ，a r t i f i c i a ll i f e ，a n dg e n e t i cc o d i n g s i m u l a t e da n n e a l i n ga l g o r i t h m ( s a ) ，i n s t e a do f r e l y i n go nt h ei n i t i a lc o n d i t i o n s ，m o v e su pa n dd o w ni nt h es e a r c hs p a c e ，i ts p e c i a l i z e si ns o l v i n g m u l t i - d i m e n s i o n a lp r o b l e m ，a n di tc a nd e a lw i t ha n yd e g r e eo fn o n l i n e a r , d i s c o n t i n u o u sa n dr a n d o m p r o b l e m s s ah a sb e e ns u c c e s s f u l l ya p p l i e di nc o m b i n a t o r i a lo p t i m i z a t i o n ，n e u r a ln e t w o r k s ，a n d i m a g ep r o c e s s i n ga n dc o d ed e s i g n i naw o r d ，g ap e r f o r m sw e l li ng l o b a ls e a r c h , b u tb a d l yi nl o c a l s e a r c h ；a n ds ah a sas t r o n ga b i l i t yo fl o c a ls e a r c h s ot h et w oa l g o r i t h m sc a l ll e a r nf r o me a c ho t h e r , a n dg e n e t i cs i m u l a t e da n n e a l i n ga l g o r i t h m ( g a s a ) i sg e n e r a t e dt h r o u g hc o m b i n i n gs aw i t hg a o nt h eb a s i so fi n t r o d u c i n gt h ed i m e n s i o nr e d u c t i o ns t r a t e g y , g a s aw a sc o m b i n e dw i t hf i s h e r c l a s s i f i e r a n dt h ec o r r e c tr e c o g n i t i o nr a t eo ff i s h e rc l a s s i f i e rw a su s e da st h ee v a l u a t i o nc r i t e r i a f u n c t i o ni ng a s a t h es i xe m o t i o n sw e r er e c o g n i z e da n de f f e c t i v ef e a t u r ec o m b i n a t i o nr e s p e c t i v e l y r e p r e s e n t i n gs p e c i f i ce m o t i o n a ls t a t e sw e r es e l e c t e d t h r o u g ht h es i m u l a t i o ne x p e r i m e n t so ft h ea f f e c t i v ed a t a , t h eo n e t o - o n ea n do n e - t o - m a n y r e c o g n i t i o nm e t h o d sw e r ea d o p t e di nt h i sp a p e r w ev e r i f i e dt h ev a l i d i t yo fg a s ac o m b i n e dw i t h t h ef i s h e rc l a s s i f i e rf o rt h er s ps i g n a le m o t i o n r e c o g n i t i o n t h u s ，n o to n l yg o o de m o t i o n r e c o g n i t i o nr a t e s ，b u ta l s oe f f e c t i v ef e a t u r es u b s e t sf o re m o t i o nr e c o g n i t i o nw e r eo b m i n e d k e y w o r d s ：e m o t i o nr e c o g n i t i o n ；r e s p i r a t o r ys i g n a l ；w a v e l e tt r a n s f o r m ；g e n e t i c s i m u l a t e da n n e a l i n ga l g o r i t h m 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的研究成果。论文中引用 他人已经发表或出版过的研究成果，文中已加了特别标注。对本研究及学位论文撰写 曾做出贡献的老师、朋友、同仁在文中作了明确说明并表示衷心感谢。 学位论文作者：t 签字日期：加年朋亿日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权西南 大学研究生院( 筹) 可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至年月止) 。 学位论文作者签名： 王啉k ， 签字日期：7 , o fo 年易月12 - 日 导师签名： 签字日期： 乒z 互迄 b c 夕年6 月j 乙日 1 1 研究背景及意义 随着信息科学的飞速发展，人类对计算机的依赖程度在不断增强，人机交互能力也越来 越受到计算机领域的重视。如何实现计算机的拟人化，使计算机能够感知周围气氛、环境、 对象的态度、情感等内容，能够实时做出响应并与用户进行和谐的情感交流，已成为“人机 情感交互”领域研究的一个热点问题。要使计算机具有人类情感，首先就要使计算机能够理 解人的情感状态，并改善计算机识别情感状态的能力，也就是进行情感计算。情感计算是当 前新兴的课题之一，它是关于情感方面的计算，其目的是赋予计算机识别、理解、表达和适 应人类情感的能力。 情感智能领域的应用非常的广泛，越来越成为未来人工智能发展与计算机应用中不可或 缺的一部分。譬如日常生活应用中比较成熟的司机安全行车的智能监控系统，该系统可以采 用非接触式情感信号( 如图像与生理信号) 采集装置。图像信号是用于监测司机面部表情的 乏意( s l e e p i n gm o o d ) 的，监测方式如根据每分钟眨眼次数。而生理信号是用于识别司机回答 问题时的语言迟钝性( s l o w r e a c t i o nm o o d ) ，主要从音调变化、噪音质量、发音清晰度、音量 强度和生理信号速度等方面识别。假如说以司机的“主动式或被动式反应一( a c t i v i t yo r r e a c t i v i t y ) ”作为特定考察情感状态，那么就可以提醒司机安全行车。再如计算机游戏与娱乐 系统，这也是计算机需求情感表达功能的主要应用之一。 正是由于人们在研究过程中遇到了诸多疑难问题，这就迫切需要营造自然和谐的人机环 境，因此也就加速了情感计算技术的不断研究，相信情感计算技术的广泛应用是指日可待的。 赋予计算机类似于人的情感能力，使计算机能够感知和表达情感，那么人类与机器就能够达 到一种和谐交流状态，人类就可以放弃使用鼠标、键盘等毫无知觉的交互方式，这对于某些 病人或某些残疾人来说是极有意义的。p i c a r d 在m i t 媒体实验室的技术报告中至少给出了约 5 0 种应用，如情感教学、情感饰物、情感检测、情感地毯、情感玩具、情感c d 、情感眼镜和 情感鼠标等等。情感识别在疾病预测、情感学习伴侣、情绪预测、帮助节制游戏瘾、健康评 估以及实时检测司机精神压力从而给出合理建议等方面都有很现实的应用价值。此外，还可 以应用在经济、人文艺术、商业、娱乐体育、健康、教育、卫生和科学等方面。 情感识别是情感计算领域里的一个重要组成部分。情感识别研究的内容包括情感语音、 面部表情、姿态表情和生理信号的情感识别等方面。其中生理信号的情感识别研究是最困难 的。面部表情、语音等方面的情感识别研究都是以行为和身体的方式表现出来的自愿或不自 愿信号的复杂模式，而且从事这方面的研究人员比较多，研究技术也比较成熟。但是这些方 法都无法检测到潜在的情感或情绪。生理信号是伴随着的人的情感变化而由人体内部器官产 生的生物电信号，它更能客观真实的反映出当时的情感状态变化，使情感识别正确率进一步 提高。通过分析信号的生理特征，可以识别出内在的真实情绪和情感。而且采集生理信号的 1 两南大学硕士学位论文 传感器能以一种较舒服的、非侵入的方式连接于人体，与身体保持良好的接触，使得基于生 理信号的情感识别研究更贴切于实际。基于生理信号的情感识别具用很广阔的应用前景，可 以应用在心理治疗和测谎仪等方面。因此，研究基于生理信号的情感状态识别是很有意义的。 在情感识别研究中，使用的生理信号主要包括呼吸信号( r s p ) 、心电图( e c g ) 、脑电图 ( e e g ) 、眼电图( e o g ) 、光电脉搏( p p g ) 、皮肤电反应( s c ) 、肌电图( e m g ) 、血容量搏动( b v p ) 和皮温( s k t ) 等。因为生理变化只受人的内分泌系统和自主神经系统支配，不受人的主观意识 控制，因而应用生理信号测量法，所采集到的数据更客观、更真实。因此，研究基于生理信 号的情感特征分析是很有必要的。如果能准确找出最能代表特定情感的某些特征或某些特征 组合，我们就可以用这些特征来进行有效的情感识别，从而进行和谐的人机情感交互，这具 有很大的商业应用价值。 在研究的生理信号中，呼吸作用通常受一个人的身体工作量影响。随着身体工作量的增 加，需要更多的能量代谢和氧。此外，呼吸可以说明自主神经系统在保持警惕，情感反应和 脑力负荷状况下的活动。随着情绪状态的变化，呼吸系统的活动在速度和深度上会有所改变。 剧痛的情绪反应往往会使呼吸加深加快；而突然惊恐时，呼吸会发生临时中断；狂喜或悲痛 时，会发生呼吸痉挛现象。因此，呼吸信号对识别情感状态是非常有用的拉。例如：深沉而快 的呼吸表明激动，伴随着的情感可能是高兴、愤怒或是害怕；深沉而缓慢的呼吸表明一种放 松的状态；肤浅而急促的呼吸表明紧张情绪；肤浅而慢的呼吸表明是平静或是消极的状态。 由于呼吸信号 1 的变化状况是人类情感最重要且最真实的表现之一，因此通过对呼吸信号 的研究，我们就可以识别出人们内在的情感和情绪变化。通过采集到符合真实环境的比较理 想的呼吸信号数据，提取有效的情感生理特征，再从中选择出有效的特征模式来识别情感h 1 。 其中特征提取是一个比较重要的过程，我们通过分析原始生理信号的特点，可提取出时域特 征和频域特征，而小波变换( w a v e l e tt r a n s f o r m ) f 5 1 作为一种有效的时频分析方法，能够有效 的提取信号的细节特征进行多分辨率分析。特征选择是一个组合优化问题，因此，论文中将 遗传算法和模拟退火算法相结合来实现特征选择优化问题。遗传算法哺1 本身是依据生物进化论 的自然选择和遗传学的生物进化过程而进行寻优的一种计算智能优化算法，与传统的优化方 法相比，它弥补了识别效果较低，鲁棒性差等众多不足，可以行之有效地得到有效的特征组 合。迄今为止，遗传算法已在生产调度、组合优化、电路设计、机器学习和神经网络等领域 取得了很大的成功，并越来越受到人们的重视，并且已经成为计算智能领域的又一研究热点。 模拟退火算法起源于固体退火原理，它具有渐近收敛性，在理论上已被证明是一种以概率l 收敛于全局最优解的优化算法。论文将遗传算法与模拟退火算法相结合，引入了遗传模拟退 火算法，并应用于r s p 信号的特征选择上，来分析验证遗传模拟退火算法在情感识别领域的 性能研究，在工程应用上有其决定性的意义。 2 引言 1 2 研究现状与存在的问题 情感识别的研究可以追溯到8 0 年代h 1 ，当时人们只注意到了情感对人类认知与智能的作 用，却没有引起足够的重视，而直到9 0 年代，人们才逐渐地注意到，特别是最近几年来，由 于人工智能领域的飞速发展，人们越来越重视情感计算和情感识别的研究。 目前，国内外用于情感识别研究的生理信号主要针对心电i 至i ( e c g ) f 8 1 9 1 1 1 0 1 、呼吸作用 ( r s p ) i t o 】、脑电图( e e g ) t 1 1 1 、眼电图( e o g ) f 1 2 】、光电脉搏( p p g ) 【13 1 、皮肤电反应( s c ) 【1 4 】、肌电图 ( e m g ) 【1 5 】、血容量搏动( b v p ) t 1 6 1 和皮温( s k t ) t 1 4 1 这九种生理信号，因为这些信号都从一定程度 上反应了人类的情感信息。 在国际上，美国m i t 实验室对关于生理信号情感识别的研究比较全面，p i c a r d t ”】【埽1 1 1 9 1 系 统地分析了影响生理信号采集的各种因素，并介绍了几种特征提取和分类方法，用5 种生理 信号( 包括呼吸信号) 提取的4 0 种特征分类8 种情感，其分类正确识别率可达到8 2 5 。他 率先证明了从生理信号中提取特征来进行情感识别是可行的，并与h p 公司建立合作来进行多 模态情感应用方面的研究。 德国奥森堡大学的多媒体信号处理实验室也在生理信号的情感识别方面做出了很大的贡 献【2 0 l ，他们分析了四种生理信号( r s p 、e m g 、s c 、e c g ) 的特征，而他们的侧重点是情感识 别率方面的研究，且着重比较了不同的特征选择方法和不同的分类器相结合应用于情感识别 的识别效果，目前也在积极从事多模态情感界面方面的研究。 h e a l e y 提取了1 1 个特征识别八种情感，用f i s h e r 进行降维操作处理后再运用d f a 和q d f 分类，识别率达到8 0 一9 0 。h a a g 等人用1 3 个特征来识别三类不同唤醒度的正负效价情感 状态，直接使用m l p 分类器进行分类，唤醒度和效价的识别率分别达到9 6 5 8 和8 9 9 3 。 n a s o z 等人运用k n n 、d f a 及m b g 进行六种情感的分类识别，其识别率分别为7 1 6 、7 4 3 和8 3 7 。韩国的b a n g 和k i m 曾采集5 0 名被试在自然情绪诱发下的生理信号，进行提取特 征后，运用s v m 分类器对3 种情绪进行分类的识别率达到了7 1 4 【2 1 1 。 在国内，大部分的研究工作只是针对人工情感单元理论与技术实现。中科院心理所和清 华大学合作，主要研究多模态多通道的情感分析、情感语音识别分析、汉语普通话情感分析、 人脸表情视频分析、人脸表情图像结构分析等几个方面的内容。江苏大学正在建立自己的情 感数据库，从呼吸信号( r s p ) 、心电( e c g ) 、皮温( s k t ) 和皮肤电导( s c ) 中提取生理特征进行 情感识别方面的研究。南京航空航天大学等在研究语音方面的情感计算。重庆大学以研究环 境感知、智能服务、智能手表和增强现实等方面为主，注重软件方面的研究。哈尔滨工业大 学主要是研究多功能情感机。北京科技大学主要研究人工心理和情感模型的建立。北京工业 大学正进行情感计算与多功能感知机融合的研究。国家自然科学基金项目已将和谐人机环境 中的情感计算列为1 9 9 8 年信息技术高技术探索第六主题。2 0 0 5 年在北京已召开了首届因际情 感计算及智能交互学术会议。这些都说明情感计算的研究在我困也逐步得到认识，其工作也 3 西南大学硕士学位论文 一ii 皇皇曼罾量量置罾量量曼量曼曼蔓曼曼蔓曼曼曼曼量量鼍曩曼曼曼舅舅曼曼鼍量皇量皇量量量皇曼皇量置曼曼曼曼曼量舅舅量舅量量量量皇舅量量量奠量量曹量皇量量量皇曼曼曼量 在渐渐展开。 虽然人们在人工智能方面取得了越来越多瞩目的成绩，却也存在很多有待解决的难题。 从采集生理信号而言，国际上没有统一而有效的标准，因此如何有效的激发情感，是利用图 片、声音还是电影片段，我们无从得知。而针对不同的人种，在选择激发情感的素材方面也 没有一个衡量的标准，这就造成了难以保证采集到的生理信号的有效性。在特征提取方面， 也很难准确的提取到有效的情感生理特征。而在特征选择方面，如何通过特征筛选并找出分 类情感最为有效的生理信号的特征组合也是一个难题。且基于生理信号的情感状态识别研究 本身就是比较复杂和困难的，因此首先研究单一生理信号的情感识别是有必要的，它能为多 种生理信号的识别研究奠定坚实的基础。所以论文中只对呼吸信号进行了情感状态识别研究。 对于呼吸信号在情感状态识别研究中，同样存在上述这一系列的问题。在我们的实验研 究中，如何有效的激发被试在不同情感状态下的情感。经过分析与讨论，我们采用富含情感 的电影片段来激发被试情感，与声音和图片相比，更能使被试的情感淋漓尽致的真实表达出 来。在情感特征提取方面，除了根据呼吸信号本身的特点，提取出均值、中值、标准差、最 大值和最小值等统计特征以外，还利用小波变换具有良好的时频特性，提取了小波系数特征， 这样能更加充分的提取出利用情感识别的r s p 信号特征。当前，用于生理信号的特征选择的 方法有f i s h e r 、s f f s 、a n o v a 、s f s 、s b s 等，但这些方法都是一些传统的方法，计算速度 较慢和收敛性较差，无法得到统一而有效的特征模式，而论文要研究的遗传算法和模拟退火算 法是智能优化算法，是一系列的搜索技术。与传统的特征选择算法相比，遗传算法是一种成 熟的具有高鲁棒性和广泛适用性的全局优化方法，具有自组织、自适应、自学习的特性，能 够有效地处理传统优化算法难以解决的复杂问题。模拟退火算法在组合优化问题的求解、自 适应控制、自动生成程序、机器学习和人工生命等领域的应用中也已初步展现了它的特色和 魅力，成为当前十分热门的研究课题。论文中将遗传算法与模拟退火算法相结合，弥补了遗 传算法局部搜索能力较差和模拟退火算法的全局搜索能力不足的缺陷，两者结合取长补短。 1 3 论文的具体工作及内容安排 论文通过对呼吸信号的情感状态识别问题及其自身特点的分析，提取情感呼吸信号的统 计特征，且利用小波变换提取呼吸信号的小波特征，并结合传统特征选择方法所带来的缺陷， 最终将智能优化的思想引入到呼吸信号的特征选择中，而遗传模拟退火算法是一种新兴的搜 索寻优技术，它将遗传算法和模拟退火算法相结合，取长补短，充分发挥了遗传算法的全局 搜索能力和模拟退火算法较强的局部搜索能力，从而逐步找到最优解。论文主要研究内容及所 做的具体工作如下： 1 )呼吸信号的数据采集：实验中，通过m p l 5 0 采集了被试在高兴、惊奇、厌恶、悲伤、 愤怒和恐惧六种情感状态下所激发的呼吸生理信号，所需的被试均来自西南大学在校大一学 生： 4 引言 2 )原始呼吸信号的预处理：对采集到的原始呼吸信号进行下采样，然后利用b u t t e r w o r t h 低通滤波器进行滤波处理；并将数值根据基线值进行归一化预处理： 3 )情感特征的提取：利用小波变换良好的时一频局部化，对采集的呼吸信号提取出8 4 个小波系数特征，并通过对呼吸信号自身的特点进行分析，提取出8 7 个统计特征，最后形成 1 7 1 维的原始特征集； 4 )情感特征子集选择及分类：引入降维策略，将遗传模拟退火算法与f i s h e r 分类器结 合，以f i s h e r 分类器的正确识别率作为遗传算法的评价准则函数，对六种情感进行分类识别， 选择出能代表特定情感状态的有效特征组合。 根据所做的具体工作，本文的内容安排如下： 第一章为引言部分，阐述了情感识别领域对当今生活、生产等各方面所带来的影响与意 义，并也简单的介绍了呼吸信号应用于情感识别研究的意义，以及情感识别的研究现状和目 前所存在的一系列问题，分析其中出现的瓶颈，最终将呼吸信号引入情感识别的研究中。 第二章介绍了呼吸信号的基本知识，重点阐述了信号采集实验前所进行的准备工作，以 及如何进行信号采集和过程中应该注意的事项。 第三章主要介绍了原始呼吸信号进行预处理的过程，详细阐述了呼吸信号的统计特征和 小波系数特征的提取方法。 第四章介绍了特征选择优化方法的基本原理，并对遗传模拟退火算法进行特征选择给出 了详细说明，以及阐述了分类器的设计。 第五章主要是在了解基于情感呼吸信号进行情感识别的基础上，对本实验所采集的呼吸 信号数据进行实验仿真，对实验结果进行了分析，找到代表特定情感的特征组合。 第六章是对论文工作的总结与展望。 1 4 论文创新点 分析和总结前人所做的研究工作，再通过论文上述研究，此论文有一些创新之处。 1 ) 特征提取方法的创新：小波变换具有很好的时频分析特性，能够有效的提取信号的细 节特征进行多分辨率分析，因此论文在借助于小波变换良好的时频特性，提取出相应 的8 4 个小波系数特征。在以前基于呼吸信号的情感识别研究中，没有提取小波系数 特征来进行情感识别。 2 ) 特征选择算法的创新：将结合降维策略的遗传模拟退火算法用于呼吸信号的特征选 择，并与f i s h e r 分类器相结合起来识别情感，一定程度上克服了传统特征选择方法在 特征维数较多时搜索速度慢、识别率低等缺点，而且从特征选择的结果中得出识别情 感的有效的呼吸信号特征组合，也为以后做情感识别相关的软硬件系统提供了必要的 前提和基础。 3 ) 情感识别结果分析方法的创新：对情感识别结果分析时，论文提出了对六类情感进行 5 西南大学硕士学位论文 “一对一”和“一对多”两种形式的分类识别方法。“一对一”的识别方法即就是将 六类情感分别进行两两识别。“一对多”是指将六类情感其中的一种情感作为一类， 其他的五种情感作为另外一类，这样来进行分类识别。通过这两种分类识别，比较和 分析其识别效果和特征选择出来的结果，更能说明将呼吸信号应用于情感识别的研究 是可行的，且遗传模拟退火算法用于特征选择是可取的。 6 呼吸信号采集 第二章呼吸信号采集 呼吸信号的变化状况是人类情感最重要且最真实的表现之一，因此通过对呼吸信号的研 究，我们就可以识别出人们内在的情感和情绪变化。采集到符合真实环境的比较理想的呼吸 信号数据，对情感识别是至关重要的。本章详细介绍了呼吸信号采集的过程。 2 1 呼吸信号简介 呼吸( r e s p i r a t i o n ，简称r s p ) 是指人体与外界环境进行气体交换的总过程。人体通过呼 吸作用不断地从外界环境摄取氧，以氧化体内营养物质，供应能量和维持体温；同时将氧化 过程中产生的c 0 2 排出体外，以免c 0 2 过多扰乱人体机能，从而保证新陈代谢的正常进行。所 以，呼吸是人体重要的一个生理过程，对人体呼吸的监护检测也是现代医学监护技术的一个 重要组成部分。 呼吸信号的生理指标主要有两个：呼吸频率和呼吸幅度。 ( 1 ) 呼吸频率：呼吸频率是描述单位时间内呼吸的次数，受到各种内源性和外源性因素 的影响。 ( 2 ) 呼吸幅度：人体胸廓内气体雎力随着呼吸而发生的变化。 呼吸信号不仅仅局限于呼吸频率、呼吸幅度、动脉血气、呼吸节律以及普通胸片等一些 常规项目，更受到重视的是能确切反映人体通气氧合状况，并能指导机械通气治疗参数调节 和临床用药的指标。呼吸频率是呼吸行为一项比较重要的参数i 通过对呼吸率的研究分析， 可以获得许多隐藏在其背后的内在的生理信息，并且对它的检测也较易实现，所以现有的呼 吸监护设备主要监