（信号与信息处理专业论文）皮肤电反应信号在情感状态识别中的研究.pdf

摘要 皮肤电反应信号在情感状态 识别中的研究1 信号与信息处理专业硕士研究生蔡菁 指导教师刘光远教授 捅要 生理信号的情感识别具有广泛的研究和应用前景，作为一个重要的研究领域，。通过 对生理信号的分析，我们可以识别出人类内在的情感和情绪变化，因此情感识别中最可靠 的方法是采集比较理想的符合真实环境的生理数据。其中皮肤电反应信号( g s r ) 随着情感 的不同有着明显的差异，其皮肤电导值与情感状态和注意力密切相关。在目前基于生理信 号特征的情感识别研究中，还存在较多局限性，如很难像面部表情等找到一种可以代表情 感的生理信号特征，且识别效果不佳，鲁棒性较差等。 由于研究多种生理信号有一定的复杂性和难度，论文针对研究中的不足之处，对研究 方法进行改进和创新，仅采用一种生理信号进行情感识别的研究。皮肤电反应信号( g s r ) 蕴含着丰富的情感信息，可以较明显的反映出人类的情感变化，因此论文主要研究基于皮 肤电反应信号( g s r ) 的情感状态识别，阐述了g s r 数据采集，数据预处理，特征提取，特 征选择和情感( 高兴、惊奇、厌恶、悲伤、愤怒和恐惧) 分类的整个实验方法。 数据采集是整个研究过程的第一步，目标情感能否被激发是能否获得相应情感数据的 关键。因此，与特征提取和特征选择一样，数据采集有同样重要的地位。论文对2 4 5 个被试 展示六种情感状态的电影片段，激发被试的情感并且采集了相应情感状态下的g s r 信号，得 到了反应真实情感的有效g s r 信号。 在特征提取的过程中，针对g s r 信号自身的特点，从信号中获得大量原始特征。然而 并不是所有特征都能在情感识别有所贡献，可见从中找到反应情感的特征非常重要，这个 过程就是特征选择。情感识别中的特征选择是n p - h a r d 问题，因此是组合优化问题，可以使 1 基金项目：国家自然科学基金fn a t i o n a ln a m m ls c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；1 雪家重点学 科基础心理学科研基金( t h en a t i o n a lk e ys u b j e c tf o u n d a t i o nf o rb a s i cp s y c h o l o g yn o n k s f 0 7 0 0 3 ) 两南大学硕十学位论文 用一种有效的智能优化算法找到问题的满意解，与传统的特征选择方法相比，有较低的计 算复杂度。禁忌搜索算法( t a b us e a r c h ，t s ) 是一种高效的智能优化算法，与其他智能优 化算法相比，具有更高的全局搜索能力。论文根据研究的具体问题，将禁忌搜索算法进行 改进，使其能够更好地搜索到识别效果好的特征组合。 通过改进的t s 算法选出来的特征需要用分类识别效果评价其优劣，评价过程是一次分 类识别的过程。由于在多次调用分类识别的特征搜索过程中，f i s h e r 分类算法快捷高效。 因此，论文将f i s h e r 分类识别算法作为特征搜索过程中的评价函数，以提高计算速度。 采用论文的方法对g s r 信号的情感识别进行研究，研究结果表明将改进的禁忌搜索算 法引入生理信号的情感识别具有可行性，并且g s r 信号中包含大量能够识别六种情感的特征 信息，能达到较好的识别效果，更重要的是找到了六种情感与g s r 信号某些特征的映射关系。 关键字：情感识别g s r 信号禁忌搜索f i s h e r 分类器特征选择 h a b s t r a c t t h er e s e a r c ho fe m o t i o nr e c o g n i t i o nb a s e do n g a l v a n i cs k i n r e s p o n s esi g n a l m a jo r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f g u a n g y u a nl i u a b s t r a c t a u t h o r ：c a ij i n g e m o t i o nr e c o g n i t i o nb a s e do np h y s i o l o g i c a ls i g n a l si sa l l i m p o r t a n tr e s e a r c hf i e l dw i t h e x t e n s i v er e s e a r c ha n da p p l i c a t i o np r o s p e c t s s i n c ei n t e r n a lf e e l i n g sa n de m o t i o n a lc h a n g e sc a nb e i d e n t i f i e dt h r o u g ht h ea n a l y s i so fp h y s i o l o g i c a ls i g n a l s ，s ot h em o s tr e l i a b l ew a yf o re m o t i o n r e c o g n i t i o ni se x t r a c t i n gi d e a lp h y s i o l o g i c a ld a t ai na c c o r dw i t ht h er e a le n v i r o n m e n t g a l v a n i cs k i n r e s p o n s e ( g s r ) s i g n a lv a r i e so b v i o u s l yw i t ht h ec h a n g eo fe m o t i o ns t a t e s t h es k i nc o n d u c t a n c e l e v e li sc l o s e l yr e l a t e dt oe m o t i o na n da t t e n t i o n h o w e v e r , t h e r ei ss t i l lm a n yl i m i t a t i o n si nt h e e x i s t i n gr e s e a r c h e sb a s e do np h y s i o l o g i c a ls i g n a lf e a t u r e ，s u c ha sh a r dt of i n das p e c i f i cf e a t u r et o r e p r e s e n tac e r t a i ne m o t i o n ，u n f a v o r a b l ei d e n t i f i c a t i o ne f f e c t ，a n dp o o rr o b u s t n e s s b e c a u s eo ft h ec o m p l e x i t ya n dd i f f i c u l t yf o rt h es t u d yo fa l lk i n d so fp h y s i o l o g i c a ls i g n a l s ，t h e r e s e a r c hm e t h o di si m p r o v e da n di n n o v a t e dt ob r e a kt h r o u g ht h ef o r m e rl i m i t a t i o n s ，a n do n es i n g l e p h y s i o l o g i c a ls i g n a li su s e df o re m o t i o nr e c o g n i t i o n t h eg a l v a n i cs k i nr e s p o n s e ( g s r ls i g n a l c o n t a i n sa b u n d a n te m o t i o n a li n f o r m a t i o n ，s oi tc a nr e f l e c tm o r ep r o n o u n c e dc h a n g e si nh u m a n e m o t i o ns t a t e s t h ep a p e rm a i n l ys t u d i e st h ev a r i a t i o n so fg s rs i g n a li ne m o t i o nr e c o g n i t i o n ，a n d d e s c r i b e st h ew h o l ee x p e r i m e n t a lm e t h o di n c l u d i n gg s rd a t aa c q u i s i t i o n , d a t ap r e p r o c e s s i n g , f e a t u r ee x t r a c t i o n , f e a t u r es e l e c t i o na n dc l a s s i f i c a t i o no fe m o t i o n s ( h a p p y , s u r p r i s e ，d i s g u s t , s a d n e s s ， d a t aa c q u i s i t i o ni st h ef i r s ts t e po ft h ew h o l es t u d y w h e t h e rt h et a r g e te m o t i o ni se l i c i t e di s t h ek e yi s s u et og a i nc o r r e s p o n d i n ga f f e c t i v ed a t a , s od a t aa c q u i s i t i o ni sa si m p o r t a n ta sf e a t u r e e x t r a c t i o na n ds e l e c t i o n t h em o v i e sw i t hs i xe m o t i o n sw e r ep r e s e n t e dt o2 4 5s u b j e c t sw h o s eg s r d a t aw e r ea c q u i r e de f f i c i e n t l ya tt h es a m et i m ew i t h o u tm u c hd i s c o m f o r tf r o mt h eb e d ys u r f a c e a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fg s rs i g n a l s ，al a r g en u m b e ro fo r i g i n a lf e a t u r e sa r e e x t r a c t e df r o mg s r s i g n a l s h o w e v e r , n o ta l lf e a t u r e sm a k ec o n t r i b u t e st oe m o t i o nr e c o g n i t i o n ，s oi t i sn e c e s s a r yt of i n da f f e c t i v ef e a t u r e sf r o mt h e m ，n a m e l yf e a t u r es e l e c t i o n f e a t u r es e l e c t i o ni n e m o t i o nr e c o g n i t i o ni sac o m b i n a t o r i a lo p t i m i z a t i o np r o b l e mt h u san pp r o b l e m s oa ne f f e c t i v e i n t e l l i g e n to p t i m i z a t i o na l g o r i t h mi sa d v i s a b l et of i n das a t i s f y i n gs o l u t i o nt ot h ep r o b l e m i th a sl o w i i i 两南人学硕十学何论文 c o m p u t a t i o n a lc o m p l e x i t yc o m p a r e dw i t ht r a d i t i o n a lm e t h o d s ( s f s ，s b s ，f i s h e r , a n o v a ，e t c ) t a b us e a r c h ( t s ) i sah i g h l ye f f i c i e n ti n t e l l i g e n to p t i m i z a t i o na l g o r i t h m ，a n dh a sah i g h e rg l o b a l s e a r c hc a p a b i l i t yc o m p a r e dw i t ho t h e ri n t e l l i g e n to p t i m i z a t i o na l g o r i t h m s a c c o r d i n gt ot h es p e c i f i c i s s u e si nt h er e s e a r c h ，i m p r o v e dt a b us e a r c ha l g o r i t h mi sa d o p t e dt of i n df e a t u r es u b s e t sw h i c h e n a b l eb e t t e rr e c o g n i t i o ne f f e c t s t h ec l a s s i f i c a t i o na n dr e c o g n i t i o nr e s u l t se v a l u a t et h ef e a t u r es u b s e t sw h i c ha r es e l e c t e db y i m p r o v e dt s t h ee v a l u a t i o np r o c e s si sac l a s s i f i c a t i o np r o c e s s a st h ea l g o r i t h mo ff i s h e rc l a s s i f i e r i sf a s ta n de f f i c i e n t ，i nt h ef e a t u r es e a r c hp r o c e s sw h i c hr e q u i r e sr e p e a t e d l yc a l l i n gt h ec l a s s i f i e r , f i s h e rh a si t su n i q u ea d v a n t a g e s t h e r e f o r e ，t h er e s e a r c ha p p l i e df i s h e rc l a s s i f i e ra l g o r i t h mi su s e d a se v a l u a t i o nf u n c t i o ni nt h ef e a t u r es e a r c hp r o c e s st oe n h a n c et h ec o m p u t i n gs p e e da n de f f e c t a c c o r d i n gt ot h ea b o v em e t h o d ，t h er e s e a r c hr e s u l t sv e r i f yt h a tu s i n gi m p r o v e dt sa l g o r i t h m w i t hf i s h e rf o re m o t i o nr e c o g n i t i o nb a s e do np h y s i o l o g i c a ls i g n a l si se f f e c t i v e g s rs i g n a lc o n t a i n s l a r g ea m o u n to fc h a r a c t e r i s t i c sw h i c hc a nr e c o g n i z et h es i xe m o t i o n s ，t h u sab e t t e rr e s u l ti sa c h i e v e d m o s ti m p o r t a n to fa l l ，t h em a p p i n gr e l a t i o n s h i pb e t w e e ne m o t i o ns t a t e sa n ds o m ef e a t u r e so fg s r s i g n a li sf o u n de f f e c t i v e l y k e y w o r d s ：e m o t i o nr e c o g n i t i o n ；g s rs i g n a l s ；i m p r o v e dt sa l g o r i t h m ；f i s h e rc l a s s i f i e r ；f e a t u r e s e l e c t i o n i v 独创性声明 学位论文题目：庭迭鱼区廑焦曼查憧盛达态迟别圭的珏究 本人提交的学位论文是在导师指导下进行的研究工作及取得的研究成果。论文中引用 他人已经发表或出版过的研究成果，文中已加了特别标注。对本研究及学位论文撰写 曾做出贡献的老师、朋友、同仁在文中作了明确说明并表示衷心感谢。 学位论文作者： 螽蓍 签字日期：阴。年乡月弓日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权西南 大学研究生院( 筹) 可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至年月止) 。 学位论文作者鲐褥看 签字日期：易年占月弓日 导师签名： 签字日期：沙p 年6 月l 日 绪论 第一章绪论 1 1 引言 人与计算机交互的过程中，人类必然带着某些情感，计算机是否能够体会 人的喜怒哀乐，并见机行事呢? 情感计算研究的内容就是试图创建一种能感知、 识别和理解人的情感，能针对人的情感做出智能、灵敏、友好反应的计算系统， 也就是赋予计算机像人样观察、理解和生成各种情感特征的能力。美国麻省 理工大学媒体实验室的p i c a r d 教授在其1 9 9 5 年技术报告中1 1 】中提出情感计算的 概念，并于1 9 9 7 年出版了第一部关于情感计算的专著( ( a f f e c t i v ec o m p u t i n g ) ) ( ( ( 情 感计算【2 】) 。情感计算的技术是通过各种传感器获取由人的情感引起的相应表 情及其生理变化信号，利用“情感模型 对这些信号进行识别，进而理解人的 情感并做出恰当的响应。因此，情感计算研究的目的在于创建一个具有感知、 识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应 的个人计算系统。 情感识别是情感计算领域中的一个重要组成部分，如果要让计算机具有情 感，首先要让它能识别情感，情感识别显得尤为重要。情感识别( e m o t i o n r e c o g n i t i o n ) 是通过观察人的表情、行为和情感产生的前提环境来推断情感状 态。只有将情感识别看作一种模式识别问题，情感表达看作模式合成问题，计 算机进行情感交流才具有可行性。情感识别研究的对象主要有人脸表情、语音 语调、人体姿势、文本( 心理学上常用的问卷调查法【3 】) 和生理信号五种。前 四种研究对象比较直观，都是以身体和行为的方式表现出来自愿或不自愿信号 的复杂模式，无法观测到潜在的情感状态。而生理变化不受人的主观控制，它 是由身体客观表现出来的，因而采用生理信号所得的数据更能客观地反应被试 的真实情感，它更有鲁棒性和客观性，但是基于生理信号情感识别的研究是最 困难的。近年在国外引起了众多情感计算研究者的兴趣，但在国内尚处于空白 状态。情感生理反应的特异性问题一直存在着争议，e k m a n 等人通过所做的一 系列实验得出结论：至少对于某些情感来说其生理反应是特异的 4 , 5 , 3 4 1 ；以p i c a r d 教授为首的m i t 媒体实验小组率先证明从生理信号中提取特征模式进行情感识 别的可行性l 6 | 。 在人做出表情( 如悲伤或高兴) 的时候，计算机观察收集到的多种生理信 号，分析具体某一生理信号模式和特定情感状态的关系；然后计算机系统应用 先前分析的结果，根据收集到的原始数据识别包含在信号中最有可能的情感。 如何对获取的生理模式情感信号( 如皮肤电反应、呼吸、肌电等生理信号) 进 两南人学硕十学何论文 行分析并推断出被观测者的情感状态是情感计算研究的一个关键。从生理信号 中提取情感特征、分析人的情感与各种生理信号的关系，是近几年国际上刚刚 兴起的研究方向。 1 。2 研究意义 如果计算机具有类似人类的情感，那么人与机器就能够达成一种和谐，人 类就可以放弃利用键盘、鼠标等毫无知觉的交互方式1 37 1 ，这对于某些病人或某 些残疾人来说是极有意义的【7 , 3 5 】。情感识别的应用可以涉及到各行各业( 如商业、 经济、教育、娱乐、卫生、科学等) 。p i c a r d 教授在m i t 媒体实验室的技术报告中 至少给出了约5 0 种应用，如情感饰物、情商、情感教学、司机的情感监测、情 感c d 、情感玩具、情感地毯、情感眼镜、情感鼠标【3 引、虚拟现实中的情感真实 再现等。尤其是基于生理信号的情感识别还可以应用在测谎仪、心理治疗等方 面，所以情感识别具有很广阔的前景。 生理信号【8 】需要用特殊的测量仪器才能检测出来，对生理信号进行分析， 可以识别出内在的情感。并且传感器【9 】能以一种非侵入的让人舒服的方式置于 人身上，与身体保持良好接触，使得研究生理信号的情感特征更贴切于实际。 因此，研究基于生理信号的情感识别是很有意义的【l 引。美国m i t 媒体实验室情 感计算研究i j , 组t 1 1 】的p i c a r d 教授及其合作者率先证明从生理信号中提取特征【3 8 9 1 2 】进行情感识别是可行的。目前有关生理信号情感识别的研究主要是针对皮肤 电反应( g s r ) 、肌电图( e m g ) 、血容量搏动( b v p ) 、呼吸作用( r s e ) 、心电 图( e c g ) 、脑电图( e e g ) 和皮温( s k t ) 这七种信号，它们可以表达出不同 的信息。研究表明高兴伴随着深沉而慢的呼吸以及心率的增加，愤怒伴随着平 稳而快的呼吸，肌电水平也比较高等【3 】；皮肤电反应( g s r ) 受情感强度的影响比 较大，而且可以用来测试被试对能激发焦虑情绪的环境的反应【l3 1 。很多实验表 明脑电信号( e e g ) 中张和缩的特定模式可以用来识别喜欢和不喜欢这样的情 纠10 1 。 皮肤电反应信号随着情感的不同有明显的变化【1 3 , 1 4 】。当皮肤出汗时，皮肤 的导电性会增强。当受到刺激和压力时，皮肤电反应信号很敏感，能够很好的 区分高兴和恐惧这两种情感。不足的是皮肤电反应很容易受外部因素的影响， 例如外部温度，因此需要对它进行参考测量和校准【l 引。测量皮肤电导时，需要 两个指头电极测量左手食指和中指的电导率水平。皮肤电导与情感状态和注意 力密切相关，当被试的某种情感强度越来越大，皮肤电导升高。一般唤起度越 高的情感，皮肤电导值越大，它通常用来测试被试对激发焦虑情绪的环境或者 刺激的反应【i 引。可见研究皮肤电导的情感识别是很有意义的。 2 绪论 生理信号特征越多得到正确的情感识别结果越容易，但是其特征数的增加无 疑会加大对情感分类识别的难度，同时对分类器的设计也提出了更高的要求。这 时就需要对原始特征进行特征选择，很明显，特征选择的好坏直接影响情感识别 的效果，一个有效的特征选择算法可以在数据预处理阶段把数据中的冗余、有噪 声的部分去除掉的同时，降低数据的维数，减少建立学习模型的训练时间，提高 分类识别的正确率。如果能准确找出最能代表某种情感的特征或某些特征的组合， 我们就可以用这些特征来有效的识别情感。可见，在情感分类识别之前，对原始 特征进行特征选择是非常有必要的。 从本质上讲，特征选择问题是组合优化问题，因此可以使用解决优化问题的 方法来解决特征选择问题；在原始特征维数较高时，使用智能优化算法是最好的 选择【1 7 j ，它不存在穷举法计算量过大的缺点，也不存在s f s 等传统算法筑巢效应的 缺点。其中禁忌搜索算法是一种高效的智能优化算法【1 3 】，它是对人类智力过程的 一种模拟，近年来已成功应用与各个领域。作为一种全局优化方法，t s 具有较强 的爬山能力，能根据其独有的记忆机制引导搜索程序跳出局部最优解，从而向全 局最优靠近。研究表明，禁忌搜索算法具有与遗传算法相当的性能，在某些方面 甚至超过遗传算法。但是它在情感识别上的研究却很鲜见，所以将其用于情感识 别的研究中必能促进情感计算研究的发展，在工程应用上也具有很强的意义。 论文所研究的主要是情感与g s r 信号之间的关系【3 5 , 3 8 , 3 9 i 白j 题。如果能准确找 出最能代表某种情感的皮肤电反应特征或某些特征的组合，并结合其他生理信号 特征( 肌电( e m g ) 、血容量搏动( b v p ) 、呼吸作用( r s p ) 、心电( e c g ) 和脑 电( e e g ) ) ，我们就可以用这些特征来有效的识别情感，进行和谐的人机情感交 互，这具有很大的应用价值。 1 3 研究现状与研究存在的问题 1 3 1 研究现状 情感【1 9 , 4 0 , 4 1 】的分类各种各样，其中基本情感就有多种定义方式。研究者p a u l e k m a n 给出的定义【4 j 最详尽，他将基本情感和对应有明显的通用面部表情的情 感，以及其他8 种属性联系起来。用这个标准，e k m a n 提出了6 种基本情感：恐 惧、愤怒、悲伤、高兴、厌恶和惊奇。 基于生理信号在情感识别研究中的优势，近几年来，采用生理信号进行情感 识别已经成了国内外研究者关注的焦点。表1 1 歹 t j 出目前国内外研究现状。 从表1 1 中，我们可以了解到，目前基于生理信号的情感识别研究中，都是采 用多种生理信号进行不同的情感识别，并且对于情感的定义也有不同，比如在 j o n g h w a k i m 的研究中，采用效价和唤醒度的情感( 连续情感) 分类，而大多数的 两南大学硕十学何论文 研究者都是采用离散情感分类方法；在特征选择中，研究者都是采用传统的特征 表卜1 基于生理信号情感识别的国内外研究现状 作者生理信号情感原始特征数特征选 分类器识别结果 择方法 p i c a r d f 8 】e m g 、b v p 、8 种情感4 0 s f f sd f a 8 1 2 5 ( 8 种 g s r 、r s p ( 演员表演) f i s h e rq d f 情感) 选择方法，有的甚至没有特征选择，直接将提取的特征用于情感分类；分类器的 选择也不同，都是根据经验选择认为分类效果好的分类器。由于每个研究者采用 的生理信号和情感类型的差别，导致识别结果不同。在研究者采用的生理信号中， 均有g s r 信号，他们提取的g s r 特征，通常是时域上的一阶差分、均值等几个统计 特征，但是最后没有总结出具体哪些特征对识别情感有很大的贡献。从他们的研 究可知：通过g s r 信号进行情感状态识别是可行的。 1 3 2 研究中存在的问题 根据表1 1 列出来的研究现状，我们可以看出，不同的研究者，采集的数据来 源不同，有的采用音乐激发，有的采用图片，有的采用电影片段激发，并且采用 的生理信号和识别的情感类型的不同，导致识别结果有很大的差别，使我们在研 究分析中存在很多的困难。数据采集、特征提取、特征选择、分类器设计的整个 过程没有一个统一的标准。很多问题都在逐步探索之中，因此研究还存在一些难 题和不足之处，需要不断改进和试验。存在问题如下： 1 ) 在激发情感的素材方面，采用什么素材激发被试情感以便采集有效的情感 生理信号，这一直是亟待解决的难题。有效激发被试的情感，得到有效的情感生 4 绪论 理信号是做后续研究的前提条件。在国际上，目前仍没有统一行之有效的标准来 定义，是利用图片还是声音或者电影片段更有效，我们无法得知。而针对不同的 人种，激发情感的素材方面也没有衡量的标准，这就难以保证采集到的信号的有 效性。 2 ) 在特征选择方面，用多种生理信号进行识别时，提取的特征比较多，从大 量特征中进行特征选择，找到适合某种情感的特征或特征组合，才能取得比较好 的识别效果。怎样选择出能够识别情感的特征或特征组合也是目前尚未解决的问 题。前人研究中用于生理信号的特征选择的方法有f i s h e r 、s f f s 、a n o v a 、s f s 、 s b s 等，但这些方法都是传统的方法，计算速度较慢且收敛性较差，无法得到统一 而有效的代表情感的特征模式。 3 ) 在情感与生理特征映射方面，用生理信号进行情感识别的最终目的就是要 找到情感与具体生理信号特征的一种对应关系。但是在目前的研究中，研究者均 采用多种生理信号进行情感识别，没有对具体某一种生理信号进行研究，给出具 体哪种情感特征或特征组合对识别特定情感是比较有效的。 1 4 论文的创新之处 针对1 3 2 目前研究中存在的问题，论文在研究中提出了创新： 1 ) 激发情感的素材库的建立。为了使研究的情感生理信号更加有效和具有说 服力，实验建立了适合中国人的情感数据采集素材库。 2 ) 引入了智能优化算法( 改进的禁忌搜索算法) 进行特征选择。特征选择问 题是一个组合优化问题，突破了前人仅使用传统特征选择的方法，采用改进的禁 忌搜索算法，它具有较强的全局搜索能力，能更准确地找到有效的情感特征组合。 3 ) 研究中试图找到g s r 信号特征与情感的一种映射关系。由于研究多种生理 信号有一定的复杂性和难度，首先考虑单一信号的情感识别研究。论文主要针对 g s r 生理信号进行识别情感的研究，试图找到能够识别不同情感状态的g s r 特征或 特征组合，今后扩展到多种生理信号与情感状态的研究。 1 5 论文的具体工作及内容安排 论文主要研究g s r 识别六种情感状态( 高兴、惊奇、厌恶、悲伤、愤怒、恐 惧) 。引入了计算智能的思想，将改进的t s 算法用于皮肤电导生理特征的选择，结 合时域和频域分析，探索出能够区分六种情感的g s r 时域和频域特征，采用f i s h e r 分类器进行情感识别。不断通过改进的t s 算法和分类器改善情感识别效果，在此 基础上得出哪些皮肤电导特征或特征组合识别哪种情感是比较有效的，从而形成 皮肤电导的特征与情感之间的一种映射关系。整个情感状态识别过程流程图如下： 两南大学硕十学能论文 图1 1 情感识别过程图 具体工作如下： 1 ) 情感g s r 信号采集；实验采用美 b i o p a c 公司提供的多导生理记录仪m p l 5 0 采集t 2 4 5 个被试在激发六种情感状态下的g s r 生理信号；后期整理过程中删除无 效的皮肤电导生理信号( 没有激发出相应情感或者激发的相应情感强度比较弱) 。 2 ) 原始g s r 信号的预处理；包括信号的归一化，去除高频噪声和抖动等于扰。 3 ) 情感g s r 特征的提取；包括时域特征和频域特征的提取。通过对皮肤电反 应信号自身的特点进行分析，提取出3 4 种有效特征，形成g s r 特征数据库。 4 ) 情感特征子集选择和分类；针对生理信号情感识别中的特征冗余问题，研 究将计算智能的思想( 改进的t s ) 引入到情感生理信号的特征选择中，以期证明 能否提高情感状态的正确识别率。采用“一对一 ( 两类情感识别) 和“一对多” ( 某一类和其他类情感识别) 两种识别方式对情感识别进行研究，用算法选择出 在不同识别方式下的有效特征组合。 5 ) 有效的情感特征组合分析及验证；将有效特征组合进行分析比较，采用验 证样品对有效特征组合进行验证，总结出能够区分六种情感状态的特征组合，最 终得到六种情感与g s r 特征的映射关系。 与具体工作对应，论文的内容安排如下： 第一章为绪论部分，简单介绍了采用生理信号进行情感状态识别的研究现状 和目前存在的一些问题和困难，并针对目前存在的问题对其进行研究创新的工作， 同时介绍了论文研究g s r 情感状态识别的整个过程和主要工作。 情感识别问题作为模式识别问题，在模式识别中是从样品中提取特征来识别 样品，因此基于g s r 信号的情感识别首先需要进行特征提取。第二章主要介绍了 采集有效g s r 信号的实验方法，及在预处理后对皮肤电反应信号进行特征提取的 方法。 并不是所有提取出来的g s r 特征都能够反应不同情感的变化，需要对大量原 始特征进行一个筛选，而这个筛选过程为特征选择过程。第三章介绍了特征选择 的原理，详细阐述了特征选择为组合优化问题，因此可以将智能优化算法引入特 6 绪论 征选择。考虑到禁忌搜索算法和其他智能优化算法相比具有更强的全局搜索能力， 论文采用改进的禁忌搜索算法进行情感特征的选择，因而介绍了改进的禁忌搜索 算法的基本原理、关键技术及其参数设置。 通过改进的禁忌搜索算法对特征进行了情感特征选择，将选择出来的代表某 些情感的特征用于情感的分类，因此涉及到分类问题。第四章主要讲了适合论文 研究问题的分类器的设计一f i s h e r 分类器。它能够将反应某种情感变化的g s r 信号 和其他信号很好地区分开。 通过以上章节对研究的具体过程的介绍，第五章按照以上方法进行了g s r 信 号情感识别的实验，将实验结果展示，并对其进行深刻分析，找到区分六种情感 与其他五种情感的g s r 信号特征组合。 针对论文研究的实验结果，第六章是对论文工作的总结与展望。 7 两南大学硕十学位论文 詈鲁曼舅舅曼曼n i l 蔓曼曼舅皇曼! 曼! 曼曼曼曼皇曼曼曼量鼍皇笪曼量曼曼曼曼曼蔓曼曼皇曼曼曼曼曼曼曼皇曼曼皇曼曼舅曼曼曼曼皇曼曼量曼曼曼曼曼曼曼曼曼曼曼曼曼曼舅皇曼曼皇量 第二章6 s r 信号的采集及特征提取 由于g s r 信号中包含有大量的情感信息，因此采用g s r 信号进行情感识别的 研究。信号的有效采集才能保证研究的客观真实性，研究结果才有意义，并且在 能够代表不同情感的g s r 信号中，不知道具体哪些特征能够很好地识别六种情感， 因此需要对g s r 信号进行特征的提取，得到可能包含情感信息的大量特征集合。 所以本章对有效的g s r 信号的采集和提取进行了详细讲解分析。 2 1 皮肤电反应( 6 s r ) 信号的介绍 皮肤电反应是情绪反应中常用的测量指标。皮肤电反应反映的是汗腺分泌反 应，它不同于出汗量，受到被试情绪觉醒程度、手指温度和手指活动的影响来发 生变化。情绪觉醒幅度的变化能引发明显的皮肤电反应变化，因此得到了研究者 的普遍认同 2 4 , 2 5 】。 皮肤电反应信号是皮肤传导性的指示，如果用非极化电极将人体皮肤上两点 联接到灵敏度足够高的电表上，电表指针会摆动。这种由于电流流过产生的电位 差，称为皮肤电位或皮电。皮肤电位可随视、听、触、痛等刺激以及情绪波动而 变化，这一过程被称为皮肤电反应( g a l v a n i cs k i nr e s p o n s e ，g s r ) 。皮肤电反应作 为研究情绪变化的一个生理指标，其原理是：在情绪状态时，皮肤内血管得舒张 和收缩以及汗腺分泌等变化，能引起皮肤电阻的变化，以此来测定植物性神经系 统的情绪反应。图2 1 显示了皮肤电反应测量部位的选取。 中间部位税 位 鹳鱼际和小鱼际 圈2 1皮肤电反应测量部位的选取 皮肤电反应基础水平的个体差异明显，可分为高、中、低不同水平。皮肤电 反应基础水平与个性特征相关：基础水平越高者，越内向、紧张、焦虑不安、情 绪不稳定、反应过份敏感；而基础水平低者，越开朗、外向，心态比较平衡，自 信、心理适应较好。皮肤电反应的习惯化速率( 水平) 是适应的指标之一。习惯 8 g s r 信号的采集及特征提取 化速率反映了随强度不同的兴奋一抑制过程的平衡，越缓慢，表示兴奋过程占优势； 越迅速，表示抑制过程占优势【2 6 1 。因此，不同的人在不同的时间段，其皮肤电位 也会有所不同。 以下三个因素可以影响皮肤电反应基础水平： ( 1 ) 觉醒水平：在正常温度范围内，手掌和脚掌特别能反映唤醒水平，因此， 这两个区域是测量皮肤电反应的适宜部位。而且皮肤电水平在早晨较低，到中午 达到顶点，而在晚上又降低，其变化似乎对应于一天内工作效率的变化。 ( 2 ) 温度：身体皮肤主要反映身体的温度调节机制。当气温很高，身体需要散 热时，皮肤因出汗，电水平就会高；当气温较低，身体需要保存热量时，皮肤电 水平就低。人的手掌和脚掌也参与温度调节，但主要是在极端的气温情况下才参 与。 ( 3 ) 活动：当被试正准备某项任务时，皮肤电水平就会逐渐上升；开始从事某 一活动时，皮肤电水平将相应地升高到一个较高水平；而在休息时，皮肤电水平 降低。如果长时间从事难度不大的某项工作，皮肤电水平会缓慢的下降，但对难 度较大的工作，这种变化就不明显。 一般皮肤电流运动具有一定的电阻参数，但在外部新鲜刺激或情绪性刺激作 用下，皮肤导电电流增加，电阻下降。因此，皮肤电阻变化被认为是测定情绪的 客观指标之一。比如当一个人受惊吓或感到焦虑时，血流量脉冲将趋于升高，通 常认为，这是测量一个人整体激励程度的好方法【2 】。因此，在多指标互相参照的情 况下，皮肤电阻变化可以被确定为情绪的一定强度变化的有效指标。 2 2 实验方法 2 2 1g s r 数据采集 基于皮肤电反应信号的情感识别研究首先是要采集并记录在特定情感状态下 的皮肤电反应信号。而所采集的情感的皮肤电反应信号是否有效直接关系到整个 实验的成功与否，想得到有效的情感g s r 信号，就要有有效的情感激发素材，可 见有效信号采集最关键的第一步是目标情感激发素材的选取。 ( 1 ) 实验对象及素材的选取 实验对象：西南大学大一学生，专业不限，男女不限，年龄1 8 , - , 2 3 岁之间。 所有被试均为自愿参加，身体健康，无精神病史。实验的人选和顺序随机安排， 无任何特殊情况，一个被试只能参加一次实验。 研究已经证明如果想要激发一种特定的情感，电影片段比图片或者音乐激发 情感更加有效，可以作为实验室诱发各种情感的有效技术【l 引。在国际上，目前没 有一个统一的激发情感的素材，并且根据不同的人种、年龄段，素材的选取也有 9 两南大学硕十学位论文 所不同。因此本实验小组针对中国青年人的爱好和兴趣，从1 0 0 多个片断中精心 挑选剪辑出适合激发青年人情感的电影片段。一次实验需要激发的情感有六种， 依次为高兴、惊奇、厌恶、悲伤、愤怒、恐惧，每个电影片段激发一种情感，因 此共有6 个片段，并且每个片段5 分钟左右。下表列出最终素材选取的详细情况： 表2 - 1 素材选取列表 对于电影片段的选取，我们应该知道，不同的被试，存在个体差异性，有的 被试在看某个片段时很悲伤，而另一个被试在看同样一个片段时也许却很平静。 由于不同被试对同一电影片段有着某些差异性的评价，我们不可能完全统一他们 的观点和情感倾向，只能最大程度减少整体的情感偏差，因此我们只能选择大多 数人所认同的情感激发的片段。考虑到同一个被试观看同一个素材多遍后不能有 效激发其相应的情感，所以我们采用多个被试观看同一个素材的方法，并且有助 于建立情感识别的普适模型。 实验小组在评价过程中，最后发现以上素材激发情感效果最好，并且需要按 照以上情感排列顺序，激发被试的情感效果更好。对于厌恶的素材，始终没有找 到个单纯反应其情感的片段，往往参杂着其他的情感，如愤怒等。最后采用了 厌恶程度相对较强的“胭脂雪 片段。将六个片段整合在一起的素材结构如图2 2 所示，整套素材大约5 0 分钟左右。 指导语 ( 1 分钟) 图2 - 2 素材结构流程 总共六个电影片段，图中没有一一展示。平静片段是为了让被试在激发情感 前处于平静状态，并且记录下被试的心情背景，作为基线。实验中给被试提供一 l o g s r 信号的采集及特征提取 张情绪主观报告表，报告表中有六种情绪( 高兴、惊奇、厌恶、悲伤、愤怒、恐 惧) 和情绪的强度( 1 一很弱，1 较弱，3 一一般，4 一较强，5 一很强) ，在每个 片段结束后的黑屏时让被试实时填写自己此时真实的情绪和情绪的强度。整个实 验过程大概1 个小时。 ( 2 ) 实验设备及采集方法 实验设备有：美m b i o p a c 公司生产的多导生理记录仪m p l 5 0 和分析软件( g s r 分析模块) ；2 台p c 机，一台用来播放激发情绪的素材，另一台连接m p l 5 0 进行信 号采集和处理；高清摄像头一台，主试对被试的表情和行为进行实时隐蔽性监控； 音响一部，让被试在观看电影片段时能听到声音，接受听觉的刺激；情绪诱发素 材一套；自制的情绪主观报告表一张。实验平台构件图如图2 3 所示： 圜嚣 记录g s 晡号 塞器