（信号与信息处理专业论文）皮肤电信号的情感特征提取及分类识别研究.pdf

摘要 皮肤电信号的情感特征提取及分类识别研究 信号与信息处理专业硕士研究生周钰婷 指导教师刘光远教授 摘要 德国奥格斯堡大学和美国麻省理工学院媒体实验室在基于生理信号的情感识 别领域首次取得了成功的研究成果，本文在前人工作的基础上主要致力于研究基 于人体皮肤电导生理信号对平静、高兴、惊奇、愤怒、厌恶、悲伤六种情感的识 别研究工作。 人体的皮肤电导( g s r ) 信号蕴含着丰富的情感信息，g s r 信号的变化受控 于人体的交感神经系统，人体的情绪变化会直接影响到内分泌系统的变化，继而 导致人体交感神经系统的变化最终在人体g s r 信号上有对应情绪变化的体现。为 建立基于g s r 信号的情感识别模型，本实验研究招募大量的西南大学刚入学的大 一新生来做实验被试，观看具有强烈特定情感变化的影视片段，激发出被试的情 感，采用美国b i o p a c 公司生产的多通道生理信号采集仪m p l 5 0 测量并记录被试的 g s r 信号，建立g s r 情感生理信号数据库。针对g s r 信号的特点，通过巴特沃 斯滤波器进行滤波降噪处理，并为了建立起能推广使用的情感识别模型进行了数 据标准化处理，参考德国奥格斯堡大学特征提取研究方法，提取出最能代表皮肤 电信号变化的3 0 维统计特征作为情感识别研究的原始特征集。然后采用基本的粒 子群优化算法、经过改进加入免疫机制的免疫粒子群算法和在免疫粒子群算法的 基础上加入模拟退火机制的模拟退火免疫粒子群优化算法，结合f i s h e r 分类器进 行了g s r 信号的特征选择和情感状态分类识别，取得了较好的分类识别效果，验 证了建立情感识别模型的可行性。 研究结果表明：( 1 ) g s r 信号对惊奇情感和恐惧情感的识别效果最为明显， 对高兴、愤怒和悲伤这三种情感的识别效果较好，相比之下对厌恶情感的识别效 果最为不佳；( 2 ) 加入免疫机制的粒子群优化算法，将免疫的三个特性抗体的多 样性、免疫记忆性和抗体自适应性应用在粒子群算法中，线性递减权重c o 因子能 够自适应的调节大小有效地改善粒子的全局开发能力和局部探索能力的平衡，有 效地解决基本的粒子群算法容易陷入局部极值的缺点；( 3 ) 在免疫粒子群优化算 基金项目：国家自然科学基金( n a t i o n a ln a t u r a l s c i e n c ef o u n d a t i o no f c h i n an o 6 0 8 7 3 1 4 3 ) ；教育部科学技术研 究重大项1 日( t h ek e y g r a n tp r o j e c to f c h i n e s em i n i s t r yo f e d u c a t i o n n o 3 1 i o l 2 ) i 西南大学硕十学位论文 法的基础上进一步加入模拟退火机制，在每个粒子的速度和位置更新过程中引入 模拟退火思想，对粒子进化后的适应度值遵循m e t r o p o l i s 准则在接受优良解得同时 也按照一定的比例接受较差的解，这样进一步增大了粒子的多样性，算法白适应 的调节退火温度直至系统冷却，粒子能更加精确的寻找到全局最优位置。再次提 高了情感状态的识别率，并降低了特征子集的维数；( 4 ) 从六种混合情感中识别 出目标情感，分析比较三种粒子群算法得出的对应情感的最优特征集合，找出共 同含有的特征，说明这些特征是最能反映对应情感的变化。 关键字：皮肤电信号情感识别粒子群算法免疫机制模拟退火机制 i i a b s t r a c t 曼曼曼曼曼曼皇曼曼! 皇皇曼曼量皇曼曼曼曼量曼量曼曼曼鼍! l | i l l ii l l i i , 舅舅量鼍鼍曼蔓皇 t h er e s e a r c ho ft h ee m o t i o n a lf e a t u r ee x t r a c t i o na n d r e c o g n i t i o nc l a s s i f i c a t i o no fg s r m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s u p e r v i s o r ：p r o f l i ug u a n g y u a n a u t h o r ：z h o uy u t i n g a b s t r a c t i nr e c e n ty e a r s , t h ef i e l do fi n t e l l e c t i v em a n - m a c h i n ei n t e r a c f i o nh a sb e e nw i d e l y c o n c e r n e d r e s e a r c ho ft h ea f f e c t i v ei d e n t i f i c a t i o nb a s e d0 1 1t h ep h y s i o l o g i c a ls i g n a li sa v e r yi m p o r t a n tp a r to ft h i sf i e l d a f f e c t i v ec o m p u t i n gm a k e sc o m p u t e rt oh a v ea f f e c f i v e s k i l l s ，a n dp r o p o s e sar e q u i r e m e n to fa f f e c t i v ec o m p u t i n g t h r o u g ht h ea f f e c t i v e i d e n t i f i c a t i o n ，i tm a k e sc o m p u t e rs y s t e m st oo w nf e e d b a c ka b i l i t yo fp e r c e p t i o na n d u s e r sr e s p o n d s ，a n dt r i e st oa p p l yt h i sc o m p u t e rt om e d i c i n e ，e n t e r t a i n m e n t , a n d t e c h n o l o g i c a ld e v e l o p m e n te t c ，a n dt h e ni m p r o v e sp e o p l e sp r e s s u r e a n dw o r k e n v i r o n m e n t u n i v e r s i t yo fa u g s b u r gi ng e r m a n ya n dm i tm e d i al a b o r a t o r yi n a m e r i c af i r s to b t a i nas u c c e s s f u lr e s e a r c hr e s u l t si nt h ea f f e c f i v ei d e n t i f i c a t i o nb a s e do n t h ep l a y s i o l o g i c a ls i v a o np r e c u r s o r s w o r k sf o u n d a t i o n ，t h i sp a p e rm a i nc o m m i t st o r e s e a r c ho ft h ea f f e e t i v ei d e n t i f i c a t i o no fs i xe m o t i o n s ( h a p p y , s u r p r i s e ，面e l , d i s g u s t ， a n g e r , f e a r ) b a s e do nt h eg a l v a n i cs k i nr e s p o n s e t h eg a l v a n i cs k i nr e s p o n s ec o n t a i na b u n d a n ta f f e c t i v ei n f o r m a t i o n , i t sv a r i a t i o ni s u n d e rc o n t r o lo fs y m p a t h e t i cn e r v o u ss y s t e m t h ee m o t i o n a lv a r i a t i o nw o u l da f f e c tt h e v a r i a t i o no fe n d o c f i n es y s t e m ，a n dl e a dt ot h ev a r i a t i o no fs y m p a t h e t i cn e r v o u ss y s t e m ， f i n a lt h ea f f e c t i v ev a r i a t i o nw o u l da p p e a ri ng a l v a n i cs k i nr e s p o n s e i no r d e rt om a k ea m o d e la f f e c t i v ei d e n t i f i c a t i o nb a s e do ng a l v a n i cs k i nr e s p o n s e ，t h i sl a br e c r u i t sm a n y f r e s h m e no fs o u t h w e s tu n i v e r s i t yt ow a t c hv i d e o sw i t l lg o o d - i n d u c e de f f e c t so nm o t i o n s ， n a m e l yh a p p i n e s s ，s u r p r i s e ，d i s g u s t ，g r i e l , a n g e ra n df e a r t h ee x p e r i m e n t a le q u i p m e n t i st h em u l t i - c h a n n e lp h y s i o l o g i c a lr e c o r d e rm pi5 0p r o d u c e db yu s a b i o p a c ，i n c i t u s e st h i se q u i p m e n tt om e a s u r ea n dr e c o r dt h eg a l v a n i cs k i nr e s p o n s e ，a n dt h e ns e tu p ad a t ab a s e a i m e da tt h ec h a r a c t e r so fg s r , t h r o u g hb u t t e r w o r t hf i l t e rt of i l t e r i n gt h e s i g n a la n ds i g n a ld e n o i s e ，t os e tu paa f f e c t i v ei d e n t i f i c a t i o nm o d e lw h i c hc a nb eu s e d w i d e l y , t h i sp a p e rp r o c e s sd a t as t a n d a r d i z e dt r e a t m e n t a n dc o n s u l t i n gt h e f e a t u r e i i i 两南大学硕十学位论文 e x t r a c t i o nm e t h o do fu n i v e r s i t yo fa u g s b u r gi ng e r m a n y , t h i sp a p e re x t r a c t3 0 d i m e n s i o ns t a t i s t i c a lf e a t u r ew h i c hb e s tc a ns t a n df o rt h ev a r i a t i o no fg a l v a n i cs k i n r e s p o n s e ，a n dt h e nm a k et h i sf e a t u r ea st h ep r i m i t i v ec h a r a c t e rs e t t h i st e x tu s e sb a s i c p a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m ，m o d i f i e di m m u n ep a r t i c l es w a r ma l g o r i t h ma n d s i m u l a t e da n n e a l i n gi m m u n ep a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m , c o m b i n ew i t h f i s h e rc l a s s i f i e rt op r o c e s sf e a t u r es e l e c t i o na n da f f e c t i v ec l a s s i f yd i s t i n g u i s ho fo s r , a n do b t a i nab e t t e rc l a s s i f i c a t i o na n dr e c o g n i t i o ne f f e c t s oi tp r o v e dt h ef e a s i b i l i t yo f b u i l d i n ga na f f e c t i v ed i s t i n g u i s hm o d e l r e s e a r c hs h o w st h a tt h ef o l l o w s ：( 1 ) mr e c o g n i t i o ne f f e c to fg a l v a n i cs k i n r e s p o n s ei st h eb e s tf o rs u r p r i s ea n df e a r , a n dt h eb e t t e rf o rh a p p y , a n g r ya n dg r i e l , t h e w o r s ef o rd i s g u s t ；( 2 ) t h ep a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m 埘t ht h ei m m u n e m e c h a n i s mp u tt h ed i v e r s i t y , i m m u n em e m o r ya n da d a p t i v i t yo ft h ec h a r a c t e r i s t i c s a n t i b o d yt o g e t h e r l i n e a rd i m i n i s h i n gw e i g h t i n gf a c t o rc a nt h r o u g hr e g u l a t i n gb i go r s m a l lt oi m p r o v et h eb a l a n c eo ft h eg e n e r a ld e v e l o ps k i l la n dt h ep a r t i a le x p l o r es k i l lo f p a r t i c l e s a n da l s oc a ne f f e c t i v e l ys o l v et h ee a s yt of a l li n t ot h el o c a le x t r e m u mf a u l t so f b a s i cp a r t i c l es w a r ma l g o r i t h m ；( 3 ) i tp u t ss i m u l a t e da n n e a l i n gi n t oi m m u n et h ep a r t i c l e s w a r mo p t i m i z a t i o na l g o r i t h ma n dt h el o c a t i o nu p d a t ea n dp a c eu p d a t eo fe v e r ys i n g l e p a r t i c l e i no r d e rt oi m p r o v et h ed i v e r s i t yo fp a r t i c l e ，t h ef i t n e s sv a l u eo fe v o l v e dg r a i n f o l l o w sm e t r o p o l i s ，i tm e a n sa c c e p tt h eg o o dr e s u l ta n ds e l e c ts o m ew o r s er e s u l t si n p r o p o r t i o n i tb r i n ga d a p t i v er e g u l a t ei na n n e a l i n gt e m p e r a t u r eu n t i lt h es y s t e mc o o l d o w ns ot h ep a r t i c l ec a ne x a c t l ys e a r c ht h eg e n e r a lo p t i m a lp o s i t i o n , a n dt h e nt h e r e c o g n i t i o nr a t eo f a f f e c t i v ei si m p r o v e d ，t h ed i m e n s i o no ff e a t u r es u b s e ti sr e d u c e d ； ( 4 ) m sp a p e rs e l e c t st h et a r g e ta f f e c t i o nf r o ms i x a f f e c t i o n sa n do b t a i n st h eb e s t c h a r a c t e r i s t i cs e tt h r o u g ha n a l y s i sa n dc o m p a r et h et h r e ep a r t i c l es w a r ma l g o r i t h ma n d f i n d st h ec o m m o nf e a t u r e s ，t h e nt h e s ef e a t u r e sc a nr e s p o n s et h ea f f e c t i v ea l t e r a t i o no f t a r g e ta f f e c t i o n t h eg a l v a n i cs k i nr e s p o n s ec o n t a i n sa b u n d a n te f f e c t i v ea f f e c t i o ni n f o r m a t i o n , s o t h i sc o n f i r m st h ef e a s i b i l i t yo f s e t t i n gu pt h ee m o t i o nr e c o g n i t i o nm o d e l k e y w o r d s ：g s r ；a f f e c tr e c o g n i t i o n ；p s o ；i m m u n i z a t i o n ；s i m u l a t e da n n e a l i n g 第一章绪论 皇量蔓曼曼量皇曼曼曼曼曼鼍量曼皇量量曼曼皇皇皇曼皇皇曼毫皇曼曼皇曼量穹量曼皇曼曼mi 曼皇量曼皇皇量皇苎曼曼曼皇 第一章绪论 1 1 研究背景及意义 情感在人们的感知、认知、处事、创造力、注意力、做决策等日常生活学习 方面扮演着重要的角色【l , 2 1 。正面的情感会让人们感到放松，积极得面对人生，而 负面的情绪会让人感到焦虑、低沉。并且如果长时间的情绪低落、愤怒，焦虑和 压力会让人身心疲惫，降低人体的免疫系统的功能，影响身体健康。现代社会计 算机在人们的生产生活学习中的作用越来越重要，人们对计算机的依赖性不断增 强。如何使计算机识别、感知、理解人们的情感并会对人们进行正面情绪的调节 是现在人机交互领域中的一个重要研究热点。早在上世纪九十年代，美国m i t 人 工智能实验室的p i c a r d 教授就提出“a f f e c t i v ec o m p u t i n g ，【3 】情感计算一词，从此 世界各国的研究者们对“a f f e c t i v ec o m p u t i n g ”引发了高度关注1 4 。 情感状态的变化与人体的生理变化和行为举止有着密切的关系，生理信号的 获取各实验室往往都是通过各种的传感器测量记录的，美国b i o p a c 公司生产的多 导生理信号记录仪可采集人体的多种生理信号如心电信号、呼吸信号、肌电信号、 皮肤电信号、脑电信号等等。将所采集到的生理信号进行分析、建模和识别，让 计算机理解被试当前的情感状态，并能做出相应的反应行为进行情感表达与被试 互相沟通交流。情感的生成即开发研究出能生成情感并能和人们进行情感沟通交 流的计算机或机器人。 情感计算的研究重点是获驭分析理解人们的情感，并且能针对人们的情感状 态做出智能友好的反馈沟通。计算机获取人们的情感有多种渠道，包括语音情感、 面部表情、姿态表情和情感生理信号。由于生理信号是人体由于情感变化导致的 人体自主神经系统和内分泌系统变化产生出的生物电信号，这种生物电信号不受 人体自身的控制，是无法欺骗的，能客观真实的反应出人的情感变化，使计算机 识别人类的情感状态更加精确。通过分析获取的生理信号，计算机可以获知人类 真实的情感状态，做出我们期望的反应。美国m i t 人工智能实验室的p i c a r d 教授 与其小组成员首次证明从人体生理信号提取情感特征进行情感识别的方法是可行 的1 5 一。目前皮肤电信号变化指标在测谎研究中被广泛应用。 1 2 研究现状 1 9 9 7 年心理学家n y k l i c e k 、t h a y e r 、v a n 7 】证实了情感信号是可以明显区分的， 他们以音乐素材激发2 6 名被试的高兴、平静、悲伤和兴奋等情感状态，得到的数 据样本判别分析之后可以明显的情感区分。 2 0 0 1 年p i c a r d l 8 j 用图片作为实验素材激发出被试的平静、高兴、愤怒、厌恶、 西南大学硕十学位论文 悲伤等六种情感，采集肌电信号、脉搏信号、皮肤电导反应信号和呼吸信号四种 生理信号进行特征提取和分类识别，证明了从人体的生理信号中提取特征进行情 感识别是可行的，开创了情感计算领域的新天地。 p f l o m b a 等科学家 9 1 以具有恐惧、愤怒和平静等情感的电影素材激发出4 6 名 被试的不同情感，测量他们的心率、呼吸、皮肤电导水平的变化，发现不愉快的 电影素材引起被试的各种生理信号剧烈变化，证实了负面情绪素材可使人们产生 可区分自主响应的模式。 2 0 0 4 年k i mkh 等【l0 】使用音频和视频作为实验素材采集被试的心电信号、脉 搏信号、皮肤温度和皮肤电导信号进行情感识别研究，研究结果发现随着情感种 类的增多情感识别率明显下降，2 0 0 8 年他们采用了情感特异性多层二分法提高了 多种情感识别率【n 】。 2 0 0 5 年李建平、张平、王丽芳等i 1 2 】以带有6 种不同情感的电影片段激发9 2 名女生的快乐、悲伤、愤怒、恐惧和厌恶五种情感，采集被试的血压、呼吸、指 温、心率及心率变异性等生理信号的变化，研究结果表明不同的情感状态都可引 起被试生理信号的特异性变化，并且不同情绪引起被试的自主神经反应模式是不 同的。 2 0 0 6 年p i e r r er a i m l l e f 等【1 3 】研究了4 3 名被试的愉快和不愉快的回忆，激发出 高兴、恐惧、悲伤和愤怒等情感，测试他们的脑电信号和呼吸信号，获得了5 6 3 的总体识别率。 2 0 1 0 年i e e et r a n s a c t i o mo n a f f e c t i v ec o m p m i n g 报导出情感计算领域的最 新成果进展：p a n a g i o t i sc p e t r a n t o n a k i s 1 4 1 提取1 6 个被试的脑电信号进行高兴、惊 奇、愤怒、恐惧、厌恶和悲伤情感进行识别，不同情感的辨识率可达到8 5 1 7 。 d o n g r u iw u 【1 5 】用支持向量机对皮肤电导信号、呼吸信号、心电信号和脑电信号进 行情感识别，建立情感识别系统。b j 8 ms e h u l l e r 【1 6 】研究语音信号进行情感识别。 m i l 趴c m j m o f i 6 1 7 l 建立了语音情感库。c h u n g h s i e nw 0 1 8 】根据发音信息和语义标签 进行情感识别。r e z ard e r a k h s h a n i 1 9 1 通过采集被试的眨眼频率和幅度识别恐惧情 感，达到7 9 的识别率。 西南大学情感计算研究所刘光远教授带领着他的实验小组建立自己的情感数 据库，以六种不同情感的电影片段作为实验素材，招募大量的1 8 至2 2 岁的大学 一年级被试采集他们的心电信号、皮肤电导反应信号、脉搏信号、呼吸信号等情 感生理信号，用智能优化算法和分类器提取情感特征来进行情感状态识别。 1 3 论文研究的内容 2 通过对基于生理信号的情感识别工作的研究和探索，西南大学信号与信息处 第一章绪论 理研究所设计出一整套基于人体生理信号的情感识别系统方案。首先建立了皮肤 电信号的情感数据库，然后经过降噪、标准化等的皮肤电信号的预处理，在信号 的时域、频域中提取最能代表情感状态变化的3 0 维统计特征，利用基本的粒子群 算法和经过改进的免疫粒子群算法、模拟退火免疫粒子群算法结合f i s h e r 分类器 进行情感信号的特征选择。主要研究内容如下： ( 1 ) 建立皮肤电情感生理信号数据库 选用具有强烈特定感情色彩的电影片段作为实验中激发被试情感状态的情感 素材。招募大量西南大学刚入学的大一新生作为实验的被试，先用医用酒精擦拭 被试的右手的食指和中指的末梢部位，涂抹导电膏缠绕正负两极传感器接到 m p l 5 0 记录仪。实验中被试观看高兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感 的情感素材的同时我们记录并采集皮肤电信号，建立起六种情感的皮肤电情感生 理信号数据库。 ( 2 ) 皮肤电情感信号的特征提取 首先删除无效的测试数据，剩下的有效皮肤电信号进行平滑去噪、标准化等 处理工作，然后参考德国a u g s b u r g 大学特征提取研究方法，从信号的时域和频域 两个方面提取其最能代表皮肤电信号变化的3 0 维统计特征作为情感识别研究的原 始特征集。 ( 3 ) 最优特征子集的选择 基本的粒子群优、免疫粒子群优化算和模拟退火免疫粒子群优化算法与f i s h e r 分类器结合对高兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情感分类识别进行g s r 情感信号的特征选择，选择出对应各个情感的最优特征集合，作为皮肤电信号情 感识别的特征子集。 ( 4 ) 皮肤电信号情感识别的结果分析 基本的粒子群优、免疫粒子群优化算和模拟退火免疫粒子群优化算法进行情 感识别结果的分析，找出最能代表特定情感的最优特征组合，证明建立基于皮 肤电信号进行情感识别系统模型的可行性。 1 4 论文的创新点 论文的目的是建立基于皮肤电信号的情感识别系统模型，研究皮肤电信号与 各种情感状态之间的对应关系。实验招募大量被试观看具有强烈特定情感色彩的 电影片段，激发出被试的情绪变化记录并采集g s r 信号，预处理g s r 信号之后进 行g s r 信号特征提取和情感识别的特征选择，最后验证了建立情感识别系统模型 的可行性。论文的创新之处在于： ( 1 ) g s r 情感生理信号数据库的扩大。情感生理信号数据库中有1 8 1 7 组有 3 西南大学硕士学位论文 效地情感数据：其中包括3 6 2 组高兴数据，2 8 9 组惊奇数据，1 7 8 组厌恶数据，3 2 6 组悲伤情感数据，3 4 0 组愤怒数据，3 2 2 组恐惧数据，并且情感数据还在不断地增 加扩大。 ( 2 ) 特征选择算法的创新。由于基本的粒子群算法粒子容易陷入局部极值， 全局收敛速度慢，精确度低等缺点，将免疫系统的自适应调节机制应用到基本粒 子群算法中线性递减权重国因子参数的设置中，能有效地改善粒子的全局开发能 力和局部探索能力的平衡，有效地解决基本的粒子群算法容易陷入局部极值的缺 点。另外在模拟免疫粒子群算法的基础上进一步加入模拟退火机制，在每个粒子 的速度和位置更新过程中引入模拟退火思想，对粒子进化后的适应度值遵循 m e t r o p o l i s 准则在接受优良解得同时也按照一定的比例接受较差的解，这样进一步 增大了粒子的多样性，算法自适应的调节退火温度直至系统冷却，粒子能更加精 确的寻找到全局最优位置。再次提高了情感状态的识别率，并降低了特征子集的 维数。实验验证得出，改进算法能够得到比以前更优的结果。 1 5 论文的整体结构 论文的第二章详细介绍了皮肤电信号的采集。包括皮肤电信号的基本概念， 皮肤电信号在情感识别研究中的重要意义，实验素材的选定，实验仪器，被试的 招募和有效情感生理信号的筛选，建立皮肤电情感信号的数据库。 第三章主要介绍皮肤电信号的特征提取。对原始皮肤电信号进行数据有效性 分析，利用巴特沃斯滤波器进行去噪，数据归一化等预处理和统计特征的提取工 作。 第四章主要分析基本的粒子群优、免疫粒子群优化算和模拟退火免疫粒子群 优化算法与f i s h e r 分类器结合用于g s r 情感信号的特征选择。采用f i s h e r 分类器 的分类正确率作为评价准则进行识别六种情感的情感信号的特征选择工作。 第五章对三种粒子群优化算法进行情感识别结果的分析，找出最能代表特 定情感的最优特征子集，证明建立基于皮肤电信号进行情感识别系统模型的可 行性。 4 第二章皮肤电信号的采集 曼曼曼皇曼曼曼曼曼曼曼曼曼蔓皇l l l l , i i i 皇曼皇皇皇量曼曼皇曼置 第二章皮肤电信号的采集 人体的皮肤电反应信号( g a l v a n i cs k i nr e s p o n s e ，g s r ) 受控于人体交感神经 系统【2 0 j ，人类的情感的变化引起人体的内分泌系统的变化而影响着人体的交感神 经系统，因此皮肤电导反应信号包含大量有效的情感信息。用g s r 信号进行不同 情感识别研究具有重大的意义。如何进行信号采集是情感识别研究工作的关键， 严格有效的数据采集是研究工作客观真实性的保障，研究的结果才真实可靠有价 值。g s r 信号的不同情感识别研究问题中，如何得出能代表六种不同情感如高兴、 悲伤、惊奇、厌恶、恐惧和愤怒的情感特征组合是研究的主要部分，所有本章对 g s r 信号的采集及特征提取方面进行分析讲述。 2 1 皮肤电信号( g s r ) 简介 皮肤电信号这一重要生理信号指标已应用到很多研究领域和人们的现实生活 应用中，传统多导测谎研究和犯罪心理研究中最常用最有效的指标就是g s r 信号 【2 1 1 。g s r 信号是由人体的交感神经系统的变化而变化的，依赖于人体的汗腺分泌 反应。汗腺分泌受人体的情感唤醒度、指温、手指活动等控制。研究者普遍认同 情感唤醒水平能引起g s r 的明显变化 2 2 , 2 3 j 。 人体皮肤电反应信号是1 9 世纪t a r c h a n o f f 实验发现的，在人体的皮肤不同两 点贴上正极负极贴片然后连接到高灵敏电表上，电表的指针摆动，表现出皮肤电 位差，人体的g s r 信号变化随着人的感官系统刺激变化和情绪变化而变化。当被 试受到不同感官系统刺激或是被试的情绪改变时，被试的内分泌系统随之受到刺 激导致交感神经系统活动变化，血管受到刺激舒张，并且皮肤的汗腺分泌加大， 导致皮肤电阻减小，皮肤电导加大，被试的情绪稳定后，汗腺分泌逐渐减少，皮 肤电导也随之下降2 0 j 。 t a r c h a n o f 的皮肤电导信号实验，皮肤电导的测量位置有以下3 中部位选择： 中阔帮使擞 图2 1g s r 的测量位置的选定 5 两南大学硕七学位论文 第一种是将被试的食指和中指的中间部位擦拭导电膏并缠绕正负两反极化贴 片传感器；第二种是被试的食指和中指的末梢部位擦拭导电膏缠绕相反电极传感 器；最后一种是在被试手的鱼际和小鱼际部位擦拭导电膏并贴上相反电极贴片传 感器。经过大量三种部位实验得出第二种测量部位得到的g s r 信号比较清晰和明 显。由于g s r 信号与人体的血管扩张收缩和汗腺分泌相关 2 4 】，所以不同被试问必 然存在着个体差异，就是同一个被试在不同状态下测得的g s r 信号也不尽相同。 内向、情绪比较容易激动、紧张的被试的g s r 信号基准较高；开朗、外向、心态 比较平和的被试g s r 信号基准较低。习惯性水平是衡量g s r 变换状态的重要指标， 它反映了被试随不同情绪强度的情感变化过程。习惯性水平越高时，平静过程占 上风；习惯性水平越低时，表明被试的兴奋过程占主导。 下面几种因素影响g s r 信号的基准： ( 1 ) 唤醒水平：人体的手脚的皮肤比人体其他部位的皮肤在一样的环境条件 下更能体现皮肤电导的变化程度。人体的体温在正常范围内，皮肤电导的唤醒程 度最大，因此被试需要处在身体健康，无发烧感冒等影响体温病症，且实验前要 放松心态。在实验中，不同情感的影片中间插着平缓的自然风景和舒缓的轻音乐， 其目的也是让被试者在不同的情感影片中放松心情，以平和的情绪进入情感刺激 中，使被试达到最大的唤醒水平。 ( 2 ) 手指温度( s k t ) ：由于天气温度、穿衣多少或人体运动的影响，皮肤温 度也随之发生变化，会影响人体g s r 信号的有效获取，这是因为皮肤汗腺的分泌 情况影响到皮肤的电位差。所以同一被试在不同状态下获取的g s r 信号也会不同， 因此要求被试处在比较平静的状态下通过实验。 当被试处在神秘不知的刺激状况下或情绪变化的激发下，其皮肤电阻会逐渐 减小，电导逐渐增大。因此g s r 信号是确定情绪变化状态的有效因素。 2 2 皮肤电信号采集 如何采集特定情感的真实准确有效皮肤电生理信号是研究的关键前提工作， 直接影响到整个实验研究工作的成败。并且特定情感素材的选取和被试的招选都 是获取有效皮肤电信号的重要环节。 2 2 1 实验方案 用来激发被试情感的素材选取一直是情感识别的研究者的困难问题。有效的 激发被试情感得到真实有效的g s r 信号是研究工作的关键。在早期的情感识别研 究中，研究者大多采取以文字、图片和音乐形式作为唤起被试的情感的实验素材， 但是这种形式的素材对被试的受教育程度依赖很大，被试者对文字图片的领悟能 力会影响着被试情感的有效激发，影响后续的研究工作。2 0 0 3 年n a s o zf 证明带 6 第二罩皮肤电信号的采集 目i i u 一 - -i i i i 皇曼曼曼曼曼曼曼量舅 有情感的影视片段比以往的文字、图片和音乐形式的实验素材更为有效地激发人 们的情感【2 5 1 。影视素材声音图像并茂，可以让被试达到听觉、视觉、感觉多重激 发，对被试的受教育程度、文字领悟能力的依赖有所降低，更加有效唤起被试的 内在特定情感。因此实验室所采用激发情感素材即是电影片段，经过大量的社会 实践调查研究，从大量情感强烈的电影中挑剪出能唤起被试单一特定情感强烈的 六个电影片段，每个片段有五分钟左右，并且在每个片段当中间插着两分钟左右 由平缓的轻音乐和平静的大自然风景图片组成的片段以用来让被试舒缓已被激发 的情感。六种离散特定情感分别为：高兴、惊奇、悲伤、恐惧、厌恶和愤怒情感。 其中高兴、悲伤、恐惧和愤怒这四种情感比较容易激发而惊奇和厌恶大多被试会 参杂多种复合情绪被激发，比如惊奇中带有平静情感或高兴情感，在厌恶中夹杂 着愤怒情感。惊奇素材选取的是神秘的魔术表演片段，厌恶素材选取的是电视剧 “胭脂雪”中厌恶度较高的一个影视片段。尽量让被试只唤起单一特定目标情感 研究者选定情感素材的组成与安排如下表： 表2 一l 用于情感激发的电影片段 情感持续时间 电影片段素材描述 7 西南大学硕十学位论文 曼! 基曼曼曼星曼曼曼曼曼! 曼曼曼曼量星呈曼! 寞! 曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼! 曼曼曼皇曼曼曼窒曼曼曼窒曼曼喜窒曼曼曼曼皇喜量量基曼 情感持续时间电影片段 素材描述 为了测得可靠有效地g s r 特征，在实验前会告知被告处在身体健康，没有服 用任何药物，休息好，不要进行剧烈活动的状态下来参加情感识别实验，并且女 性被试不要化妆，不要佩戴耳饰手饰，实验过程中要把手机关机防止电磁场对信 号的干扰。 实验前，要求被试填写“实验知情同意书 ，并记录被试的姓名，性别，年龄， 年级，专业，学号，联系方式等基本信息。被试也会被告知即将参与实验的目的 和实验过程中的注意事项。实验过程中要根据所观看的视频片段填写情感体验问 卷，每看完一段情感视频，会有3 0 秒钟的电脑黑屏时间填写问卷，要求填写问卷 时尽可能保持观看视频状态，选择被试在观看素材时的情感状态和情感强度，六 种情感片段一共需要填写六次问卷。问卷的设计如下： 表2 2 情感体验问卷 问卷l ：请问你以前是否看过该片段( 用表示) 是口否口 请选择此时最符合你心情的一项情绪和程度( 用表示) 2 2 2g s r 信号的采集 预约招募的被试仅限刚入学的大学一年级新生，年龄在1 8 至2 2 岁之间，其 专业、性别都做不要求。所有被试均是自愿参与情感识别研究实验，为了保证实 验研究的准确性，每个被试只能参与一次实验。 被试填写完实验同意书和基本信息后将被领入实验测试房间，房间内有一张 桌子一把椅子，桌子上摆放着用来观看激发情感素材的液晶电脑显示屏，和美国 b i o p a c 公司生产的多通道生理信号记录设备m p l 5 0 及生理信号分析模块，一个 第二章皮肤电信号的采集 高清晰摄像头将全程记录被试者观看情感素材时的情绪变化和所有动作。m p l 5 0 多通道生理信号记录仪连接到实验测试室外的电脑2 的信号采集软件上，实时输 出记录被试的生理信号。 实验的整体示意图如下图2 2 所示： 异j 衅 火r 容馘计算机i ：作站2 。 聚榘信弓及处理 实验人员 图2 2 实验采集系统 诱发能感 广1 r 。 操作 厂一 l 一 夫容量订算机j ：作站l ， 播放情赌素村 愤怒 图2 3 g s r 信号采集连接图图2 4 愤怒情感下的g s r 信号 实验采集g s r 信号的连接图如上图2 3 所示，采取的是右手的食指和中指的 末梢部位，实验前先用医用酒精擦拭这两部位再涂抹导电膏缠绕正负两极传感器 接到m p l 5 0 记录仪传导到电脑2 记录g s r 信号数据。图2 4 是记录的愤怒情感下 的g s r 信号。 实验后总结实验数据的有效性，结合唤起素材特定情感和被试的实验过程中 填写的情感体验问卷，被试能被能被电影素材激发出的情感与唤起素材一致并且 强度达到很强、较强、一般( 见情感体验问卷) ，这样的数据保留做有效数据。分 9 仃回 tlii 6 馘6 笛 汾兰， 念归呐 西南大学硕士学位论文 析结果如下表： 情感激发有效率 1 0 0 0 0 8 0 0 0 6 0 0 0 1 4 0 0 0 9 2 0 0 0 0 0 0 高兴惊奇厌恶悲伤愤怒恐愠 图2 5 情感素材对被试的激发率 惊奇和厌恶这两种情感激发有效率比较低，是因为这两种情感不同的人有不 同的理解，厌恶中常常掺杂着愤怒等其他多种情感，而惊奇情感有的被试可能已 经知道魔术的结果所以觉得平静或是认为魔术是种娱乐节目所以夹杂有高兴地情 感在里面，所以这两种情感的有效唤醒度不好。按照有效性的定义方式，删除无 效的测试数据，筛选后得到高兴情感数据3 6 2 组，惊奇情感数据2 8 9 组，悲伤情 感数据有3 2 6 组，愤怒情感数据3 4 0 组，厌恶情感数据1 7 8 组，恐惧情感数据3 2 2 组。 2 3 小结 本章主要介绍了g s r 信号的基本概念，g s r 信号在情感识别研究中的重要意 义，以及整个情感识别研究的实验步骤，实验中情感唤起素材的选取，实验仪器 和实验测量g s r 信号的方法和有效数据的筛选，建立g s r 信号情感数据库为后继 的情感识别工作打下夯实的数据基础。 1 0 第三章皮肤电信号的特征提取 第三章皮肤电信号的特征提取 第二章所讲述的皮肤电信号是受人体交感神经系统的影响，其中蕴含着大量 的情感信息，能够完全有效地反映人体的不同情绪变化。因此提取有效的皮肤电 信号情感特征是情感识别研究工作的重要环节。这一章节将详尽的讲述皮肤电信 号的特征提取过程。 3 1 信号的预处理 3 1 1g s r 信号的下采样 美国物理学家奈奎斯特1 9 2 7 年研究出奈奎斯特采样定理：如果对某一带宽的 有限时间连续( 模拟) 信号进行抽样，并且抽样频率超过某数值时，得到的抽 样值可