生理信号情感识别中的特征组合选择研究.pdf

西南大学 硕士学位论文 生理信号情感识别中的特征组合选择研究 姓名：熊勰 申请学位级别：硕士 专业：信号与信息处理 指导教师：刘光远 20110526 摘要 生理信号情感识别中的特征组合 选择研究1 信号与信息处理专业硕士研究生熊勰 指导教师刘光远教授 摘要 生理信号情感识别实验采用视频作为唤起材料，以激发高兴、惊奇、厌恶、悲伤、愤怒 和恐惧六种情感，记录被试的皮肤电反应( g s r ) 、心率m r ) 、脉搏( p l u s e ) 、呼吸( r s p ) 、心 电( e c g ) 和面部肌电( e m g ) 等信号作为情感生理反应样本。 针对生理信号情感识别中特征组合选择的问题，在前期工作中采用具有模拟退火机制的 遗传算法、最大最小蚁群算法和粒子群算法等智能算法对从2 0 0 余名大学生被试样本中提取 的初始特征进行特征组合的选择，发现很难得到一致的解，且维数偏高等问题。针对这类特 征选择算法的不足，在后期工作中采用m r m r 、s v m r e f 、v s v m r e f 和s v m w e i g h t e d 算法对从4 0 0 余名大学生被试的样本中提取的初始特征进行特征组合的选择，并用f i s h e r 分 类器和s v m 分类器对六种情感进行分类，获得了较高的识别率。最后找出了对情感识别系统 模型的构建具有较好性能且稳定的特征组合。具体做了以下工作： ( 1 ) 对皮肤电反应、心率、呼吸、心电、脉搏和面部肌电等生理信号进行预处理：利用 解卷积算法将皮肤电反应信号分解为突变信号和缓变信号，利用小波变换技术将面部肌电和 心电进行多层分解并且重构，对呼吸信号和脉搏信号进行滤波去噪，然后提取以上几种生理 信号的频域特征和时域统计特征。 ( 2 ) 由于对情感识别缺乏相应的先验知识，所以不得不提取大量的原始特征，遍历特征 空间中所有的特征组合显然是不可能的。所以针对特征组合搜索空间过于庞大的问题，在前 期工作中采用具有模拟退火机制的遗传算法、最大最小蚁群算法和粒子群算法等智能算法进 行特征组合的选择，想利用该类型算法较强的遍历策略，能够较好地进行广度和深度的搜索。 但在实际应用中发现由于该类型算法的随机性，很难使得到的特征组合收敛( 即算法每次运 行的结果都不一致) ，并且由于算法本身要进行大量的迭代，使得时间耗费过大( 通常是数十 小时) 。 1 基金项目：国家自然科学基金( n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n a n o 6 0 8 7 3 1 4 3 ) 西南大学硕士学何论文 ( 3 ) 针对上述问题，并参考国内外主流的特征选择算法，采用了m r m r 、s v m r e f 、 淞聊一r e f 、s v m w e i g h t e d 算法进行特征组合的选择。这些方法比起前期所采用的算法来说， 在评价标准上做了大量有意义的研究工作，而在搜索策略上并没有采用过于复杂的算法。这 样下来，算法在准确度和时间耗费上就达到了平衡，在实际应用中取得了很好的结果。 关键词：情感识别生理信号特征选择s y g 算法m r m r 算法智能算法 a b s t r a c t t h er e s e a r c ho ff e a t u r es e l e c t i o nf o re m o t i o n r e c o g n i t i o nb a s e d o np h y s i o l o g i c a ls i g n a l s m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g a u t h o r ：x i ex i o n g s u p e r v i s o r ：p r o f g u a n g y u a nl i u a b s t r a c t v i d e om a t e r i a li su s e dt oa r o u s es i xe m o t i o n s ：j o y , s u r p r i s e ，d i s g u s t , g r i e l , a n g e ra n df e a ri nt h e e m o t i o nr e c o g n i t i o ne x p e r i m e n t p h y s i o l o g i c a ls a m p l e sa r eo b t a i n e dw h i c hr e c o r dt h eg a l v a n i cs k i n r e s p o n s e ( g s r ) ，h e a r tr a t e ，p u l s e ，r e s p i r a t i o n ( r s p ) ，e l e c t r o c a r d i o g r a m ( e c g ) a n d e l e c t r o m y o g r a p h y ( e m g ) i nt h ep r e v i o u sw o r k , t h ei n i t i a lf e a t u r e sa r ee x t r a c t e df r o mm o r et h a n2 0 0u n d e r g r a d u a t e s t u d e n ts a m p l e s f o rt h ep r o b l e mo ff e a t u r es e l e c t i o na l g o r i t h mf o re m o t i o nr e c o g n i t i o nb a s e do n p h y s i o l o g i c a ls i g n a l s ，g e n e t i ca l g o r i t h r nb a s e do ns i m u l a t e d - a n n e a l i n gm e t h o d ，m a x - m i na n tc o l o n y a l g o r i t h m ，p a r t i c l es w a r ma l g o r i t h mr i f l eu s e d h o w e v e r , f e a t u r ed i m e n s i o ni st o oh i i g ha n dt h ef e a t u r e s u b s e ti sn o tt h es f l n ea f t e re a c hr u no ft h ea l g o r i t h m f o rt h ew e a k n e s s e so ft h i st y p eo ff e a t u r e s e l e c t i o na l g o r i t h m , m r m r , s v m r e f , v s v m - r e fa n ds v m - w e i g h t e da l g o r i t h m sa l eu s e di n t h el a t t e rw o r ka n dt h ei n i t i a lf e a t u r e sa r eo b t a i n e df r o mm o r et h a n4 0 0u n d e r g r a d u a t es t u d e n t s a m p l e s f i s h e ra n ds v m c l a s s i f i e r sa r eu s e dt oc l a s s i f ys i xe m o t i o n sa n da h i g h e rr e c o g n i t i o nr a t ei s g o t a tl a s te f f e c t i v ef e a t u r esu _ b s e tw h i c hc a ni d e n t i f yt h ee m o t i o nr e c o g n i t i o ns y s t e mm o d e lw i n l b e t t e rp e r f o r m a n c eh a sb e e nf o u n d t h ef o l l o w i n gw o r k sh a v eb e e nd o n e ： ( 1 ) g a l v a n i cs l d nr e s p o n s e ( g s r ) ，h e a r tr a t e ( h r ) ，r e s p i r a t i o n ( r s p ) ，e l e c t r o c a r d i o g r a p h y ( e c g ) ，p u l s ea n de l e c t r o m y o g r a p h y ( e m g ) a g ep r e t r e a t e d ：g s rs i g n a li ss e p a r a t e di n t oc o n t i n u o u s s i g n a l so ft o n i ca n dp h a s i ca c t i v i t yw i t had e c o n v o l u t i o na p p r o a c h e m ga n de c gs i g n a l sa 佗 d e c o m p o da n dr e c o n s t r u c t e db yw a v e l e tt r a n s f o r m r s pa n dp u l s es i g n a l sa r er e m o v e dn o i s eb y f i l t e r a tl a s tt h ef r e q u e n c yd o m a i nf e a t u r e sa n dt h et i m ed o m a i ns t a t i s t i c a lf e a t u r e so fs e v e r a ls i g n a l s a r ee x t r a c t e d ( 2 ) b e c a u s eo ft h el a c ko ft h ep r i o rk n o w l e d g ef o re m o t i o n a li d e n t i f i c a t i o n , al a r g en u m b e ro f o r i g i n a lf e a t u r e sh a v e b e e ne x t r a c t e d o r i g i n a lf e a t u r e - d i m e n s i o ni st o oh i g h , t h ef e a t u r em l e c t i o n p r o c e s sf o e t h ee m o t i o nr e c o g n i t i o ni s a nn ph a r dp r o b l e m g e n e t i ca l g o r i t h mb a s e do n s i m u l a t e d - a n n e a l i n gm e t h o d , m a x - m i na n tc o l o n ya l g o r i t h m , p a r t i c l e $ w a r n la l g o r i t h mh a db e e n i l i 西南大学硕士学位论文 u s e di nt h ep r e v i o u sw o r k h o w e v e r , d u et ot h er a n d o m n e s so ft h i st y p ea l g o r i t h m ，t h ef e a t u r es u b s e t i sn o tt h e 韶l f l e a f t e re a c hr u no ft h ea l g o r i t h m b e c a u s eo fal o to fi t e r a t i v ep r o c e s s ，t h e f i m e - c o m u m i n gi st o ol a r g ea n dc o m p u t a t i o n a lc o m p l e x i t yi st o oh i g h ( 3 ) r e f e rt os t a t e - o f - t h e - a r tf e a t u r es e l e c t i o na l g o r i t h m ，t h em r m r , s v m - r e f , v s v m r e f a n ds v m w 萌g h t e da l g o r i t h m sh a v eb e e nu s e d c o m p a r e dw i t ht h ep r e v i o u sa l g o r i t h m ，m o r eu s e f u l r e s e a r c hi nt h ee v a l u a t i o ns t a n d a r d si sd o n e 1 1 1 es e a r c hs t r a t e g yi sn o to v e r l yc o m p l e x , s ot h e t r a d e o f fh a sb e e nm a d eb e t w e e nt h ea l g o r i t h ma c c u r a c ya n dc o m p l e x i t y i nt h ep r a c t i c a la p p l i c a t i o n , g o o dr e s u l t sh a v eb e e na c h i e v e d k e y w o r d s ：e m o t i o nr e c o g n i t i o n ，p h y s i o l o g i c a ls i g n a l , f e a t u r es e l e c t i o n ，s u p p o r tv e c t o r m a c h i n ea l g o r i t h m ，m r m r a l g o r i t h m ，i n t e l l i g e n ta l g o r i t h m i v 第一章引言 1 1 研究背景 第一章引言 当代信息科学技术的飞速发展使得人类对计算机的依赖程度不断增强，人们 对计算机的人机交互能力要求也越来越高，情感识别就是人机交互当中很重要的 一个部分。 现在情感识别的研究方向主要包括：( 1 ) 情感的理解：通过对情感的获取、 分析与识别，计算机可了解当前用户所处的情感状态，以便对其情感变化做出适 当的反应。( 2 ) 情感的表达：对某种情感状态，如何使其在一种或几种生理或行 为特征中体现出来。( 3 ) 情感生成：研究计算机或机器人如何模拟或生成情感， 开发虚拟或实体的情感机器人及其应用系统的机器情感生成理论、方法和技术。 ( 4 ) 情感机理的研究：情感状态判别及与生理和行为之间的关系。任何一种情感 状态都可能会伴随几种生理或者行为特征的变化；而某些生理或行为特征也可能 起因于数种情感状态，它们之间的关系是非常密切的。( 5 ) 情感生理信号的获取： 通常由各类传感器得到。传感器应是易于制造的、不影响用户的、数据安全可靠 的和无害的。( 6 ) 情感信号的分析、情感建模与识别：将情感生理信号与情感机 理方面的相应内容对应起来，对所获得的信号进行建模和识别。 1 2 情感识别研究现状 美国m i t 媒体实验室的p i c a r d 教授在1 9 9 5 年做出的技术报告中第一次给出情 感计算( a f f e c t i v ec o m p u t i n g ) 一词的定义：情感计算是指对与情绪有关的，由情 绪引发的，或是能够影响情绪的因素的计算。并于1 9 9 7 年出版了第一部关于情感 计算的专著( a f f e c t i v ec o m p u t i n g ) ) ，引起了众多研究者的关注，同时在2 0 0 1 年使 用图片诱发材料，采集了一个被试的4 种生理信号( 肌电信号、脉搏信号、皮肤 电导信号和呼吸信号) ，提取了特征，对8 种情感状态( 愤怒、憎恶、悲伤、柏拉 图式的爱、罗曼蒂克的爱、高兴、崇敬7 种情感以及中性状态) 进行分类。用前 向漂移选择算法进行了特征选择，用f i s h e r 映射进行了特征变换，还使用了k 近 两南大学硕十学传论文 邻分类器和最大后验概率分类器进行基于生理信号特征的情感生理反应样本分 类，p i c a r d 及其研究小组的工作被认为是开创性的1 4 1 。 德国奥森堡大学( a u g s b u r g ) 的多媒体信号处理实验室j o h a n n e sw a g n e r 等人 在生理信号的情感识别方面做了许多工作，他们分析了四种生理信号( 心电、肌电、 皮肤电反应、呼吸作用) 的特征，从中提取均值、中值、标准差等1 9 3 个统计特征 值，着重比较了不同的特征选择方法和不同的分类器相结合应用于情感识别的识 别效果，并也取得了较好的效果【5 j 。 2 0 0 4 年k i mkh 等人使用音频和视频作为诱发材料采集了被试的心电、脉搏、 皮肤温度和皮肤电导信号，使用支持向量机分类器对悲伤、压抑、愤怒和惊奇进 行分类识别【6 】。2 0 0 5 年w a g n e rj ，k i mj 等使用音乐为诱发材料，唤起愤怒、高兴、 悲伤和愉悦4 种情感，采集了单个被试的肌电、心电、皮肤电导和呼吸信号，使 用方差分析、序列前向选择、序列后向选择、主元分析、f i s h e r 映射等方法进行特 征选择和特征降维，使用k 近邻法、线性判别式法和多层感知机进行了分类识别【刀。 2 0 0 8 年k i mj 深化了他们2 0 0 4 年的工作，仍然使用音乐诱发材料，唤起愤怒、高 兴、悲伤和愉悦四种情感，使用序列后向漂移算法进行特征选择，并采用了一种 情感特异性多层二分分类法来提高识别率【8 】。 2 0 1 0 年i e e e 推出了情感计算专刊i e e et r a n s a c t i o n so na f f e c t i v e c o m p u t i n g ) ) ，刊登了情感计算方面最新的成果：p a n a g i o t i sc p e t m n t o n a k i s 等人用 脑电信号进行情感识别，针对1 6 个人的六种情感( 快乐、惊奇、愤怒、恐惧、厌 恶和悲伤) 进行识别，所得辨识率高达8 5 1 7 t 9 1 。d o n g r u iw u 等人将支持向量机 应用于对皮肤电导、呼吸、心电和脑电等信号的识别，并以此来建立了一个闭环 情感系统1 0 1 。b j 6 ms c h u l l e r 等人通过语音来识别情感【l l 】。m i l a ng n j a t o v i 6 等人建 立了一个用于人机交互的语音情感库【1 2 1 。c h u n g h s i e nw h 等人采用声韵律信息和 语义标签进行情感识别，识别率可以达到8 3 5 5 1 3 】。r e z ard e r a k h s h a n i 等人通 过对眨眼的测量来识别惊恐情绪，识别率接近7 9 t 1 4 1 。 1 3 具体工作及内容安排 论文的具体工作如下： ( 1 ) 本文并不局限于对一种生理信号的情感识别，而是对心电信号、心率信 号、脉搏信号、面部肌电信号、呼吸信号和皮肤电导信号都提取了原始特征，深 2 第一章引言 入研究了各生理信号的特征对情感识别的作用。 ( 2 ) 利用解卷积的方法将g s r 信号分解为缓变信号和突变信号，同时利用小 波变换良好的时频局部化和对信号奇异点检测能力，对e m g 信号进行离散小波 变换后提取特征，对其他的生理信号进行滤波处理。 ( 3 ) 针对生理信号情感识别中的特征组合优化问题，本文采用了遗传算法、 蚁群算法和粒子群算法来获取较优的组合特征，比较了各种智能算法在特征选择 问题中的优劣。 ( 4 ) 采用线性分类器f i s h e r 和支持向量机分类器对数据样本进行分类。 ( 5 ) 对智能算法在特征选择问题中出现的题，采用了m r m r 、s v m r e f 、 v s v m r e f 、s v m w e i g h t e d 算法来提取最优特征子集，取得了较好的效果。 论文此后的内容安排如下： 第二章详细介绍了情感识别实验的设计和实现过程，包括如何采集各路生理 信号，如何针对这些生理信号采用解卷积和小波变换等方法进行信号预处理，之 后又介绍了如何对处理好的原始信号提取初始特征集合。 第三章主要介绍了采用的各种特征选择算法。前期工作主要是采用智能算法 结合f i s h e r 分类器来处理特征选择，发现并不能很好的处理该问题，主要是计算 量太大，而且所得到的解不易收敛( 即每次算法运行得到的解不一致) 。在后期工 作中采用了m r m r 、s v m r e f 、v s v m r e f 、s v m w e i g h t e d 算法来选择最优 特征子集，这些方法在算法效率和特征子集维数上都明显好于前期工作所采用的 智能选择算法，识别率与智能算法相差无几。 第四章主要分析了各特征选择算法所得到的结果。可以看出在较容易识别的 情感状态( 如恐惧) 下，m r m r 、s v m r e f 、v s v m r e f 、s v m w e i g h t e d 算法 提取的最优特征子集是比较一致的，与智能选择算法所得解是发散的形成了鲜明 的对比，而且选出的解从样本的分布上来看也有很好的辨识度，从物理意义上容 易得出较好的解释。 第五章是对论文工作的总结与展望。针对现在的工作，指出了不足之处和需 要改进的地方。 第二章生理信号采集和特征提取 第二章生理信号采集和特征提取 2 1实验方案介绍 本实验以视频片段为情感诱发素材，我们将e k m a n 定义的高兴、惊奇、厌恶、 悲伤、愤怒和恐惧六种情感作为目标情感，并且选出六个对应的视频片段【体1 5 】。 此外，为了在各诱发视频片段之间有着良好的过渡，合成了7 个风景图片加轻音 乐的片段，这些片段分别安排在各个视频片段开始前和结束后，以便使被试者在 这个过渡期间平静下来，更好的接受下一个片段的情感诱发。视频片段的具体流 程和内容如表2 1 所示。为了更好的记录被试的实验过程，我们在播放视频片段的 时候，根据被试者的面部表情和身体动作，在信号数据上作必要的标记【1 6 1 。 表2 - 1 情感唤起材料的组成和安排 事件持续时间备注 实验开始3 0 秒绿屏背景和白色隶书字体 风景和轻音乐片段l1 2 0 秒该片段开始前有3 0 秒黑屏缓冲 情感片段l2 7 0 秒主题：高兴 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段21 2 0 秒 填写问卷 情感片段23 l o 秒主题：惊奇 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段21 2 0 秒 填写问卷 情感片段32 8 0 秒主题：厌恶 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段31 2 0 秒 填写问卷 情感片段43 5 0 秒主题：悲伤 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段51 2 0 秒 填写问卷 情感片段55 0 0 秒主题：愤怒 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段61 2 0 秒 填写问卷 情感片段61 0 0 秒主题：恐怖 该片段开始前有3 0 秒黑屏，供被试 风景和轻音乐片段71 2 0 秒 填写问卷 西南大学硕十学位论文 实验中用到的问卷是以高兴、惊奇、厌恶、悲伤、愤怒、恐惧和平静作为选 项，并将情感强度量化为“很强、较强、一般、较弱、很弱“ 五个等级。在被试 进行测试之前，先留下被试基本个人信息，然后向被试解释实验目的、注意事项 盘譬 守。 实验设备：美国b i o p a e 公司生产的多导生理记录仪m p l 5 0 和分析软件；两台 电脑，分别用来播放视频片段和记录信号；高清摄像头用来监控被试的实时状态。 实验平台构造如图2 1 所示： 8 被试 。i 害感 激发 产弋 广 图2 1 买验示意图 信号的获取与传感器的使用描述如下： ( 1 ) 血容量脉搏( p u l s e ) 和心率信号( 腿) ：使用一个光电电极夹在被试的 左手大拇指上，如图2 2 所示。 ( 2 ) 心电信号( e c g ) ：用正、负电极和参考电极分别贴在被试的左手腕、 右手腕和右脚跺上，如图2 3 所示。 ( 3 ) 皮肤电导信号( g s r ) ：将导电膏注入传感器的电极触片，然后将传感 器的两个电极分别缚于左手食指和中指上，如图2 4 所示。 ( 4 ) 呼吸信号( r s p ) ：使用一个带传感器的松紧带绑在被试的胸腔部位，如 图2 5 所示。 ( 5 ) 面部颧肌的肌电( e m g ) ：使用三个电极测试，其中正负两极贴于同一 左侧脸的颧肌上，参考电极贴于右脸肌肉的颧肌上。 6 糕鹪一卜 咐 回庐 第二章 生理信号采集和特征提取 图2 - 2 p u is e 和胍信号测量示意图 图2 - 3e c g 信号测量示意图 图2 - 4g s r 信号测量示意图 7 勺、一劲 兮。o， ，二=v 鼍，卜“焉惜畦j。 两南大学硕士学位论文 图2 - 5r s p 信号测量示意图 各信号的采样频率开始为l k h z ，但数据的存储量会达到数百兆。为了缩小存 储数据量，同时不损失信号的重要信息，我们根据生理信号的特点进行了下采样： g s r 和h r 的下采样频率为2 0 h z ；p u l s e 和e c g 的下采样频率为2 0 0 h z ：r s p 下 采样频率为1 0 0 h z ；e m g 不需要进行下采样。此外在原有采集系统设置5 0 h z 工 频滤波器，除e m g 信号外的其它生理信号都进行了3 5 h z 低频滤波。 2 2 皮肤电反应信号的处理 皮肤电反应信号( g s r ) 是皮肤传导性的指示，如果用非极化电极将人体皮 肤上两点连接到灵敏度足够高的电表上，电表指针会摆动。这种由于电流流过产 生的电位差，称为皮肤电位或皮电。皮肤电位可随视、听、触、痛等刺激以及情 绪波动而变化，这一过程被称为皮肤电反应。 皮肤电反应是情绪反应中常用的测量指标。其原理是：在人产生情绪时，皮 肤内血管的舒张和收缩等变化，能引起皮肤电阻的变化，以此来测定植物性神经 系统的情绪反应。同时皮肤电反应也可以反映汗腺分泌，它受被试情绪觉醒程度、 手指温度和手指活动的影响。情绪觉醒幅度的变化能引发明显的皮肤电反应变化， 因此得到了研究者的普遍认同。 g s r 信号的有用频率段主要在0 2 h z 以下，采用巴特沃斯滤波器滤除带外噪声。 然后用解卷积算法将g s r 信号( g s rs i g n a l ) 分解为渐变部分( g r a d u a lc h a n g es i g n a l ) 和突蝴( s u d d e nc h a n g es i g n a l ) m 9 】： g s r = g s r 删+ g s r 砌 ( 2 1 ) 第二章 生理信号采集和特征提取 而g s r 突变部分可以表示为脉冲响应函数( i m p u l s er e s p o n s ef u n c t i o n , i r f ) 与 g s r 突变部分激励信号( d r i v e ro f s u d d e nc h a n g es i g n a l ) 的卷积： g s r 幽= 锹砌棚胛 ( 2 2 ) 最后将8 0 秒的g s r 原始信号分解为g s r 信号渐变部分、g s r 信号突变部分和 g s r 突变部分激励信号，如图2 6 所示。 3 04 05 06 07 08 0 5 07 08 0 t i m e ( s e c o n d s ) 图2 - 6g s r 信号( g s rs i g n a i ) 、g s r 信号渐变部分( g r a d u a ic h a n g es i g n a i ) 、g s r 信号突变 部分( s u d d e nc h a n g es i g n a i ) 和g s r 突变部分激励信号( d r i v e ro fs u d d e nc h a n g es i g n a i ) 2 3 ，b 电信号的处理 人体心脏搏动时在体表形成电位差，把测量电极放置在人体表面记录出来的 心脏电位变化曲线即为心电图( e c g ) 。在基于生理信号的情感识别中，心电信号 一直都是主要的研究对象之一。p i c a r d 等人【1 4 】的研究结果表明，心电信号能够体 现出情感状态的变化，从中提取的特征能够反映情感状态的差异。图2 7 是一段 e c g 信号的波形。 9 两南大学硕士学位论文 图2 7e c g 信号 一个典型的心电图是由5 个基本波形所组成，如图2 8 所示。其中，最初出现的 缓慢小波叫做p 波。其后出现的宽度较窄、变化迅速的波形叫做q r s 波群，在q r s 波群中，第一个向下的波为q 波，然后向上的波为刚皮，r 波后向下的波为s 波。在 q r s 波群后面出现的比较宽的缓慢波形叫做t 波。心电图反映了人体心脏的工作状 况，在医学上，通过分辨e c g 各个波形的不同形态对某些病变进行诊断。 r s 图2 - 8 典型心电信号的p o r s t 波位置 采集信号的e c g 信号非常微弱，幅度仅为1 0 i t v - - s m v ，这样，即使外界很微 弱的干扰都会对信号产生很大的影响，e c g 信号主要干扰为基线漂移，我们利用 离散小波变换来去除基线漂移。 2 4 呼吸信号的处理 呼吸是指人体与外界环境进行气体交换的总过程。呼吸是人体的一个重要生 理过程，对人体呼吸的监护检测也是现代医学监护技术的一个重要组成部分。 呼吸信号( r s p ) 的生理指标主要有两个：呼吸频率和呼吸幅度。 ( 1 ) 呼吸频率：呼吸频率是描述单位时间内呼吸的次数，受到各种内源性和外 1 0 第二章生理信号采集和特征提取 源性因素的影响。 ( 2 ) 呼吸幅度：人体胸廓内气体压力随着呼吸而发生的变化。 呼吸信号如图2 - 9 所示： l ：纠 i i i ie o ii s 图2 - 9 呼吸信号 呼吸信号对识别情感状态是非常有用的。例如：深沉而快的呼吸表明激动的 情绪，伴随着的情感可能是高兴、愤怒或是害怕；深沉而缓慢的呼吸表明一种放 松的状态；肤浅而急促的呼吸表明紧张情绪；肤浅而慢的呼吸表明是平静或是消 极的状态。对呼吸信号的进行滤波处理即可。 2 5 面部肌电信号的处理 面部表情虽然可以用来观测情感，但是许多内在情感过程并没有伴随视觉可 感知的面部活动。对视觉感知不足的替代方式是测量面部的肌电信号 ( e l e c t r o m y o g r a p h y ，e m g ) ，它在情感识别中扮演着重要的角色。 e m g 信号从产生机理上而言是一种具有非平稳特性的生理信号，小波变换作 为一种有效的时频域分析方法，能够提取信号的细节特征并进行多分辨率分析。 所以在分析e m g 信号时，选取d a u b e c h i e s 7 d x 波作为基函数对e m g 信号进行处理， 利用小波变换把原始e m g 信号的高频成分和低频成分各分解7 层后，然后提取各层 小波系数的均值、中值、标准差、最小值、最大值、最小值比率和最大值比率作 为特征，再分别对上述信号进行一阶差分，二阶差分后提取同样的特征【2 0 】。图2 1 0 显示了e m g 信号波形和不同尺度下的小波系数。 r_-li_-lnllri_l o 5 n u 5 o 5 o d 0 之 盎l、坦谴翠 西南大学硕十学位论文 l j k 一 l emgs i g n a l l l _ “l l h j 上k k 一上j “一- l i 一j j 一。l - 山 r 一一一1r y y p 一7 一一r 一下一一。 7 x l o “ ：l i - 。c n 4 一 一 r 一下7 一t 一1 一”： o1 0 0 02 0 0 03 0 0 04 0 0 05 0 0 0 图2 - 1 0e m g 信号波形( e m gs i 8 n a l ) 和小波分解后高频第4 层( a n 4 ) 、高频第5 层( a n 5 ) 、低 频第4 层( o n 4 ) 、低频第5 层( c n 5 ) 的小波系数 2 6 脉搏信号的处理 脉搏信号( p u l s e ) 是一种微弱的生物电信号，是神经细胞传导信息时在血管内部 或皮肤表面电活动的总体反映。脉搏就是有节律的动脉搏动。具体而言是由每一 个心动周期中心室的收缩和舒张，引起动脉扩张和回缩，进而引发主动脉根部的 搏动波，该搏动波又沿着动脉壁依次向全身各动脉传播。动脉脉搏的具体形态可 因描记的部位不同而有变化，如图2 1 1 所示。对脉搏信号的进行滤波处理即可。 1 2 图2 - 1 1 脉搏信号 第二章生理信号采集和特征提取 2 7 生理信号的特征提取 本小节主要讲述生理信号初始特征的提取过程。如前所述针对不同的信号采用 了不同的处理方法后，然后去除原始特征集的个体差异，最后对特征值归一化和 去除线性相关度高的特征。 2 7 1 离散小波变换 小波变换作为一种有效的时频分析方法，能够有效的提取信号的细节特征进 行多分辨率分析。利用小波变换良好的时频局部化和对信号奇异点检测能力，对 采集的生理信号进行离散小波变换，去除带外噪声和基线漂移的同时重构生理信 号的高频部分。 连续小波变换被定义为： 胛加川= 去眇旷( 等) 衍 ( 2 3 ) 式中，、i ，( t ) 为基本小波函数，上标幸表示共轭；瘌t 分别是尺度和平移参数， 信号经小波变换，就被投影n - 维平面上，有利于提取信号的某些本质特征。 离散小波变换( d i s c r e t ew a v e l e tt r a n s f o r m ，d w t ) 则通过高通滤波和低通滤 波把信号分解到不同的尺度上，也就是对应于信号的不同频带上。高通滤波后输 出的系数称为细节系数d ，低通滤波后输出的系数称为近似系数a ，近似系数还可 以继续进行高通滤波和低通滤波，分解到下一层次上，并可以继续进行分解。图 2 1 2 是对原始信号进行三层小波分解的示意图。对上式来说，就是对棚t 离散化， 这时，小波基函数满足完备性条件，变换后小波系数没有任何冗余度，压缩了数 据，减少了计算量【2 1 1 。 图2 - 1 2 三层小波分解结构 两南大学硕士学位论文 2 7 2 统计特征的提取 在进行信号处理后，参照根据德国a u g s b u r g 大学特征提取的方法【5 】将时域信 号进行一阶差分，二阶差分，提取均值、中值、标准差、最小值、最大值、最大 最小值之差、最小值比率和最大值比率等统计特征。一阶差分体现了信号的变化 趋势和变化快慢，如果对一阶差分取了绝对值，就忽略了变化的趋势，而只考虑 变化快慢。一阶差分可以用来检测信号局部的极值点，二阶差分可以用来检测信 号局部的拐点，具体公式如下： ( 1 ) 均值 驴专蚤x 一 眩4 ， 1 ( 2 ) 标准差 咋( 击缸哨) 2 l 坨 旺5 ， ( 3 ) 归一化 z = 生丛 ( 2 6 ) ( 4 ) 一阶差分 域= 如一k ( 2 7 ( 5 ) 一阶差分绝对值的均值 驴击著一x 一 眨8 ， ( 6 ) 归一化信号的一阶差分绝对值均值 ( 7 ) 二阶差分 1 4 覆= 击篓阶元鸭 眨9 ， 弛= 一k ( 2 1 0 ) 第二章生理信号采集和特征提取 ( 8 ) 二阶差分绝对值的均值 厂z = 矿i i n 毛- 2 i x m x i 眨 ( 9 ) 归一化信号的二阶差分绝对值均值 ( 1 0 ) 最小值比率 ( 1 1 ) 最大值比率 冗= 志薯艮一丘垮 包 m i n r a f 面= m i n n m a x r 口如= m a x n ( 2 1 3 ) ( 2 1 4 ) 2 7 3 去除个体差异 生理信号个体差异很大，不同的人各不相同，甚至同一个人在不同时间、不同 环境下都会有所不同。为了研究不同的个体的生理信号与情感反应的关系，需要 去除每个被试生理信号的基础水平差异，也就是个体差异性，才能研究出生理信 号的内在特征随着情感不同产生的变化。 将每个被试在六种情感状态下的特征值分别与其对应的平静状态下的特征值 相减，得到的数据便去除了个体差异。如2 1 5 式所示，其中k 表示此被试对应的 平静状态的特征值，k 表示此被试某一情感状态的特征值，膏为去除个体差 异后的某一情感特征值。 x = x e 懈t 咖一曳c a t m ( 2 1 5 ) 西南大学硕十学位论文 2 7 4 数据归一化 归一化的具体作用是归纳统一样本的统计分布性，使数据在o 1 之间分布。公 式如2 1 6 所示： x = 瓦x d a t a - - x m i n 眩 k 一瓦i n u j “ 其中置蛔是原始特征数据，丘戤是这一维特征数据中的最大值，k 是这 一维特征数据中的最小值。 2 7 5 去除线性相关性度高的特征 相关性显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的 意义是用来衡量两个变量相对于其相互独立的距离。最常用的是皮尔逊积差相关 系数。 e ( x y ) 一e ( x ) e ( y ) 眠严万雨i 雨习雨丽。眩 当两个变量的线性关系增强时，相关系数趋于l 或一l 。当一个变量增加而另一 变量也增加时，相关系数大于0 。当一个变量的增加而另一变量减少时，相关系数 小于0 。当两个变量独立时，相关系数为0 。但反之并不成立。我们根据相关系的 高低去除掉线性相关度高的特征变量。 2 8 小结 本章主要讲述生理信号情感识别的实验设计，生理信号的采集和预处理以及 初始特征的提取过程。最后讨论了去除原始特征集合的个体差异，特征值归一化 以及去除线性相关度高的特征等步骤。为下一章生理信号特征组合选择的研究做 好准备工作。 1 6 第二章特征组合选择 第三章特征组合选择 特征组合选择算法在模式识别领域中扮演着一个极其重要的角色。在样本有限 的情况下，用大量特征来设计分类器无论是从计算复杂性还是从分类器性能上来 看都不合适。因此，进行正确有效的特征选择成为模式识别中必须要解决的问题， 在海量数据条件下尤为重要。 3 1特征选择算法的分类 特征组合选择过程主要分为两步：怎么去找，即搜索策略；找到怎样的特征 组合才算合格，即评价标准。所以也就有了以下两种常见的分类方式1 2 2 1 。 3 1 1 按照搜索策略方式分类 按照搜索策略方式，特征组合选择算法可分为穷举法、随机法和启发式法三 类。 穷举法指遍历特征空间中所有特征的组合，选取最优特征组合子集的方法。 常用的方法有回溯法等。其优点在于一定能得到最优子集，但实际情况下由于特 征空间过于庞大，时间耗费和计算复杂度太大，导致实用性不强。 随机法常用的方法有遗传算法、粒子群算法等。这类方法需要进行参数设置， 并且参数值决定了是否能得到较优解。如何有效地设置这些参数是一个值得研究 的问题。 启发式方法为一种近似算法。实际应用中通过重复迭代产生递增的特征子 集。这种方法实现过程比较简单而且快速，在实际中应用非常广泛，如向前( 向 后) 选择、r e l i e f 方法等。虽然不能保证结果最优，但一般能够获得近似于最优 解的解。 总的说来，上述三类中只有穷举法能保证最优，但耗费时间并且计算复杂度 很高，后两者以性能为代价换取简单、快速的实现，但不能保证最优。 3 1 2 按照特征评价标准分类 特征组合选择可以看作一个优化问题，其关键是建立一种评价标准来区分哪 ! 7 西南大学硕十学位论文 些特征组合有助于分类，哪些特征组合存在冗余性，哪些特征之间部分或者完全 无关。不同的评价标准可能会给出不同的结果。根据评价标准的选取，特征组合 选择算法分为滤波器和封装器两种。其中，滤波器的评价标准与分类器无关，而封 装器采用分类器的识别率作为评价标准。此外，封装器的评价标准又可以细分为 距离测度、信息测度、相关性测度和一致性测度。 距离测度是利用距离来度量样本之间相似度的一种方式：分布于不同区域的 样本，样本之间距离越小越相似，样本之间距离越大，其可分性就越大。信息测 度是为了衡量后验概率分布的集中程度所规定的一个定量指标：从特征获取的角 度来看，利用具有最小不确定性的那些特征来分类是最有利的，因此引入信息领 域中作为不确定性量度的熵函数作为评价测度。除了最常用的距离测度和信息测 度以外，还有相关性测度：相关性测度包括两个方面的内容，既可以利用相关系 数，找出特征和类之间存在的相互关系；又可以利用特征之间的依赖关系，来表示 特征的冗余性。 我们知道，特征组合选择的最终目的在于使分类器的错误概率最小，因此最 直观的方式是采用分类器错误概率作为评价标准，即选择使分类器的错误概率最 小的特征或者特征组合。 3 2 基于智能算法的特征组合选择 前期工作中高兴、惊奇、厌恶、悲伤、愤怒和恐惧情感样本库的规模依次为： 2 1 6 ，1 6 7 ，1 0 0 ，2 3 5 ，3 4 9 和2 1 7 个样本，特征来自于g s r 信号和h r 信号。针对 这六种情感识别问题，采用具有模拟退火机制的遗传算法、最大最小蚁群算法和 粒子群算法用于特征选