【《基于生理和非生理信号的情绪识别研究国内外文献综述》3500字】

第1章引言基于生理和非生理信号的情绪识别研究国内外文献综述情感识别的方法也不尽相同，大致可分为两类：基于非生理信号的情感识别和基于生理信号的情感识别。基于非生理信号进行情感识别主要分析的是被测者的面部表情和说话语调。该方法的理论依据是面部表情为情感最直接、有效的显示器[4]。在不同的情感状态下面部表情和说话腔调也有不同的特点，例如高兴上扬的嘴角和生气时紧皱的眉头，同时人们的语音和语调也会产生明显的波动，例如高兴时语调的上扬和低落时语气的沉闷。Dhwani等通过分析面部表情实现高兴、惊讶、中性、悲伤、愤怒五种情感的分类识别，并对情感的强度进行分析[5]。Go等利用语音和表情研究了快乐、悲伤、愤怒、惊讶、恐惧和厌恶六种情感的识别[6]。这种基于非生理信号进行情感识别的优点是操作简单，采集设备和被测试者没有直接的接触，体验感比较好；缺点是人们可以自主的控制自己的面部肌肉状态和语音语调，这样就可以掩饰自己真实的情感状况，从而导致采集的信息不准确，利用算法分析后得到的结果可靠性难以确定。还有对于某些残疾人来说，比如语言障碍者，基于非生理信号的情感识别难以实现。基于生理信号的情感识别又可以细分为基于自主神经系统(autonomicnervoussystem)的情感识别和基于中枢神经系统(centralnervoussystem)的情感识别。基于自主神经系统的情感识别指的是依据心电、肌电、呼吸、皮肤电反应等信号进行情感识别。该方法的理论依据是当人们的情感产生波动时，人体内的心脏、皮肤、血流都会产生相应的生理变化。从而可以分析这些信号的变化，反映此刻的情感状态[7]。AlZoubi等利用外围生理信号识别平静、困惑、好奇、高兴、流动、积极、惊讶、中性8种情感状态[8]。该种方法的优点是当人们的情感发生时，这些外围生理信号的变化不受人的主观控制，不容易被掩藏。但是缺点也同样明显，由于该情感识别是基于外围生理信号，而外围生理信号的种类繁多，需要采集的信号数据庞大，并且采集不同生理信号的所依据的采集原理不同，所以对于采集系统的要求较高，实验的复杂度也比较高。基于中枢神经系统的情感识别是指利用现代神经影像学方法对情感产生的脑机制进行研究。现代精神影响学法包括：功能性磁共振成像(functionalmagneticresonanceimaging，fMRI)、脑磁图(Magnetoencephalogram,MEG)、脑电图(Electroencephalograph，EEG)及功能性近红外光谱仪(functionalNearInfraredSpectrumInstrument，fNIRS)等。功能性磁共振成像技术是测量神经元活动所导致的血液动力变化情况。fMRI关注的对象是血红蛋白的磁场特性，测量的是氧合血红蛋白和脱氧血红蛋白之间的比率。氧合血红蛋白是脱氧血红蛋白的源头，氧合血红蛋白的氧被吸收后比之前具有更强的顺磁性，即脱氧血红蛋白顺磁性更强。功能磁共振成像设备和成像图如图1-1所示。fMRI技术有较高的局部空间分辨率，可准确定位情绪产生波动的地方。但是，测量设备体积大，成本高，对测量环境要求严苛，因此该方法不适用于本次实验。图1-1功能磁共振成像设备当情感状态发生改变时，脑内神经电流发出的极其微弱的生物磁场信号也会发生改变，脑磁图MEG检测就是此信号。图1-2是脑磁图仪。脑磁图反映的是脑磁场的变化，定位更加准确，具有良好的时间分辨率和空间分辨率，且不受脑颅骨的影响，图像清晰易辨。由于脑磁场与自然界的其他磁场相比强度很微弱，所以在MEG测量过程中需要严格避免其他磁场的干扰，所以在应用此项技术之前需要建立一个严密的屏蔽室，且测量设备价格较高，所以不适用于情感识别系统中。图1-2脑图仪脑电图EEG检测的是脑部神经元活动引起的放电变化。该方法是研究大脑潜在机制的最常用技术之一，广泛用于神经科学和心理学领域。脑电图时间分辨率高，测量过程中对于环境并未有严苛的要求。并且仪器设备携带方便。a.Quik-Cap电极帽b.Neuroscan脑电64导脑电采集系统图1-3脑电采集设备 脑电信号进行情感识别的步骤一般为：采集信号、信号预处理、提取信号特征、进行情感分类。由于利用脑电信号进行情感识别的研究开展的比较早，在各位研究人员的努力下，对脑电信号处理的方法也在逐渐丰富。脑电信号的特征可以从时域、频域、时频域中提取。在时域中，最先采集脑电信号的统计特征，比如计算脑电信号的平均值、标准差、一阶差分、二阶差分等。2009年Yuen等利用脑电信号的统计特征将愤怒、悲伤、惊讶、快乐和中性五种情感进行分类[9]。其次脑电信号的Hjorth指数也被证明可作为情感分类的特征[10]。在频域特征，脑电信号可以划分为Delta(1-4Hz)、Theta(4-8Hz)、Alpha(8-13Hz)、Beta(13-30Hz)、Gamma(30Hz以上)五个频段，分别计算五个频段的功率谱密度(powerspectraldensity，PSD)和微分熵(differentialentropy,DE)，这也被证明是情感分类时一种有效的特征提取方法[11，12]。时频域特征中，既可以分析信号的频域信息又可以分析信号本身的时域信息，时频域分析方法有小波变换(WaveletTransform,WT)、经验模态分解(EmpiricalModeDecomposition，EMD)、短时傅里叶变换(Short-timeFourierTransform,STFT)等。2010年Murugappan等人实现对高兴、厌恶、恐惧三种情感分类，使用的方法正是小波变换[13]。空间域特征是通过比较前后或左右对称电极的信号特征差异获得的组合特征。2012年Duan等在进行脑电信号的特征提取时，加入不对称差和不对称商空间域特征，进行情感的分类识别时发现准确率大大提升[14]。脑电信号提取特征之后，就是根据提取的特征进行信号的分类识别。分类识别的方法也是多种多样，常用的有支持向量机、二次判别分析式、K临近算法等。2010年Li对喜悦、生气、悲伤、平静4种进行情感状态分类，利用的是支持向量机模型，准确率达82.29%[15]。同年Petrantonakis等利用不同的分类方法，包括二次判别分析、K邻近、马氏距离和支持向量机，比较对高兴、惊讶、生气、害怕、讨厌、悲伤六种情感进行分类准确率的高低[16]。2012年Hadjidimitriou等也是利用上述方法，不过是从情感的兴奋度和愉悦度的角度进行分类，结果发现使用K邻近和Hilbert-Huang谱HHS结合的分类模型效果最优[17]。研究发现600nm-900nm近红外光散射和吸收的特点，功能性近红外光谱技术利用上述特点测量氧合血红蛋白和脱氧血红蛋白的浓度变化。目前该技术主要优点：首先该技术准确度高，功能性近红外光谱技术可长时间连续检测且具有良好的时间分辨率(毫秒级)；其次可以实现多手段联合应用，功能性近红外光谱技术可以与其他的脑部检查方法同步进行，数据可同时被记录，本次就采用功能性近红外光谱信号可以同时与脑电信号同时测量，在数据上相互补充和相互印证；最后该技术具有无创性的特点，由于功能性近红外光谱技术不会对人体产生任何破坏性，所以可以多次测量。图1-4就是本次所使用的近红外设备。图1-4功能近红外设备目前，国内外大量研究人员也利用功能近红外技术研究人脑的认知功能和感知功能，检测情感的变化和对情感进行分类。2011年Liu等首次将功能近红外技术应用于情感识别，并和脑电技术相结合构建了识别情感的混合模型[18]。2015年Michela等利用功能近红外技术分析出在产生正性情感和负性情感时，大脑不同位置的活跃情况，研究发现前额叶脑活动状态在不同情感下的活跃区域不同，右侧前额叶更活跃代表此刻的情感是负性的，左侧前额叶更活跃代表此刻情感是正性的[19]。尽管对于情感的产生机制有了大量的研究，但是情感的产生及变化过程依然不甚明了。功能近红外技术可以同时测量人体的中枢神经系统活动和外周神经系统活动，这一独特优势使其有可能更加清晰地阐明情感活动的机制[20]。脑电和功能近红外技术虽然都有自身的缺点和问题，但两者结合可以将脑电和功能近红外的优势互补，而且功能近红外测量的是光信号，而脑电是生理电信号，两者之间并不会互相干扰。不论是脑电信号还是功能近红外信号，都可以在一定程度上反映当前的情感状况，可以提取功能近红外和脑电信号的时域统计和非线性特征、频域功率谱和熵特征等，并采用主成分分析PCA对功能近红外和脑电信号情感特征进行降维，最后送入SVM后进行情感识别。相较于利用单一的脑电信号或者功能近红外信号进行情感识别，两者结合可以提高情感识别的准确率。虽然利用单项过脑电或功能近红外技术进行情感识别的研究有了一定的进展，但是将两者结合进行情感识别的研究却还是少之又少，有广泛的领域值得我们探索。参考文献[1]KIMMK,KIMM,OHE,etal.AReviewontheComputationalMethodsforEmotionalStateEstimationfromtheHumanEEG[J].ComputationalandMathematicalMethodsinMedicine,2013,2013:1-13.[2]CALVORA,MELLOSD.AffectDetection:AnInterdisciplinaryReviewofModels,Methods,andTheirApplications[J].IEEETransactionsonAffectiveComputing,2010,1(1):18-37.[3]WorldHealthOrganization.DepressionandOtherCommonMentalDisorders:GlobalHealthEstimates[R].Geneva:WHO,2017.[4]王焕焕.基于面部表情的情绪识别研究[D].哈尔滨:哈尔滨工业大学,2017.[5]MEHTAD,SIDDIQUIMFH,JAVAIDAY.RecognitionofEmotionIntensitiesUsingMachineLearningAlgorithms:AComparativeStudy[J].Sensors(14248220),2019,19(8):1897-1897.[6]GOHJ,KWAKKC,LEEDJ,etal.Emotionrecognitionfromthefacialimageandspeechsignal[C]//SiceConference.IEEE,2003.[7]SHUL,XIEJY,YANGMY,etal.AReviewofEmotionRecognitionUsingPhysiologicalSignals[J].Sensors,2018,18(7):41.[8]ALZOUBIO,MELLOSKD,CALVORA.DetectingNaturalisticExpressionsofNonbasicAffectUsingPhysiologicalSignals[J].IEEETransactionsonAffectiveComputing,2012,3(3):298-310.[9]YUENCT,SANWS,RIZONM,etal.ClassificationofHumanEmotionsfromEEGusingStatisticalFeaturesandNeuralNetwork[J].InternationalJournalofIntegratedEngineering,2009,1(03):12.[10]HORLINGSR,DATCUD,ROTHKRANTZLJM.Emotionrecognitionusingbrainactivity[C]//InternationalConferenceonComputerSystems&Technologies&WorkshopforPhdStudentsinComputing.ACM,2008.[11]BARRYRJ,CLARKEAR,JOHNSTONESJ,etal.EEGdifferencesbetweeneyes-closedandeyes-openrestingconditions[J].ClinicalNeurophysiology,2008,118(12):2765-2773.[12]JULIEO.High-frequencybroadbandmodulationofelectroencephalographicspectra[J].FrontiersinHumanNeuroscience,2009,3(05):10.[13]MURUGAPPANM,RAMACHANDRANN,SAZALIY.ClassificationofhumanemotionfromEEGusingdiscretewavelettransform[J].Engineering,2010,03(04):390-396.[14]DUANRN,WANGXW,LUBL.EEG-basedemotionrecognitioninlisteningmusicbyusingsupportvectormachineandlineardynamicsystem.[M].NeuralInformationProcessin