基于神经网络的语音情感识别技术研究论文.doc

国内图书分类号：TP39国际图书分类号：681.3工学硕士学位论文基于神经网络的语音情感识别技术研究硕 士 研 究 生： 韩文静导师： 李海峰教授申 请 学 位： 工学硕士学 科 、 专 业： 计算机科学与技术所 在 单 位： 计算机科学与技术学院答 辩 日 期： 2007 年 7 月授予学位单位： 哈尔滨工业大学Classified Index：TP39U.D.C.：681.3A Dissertation for the Degree of M. Eng.RESAERCH ON TECHNIQUES OFNEURAL NETWORK BASED SPEECHEMOTION RECOGNITIONCandidate：Supervisor：Academic Degree Applied for：Specialty：Date of Defence：Han WenjingProf. Li HaifengMaster of EngineeringComputer Science and TechnologyJuly, 2007Degree-Conferring-Institution： Harbin Institute of Technology哈尔滨工业大学工学硕士学位论文摘要情感在人类的感知、决策等过程中扮演着重要角色。在人工智能迅速发展的今天，开发具有情感智能的人机交互方式有着极其重要的理论和实际意义。语音作为人类最重要的信息传递方式，携带着丰富的情感信息，目前基于语音信号的情感识别研究已受国内外相关研究机构的广泛关注。本文针对四类常见的情感状态：生气、高兴、悲伤和惊奇展开语音情感识别研究。首先在现有语料库的基础上，对声学韵律特征和共振峰特征的情感区分能力进行了分析，并选择在基频、能量、语速和共振峰等参数的基础上衍生出情感特征。接下来使用 Elman 反馈网络进行语音情感识别，与常用的MLP(Multiply Layers Preceptor)相比该模型能够处理情感时序特征，更接近人耳连续的听觉机制。情感识别领域中广泛使用的情感特征按照时间粒度的差异可分为基于语句 (utterance based)的全局统计特征和基于语音帧 (framebased)瞬时特征，但这两类特征的时间粒度选取是否合理并未得到验证，于是提出使用基于语段的特征用于语音情感识别，并给出“最佳识别段长”的概念。实验表明，系统识别率同语段长度有着较强的相关性，系统识别率在使用段长为 140 帧/段的语段特征时达到最高，与使用全局特征相比系统性能提高了 4.2%。通过比较使用全局统计特征时的识别结果和使用基于语段的时序特征的识别结果，可以得出这样的结论：全局统计特征和时序特征侧重于在不同的情感维度上区分情感。最后，为进一步提高系统识别性能，构建了 Global Control Elman 网络将两类特征相融合。经过特征融合后的系统识别率与分别单独使用全局统计特征和时序特征均有所提高，达到 66.0%。上述相关研究工作为后期进行深入的语音情感识别技术研究打下基础。关键词语音情感识别；声学特征；人工神经网络；Elman 网络-I-哈尔滨工业大学工学硕士学位论文AbstractEmotions play a significant role in human perception and decision making.Along with the rapid development of artificial intelligence these years, it hasgreat important theoretical and practical significance to improve human-machineinteraction by using emotion intelligence. Speech as the most important mediumof human communication contains lots of emotional information of the speakers,so how to automatically recognize emotional states from speech is the subject ofattention by researchers from related research institutions at home and abroad.Research of speech signal based emotion recognition is developed focusing onthe four kinds of emotional states: anger, happiness, sadness and surprise whichcan be always found in daily life.Firstly, the prosodic and formant features ability to discriminate emotionstates is analyzed based on the emotional corpus constructed previously. Emotionfeatures are all derived from pitch, short-term energy, speech rate and formant.Then, an Elman recurrent network based model is used to recognize emotionsfrom speech. Comparing with the well-used MLP, Elman network has the abilityto process temporal features, therefore, it is closer to the continuous hearingmechanism of humans ears. The utterance based global statistic features and theframe based temporal features have been widely used in speech emotionrecognition domain, but the rationality of term length they based on is notverified. Therefore, utterance segment based features are extracted and used,furthermore, a concept named “the best segment length for recognition” isproposed. The result of experiments shows that the recognition rates of systemand segment length share a strong correlation, and the best system performance isobtained by using segment based features whose segment contains 140 speechframes, moreover, the recognition rate is improved by 4.2% comparing to usingglobal features. Conclusion is achieved by comparing the recognition resultsobtained by global statistic features and temporal features respectively that thosefeatures tend to reflect different aspects of emotions. Finally, a novel modelnamed Global Control Elman is advanced to combine the two kinds of featurestogether. The accuracy obtained by feature combination is higher than that- II -哈尔滨工业大学工学硕士学位论文obtained by each kind of features alone, reaching a maximum of 66.0%. Researchwork described above makes a good foundation for delving into speech emotionrecognition technology on later stage.KeywordsSpeech Emotion Recognition; Acoustic Feature; Artificial NeuralNetwork; Elman Network- III -哈尔滨工业大学工学硕士学位论文目录摘要 .IAbstract . II第 1 章 绪论 . 11.1 研究背景 . 11.2 语音情感识别技术研究现状 . 11.2.1 情感分类研究 . 21.2.2 情感语音数据获取 . 31.2.3 语音情感特征选择 . 41.2.4 语音情感识别方法 . 51.3 论文的研究内容和主要工作 . 7第 2 章 语音情感特征提取与分析 . 92.1 语音情感表达概述 . 92.2 情感语料库简介 . 102.3 语音信号预处理 . 112.3.1 预加重 . 112.3.2 分帧 . 112.3.3 加窗 . 122.4 表达语音情感的韵律学特征 . 122.4.1 基频 . 132.4.2 基频尾部斜率 . 132.4.3 短时能量 . 142.4.4 语速 . 152.5 表达语音情感的音质特征 . 162.6 本章小结 . 17第 3 章 基于神经网络的语音情感识别模型 . 193.1 语音情感识别模型的选择 . 193.2 神经网络简介 . 203.2.1 神经元 . 203.2.2 网络拓扑结构 . 223.2.3 网络学习算法 . 23- IV -哈尔滨工业大学工学硕士学位论文3.3 MLP网络模型. 253.4 Elman网络模型 . 263.5 Global Control Elman语音情感识别模型 . 293.6 本章小结 . 30第 4 章 语音情感识别系统实现 . 314.1 基于语句特征的语音情感识别 . 314.2 基于语段特征的语音情感识别 . 334.2.1 语音情感识别实验 . 334.2.2 实验结果分析 . 334.3 基于特征融合的语音情感识别 . 384.3.1 语音情感识别实验 . 384.3.2 实验结果分析 . 404.4 本章小结 . 40结论 . 41参考文献 . 43攻读学位期间发表的学术论文 . 47哈尔滨工业大学硕士学位论文原创性声明 . 48致谢 . 49-V-哈尔滨工业大学工学硕士学位论文第1章 绪论1.1 研究背景语音不但是人与人之间交流、沟通的重要手段，也是新型人机交互中人们期待的最为方便、自然的交互方式之一。语音信号处理作为一个重要的研究领域，已经有着较长的历史，它在人工智能和信号处理领域占据重要位置1，与该领域中的前沿学科密切相关。随着新型人机交互技术以及心理学研究、机器人技术、虚拟现实技术等新兴技术的出现，侧重于表层信息（词汇信息）的传统语音信号处理逐渐显露出局限性2。研究表明，在人机交互中需要解决的重要问题与人和人交流中的重要因素一致，关键都是“情感智能”的能力。计算机要能够更加主动地适应操作者的需要，首先必须能够识别操作者的情感，再根据情感的判断来调整交互对话的方式。由此，提升智能计算机通过语音进行情感识别的能力对新型人机交互有着重要意义，目前情感信息处理研究逐渐被越来越多的国内外学者所关注。情感信息处理技术包括多个方面，主要有情感特征分析、情感识别（如肢体情感识别、面部情感识别和语音情感识别等）和情感模拟（如情感语音合成等）。Petrushin3指出语音情感识别是语音情感处理的一个重要分支，其任务是利用语音中包含的声学特征确定话者的情感状态，在人工智能和信号处理领域有着重要的应用价值。语音信号中情感信息的识别对改善人机交互能力有着显而易见的作用，它将能有效地改变过去计算机呆板的交互服务，提高人机交互的亲切性和准确性。在信息家电和智能仪器中增加自动感知人们情绪状态的功能，可以提供更人性化的服务；在远程教育平台中，情感识别技术的应用能很好的提升教学效果。此外，情感识别还能应用在互动电影、电子商务、智能玩具、游戏等相关产业中，以构筑更加拟人化的风格和更加逼真的场景4。还可用来辅助语音识别，提高语音识别的性能。1.2 语音情感识别技术研究现状语音的情感识别是目前信号处理及模式识别领域的一个新的研究热点，在人工智能、虚拟现实技术、新型人机交互技术、心理学研究等许多领域有着重-1-哈尔滨工业大学工学硕士学位论文要的意义。语音信号的情感识别可以看成一个模式识别的问题，语音情感识别系统的建立主要有以下几个关键技术：情感的分类、建立情感语音数据库、选择语音情感特征参数和情感识别模型的构建。1.2.1 情感分类研究情感的分类是一个有趣而复杂的问题，已有许多学者对这个问题展开了讨论。究竟什么是情感？是否存在彼此独立的、具有人类普遍性的基本情绪类型？国内外的许多学者都曾给出过关于情感的定义，Oatley和Jenkins的观点较得到广泛的认可，他们认为情感是人与人之间相互交流的信息，由思想和外部事件引起的行为、生理变化和主观体验组成。然而，关于情感的分类问题仍然是当今情绪领域最热门的争论之一。总地来说，情感的表示方法主要分为离散的和连续的两类。(1) 离散描述法离散描述法中，通常用日常语言标签来标识和分类情感。比如：生气、高兴、害怕和厌恶等。根据情感的纯度和原始度，情感可分为两大类：主要情感(原始情感)和次要情感(派生情感) 5。大 部 分 研 究 者 认 为 主 要 情 感 有 ： 害 怕 (Fear) 、愤怒 (Anger)、高兴(Happiness)、悲伤(Sadness)和厌恶(Disgust) 6。这些情感是人类和所有具有社会性的哺乳动物所共有的，产生时都会伴有一些明显的面部表情变化。次要情感由主要情感变化或者混合而得的，Cowie7认为次要情感的生成理论与三原色混合原理类似，并称之为情感的调色板理论。他认为自豪是高兴的一种变化形式；感激是高兴的一种派生。讽刺、友爱、亲切和惊奇等，也都是次要情感的例子。次要情感是为了适应文化、社交等要求，在人类的特殊社会性基础下进化而成的，所以低等哺乳动物一般不具备该类情感。(2) 连续描述法除了用标签的方式将情感描述为一些离散的类别，一些研究者用连续维度的方式来描述情感类别。这些方式都基于一个假设，即情感状态与具有某种维数的空间坐标点一一对应。由此推出一些简单又能被广泛适用的连续情感描述模型，最为常用的是激励 -评价 -强度空间理论 (activation-evaluation-power space) 8, 9。-2-哈尔滨工业大学工学硕士学位论文情感状态的激励-评价-强度空间理论如图 1-1 所示。它从以下三方面对情感空间进行刻画：其一，激活度或唤醒度(Activation or Arousal)用来描述与情感状态联系的机体能量激活的程度。表现为情感的激烈程度，如愤怒、高兴等是较激烈的情感，对应着交感神经的激发；而悲伤则是比较平缓的情感，对应着副交感神经的激发；其二，评价度或愉悦度(Evaluation or Pleasure)，表现在“价”的概念上。描述了感情是正面的还是负面的。其三，强度维度(Power)是用来表示情感状态对授体影响的控制程度，我们也把它称作情感的控制维，或者确认维。图 1-1 中，纵坐标表示激励的程度；横坐标轴表示评估的价；控制的程度由圆形的大小与颜色的变化来表示，面积越大表明控制程度越强。与离散法相比较，这种用空间坐标标识情感状态的方法能够更细致地刻画情感，并且情感状态的日常语言标签描述和该坐标空间能进行相互转化，通过对情感状态语言描述的理解，甚至是估计，就能找到它在激励-评价-强度空间中的位置。图 1-1 激励-评价-强度空间Figure 1-1 Activation-Evaluation-Power space1.2.2 情感语音数据获取一个丰富、高效的情感语料库是高水平语音情感研究工作的良好开端，然-3-哈尔滨工业大学工学硕士学位论文而由于语音情感的多样性与复杂性，使得情感语音数据的采集和整理工作具有较大难度，目前为止并没有一个标准的情感语料库供大家使用。总结以往研究者的经验，语料的收集手段大体可以分为三类10：Spontaneous speech、Actedspeech和Elicited speech。Spontaneous speech是最理想的情况，就是在录音者毫不知情的情况下进行录制，这样得到的语料最自然也最直接，但同时也比较难以收集。Acted speech的方法则是邀请一些职业或业余的演员，让他们以不同的情感朗读指定的句子，这种收集方法较为常用且容易实现，但所收集到语料的质量取决于录音者的模仿能力，同真实情感之间通常有一定的差距。Elicitedspeech获取时，研究者通常会让录音者看一段包含某中情感的电影片段，以此来引发录音者的情感变化，这种方法得到的语料比较接近真实情感，但情绪氛围的营造需要较高的技巧，且对不同的录音者的诱导效果也不尽相同。三种方法都存在这其局限性，总的来说，目前的情感语音数据库研究还处于起步阶段，缺少一套完整的、可供参考的采集和管理方案，及可供研究共享的情感语音数据库。1.2.3 语音情感特征选择语音情感识别的最优性能，即为达到人类的识别水平。从情感语音信号的形成开始，计算机和人类对情感识别机制的最初差异，就是情感声学关联特征的获取。如果不能准确的或者尽可能接近的以人类的方式对情感语音进行特征提取，那么其后识别性能的差距就会越来越大。基于心理学和韵律学研究的结果，说话者的情感在语音中最直观的表现就是韵律特征11和语音质量特征12的变化。韵律特征主要有音调、音强和语速等特征，一般用基频、能量、时长等声学参数描述；音质特征如呼吸声和喉化音等13，一般用相关频谱参数描述。因此对语音情感识别的研究也是普遍从韵律特征和音质特征14开始。尤其是韵律学特征，被认为是最主要的语音情感特征15。究竟那些声学参数能够有效地区分情感，如何建立语音情感与声学参数的关联，有着重要的意义。MIT媒体实验室Affective Computing研究所情感计算小组是世界上第一个大规模研究情感及其计算的科研机构。成员Chan16开发了第一个情感语音合成系统“effect editor”，首先尝试了使用基频、时长、音质和清晰度等声学参数的变化来合成情感语音。实验验证了声学参数与情感状态的相关性，并提出悲伤情感具有最显著的声学特征模式，而高兴、惊讶和愤怒等情感具有相似的声-4-哈尔滨工业大学工学硕士学位论文学特征，容易混淆。该相关性的验证为语音情感识别的声学特征选择打下基础。另一位成员Raul Fernandez17从语音的韵律学参数入手，从基于局部（音节水平）和基于全局（语句水平）两个角度分析语调、响度、节奏和语音质量等 4 方面特征对情感状态的贡献，并比较了计算机情感识别与人类情感的性能差异。模式识别国家重点实验室较早开始了普通话情感语音研究工作，实验室成员Tao等18对情感语音的韵律学特征：声调、语速、强度和共振峰特征进行了重要性分析。实验表明，基频特征是最重要的特征，时长、强度和共振峰特征对情感识别也有贡献。实验对声学特征于情感状态重要性的评价，对语音情感的识别和合成都有借鉴意义。清华大学的蒋丹宁19使用语音的韵律统计特征与时序特征分别进行同话者情感识别，最后通过统计方法对两类识别结果进行融合。实验证明融合统计特征与时序特征的做法能够在一定程度上提高系统性能。Nicholson等20在特征提取部分，每一句情感语音被分成等长的 20 段，从每一段语音中分别提取功率、基频、12 个LPC系数和Delta LPC系数。然 20 段语音的特征按时间顺序排列，组成 300 维的特征矢量，作为该句情感特征。验证了这种多语段特征组合的方法能有有效地区分情感。需要注意的是语音与其它情感载体有所不同，它作为语言的载体具有地域和文化的差异，不同语种，甚至同语种不同地域之间情感表达的声学特征也不尽相同。英语等西方语系是重音语言，它们以重音来区分语义；普通话作为声调语音，它与重音语言有着很大的差别，因此西方语系的语音情感识别研究经验和成果不能全都适用于普通话语音的情感研究。我们应该寻找，挖掘出能有有效表达普通话情感信息的情感特征，以推进普通话语音情感处理技术的发展。1.2.4 语音情感识别方法在情感语音声学分析的基础上，情感语音识别的核心问题变成了寻找一个合适的模式识别的模型。各种模式识别方法，如决策树(Decision Tree, DT)、高斯 混 合 模 型 （ Gaussian Mixtures, GM ）、 人 工 神 经 网 络 （ Artificial NeuralNetworks, ANN）、线性判别分类器(Linear Discriminate Classifier, LDC)、K 近邻法(K-nearest neighbor, KNN)、支持向量机(Supported Vector Machine, SVM)和隐-5-哈尔滨工业大学工学硕士学位论文马模型(Hidden Markov Model, HMM)等，都被应用于语音的情感识别，并取得了一定的效果。Nicholson等20使用了一种称为One-Class-in-One(ONOC)的网络拓扑结构用于语音情感识别，每一种情感训练一个子网络，利用各个子网络的输出经过决策得到识别结果。每个子网络是一个多层感知器，包含 300 个输入节点，一个输出节点和一到二个隐含层，对每一个待识别的情感语句，将其特征矢量输入到每一个子网络中，再根据各个子网络的输出判断其属于何种情感。为了做比较，Nicholson另外使用了All-Class-in-One(ACON)的网络结构和学习矢量量化网络(Learning Vector Quantization, LVQ)。最优识别率 73%由OCON网络得到，模型有效性得到验证。Park等21认为人脑是一种高维的线性动态系统，为了模拟人脑的动态功能，构建了一种动态循环神经网络(Dynamic Recurrent Neural Network, DRNN)用于四类情感的识别，该模型具有一个输入节点、两个隐含层节点和四个输出节点。Petrushin22开发了一个以电话呼叫中心为应用目的的实时情感识别器，使用一个三层神经网络对激动和冷静两类情感进行识别，平均识别率达到 77%。Bhatti等15使用一种类似文20中ONOC结构的模块组合神经网络(ModularNeural Network, MNN)，使用的特征维数远远少于 300，只有从 17 个韵律特征参数中基于特征选择方法选择出来的 12 个有效特征，该方法对六种情感状态的平均识别率达到 83%左右。另外，文2326中的情感识别模型均在神经网络的基础上建立，取得了不错的识别效果。Raul Fernandez17用Teager能量算子作为声学特征，以动态特征集结合混合隐马模型(Mix-Hidden Markov Model, MHMM)和全局平均特征结合SVM和多层感知器(Multiply Layers Preceptor, MLP)，两种特征和分类器组合方式进行分类实验。在说话人相关与说话人无关情况下，分别得到 61.2%和 51.2%的最优识别率。New27等采用了对数频率能量系数和HMM分类方法，做法是将语音信号分成 16ms的相互重叠的窗口，然后用FFT(Fast Fourier Transform)将其变换到频域并通过多个滤波器，计算其短时能量，对计算出的能量系数再用矢量量化器进行编码。这种方法能够比较有效地识别出语音所包含的情感，但还不足以反映情感的细节，对情感进行精确的划分。Lee等28采用了LDC、KNN和SVM进行情感识别。LDC是带有高斯概率分-6-哈尔滨工业大学工学硕士学位论文布的参数方法，估算完参数的均值和方差后，利用Bayes准则计算出最大后验概率对情感进行分类。KNN通过计算k邻域的平均值估计每类情感的局部后验概率。在SVM中，用非线性的映射方法将输入向量映射到更高维的特征空间进行计算。Dellaert等29 从基频轮廓曲线提取特征参数，识别悲伤、愤怒、高兴、中性和害怕五类情感，采用了最大似然贝叶斯分类法（ Maximum LikelihoodBayes Classification, MLBC）、核回归（Kernel Regression, KR）和KNN三种分类器进行识别实验，以比较它们的性能。通过留一法进行交叉验证，KNN分类器取得最好的识别性能，识别率为 64%。另外，文献3035的研究成果均具有反映现今研究水平的代表性。总得来说，现有的语音情感识别方法都是基于有监督的模式识别方法。在给定的训练数据和特征向量基础上，训练分类模型，并用它对测试样本进行分类检测分类器的识别性能。常用的识别模型根据其处理的情感特征时间粒度不同，可分为两大类。一类包括SVM，KNN，ANN，GMM，LDC等，具有固定维数的输入，被用于基于语句的情感识别，一个情感语音测试样本对应于一个特征向量，其输入的特征向量包含固定个数的全局统计量，不具备反应情感特征时序变化的能力。另一类分类器包括HMM等，一般要求特征向量形式为短时特征，它能够对时序特征有效的建模，所以比较适合用于实时语音情感识别的应用。选择合适的识别模型对语音情感特征进行处理是语音情感识别过程中重要的一步。各国研究人员在语音情感信息处理领域做出大量研究工作，然而由于研究对象（语种）各异，语料数据库没有统一的标准，造成识别结果相差悬殊，可比性差。总而言之，整个语音情感信息处理领域还处在一个较低的水平，发展前景还很广阔。1.3 论文的研究内容和主要工作本文在智能人机交互的应用背景下，以本实验室录制的普通话情感语料库为基础，从语音情感特征分析选择与情感识别模型构建两个方面着手研究工作,目的是建立一个具有良好情感识别能力的语音情感识别系统。本文所做的工作，借鉴了前人的研究成果，同时也包含了作者的创新。本文的研究内容、主要工作和成果归纳起来主要有以下几个方面：(1) 情感特征选择与提取-7-哈尔滨工业大学工学硕士学位论文在情感语音同情感特征的相关性问题上，我们希望找到能够有效表达和区分情感的特征组合。通过对情感数据库中语料展开声学特征提取、统计和分析，比较各类特征对情感类别的区分能力，确定情感关联的情感特征集合。(2) 语音情感识别模型构建考虑到人工神经网络强大的从复杂和非确定性数据中寻找有意义规律，探测并提取人类或者其它分类技术不能探测到的规律和趋势的能力，本文选择在神经网络的基础上构建识别模型。为了在识别过程中能够处理情感时序特征，反馈网络成为首选。(3) 基于语段的情感特征以语句为单位提取的全局统计特征，在语音情感识别研究中被广泛使用，但是它是否能够最有效地表达相应语句的情感，并没有得到验证。我们知道，人耳对声音的感知是连续、积累的，因此考虑使用基于语段的情感特征时间序列进行识别。使用基于不同段长的语段情感特征时间序列进行实验，结果表明并不是全局统计特征导致最优的情感识别率。(4) 时序特征和全局统计特征的融合经过实验分析，发现时序特征和全局统计特征在情感识别上各有侧重，验证了Cowie36关于两类特征在情感识别上可能侧重不同的猜测。为了进一步提高情感识别性能，构建了全局控制Elman模型对二者进行融合，系统性能得到了明显的提高。-8-哈尔滨工业大学工学硕士学位论文第2章 语音情感特征提取与分析2.1 语音情感表达概述人们通过一系列的面部表情、语音、肢体动作以及身体的大量生理参数来表达表情。然而，情感识别领域研究的情感主要表达方式还以面部表情和声音为主。由 1.3.3 节介绍可知，就语音方式来说，人类的语音传达了两类信息：语言学信息和超语言学信息。因此，首先从语言学和声学两个方式来考虑情感的表达。那么当人类识别语音的情感状态时，哪种方式所起的作用更大呢？仅靠单一的声学特征信息是否足以识别语音的情感？为了检验这些问题，Yang和Campbell37做了情感语言听辨实验。13 个未经语音知识训练的中国人（5女、8 男）和 5 个不会中