基于SVR的语音情感识别

基于SVR的语音情感分析与研究基于SVR的语音情感识别学生姓名：吴红霞 指导老师：杨鸿武学生届别：2009届 专业：电子信息工程班级：电子（2）班 学号：200572020234摘要随着计算机网络通信技术和多媒体技术的飞速发展，新型的人机交互(Human MaChine Interaction,HCI)技术已成为当前计算机科学领域一个十分活跃的研究课题。语音情感识别的研究对于增强计算机的智能化和人性化，开发新型人机环境，以及推动心理学等学科的发展，有着重要的现实意义，并最终产生很大经济效益和社会效益。 本文提出了一种连续语音情感识别方法, 提取了含有10种情感语音信号的基频，时长，能量，停顿等情感特征。通过与不带情感的平静的语音信号的比较，总结了不同情感语音信号情感特征的分布规律，利用SVR建立了情感特征参数的匹配模型进行语句情感特征的识别 。关键词：情感识别；语音信号；支持向量回归算法。Abstract With the rapid development of computer network communication and multi-media technology of new Human machine interaction（HCI）has becomea very active study subject in the computer science field at present . The studyas enhancing the intelligence and humanity of computer ,development new human-machine environments, promoting the study of psychology. This paper puts forward a kind of voice classification method, containing 10 kinds of emotions extraction of speech signal frequency, duration, energy, pause, such as characteristic. Without emotion with the calm voice signal, summarizes the characteristics of different emotional speech signal, the distribution of emotion is established using the SVR emotional characteristic parameters matching model identification of emotional statement.Keywords: emotion recognition; speech signal; SVR. 目录摘要Abstract第一章 引言1.1 语音情感识别的研究背景及意义1.2 论文的研究内容第二章 语音情感识别技术产生机理及模型2.1 语音产生的生理基础2.2 语音产生的物理模型2.3 语音信号中的情感特征分析第三章 情感语音库的建立3.1 情感语音的分类3.2 情感分析用语音资料的选择3.3 语音数据的音节切分第四章 语音情感的特征参数分析与提取4.1语音信号的预处理4.2语音情感特征的分析4.2.1时间构造的分析4.2.2振幅能量构造分析4.2.3基音构造的分析4.3基于汉明窗的情感特征参数提取4.3.1汉明窗简介4.3.2振幅能量参数的提取4.3.3时间参数的提取第五章 语音情感识别5.1 支持向量回归SVR5.2 利用SVR建立特别参数识别模型5.3 语音情感的识别第六章 结论致谢参考资料第一章 引言1.1 语音情感识别的研究背景及意义 语音信号中的情感信息是重要的信息资源，它是人们感知事物必不可少的部分。例如同样一句话，由于说话人的表现的情感不同，在听者的感知上就会有较大的差别，所谓“听话听音”就是这个道理。然而，传统的语音信号处理技术把这部分信息作为模式的变动和差异噪声通过规则化处理给去掉了。实际上，人们同时接受各种形式的信息，怎样有效的利用各种形式的信息以达到最佳的信息传递和交流效果，是今后信息处理研究的发展方向。 语音情感识别是建立在对语音信号的产生机制深入分析的基础上，对语音中反映个人情感信息的一些特征参数进行提取，并利用这些参数采用相应模式识别方法确定语音情感状态的技术。随着新型的人机交互技术的快速发展，语音处理领域产生了许多热门的研究方向，如个人机器人、语音识别、语音合成、语音的转换、语言翻译、个人隐私保护等。而其中，语音情感识别技术的研究是伴随着这些主要的研究方向的兴起而发展。它在这些方向中，具有广泛的运用。在个人机器人的研制中，提出最基本的要求就是它能够领会人的情感，并能够在理解人情感的同时以适当方式表达出自己的情感;同时考虑到目前个人机器人在接受信息和自身运算上的限制，对于语音情感的研究将是它理解情感的最有效途径。在语音识别中，对特定人的语音进行训练时，即使说相同的内容，但在不同年龄段，不同的地点，不同的情绪等环境下都会直接对训练效果产生重要的影响，而利用语音情感识别技术，可以尽量将各种不同情感状态下的语音统一起来，保持主要的个人信息、在统一刻度下，这样就可以大大提高识别率。在语音合成中，特别是基于音素连接的文本到语音合成系统中，可以通过结合语音情感识别技术，使重建的语音具有符合要求的情感成分;这样就可以避免为录制不同情感状态的语音库而付出昂贵费用;同时，重建的语音需要进行相关的韵律修改工作，借以产生合适的基频、能量等信息。在语音的转换和语言翻译中，目前的系统往往在对语音进行变换后，扭曲了原有语音中的情感信息;通过采用语音情感识别技术可以对处理后的语音进行情感的恢复，从而保证了语音中信息表达的完整与准确。语音情感识别还可以应用在教学辅导、自动告警及娱乐等方面。随着工internet的普及以及计算机性能的大幅提高，语音情感识别技术将被广泛应用在更多的领域，会有非常好的经济效益和社会价值。1.2 论文的研究内容 语音情感识别，就是通过分析人们语音对应于情感的变化规律，利用计算机从语音中准确提取情感特征，并根据这些特征确定被测对象的情感状态。 本文针对含有放松，温顺，惊奇，喜悦，轻蔑，厌恶，恐惧，悲伤，焦虑和愤怒等10种情感的语音信号，分析了它们的时间构造、振幅构造和基频构造的特征。并且通过和不带感情的中性语音信号进行比较，找出了不同情感信号特征的分布规律，利用SVR建立了情感特征参数的匹配模型进行语句情感特征的识别。语音情感识别的流程框图： 语音输入结果输出预处理特征提取模式匹配识别构建SVR参数模型第二章 语音情感识别技术产生机理及模型2.1 语音产生的生理基础 人类发声是由肺部收缩，压迫气流由支气管经过声门和声道引起音频振荡而产生的，声道起始于声门处而终止于嘴唇，包括咽喉(连接食道和口)、口腔，鼻道则是从小舌开始的到鼻孔为止。当小舌下垂时，鼻道与声道祸合而产生语音中的鼻音。发声过程中声道各处的截面积取决于舌、唇、额及小舌的位置。声道截面积随纵向位置而变的函数，称为声道截面积函数。声道的共振峰特性主要决定于声道截面积函数，共振峰特性决定了所发声音的频谱。这里我们可以看到，声道是对发音起绝对性作用的器官;但从声学的观点来看，可以将声道拉直而完全不影响其声学特征，这样就便于我们从物理声学的角度来分析它的贡献。人类的发音过程有三类不同的激励方式，因而能产生三类不同的声音，即浊音，清音和爆破音：(1)浊音的情况:当气流通过声门时，声带的张力刚好使声带发生较低频率的张驰振荡，形成准周期的空气脉冲串，这些空气脉冲激励声道便产生浊音。此时，声带的绷紧程度不同，振动的频率也不同。一般来说男子低，女子高;老人低，小孩高。同时要注意的是，浊音不光包括所有的元音;也包括一些浊辅音(如:发r，1，m，n等)。(2)清音的情况:声道中某处面积很小，气流高速冲过此处时而产生湍流，当气流速度和横截面积之比大于某个门限时(临界速度)便产生摩擦音，即清音。包括了清辅音，还有r，1，m，n以外的声母。(3)发爆破音的情况:如果声道的某处完全闭合建立起气压，然后突然释放而产生的声音就是爆破音(如:发p，t，k，d，b，g等。）2.2 语音产生的物理模型 在研究发声器官和语音的产生过程后，便可以建立一个离散时域的语音信号产生模型。如图2.1所示，该离散模型也称之为声源调制模型。由图2.1可知，模型包括三部分:激励源，声道模型和辐射模型。激励源分为浊音和清音两个分支，按照浊音/清音开关所处的位置来决定产生的语音是浊音还是清音。在浊音情况下，激励信号是由一个周期脉冲发生器产生的序列是一个周期为的冲激序列，即每隔点便有一个样值为1，而其它皆为0。周期。取决于基音频率和语音信号的采样率,即，其中和皆以Hz计算。与脉冲激励周期相关的语音感知特性，称为音高。为了使浊音的激励信号具有声门气流的实际波形，还需要使上述的冲激序列通过一个声门脉冲滤波模型，其Z域传输函数为，其中都很接近1，由之形成的浊音信号频谱很接近于声门气流脉冲的频谱。乘系数的作用是调节浊音信号的幅度或能量。在清音情况下，激励信号由一个随机噪声发生器产生。可设其平均值为0，其自相关函数是一个单位冲激函数，则表明它的任何两个不同样点都不相关且其均方差值为1。此外还假定它的幅度具有正态概率分布(高斯分布)。乘系数 的作用是调节清音信号的幅度或能量。声道模型V(Z)给出了离散时域的声道传输函数，把实际声道作为一个变截面的无损声管加以研究，采用流体力学的方法导出，在大多数情况下它是一个全极点函数。这样，V(Z)可以表示为: （2.1）这里，把截面积连续变化的声管近似为p段声管的串连，每段短声管的截面积是不变的。如果给出声管的截面积随其轴向长度的变化曲线，就能得到它的面积函数，图2.2即为这样的例子。为了分析方便把连续变化的面积函数表示成阶梯形状，值为0cm时表示喉部，值为18cm时，表示嘴唇处。采用流体力学的方法，计算出不同面积函数处声管的频率响应及其共振峰。p为这个全极点滤波器的阶。显然，p值取得越大，模型的传输函数与声道实际传输函数的吻合程度越高。但是，对大多数实际应用而言，p值取816就足够了。若p取偶数，V(Z)一般由p/2对共轭极点，k=1p/2.各个分别与语音的各个共振峰相对应。辐射模型R(Z)与嘴唇有关，嘴唇的辐射影响引起的输出信号高频提升作用大约有每倍频程60db，这时R(z)表示为 模型中，除了G(Z)和R(Z)保持不变以外。、Av、Au、浊音/清音开关的位置以及声道模型中的参数都是随时间而变化的，由于发声器官的惯性使这些参数的变化速度受到限制。对于声道参数，在10至30ms的时间内可以认为它们保持不变，因此语音的短时帧一般取为20ms左右。对于激励源参数，大部分情况下这一结论也是正确的。根据这个模型，离散时域语音信号s(n)的Z变换S(Z)可以用一个统一的公式来计算:S(Z)=AE(Z)H(Z) （2.2）在浊音的情况下，E（Z）是一周期冲激序列的Z变换且A=，H(Z)=G(Z)V(Z)R(Z) （2.3）在清音的情况下，E(Z)是一个随机噪声的Z变换且A=，H(Z)=V(Z)R(Z) （2.4）2.3 语音信号中的情感特征分析 从语音产生的物理模型中，我们可以更准确的了解语音的产生过程，这将是分析语音信号的基础。在现实生活中，每个人的语音都具有自身的特点。通过一些研究人员在说话人识别的研究中发现，包含在语音信号中的个人信息是一系列各种因素的综合体，一个说话人区别于另一个说话人语音个人特征包括很多方面。在这些因素中，主要的可以分成三类特征：(1)基于音段的特征：主要指语音的音色和听觉方面的特征，在声源调制的语音产生模型中，主要指声道响应的频谱包络特性，比如共振峰的中心频率和带宽等因素，研究表明人类语音的主要区别在于共振峰的差别；(2)基于超音段的特征：又称语音的韵律特征，主要指说话人的种类特征、说话人风格、说话的语调、音高、情绪等方面的特征，在语音的声源一调制产生模型中常常和激励源的性质有关，比如浊音激励的周期性质，决定了说话人的音高的轨迹;(3)基于语言的特征：主要指由于地理区域的不同而使用的语种和方言的不同而表现出的特征。 第三章 情感语音库的建立3.1 情感语音的分类 对情感语音识别系统的输出结果是由标识情感状态的标签组成，因此选取合适的情感状态对于系统的识别研究是至关重要的。从心理学和生理学的角度，对情感的研究已有近一个世纪的历史。在语音情感的领域中，语言学家有很丰富的词汇来描述不同的情感状态，如Schubiger、OConnor和Amold在研究中曾经用了300个标签来区分不同的情感状态。然而，从工程学的角度将语音情感作为信息信号工学的研究对象来研究才刚刚开始。最初，为建立语音理解和会话系统，有人通过分析语音的韵律变化来判断说话人的态度、意图，来控制人机会话的过程。近年来随着计算机多媒体信息处理技术等领域的发展，情感信息处理技术也被越来越多的研究者重视，对情感状态类型的划分也是情感分析研究的一个重要部分。目前从心理学的角度以及相应的研究资料有不同的划分方法:在1996年，Dellaert提出以基音频率相关信息为主要特征分类的方法，并考虑了恐惧、愤怒、悲伤和高兴四种情感状态;1999年，Nihcolsno分析了包含有八种情感状态(恐惧、愤怒、悲伤、高兴、戏弄、沮丧、惊讶和中性的语音信号；在2001年，Cowie等提出了“调色板理论”，该理论认为就像通过混合原色可以调出其他颜色那样，通过确认最主要的几种基本情感状态也可以生成其他情感状态。“基本”情感状态包括:喜悦、悲伤、害怕、愤怒、惊奇和厌恶，它们往往被用作原型情感。尽管这几种情感状态只是生活中所有情感状态的一小部分，但它们仍代表众所周知的情感状态并被用来验证情感自动识别系统。 通过对国内外研究状况的了解，并结合自己对语音情感状态的理解和分析，在研究中，我们将情感分为基本情感和衍生情感两类。 基本情感：每种情感是一个离散的实体，存在几种“基本”的情感，每种情感都由特定生理模式以及面部表情和声音表达。例如:喜悦，悲伤，恐惧、愤怒，惊奇，厌恶。 衍生情感：“基本”情感的不同程度的修改和组合。例如：放松、温顺、轻蔑、焦虑等。 对上述这些语音情感分类并不足以充分代表所有的情感状态，但对语音情感自动识别原型系统而言它们是有效的输出方式。3.2 情感分析用语音资料的选择本文对分析实验用语句的选择主要考虑了以下三个方面。（1） 所选择的语句必须不包含某一方面的情感倾向;（2） 必须具有较高的情感自由度,对同一个语句能施加各种情感进行分析比较。（3） 对于语句的长度,辅音以及助词成分的构成,男女性的差异等都作了考 虑。 根据上述原则，我们设计了11 段适合于用中性和其他10种情感情感表达的文本语料. 在录音时, 为了兼顾情感的自然表达和语音文本内容的体现, 首先通过心理学测试选择专业录音人, 然后设置特定的场景激发录音人的情感表露. 录音中, 选择了一位男性普通话录音人（不是专业演员) 在录音棚中录音. 首先录制中性语音, 然后录制情感语音. 在录制中性语音时, 要求录音人用无表情的、语调和语速基本不变的方式朗读录音文本. 在录制11种情感语音时, 首先设置特定的场景激发录音人相应的情感表露. 当录音人的情感被激发出来后, 让其按照自然的情感表达方式读出11句情感语句. 表1 列举了5 句录音文本.表1 情感分析用 录音文本例句1（平静）在数字系统中常常采用二进制数，这是因为二进制数的基数为二，它只有零和壹两个数字，运算规则简单，便于电路实现。二进制数也采用位置计数法。每一个细胞都仿佛呼吸着一种叫做中性的情绪，我不由得说：“啊，荧光数字管、发光二极管、数字显示器等，经常采用七段字形显示，它可以显示数字和英文字母。”例句2（喜悦）把准备好的放着新家钥匙的盒子轻轻放在她手上，在看到她打开盒子眼睛里绽放出喜悦光彩的那一瞬间，我雀跃了，紧紧地握着她的手，就像紧紧握着幸福一样，每一个细胞都仿佛呼吸着一种叫做喜悦的情绪，我不由得说：“啊，我们有自己的家了！将来我们的孩子在那里长大，然后结婚，生子，你和我就天天哄孙子”例句3（惊奇）这是什么状况？我完全傻了眼的站在原地，手还保持着转动钥匙的样子，五秒中后才把大张的嘴巴勉强合上，眼神逐一扫过面前的每一个人，表情变得越来越微妙。每一个细胞都仿佛呼吸着一种叫做惊奇的情绪，我不由得说：“啊，这是做梦吗？你，还有你，不是在国外吗？怎么会出现在这里？ 快告诉我，是怎么回事？”例句4（悲伤）美丽的双眼紧闭着，已经有多久没有注视过我了啊。抚摸着那自己最爱把玩于手的秀发，眼泪却不争气的滴落在她美丽的脸庞上，赶紧用手抚去，每一个细胞都仿佛呼吸着一种叫做悲伤的情绪，我不由得说：“啊，如果我从不曾爱上你该多好，我也就不会知道心痛是什么滋味，可是，我还能做些什么呢心好痛。”例句5（愤怒）两次！三次！四次！五次！六次！第六次了！大周末的，谁这么无聊？什么鬼蛋节也不能这么玩啊！这还让不让人睡啦！气死我啦，我叫你响！一把抓起听筒。每一个细胞都仿佛呼吸着一种叫做愤怒的情绪，我不由得说：“啊，你有毛病啊！有完没完！有完没完！有本事打江泽民家！打邓小平家！打阎王老子家去阿！” 录音是在安静的房间里并且使用CoolEdit设备完成的。录制的语音用16 kHz 采样、16 bit 量化后以WAV 文件格式保存。为了检验所搜集的实验用情感语音数据的有效性，我们做了一个听取实验。我们要求以上三名发音者以外的另二名实验者坐在电脑终端前，然后随机播放所搜集到的带有各种情感的语句，让实验者通过主观评价说出所放语音的情感类型。经过反复听取比较以及数学上的有意性检定（Mcnemar检定），对其中情感特征不明显的句子进行了删除和重新制作。3.3 语音数据的音节切分对语音数据的音节切分、文本校对、基频标注已经完成。标注结果如下图所示 图3.3 “喜悦”与“悲伤”的语音数据通过对五种情感基频的分析可知，喜悦与愤怒的基频相对其他情感来说较高。 第四章 语音情感的特征参数分析与提取4.1语音信号的预处理由于条件的限制，所录制的语音样本中含有环境噪音、电流声等影响情感识别的因素。通过对语音信号预处理的研究，可以改善语音信号质量，统一语音信号格式，并为后继的语音特征提取和情感识别打好基础。语音信号预处理包括反混叠失真滤波、模/数变换、偏差校正、预加重、去噪处理以及语音信号的平滑处理等许多方法。因为录音是用CoolEidt录制，用16 kHz 采样、16 bit 量化后以WAV 文件格式保存的，所以没有在预处理中没有再进行采样量化。 l、预加重因为发声过程中声带和嘴唇的效应，使得高频共振峰的振幅低于低频共振峰的振幅，进行预加重的目的就是为了消除声带和嘴唇的效应，来补偿语音信号的高频部分。广泛使用的预加重网络是个固定的一阶数字系统，信号方程为:y(n)=x(n)-ax(n- l) 0.9a 0 ， 0 ，i=1,2,， 不等于零的项所对应的 是支持向量。表示所采用的点积核函数。一般情况下由于 未知, 不能直接极小化, 因此通过极小化 (3)求解( 2 ) 式中的系数，b 。( 3 ) 式中, 第一项() 定义了模型复杂度，第二项表示训练集上的经验损失函数，C 为平衡常数，体现一、二两项之间的折中关系. 其中为不敏感损失函数.引入一对松驰项 和后，( 3 ) 式最小化问题转化为最优化问题 （4）引入Lagrange 乘子 和 后, 根据Wolfe 对偶原理, ( 4 ) 式等价于（5）通过( 5 ) 式得到最优的后, 利用任意训练数据由( 2 ) 式可求得参数, 这样便可对新的输入数据进行预测.PAD介绍 PAD 情感状态模型由UCLA 大学的Mehrabian博士开发。它由三个维度组成： 1. Pleasure-Displeasure: 愉悦度。表示情绪状态的正、负性。 2. Arousal-Nonarousal: 激活度。表示情绪生理激活水平和警觉性。3. Dominance-Submissiveness: 优势度。表示情绪对他人和外界环境的控制力和影响力 与传统的情感描述方法相比，PAD 模型主要有以下特点： 1. 在PAD 情感模型中，每一种情感都可以与PAD 空间的位置相对应。当PAD 得分被标准化以后，可以用唯一的三维坐标表示。表5.1 显示了当每一维被标准化至-1,1区间时，Mehrabian 总结的常见情感状态对应的参考PAD 坐标值。 2. 高置信度的评价。该模型中，PAD 情感坐标的评定通过一套精心设计的量表完成， 经过大量的实验得到的Alpha 内部一致性系数为（0.97,0.89,0.80）。该量表的汉化由中科院心理所完成，适用于评定中国人和汉语中的情感。 3. 三个维度基本独立。统计得到的PAD 三个维度之间的互相关系数为（0.06,0.03, 0.03）（p0.05），而维度间的独立性对于计算性研究是非常有义的：不同情感维度的语音声学表现将更容易分离，模型也可以得到简化。 表5.1 常见情感状态的参考情感坐标情感PAD情感PAD愤怒的-0.510.590.25迷恋的0.870.54-0.18厌倦的-0.65-0.62-0.33困惑的-0.410.48-0.33好奇的0.220.62-0.01困倦的0.20-0.70-0.44威严的0.550.220.61心不在焉的-0.13-0.410.08得意的0.500 .420 .23狂暴的-0.500.620.38饥饿的-0.440 .14-0.21愤怒的-0.510.590.25羞怯的-0.54-0.04-0.41好奇的0.220.62-0.01愤怒的-0.510.590.25迷恋的0.870.54-0.18厌倦的-0.65-0.62-0.33困惑的-0.410.48-0.33好奇的0.220.62-0.01困倦的0.20-0.70-0.445.2 利用SVR建立特别参数识别模型 根据情感语音的参数统计结果, 选取语音情感特征, 建立情感语音的特征参数识别模型. 在分析差异过程中, 选用情感特征来进行测量. 表3 列出了SVR 算法的输入参数和输出参数.输入参数输出参数特征参数F0、E、Dur、SilPAD参数利用SVR算法训练基频均值，能量均值，时长及间隔等特征的识别模型。 本研究SVR回归算法中采用了核函数多项式内积函数： 最后得到的PAD参数模版如下表所示情感语音评价结果（-1,1）P AD愤怒-0.86 0.660.91焦虑-0.46 0.58-0.13厌恶-0.44 0.220.36轻蔑-0.38 -0.70.6恐惧-0.33 0.65-0.72悲伤-0.28-0.36-0.78放松-0.01-0.780.33中性0-0.31-0.06惊奇0.230.640.01温顺0.27-0.07-0.14喜悦0.660.740.32 由上表可知：喜悦的愉悦度最高，愤怒愉悦度最低。喜悦和愤怒激活度较高，愤怒的优势度最高，对周围的影响力比较强。通过对模版10种情感状态下，各个情感特征参数基础参量和相应的PAD参数值的确定，就可以完成语音情感识别模版的构建。 5.3 语音情感的识别 构建完模版之后，对待测情感语音就可以进行识别了。识别时，调入要是别的语句提取上述情感特征参数并计算出其对应的PAD参数，就需要将待识别语音的PAD参数与10个情感状态模版进行比较，求出一个“距离”相似度，通过对相似度的比较就可以得到待测语音信号所代表的情感状态了。 识别流程如下：识别结果 情感识