（计算机应用技术专业论文）语音识别技术在安防监控系统中的应用研究.pdf

摘要 自9 11 事件后，随着人们对于实现平安城市建设的需求变得越 来越迫切，智能安防监控技术得到了突飞猛进的发展。本文针对当前 安防监控领域通过采用视频图像分析的方法进行现场监控和报警存 在的不足，将语音识别技术引入到智能安防监控系统中来进行研究。 通过对语音信息的分析来弥补视频图像信息的不足，进一步完善智能 安防系统的智能化程度。 本文针对语音信息在安防监控系统中的作用，选择语音情感和情 感关键词作为本文进行语音识别研究的对象。通过对反映语音情感的 特征的分析及以几种特征选择方法的比较，在前人的研究基础上，选 择了本文进行语音情感识别的特征组成情感特征向量。同时，分析了 当前几种常用分类器的不足，结合系统实时性要求高的特点，将本文 的特征贡献度融合近邻算法作为进行语音情感识别的分类算法。 对于语音中情感关键词的识别，首先通过对现有的几种典型算法 的分析，指出了这些传统方法的不足和存在的一些难点。接着结合应 用环境的需求，采用仿生模式识别理论构筑情感关键词的高维空间覆 盖区的方法来对情感关键词进行识别。在训练建模阶段，只需要构筑 各类特征提取后的情感关键词样本点的高维复杂几何空间的覆盖区， 无需对非关键词建模。识别的时候，直接对特征提取后的待识别连续 语音进行动态搜索识别，无需对被识别的连续语音进行端点检测和分 割。 最后，论文通过对实验结果的分析与讨论，取得了良好的实验效 果，并对论文课题的研究工作进行了总结和展望。 关键词语音情感计算，仿生模式识别，特征参数提取，关键词识别， 连续语音识别 a bs t r a c t s i n c et h e9 1 1i n c i d e n t ，a sp e o p l er e a l i z et h ei m p o r t a n c eo fp e a c ef o r t h e c i t y b u i l d i n g ，i n t e l l i g e n ts e c u r i t ym o n i t o r i n g t e c h n o l o g yh a s d e v e l o p e dr a p i d l y i nt h i st h e s i s ，a st h ec u r r e n ts e c u r i t ym o n i t o r i n g t h r o u g ht h eu s eo fv i d e oi m a g ea n a l y s i st oa c h i e v er e a l t i m em o n i t o r i n g a n da l a r me x i s td e f i c i e n c i e s ，s os p e e c hr e c o g n i t i o nt e c h n o l o g yi sa p p l i e d i n t oi n t e l l i g e n t s e c u r i t ym o n i t o r i n gs y s t e mf o rr e s e a r c h t h r o u g ht h e a n a l y s i so fs p e e c hi n f o r m a t i o nt om a k eu pf o rt h e1 a c ko fv i d e oi m a g e n f o r m a t i o n ，。t 。一t h ei n t e l l i g o f i n t e l l i g ,securityintormatlon i tc a ni m p r o v et h ei n t e l l i k e n c eo ft h ei n t e g e n ts e c u r i t y， s y s t e mf u r t h e r l y i nt h i st h e s i s ，s p e e c he m o t i o na n de m o t i o n a lk e y w o r d sa r es e l e c t e d a st h er e s e a r c ho b j e c t so f s p e e c hr e c o g n i t i o nw h i c hp l a ya ni m p o r t a n tr o l e i nt h ei n t e l l i g e n ts e c u r i t ym o n i t o r i n gs y s t e m t h r o u g ht h ea n a l y s i so f t h e f e a t u r e sw h i c hc a nr e p r e s e n tt h ee m o t i o no fs p e e c h a sw e l l a st h e c o m p a r i s o no fs e v e r a lf e a t u r es e l e c t i o nm e t h o d s ，t h i st h e s i ss e l e c t st h e f e a t u r e st o c o m p o s eo ff e a t u r ev e c t o ra n du s e si tt ow o r kf o rs p e e c h e m o t i o nr e c o g n i t i o n m e a n w h i l e ，a n a l y z i n gt h ed e f i c i e n c i e so ft h ec u r r e n t s e v e r a lo fc o m m o nc l a s s i f i e r sw i t ht h er e a l t i m er e q u i r e m e n t i tm a k e sa f e a t u r ec o n t r i b u t i o nt oi n o s c u l a t en e a rn e i g h b o ra r i t h m e t i ca st h ew a yt o d os p e e c he m o t i o n r e c o g n i t i o no ft h i st h e s i s i no r d e rt o r e c o g n i z et h ee m o t i o n a lk e y w o r d s ，f i r s t l y , t h i st h e s i s a n a l y z e ss e v e r a lr e p r e s e n t a t i v em e a s u r e sw h i c ha r ek n o w nt h a tt h e r es t i l l s e v e r a l p r o b l e m se x i s t ，t h e n c o m b i n e st h en e e d so f a p p l i c a t i o n e n v i r o n m e n t s ，t h i sa r t i c l eu s e sbi o m i m e t i cp a r e mr e c o g n i t i o nt h e o r yt o c o n s t r u c tt h ec o m p l e xh i g hd i m e n s i o n a lc o v e r i n ga r e a st o r e c o g n i z e e m o t i o n a lk e y w o r d s i nt h et r a i n i n gp h a s e ，i to n l yn e e d st oc o n s t r u c tt h e h i 曲d i m e n s i o n a lc o v e r i n ga r e a sf o rt h ef e a t u r ee x t r a c t e dk e y w o r d s a m p l e s f o rt h ef i l l e r i td o e s n tn e e dt oc o n s t r u c t a n ym o d e l a t r e c o g n i t i o nt i m e ，t h i st h e s i sd i r e c t l yu s e sd y n a m i cs e a r c h i n ga l g o r i t h mt o s e a r c ht h ef e a t u r ee x t r a c t e dc o n t i n u o u ss p e e c hw i t h o u t e n d p o i n td e t e c t i n g a n ds e g m e n t i n g -一一 rr e a l l y , t h i st h e s i sa n a l y z e sa n dd i s c u s s e st h e e x p e r i m e n tr e s u l t s h w h i c hc a nb ep r o v e di ti se f f e c t i v e t h e ni tm a k e sas u m m a r ya n d e x p e c t a t i o no f t h er e s e a r c h k e yw o r d s s p e e c h a f f e c t i v ec o m p u t i n g ，b i o m i m e t i cp a a e m r e c o g n i t i o n ，f e a t u r ep a r a m e t e rs e l e c t i o n ，k e y w o r ds p o r i n g ，c o n t i n u o u s s p e e c hr e c o g n i t i o n i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 作者签名：三逍乌一 日期：立煎 年由埘 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：垫阻导师签名益业日期：茸年三月卫日 硕：匕学位论文第一章绪论 第一章绪论 1 1 选题的背景及研究的意义 自9 1 1 事件以后，如何对国家重要安全部门和敏感的公共场合进行全天候、 自动、实时的监控，已成为世界各国高度重视的一个全球性问题。在这样的背景 下，视频监控技术得到了广泛的应用，即通过分散设置的摄像机记录监控场景， 并集中显示，使得监控人员可以实时了解发生的事件，以及时做出反应。但是， 有关研究已经表明，仅依靠视频监控中的人眼检测，即使是专业操作人员也难以 构成真正有效的安全系统。因为只要连续专注于监控屏幕超过2 0 分钟，监控人 员的注意力都会降低至不能满足监控要求的水平。 显然，传统的基于人工操作的视频监控不能适应实际应用的需要，开发新一 代的监控技术智能视觉监控技术的研究，近年来已受到广泛的关注。即赋予 监控系统观察分析场景内容的能力，使其更加智能化，能够在几乎不需要人为干 预的情况下，对摄像机拍录的视频序列进行自动分析，并及时做出反应。新一代 的智能视觉监控技术涉及图像处理、图像分析、机器视觉、模式识别、人工智能 等众多研究领域，是一个跨学科的综合问题，也是一个极具挑战性的前沿课题。 本文的选题背景是在当前智能视频监控技术实现智能视频监控的基础上，对 将声音识别技术引入到智能安防中进行研究。由于在智能视频监控中研究的对象 为视频图像序列，通过对视频序列的分析与处理进行各种报警预防处理，来实现 智能监控。但是对于摄像头监控范围以外的区域发生的事情并不能进行视频监控 与图像序列分析，无法观察到发生了什么事情。特别在小区环境中，并不能通过 摄像头观察到整个小区的各个角落到底发生了什么事情。同时，即使是在摄像头 的监控区域，如果监控的人没有做监控规n # i - 的事情，即使发生了任何事情，摄 像头获得的图像序列也不会进行任何报警处理。比如，在小区的停车监控区进行 防偷车的行为监控，如果在监控区域或者附近有人进行争吵，而此时并没有工作 人员对争吵区域所在的视频进行监视，那么是不知道那里发生了任何事情的，同 时也不会有报警记录，无法通知相关人员处理突发事件。 本文研究目的是通过引入语音识别技术中的情感识别和关键词识别技术来 处理视频序列无法处理的如争吵、打架、发生火灾的呼救等与语音有关的信息， 例如，当发生火灾的事情出现在小区的非视频监控区域的时候，不可能通过摄像 机来获得任何报警预告信息，但是在这种情况下，如果有人发现火灾，并进行呼 救的话，就可以对呼救人的语音进行关键词识别和语音情感分析，对监控人员进 硕士学位论文 第一章绪论 行告警通知并进行突发事情处理。如何通过对语音的分析处理来增强小区安防监 控的智能化程度，实现真正的智能安防小区，是本文所要探讨研究的问题。 1 2 研究现状 1 2 1 语音情感研究现状 近几年，研究者对语音中的情感信息表现出r 益浓厚的兴趣。他们从生理、 心理学角度的情感建模到语音情感的声学关联特征，以及各种针对语音情感识别 和合成的算法、理论展开了深入的研究。如国际知名大公司i b m 并ib r i t i s h t e l e c o m 等成立了专门的情感计算研究小组，国际知名的一些大学也纷纷建立情 感计算研究小组。总的来说，语音情感计算的研究还处于起步阶段。m i t 目前的 工作侧重于有关情感信号的获取( 如各类传感器的研制) 、情感计算的应用和可穿 戴计算机等乜，3 1 。现在己经有了一些产品问世，比如m i t 媒体实验室研制的情感 玩具虎、i b m 公司的情感鼠标等。可穿戴式计算机的出现为情感计算提供了一个 很好的情感数据采集环境，同时也是情感计算的一个很好的应用场所。情感计算 的最终表现形式可能是可穿戴计算机或植入人体的芯片，从而使人类可以不借助 鼠标键盘等设备和计算机自由和谐富有感情的进行交互。美国的m i t 媒体实验室 的情感计算研究小组( a f f e c t i v ec o m p u t i n gr e s e a r c hg r o u p ) 就在专门研究机器 如何通过对外界信号的采样，如人体的生理信号( 血压，脉搏，皮肤电阻等) 、面 部快照、语音信号来识别人的各种情感，并让机器对这些情感做出适当的反应h 1 。 目前，关于情感信息处理的研究正处在不断的深入之中，而其中语音的情感识别 因涉及到不同语种之间的差异，发展也不尽相同。日本、以色列以及一些欧洲国 家的科研单位都在进行情感语音处理研究工作。例如日本s g i 研究院的感知技术 开发的一种感知人类情感的花：k o t o h a n a 。它可以分析由麦克风输入的语音， 并根据语音的声调或重音来识别说话人高兴、悲伤、平静或兴奋得情感，通过l e d 灯产生各种颜色的闪烁。英国b o u r n e m o u t h 大学语音研究小组提出的多基音频率 r p p s o l a 方法，以语音单元的详细波形目录为基础，每个语音单元包含多个基频 版本。在语音情感的合成时选择接近给定的目标基频等量线的语音片段，通过语 音单元连接来实现语音情感的合成1 。b u r k h a r d t 和s e n d l m e i e r 也采用共振峰合 成的方法实现了7 种情感类型的德语语音合成肺3 ，这些情感分别是正常、生气、 高兴、恐惧、悲伤、厌恶和厌倦。而基于音素拼接的情感语音合成技术所用的基 元是语音波形，在拼接前要根据合成需要对所选的基元进行韵律调整，然后再拼 接，其中韵律的调整一般是由一个单独的情感韵律分析模块来完成的。i r i o n d o 2 硕上学位论文 第一章绪论 等利用这种音素拼接方法合成了西班牙语渴望、生气、高兴、恐惧、悲伤和吃惊 【7 。8 1 o 目前，国内部分相关的大学和研究院所也相继的展开了对语音情感识别方面 的研究工作，这些研究机构有：东南大学无线电工程系的赵立教授的实验小组的 用语音的韵律特征来进行普通话语音情感识别的研究四1 ，他们采用主元分析方法 进行普通话情感识别，通过录制的方法获得同一脚本的情感语音和自然语音，提 取持续发音时间、基频、能量和共振峰作为特征向量来进行语音情感识别。清华 大学计算机科学与技术系的蔡莲红教授主导的人机语音交互实验室展开了对普 通话语音情感识别研究n 0 1 ，他们通过特征的区别分析和分类试验，研究韵律学特 征在普通话语音情感识别中的作用。此外，还有浙江大学研究e - t e a t r i x 中虚拟 人物及情感系统构造n 。国家自然科学基金委也立项资助哈工大进行心理紧张等 情况下的r o b u s t 语音识别研究n 刿。国内研究内容主要是单元理论与技术的研究与 实现，中科院计算所高文教授领导的“多功能感知和信息融合理论与技术 研究 小组在情感计算方面己经开展了系统的工作，多功能感知机是集自然语言如语 音、文字与非自然语言如手语、人脸、表情、唇读、头势、体势等多通道为一体 的，并对这些通道信息进行编码、压缩、集成、融合的计算机智能接口系统n 川。 1 2 。2 关键词识别研究现状 关键词识别这一语音识别领域的研究开始于2 0 世纪7 0 年代。1 9 7 3 年，b r i d l e 的文章揭开了键词识别研究的序幕n 4 1 ，但那时只是称“给定词 的识别， c h r i s t i a n s e n 等的文章有了“关键词”的说法。 但真正的关键词识别研究应该是在2 0 世纪8 0 年代。m y e r s 等人利用基于d t w 的局部最小算法对关键词识别和连接词识别进行了研究【l5 1 。美国i t t 国防通讯部 的h i g g i n s 与w o h l f o r d 口刚用模板连接的方法实现了关键词检出( k e y w o r d s p o t t i n g ，k w s ) ，并提出了填料( f i l l e r ) 模板的概念。此后a t & t 的b e l l 实验室 w i i p o n 等n 实现了一个基于h m m 的5 个电话用语的、可以实用的k w s ，标志着k w s 研究的崛起。美国b b n 系统和技术公司的r o h l i c e k 等也研究了非特定人k w s 的连续 h m m 建模问题n 引，同时给出了k w s 系统的性能评价基准。 进入2 0 世纪9 0 年代之后，在基于h m m 的技术基础上，关键词识别技术的研究 重点是：一方面结合其他模式识别方法，进行性能提高和方法改进，及改进搜索 识别算法提高速度。如基于人工神经网络的方法n 引，该方法用人工神经网络对语 音流进行模拟，通过人工神经网络对语音进行识别，在关键词识别中，其主要用 来配合h m m 以达到较高的性能。还有基于支持向量机的方法嘲，这些方法都是对 h m m 方法的补充，目前还处于研究状态，并无稳定的系统出现。 3 硕 学位论文第一章绪论 另一方面则集中在对预处理特征矢量的选择、h m m 框架的改良、废料模型的 选择方面。对于特征矢量的选择，大部分的研究者都选取倒谱( c e p s t r u m ) 或者临 界带倒谱( m e lc e p s t r u m ) 来形成特征矢量。至于h m m 框架，一般都采用离散h m m 系统，按每个关键词k w 和每个废料g b 设立一个由左至右的模型，模型的状态数取 为9 或1 0 。也有一些研究中采用较小的次词( s u b w o r d ) 单位的h 删来组成关键词和 废料的h m m 。另外，一些系统并不建立废料模型的h m m ，但是其运算效率相对比较 低。而废料模型数和模型结构的选择以及如何训练这些模型，则是关键词确认系 统能否取得成功的一个关键问题，也是一个意见分歧很大的问题。 国内最初对关键词识别研究很少，只有清华大学、解放军信息工程学院的语 音实验室进行了相关的研究。清华大学的郑方教授提出了中心距离连续概率模型 ( c e n t e rd i s t a n c ec o n t i n u o u sp r o b a b i l i t ym o d e l ，c d c p m ) 比，它是一种h m m 修改模型。随着语音识别技术的发展，越来越多的大学和研究机构加入其中，有 中国科学院声学所、上海交通大学、哈尔滨工业大学等多所院校，他们在h m m 算 法的基础上有了很多改进。其中文献1 2 2 l 提出了采用特征空问轨迹移动匹配法进行 语音关键词检测的方法，并通过对特定人关键词检测实验，取得了一定的检测效 果。由于采用这种方法后语音轨迹之间可以采用线性移动匹配，从而使得检测时 的移动匹配运算量可大为减少。而在识别结果的确认方面，文献晗3 1 提出了关键词 的后验可信测度，在测度中结合了声学层分数和基于拼音的统计语言模型分数， 利用动态规划推导了计算测度的前向后向算法，该算法的关键词识别率高于8 8 。 近年来有关韵律学方面的特征的重要性的研究也越来越受到重视，韵律学特征包 括：音长、能量、基音和音调等。特别是音长和音调特征，受噪音、信道的影响 比较小。此外，有关关键词识别的算法研究还有结合中文特点心4 i ，改进语言模型 乜5 矧，拒识集外词o o v ( o u to fv o c a b u l a r y ) 瞳7 3 等多个不同方向的研究。 1 3 本文的研究目的 本文研究基于小区这一特殊环境下进行的，在小区中居住的居民有成百上千 家，因此研究必定受小区环境的影响。同时也由于不同地方的方言对语音分析的 影响，根据实际环境需要，本文选择基于普通话情况下对非特定人的连续语音进 行分析研究。研究的目的是在当前的智能视频图像监控这一安防监控手段下，消 除存在的那些无法通过图像“看到 的或者是能够“看到”但不能处理的安防隐 患，实现“听到”与“看到”相结合下的真正的智能安防小区。 在小区中，由于居住用户很多，大家都生活在一起，必然会发生一些争吵的 情况。而当前的智能视频监控处理的问题都集中在对摄像监控到的图像的分析， 4 硕士学位论文第一章绪论 在图像中处理的手段多是对人或车等的行为进行简单的约束和分析。比如当设置 了监控报警区域并约束对进入区域的人进行报警通知，那么当有人进入该区域的 时候，监控人员会得到报警信息并进行及时的处理，避免不必要的事情发生。而 对于那些没有在特定的监控摄像头规定的行为或发生的安全事件，当发生事情的 时候，除了监控人员在设置报警行为的事情外，不会进行任何报警处理。就像前 面提到的居民争吵事件，如果发生争吵的时候监控人员刚好没有关注争吵事件发 生地点所在的监控窗口，那么在监控室的监控人员得不到告警提示信息不能对争 吵事件进行及时处理。同样的情况也发生在火灾情况下，如果火灾发生在非监控 区域，那么监控人员不可能通过摄像头对这一严重威胁到小区安全的事件进行报 警并处理。此类情况也出现在偷盗、抢劫等很多情况下。而语音分析的引入可以 很好的解决这一问题，无论是发生争吵还是火灾等事情的时候，不管是否事情发 生在视频监控区域，人们都会产生语音信息。而通过对语音的分析就可以处理这 些发生在小区内的可以“听到 但“看不到”或则“看到 但不会处理的突发事 件。 本文对语音的处理集中在对语音情感和情感关键词两个方向进行研究与分 析。人的语音中包含着很多情感信息，而这些情感可以帮助对监听设备获得的语 音信息进行处理，提取监控中所关心的那些信息并对监控人员进行报警预告。例 如，当有人在争吵的时候，获得的语音信息中将包含大量的愤怒情感信息。而当 发生火灾等重大事件的时候，发现火灾的居民必然显得特别恐慌，他们的语音中 必然含有大量惊恐语音信息。对于这类与小区正常生活和安全隐患处理相关的情 感信息是本文研究的重点。不过由于语音情感信息受特征选择以及当前语音情感 研究技术等的影响，当前所有的研究和系统都无法获得很高的准确率。所以单一 的依靠语音情感分析并不一定能很好的体现智能化这一特点。而小词汇量连续语 音关键词识别技术的引入可以很好的处理部分突发事件情况。通常当人们遇到吵 架或者火灾等事情的时候，语音中必定含有某些通用的词汇。比如，发生火灾的 时候人们通常会呼叫“救火呀、打架的时候会说“打架了甚至在发生杀人事 件的时候，呼救“杀人了”等等这些关键的词汇都将给语音分析带来方便。故在 文中，研究是结合了语音情感和关键词两个方向来进行分析处理，实现“听”的 智能化。而实际应用中可以通过“听”和“看”两个方面来实现真正的智能安防 小区。 1 4 论文组织结构 论文共分为六章。 硕 ：学位论文第一章绪论 第一章绪论。这一章主要介绍了本文进行连续语音研究的背景，并在这个 基础上对当前语音在情感计算和关键词识别这两个方向的研究现状进行了叙述， 结合研究背景和当前语音识别方面的研究现状，本文提出了在小区环境下通过进 行语音信息识别处理来提高智能化小区的研究目的，本文的工作就是对连续语音 这一“听”的智能化信息进行研究讨论。 第二章语音识别相关基础理论知识。这一章本文主要对语音情感识别和关 键词识别的基础知识作了简单的介绍，同时也简单的对语音信息的预处理过程中 的一些关键技术也作了简单的说明。此外，根据对语音信息研究的需要，建立了 一个语音库，来进行语音情感和情感关键词识别两个方面的研究。 第三章情感特征参数的选择及情感识别模式的建立。这一章介绍了选择情 感特征参数的常用方法，并对最能反映本文研究环境和目的的情感特征参数进行 选择。此外，通过对几种常用分类器算法的介绍，实现了本文的语音情感识别算 法。 第四章情感关键词识别。这一章主要的内容包括对关键词特征的提取，以 及对比几种主要的关键词识别模型，根据仿生模式识别的原理，实现情感关键词 的训练和识别算法。 第五章仿真结果及分析。这一章结合本文前面的语音情感识别和情感关键 词识别算法，在我们建立的语音库的基础上进行仿真识别与实验结果分析，并根 据实验结果提出我们的告警信息设置方式。 第六章总结与展望。对本文的研究工作进行总结，并对未来进行进一步的 研究进行了阐述。 6 硕士学位论文第二章语音识别相关基础理论知识 第二章语音识别相关基础理论知识 2 1 语音情感计算 2 1 1 情感的定义 情感是人类一种重要的本能，它同理性思维和逻辑推理能力一样，在我们的 日常生活、工作、交流、处理事务和决策中扮演着重要的角色。那么，究竟什么 是情感? 让我们看看中英文词典中对“情感”的解释： 情感“对外界刺激肯定或否定的心理反应，如喜欢、愤怒、悲伤、恐 惧、爱慕、厌恶等”。现代汉语词典 e m o t i o n ，t “s t r o n gf e e li n gi fa n yk i n d ：l o v e ，j o y ，h a t e ，f e a ra r e e m o t i o n s 牛津高级英汉双解词典 上面的定义代表了对“情感 最一般的意义范畴。在经典文献 k l e i n g i n n a 1 9 8 1 中，总结了1 0 0 多位学者对情感的定义。这些定义通常是复杂的、难以理解 的。结合近百年来对情感的心理学研究进程来看，有关情感的定义仅有有限的一 致性，很难给出情感的准确定义。这也从而反应出给出情感准确定义的难度。 总的来说，情感主要由三种成分组成：( 1 ) 主观体验，即个体对不同情感 状态的自我感受； ( 2 ) 外部表现，即表情，在情感状态发生时身体各部分的动 作量化形式。表情包括面部表情( 面部肌肉变化所组成的模式) 、姿态表情( 身体 其他部分的表情动作) 和语调表情( 言语的声调、节奏、速度等方面的变化) ；( 3 ) 生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模 式。 2 1 2 情感计算以及语音情感的计算 美国m i t 媒体实验室的r p i c a r d 教授于1 9 7 5 年提出情感计算( a f f e c t i v e c o m p u t i n g ) 的概念，并于1 9 9 7 年正式出版专著a f f e c t i v ec o m p u t i n g 。在该 书中她把情感计算定义为：“情感计算是与情感相关、来源于情感或能够对情感 施加影响的计算。因此，情感研究的重点在于创建一个能够感知、识别和理解 人类情感能力并做出反应的计算系统。 情感计算是一个集计算科学与心理学、认知科学等多个学科相结合的综合技 术领域。它研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感 7 硕一i ：学位论文第二章语音识别相关基础理论知识 反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研 究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。情 感计算研究将不断加深对人的情感状态和机制的理解，并提高人机界面的和谐 性，即提高计算机感知情境、理解人的情感和意图并做出适当反应的能力。 语言作为人们相互交流的最主要途径，在我们生活中起到至关重要的作用， 如果没有语言就没有今天的人类文明。语音作为语言的声音表现形式，是人类交 流信息最自然、最有效、最方便的手段。人类的语音中不仅包含了语言学信息， 同时也包含了人们的感情和情绪等非言语信息。语音情感是指语音信号中蕴涵的 说话者的情感，和语音情感相关的计算称为语音情感计算。它通过对语音信号的 测量、分解、分析、合成等方法来进行情感方面的计算，从而使计算机具备一定 程度的情感能力。语音情感计算的研究是多学科交叉的结果，是语音信号处理和 情感计算技术结合的产物。语音情感的研究开始于二十世纪九十年代，美国、日 本、国内以及其它国家的大学和科研机构先后开始进行语音情感的研究。 2 1 3 情感的分类 既然要对语音情感进行计算分析，那么，首先应该知道究竟人类有多少种情 感? 这是一个既有意思同时又很复杂的问题。对情感类型缺乏具体统一的定义是 进行语音情感计算的重要障碍之一。在大多数的研究方法中，研究者都通常都用 日常语言标签来标识和分类情感。比如：害怕、生气和高兴等。根据情感的纯度 和原始度，情感可分为两大类：主要情感和次要情感。主要情感包括高兴、害怕、 愤怒等。但对于主要情感的数量，研究者始终没有达成共识。次要情感由主要情 感变化或混合得到，就像三元色混合原理一样。这类情感生成理论也叫情感的调 色板理论啪，。次要情感包括自豪、感激、悲痛、惊奇等等。 除了可以将情感分为主要情感、次要情感之外，还有其他一些分类的方法。 例如f o x 提出的三级情感模型瞳刚按照情感所表现的主动和被动的程度，将之分成 不同的等级。如表2 - 1 所示。等级越低，分类越粗糙；等级越高，分类越精细。 而p l u t c h i k 等人的研究，通过在刺激一评估一控制空间上对情感进行分析，认为情 感分布在一个圆形的结构上，叫做情感轮( e m o t i o nw h e e l ) ，如图2 1 所示。对于 自然原点，认为它是一种具有各种情感因素的状态，但是由于这些情感因素在该 点的强度太弱而得不到体现。对于任何一种情感，可以根据其情感强度和情感方 向，在情感轮组成的二维平面中用唯一的一个情感矢量e 来表示。其中情感强度 表现为这个情感矢量的幅度值，而情感方向则表现为该情感矢量的角度。 本文将汉语普通话语音情感分为五类，它们是愤怒、惊恐、高兴、平静、悲 伤，用引入特征参数贡献度的k - i f 笛近法来训练和识别这五种情感。 8 硕士学位论文第二章语音识别相关基础理论知识 表2 - 1f o x 的情感三级分类模型 1 8 l e v e l a p p r o a c h w i t h d r a w a l 2 。_ l e v e l j o y i n t e r e s t a n g e r d is t r e s s d i s g u s t f e a r 3 一l e v e l p r i d ec o n c e r n h o s t i l i t ym i s e r y c o n t e m p t h o r r o r b 1 i s s r e s p o n s i b i1it yj e a l o u s ya g o n y r e s e n t m e n t a n x i e t y a n t i c 2 1 4 语音情感的转换模型 图2 - 1 情感轮 1 离散情感状态模型 离散情感状态模型认为情感状态是离散的，人在某一时刻处于某一个情感状 态上，人总是处于某一个情绪情感状态上，情感状态的转换是基于离散情感状态 之间的转换模型。这里面可以引用自动机的概念和方法。可以用隐马尔柯夫模型 9 硕 ：学位论文第二章语音识别相关基础理论知识 ( h m m ) 来实现这种转换模型，离散情感之间的转换函数由能表示情感的特征语音 韵律参数来决定，就是说，当这些参数的组合达到某一个程度的时候，就表征实 验者的情感状态己经发生了转换。有一种学术观点认为人的情感状态是几种基本 情感或者称为元情感的混合。同样也可以设计出复杂一些的h m m 模型来适应这种 复杂的离散情感状态模型。 2 连续情感空间模型 情感连续空间模型，将情感看作为一个连续空间，任何一种情感状态都在其 中。通过观察测量分解后的向量得到每一个具体向量的数值。通过用一组特征向 量确定在情感空间中的具体位置来表示精确的情感状态。最可行的特征向量就是 特征情感，将特征情感作为情感空间的维，来表达情感。将个人的情感状态看作 为一组特征情感的组合，特征情感既可以是单独的纯情感，也可以是混合情感。 在这个模型中，所有的信号都被分解为基本单元，这里的基本单元只是一个相对 的概念，因为所谓的基本单元都也能划分为更基本的单元。最简单的情感空 间就是二维空间。这种情感空间模型在某些应用上l 匕h m m 模型对情感的描述更加 有效。例如测试用户对一个新软件产品喜欢或不喜欢，二维情感空间模型的情感 计算就很好。这种模型的好处是能将情感看作是连续变化的，这样更符合情感的 自然属性，还能在坐标轴上进行定量分析。另外，模型还可以是超过三维或非直 角的坐标系的情感空间。 2 2 小词汇量连续语音关键词识别 2 。2 1 关键词识别的定义 关键词识别( k e y w o r dr e c o g n i t i o n ，k w r ) 或关键词检出( k e y w o r d s p o t t i n g ，k w s ) 就是在连续的、无限制的自然语音流中识别出一组给定的词， 即关键词。 关键词识别应用于一些具有特定要求的场合，由于速度、高检出率或其它特 定的要求，人们并不需要系统识别出整个句子，更不需要理解整个句子，而只关 注那些包含特定词( 称为“关键词 ) 的句子。比如，对一些特殊人名、地名和词 语进行电话监听，又比如通过人名进行自动分机接驳服务等等。 根据一些应用的特殊需要，关键词识别有区别于其它自动语音识别的地方。 有的应用需要限定或假设一个句子只能含有一个关键词( 如自动分机接驳) ，而有 的应用则不希望有这样的限定( 如电话监听) 。有的应用希望“宁错勿漏( 如电 话监听) ，而有的则希望“宁漏勿错 ( 如自动分机接驳) 。关键词集内的词没有 1 0 硕士学位论文 第二章语音识别相关基础理论知识 被检出，称为“漏识( a m i s s ) ，而将关键词集外的词识别成一个集内的词，称 为“误瞥( f a l s ea l a r m ) 或“虚报 。对于一个特定的关键词识别器，漏识率 和误警率不可能同时达到最低。因而相对于其它的语音识别器，关键词检出需要 在漏识率和误警率之间找到平衡点。 一个较为理想的关键词识别系统应该具有如下特征： ( 1 ) 任意人。关键词识别系统对不同人的说话有一定的适应能力。 ( 2 ) 词表可随意定制。开发者可以利用应用程序接口( a p p l i c a t i o n p r o g r a m m i n gi n t e r f a c e ，a p i ) ，方便地提供词表定制工具，使得使用者无需具 备专业知识就可以方便地定义自己的词表；对新定义的词表，系统无需重新训练， 立刻可以使用。 ( 3 ) 单选或多选性。句中关键词个数可以设定，使用者可以根据具体的应 用情况，方便地指定一句话中是仅含该关键词，还是含多个关键词。 ( 4 ) 良好的拒识性能。利用其良好的拒识性能，识别系统将根据具体情况 报出所识别出的关键词，不会因使用者设定的句子中可以含有的关键词数目而强 行虚报。 ( 5 ) 关键词识别应具有很低的漏识率和误警率。 ( 6 ) 良好的折中性。可以根据具体应用需要，方便地调整，以在漏识率和 误警率之间达到很好的平衡。 2 2 2 关键词识别和连续语音识别的关系 关键词识别与连续语音识别有着密切的关系。两者既有联系又有区别。关键 词识别的任务是从连续的无限制的自然语音流中识别出特定的词，因此可以说关 键词识别是连续语音识别的一个分支。 但是关键词识别和连续语音识别通常被当作两个完全不同的问题来处理。归 结起来，两者的区别主要表现有以下几点阳1 ，其中最主要的原因是连续语音识别 是一种主动式的识别，而关键词识别则是被动式的，它无法对发出自然语音流的 发音人提出任何的要求。 ( 1 ) 模型的训练问题。连续语音识别往往要用不同发音人的大量数据进行 训练，其中往往也包括使用者的数据；而关键词识别系统则无法由被识别的人对 模型进行一定的训练。 ( 2 ) 词表问题。连续语音识别要求每个待识别的词是一个有限词表中的一 个，而关键词识别系统的词表则是开放的，输入语音流可以包含任意词。 ( 3 ) 发音人的态度。一般地讲，连续语音识别系统的使用者能够意识到他 们正与机器进行交流，因而持合作的态度：但在关键词识别系统中，说话人常常 硕十学位论文第- 二章语音识别相关基础理论知识 是毫无觉察的。 ( 4 ) 环境。由于用户的配合，连续语音识别系统往往在比较好的环境中使 用，而关键词识别系统的环境可能有很大的噪声。 综合上面的区别，可以将关键词识别同连续语音识别的不同之处归结为：关 键词识别是一种开集词汇表识别而后者是闭集词汇表识别。即在关键词识别情况 下，说话人可以随意谈话，系统只从语音中监测出某些关键词而置其他词不顾， 而且它往往是与说话人无关的。而在连续语音识别中，说话人只能从预先规定好 的词汇表中选择词汇。同时，由于关键词识别系统是在说话人不合作或是噪声环 境下工作，因此在安防监控方面有着很重要的应用前景。 2 2 3 关键词识别系统的分类 关键词的识别按不同的方式可以分成不同的类别。下面针对两种分类方式对 关键词系统进行分类。 1 按对话者的依赖程。 ( 1 ) 特定人语音识别( s p e a k e r d e p e n d e n t ) 在建模时，使用者必须按照词汇表中的每个字、词或短语建立自己的标准 模板或模型，在识别时系统也只适应被训练的这个人。对于其他人，则需要重新 建立自己的标准模板或模型。 ( 2 ) 非特定人语音识别( s p e a k e ri n d e p e n d e n t ) 在建模时，标准模板是由指定的某范畴的说话人( 如说标准普通话) 中的一 部分或几个人通过训练而产生的，而在识别时的使用者可以是参加训练的发音 人，也可以是未参加训练的同范畴的发音人( 如同是说标准普通话的人) 。 2 按语音的词汇量的大小。 ( 1 ) 有限词汇识别 这一类文可以按词汇表中识别单元( 字、词或短语) 的个数而分为： 小词汇量识别：1 0 0 词以下； 中词汇量识别：1 0 0 一1 0 0 0 词； 大词汇量识别：1 0 0 词以上。 ( 2 ) 无限词汇识别( 全音节识别) 当识别单元为可以发音的所有情况时，它的词汇量也就大得无法计量了，因 此称其为全音节语音识别( 音节字表：l e x i c o n ) 。全音节语音识别被认为是实现 无限词汇或中文文本输入的基础。 语音关键词识别系统的分类方法还有很多，如按照说话的环境，可以分成仅 适于隔音间的、适于计算机机房环境的和适合公共场所的；按系统训练的类型可 1 2 硕士学位论文第二章语音识别相关基础理论知识 分为，无训练系统( 多人通用系统) 、固定训练组和连续训练组系统( 担任专用系 统) 等等。 本文所研究的是适用于小区环境下的、小词汇量的、非特定人的、连续语音 情感关键词识别。 2 。2 4 关键词识别的难点和本文解决方案 目前关键词识别系统有待解决的问题很多，主要的有以下几方面： ( 1 ) 废料模型的选取 因为待识别语音中废料分布广泛且均匀，识别系统无法对其进行预测。在这 种情况下，若用于训练的填料语音不够广泛、细致，则会大大影响识别系统的性 能。一般以静音、噪声和非关键词语音建立与关键词结构相同的模板。非关键词 语音还可进一步细分成更多的废料模板。 ( 2 ) 说话人无关 从目前的研究来看，说话人无关可以用说话人分类技术初步解决，但目前还 没有根本的解决办法。大多数系统使用说话人自适应技术来提高系统对新说话人 的识别准确率。 ( 3 ) 系统的稳健性 当前的语音识别系统在实验室环境下均有较理想的效果，但是系统性能受噪 声影响太大。如何提高识别系统对环境的稳健性问题，是系统能否进入实用化的 关键，同样也是难点。 ( 4 ) 词汇量的增加 当词汇量增大时，其后果是训练和识别的复杂度都大大增加。训练部分需要 建立很多模板，则要求非常大量的训练数据，否则无法得到稳健的参数估计值。 ( 5 ) 识别单元的选取 识别单元选