【毕业学位论文】说话人识别中高区分性语音选取方法研究-计算机科学与技术系

说话人识别中高区分性语音选取方法研究 龚 宬 in of 2013 摘 要 I 摘 要 选取具有高区分性的语音是说话人识别系统的重要组成部分，其目的是在语音进行特征提取等操作前，对语料进行适当处理，从中选取能更好地突出说话人个性信息的语音段落。高区分性语音选取的方法对后续识别性能起着至关重要的作用。 本文首先介绍和比较了目前说话人识别系统在高区分性语音选取环节常用的端点检测算法，然后重点针对说话人识别技术的特点和要求，研究了不同发音方式、语音信噪比这两个因素对语音区分性所产生的贡献度，以及对识别性能的影响。基于以上分析结论进一步改善说话人识别系统中的高区分性语音选取算法。通过研究得到了以下结论： 1）元音是最能够反映说话人个性特征的发音方式，当只提取元音时，等错误率（比提取整段说话人语音下降不少。为此，本文实现了基于频域能量分布与时域短时能量、平均过零率相结合的元音提取算法，能够准确快速地挑出语音中的元音段。 2）语音的信噪比同样会对识别系统的性能产生重要影响，随着信噪比的下降，系统将语音中信噪比较低的部分去除，可以明显改善系统的识别性能。针对这一结论，本文在融合多种噪声估计算法的基础上，实现了改进的噪声估计算法，可以实现对平稳噪声、缓变噪声功率谱的可靠估计。在此基础上，通过计算语音信号的短时信噪比，去除低于 5此外，还在改进的高区分性语音选取环节加入语音质量控制模块，目的是检测出存在音量过小、（伪）截顶、非自然语音比例过大等质量问题的语音，阻止这部分语音进入系统，以提高录入系统的语音质量。 关键词：说话人识别；高区分性语音；元音提取；噪声估计；语音质量控制 I is a of is to of by an in of AD to of of on on 1) s of is an to on in as 2) of a on of ER NRs If NR a by a on On by NR of NR In a is to at is is 录 录 第1章 绪论 . 1 说话人识别简介 . 1 说话人识别技术背景 . 1 说话人识别技术概述 . 1 说话人识别的分类 . 2 说话人识别的性能评价指标. 2 说话人识别系统的构建 . 3 说话人识别技术的难点 . 4 选题背景和意义 . 4 高区分性语音选取 . 4 目前采用的高区分性语音选取方法 . 5 现有高区分性语音选取方法的不足 . 5 本文研究内容 . 6 论文结构安排 . 6 第2章 常用的语音端点检测算法 . 8 引言 . 8 基于短时能量和过零率的语音端点检测 . 8 短时平均能量 . 9 短时平均过零率 . 11 基于短时能量和过零率的双门限端点检测算法 . 13 短时自相关函数法. 14 其他语音端点检测算法 . 14 总结与思考 . 14 第3章 发音方式对语音区分性的影响研究 . 16 语音的产生机理 . 16 汉语音节分类 . 16 发音方式对说话人识别影响的初探 . 17 实验环境与配置 . 18 实验结果与分析 . 18 目 录 元音提取算法的实现 . 19 频域能量分析方法 . 20 基于时域能量和过零率的元音提取 . 20 阈值自适应方法 . 21 算法具体步骤 . 21 算法性能分析 . 22 第4章 信噪比对语音区分性的影响研究 . 23 噪声分类 . 23 加性噪声与卷积噪声 . 23 平稳噪声、缓变噪声和冲激噪声 . 23 噪声对说话人识别的影响 . 24 带噪语音中噪声功率谱估计算法 . 27 最小量统计算法 . 27 连续谱最小量追踪算法 . 28 最小控制递归算法 . 28 其他算法 . 29 改进的噪声估计算法 . 29 算法性能分析 . 30 第5章 改善高区分性语音选取模块的说话人确认系统 . 32 系统框架 . 32 语音质量控制与高区分性语音选取模块 . 33 预加重 . 34 去直流分量 . 35 语音质量控制 . 35 高区分性语音段落选取模块. 38 系统特征参数 . 38 系统模型 . 40 实验语料库的选择. 41 实验结果与分析 . 41 第6章 总结与展望 . 43 研究工作总结 . 43 对未来工作的展望. 44 目 录 V 参考文献 . 45 致 谢 . 47 声 明 . 48 个人简历、在学期间发表的学术论文与研究成果. 49 第1章 绪论 1 第1章 绪论 说话人识别简介 说话人识别技术背景 说话人识别技术（也称声纹识别技术），是生物特征识别认证技术的一种，是利用计算机对说话人的声纹信息进行采集并以此为依据判断说话人身份的技术。由于人的发音/传声器官在生理上存在一定的先天个体差异，加上在后天的行为训练中逐渐形成的个人说话行为差别，使不同人的语音在听感上存在较为明显的差异，这也使通过分析语音信号来辨别说话人身份成为一种可能。 除了说话人识别技术外，还有脸像识别、指纹识别、虹膜识别、签名识别、步态识别等多种生物特征被用于特征识别研究和应用。与这些生物特征相比，说话人的声纹特征除了具有一般生物特征的唯一性特征外，还有其独特的特质，在某些方面具有不可替代性。比如： 具有更好的稳定性，不易丢失； 采集成本相对较低，便于推广； 能够比较地容易实现远程识别操作。 正是基于以上一些特点，说话人识别技术正在被广泛地研究，并有着相当广阔的应用前景。在公安司法系统中可以用于协助取证；在军事领域可以用于电子侦听；在银行、证券等金融领域可以作为用户身份验证等安全检查甚至直接用于远程交易；在其他方面，可以作为各类电子产品的个性化应用，如声纹锁等。 说话人识别研究最早开始于20世纪30年代，最初只是在人耳听辨的可能性方面进行过探索。后随着计算机技术的迅速发展，在60年代出现了对声纹特征提取方法的研究。近几十年来，说话人识别技术不断发展，不仅在特征提取方法上不断完善和创新，还将多种模式识别的方法用于说话人识别。研究目标也从单纯的理论研究转向实际应用，并将实际中可能遇到的噪声环境、跨语音信道环境、短语音状况、语音随时间变化性等复杂情况纳入研究范围中。目前，已有一些较为成熟的说话人识别应用产品问世。 说话人识别技术概述 说话人识别技术是利用说话人语音中能够反映其生理及行为特征的参数来对第1章 绪论 2 说话人身份进行判断的一种技术。说话人识别技术与语音识别技术有一定的相似之处，都是通过提取说话人语音特征、通过建模等手段得到有用信息的过程，但二者显著的不同之处在于：语音识别的目的获得说话人语音的内容，而说话人识别则是为了分辨说话人的身份，不需要分析语料内容。正因为目的不同，二者所采取的方法也存在一定的差异。 说话人识别的分类 根据识别任务的不同，说话人识别可分为说话人辨认（说话人确认（其中，说话人辨认的任务是：对于一段测试语音，需要在说话人确认则是在给定测试语音和一位目标说话人的情况下判断该语音是否来自该目标说话人。在说话人辨认中，一般不涉及集外说话人，即测试语料只来自于说话人确认则无此约束。从实际应用的角度来看，说话人确认技术在安全验证相关的领域有着广泛应用，而说话人辨认的应用往往局限于侦听鉴别等领域。 根据语音文本内容的不同，说话人识别可分为以下三类：文本相关（文本无关（文本指定（文本无关是指识别过程不要求限定语音的文本内容；而文本相关则规定了识别测试时需要录入的语音文本内容；文本指定是指在进行识别时系统向说话人提供一段文本，要求说话人按照文本内容进行录入，只有当内容匹配且说话人确认结果正确时才能通过系统验证。 说话人识别的性能评价指标 目前的说话人识别研究中有比较通用的性能评价指标： 在说话人辨认系统中，通常将识别率作为系统识别性能的重要评测指标，其计算式为： 100%正确识别语音个数识别率识别语音总数（1而说话人确认系统通常采用错误拒绝率（错误接受率（1这两个重要的参数衡量系统性能。其中，错误拒绝率是指系统拒绝目标说话人的概率，该值越高，目标说话人越不容易通过验证；错误接受率表征了系统对误闯说话人的接受概率，该值越高，非目标说第1章 绪论 3 话人通过系统验证的概率越大，系统的安全性越低。二者的计算公式可表示为： 100%被接受的误闯说话人语音个数错误接受率误闯说话人语音个数（1100%被拒绝的目标说话人语音个数错误拒绝率目标说话人语音总数（1这两项指标在实际操作中是相互矛盾的，通常，说话人确认系统的接受阈值设定越高，相应的以根据得到的制出检测错误权衡曲线（在该曲线中，可以找到一个点被定义为等错误率（。在说话人确认系统中，常，统性能越好。 说话人识别系统的构建 说话人识别技术经过几十年的发展，已经逐渐形成一套较为成熟且固定的框架，即：特征提取与模式匹配方法相结合的思路。具体来说，目前研究和应用中采用的说话人识别系统通常包含以下几个部分：预处理、特征提取、模式匹配和判决。其结构框图如下所示： 说话人识别系统框架图 该系统按照时序逻辑可分为训练和识别两个阶段。训练过程是指身份明确的目标说话人根据系统要求输入一定数量的语料，通过一系列的后续处理得到目标说话人的语音模型，该模型与目标说话人程一一对应关系。识别过程是指对于一段测试语音，系统将提取出的特征与模型库中指定说话人进行比较，通过阈值打分手段给出是否匹配的判决。 第1章 绪论 4 说话人识别技术的难点 目前，虽然说话人识别技术已有一些实际应用，但由于复杂的应用环境和应用需求，说话人识别还存在诸多问题需要解决。下面列举了一些当前说话人识别研究中面临的主要难点： 1. 背景噪声对识别性能的干扰。在现实应用中，语音不可能做到绝对纯净，各种背景噪声的混入降低了语音质量，改变了语音信号原有的声学特征，使不同人的语音区分度降低；在一些过强噪声环境中，说话人的发声方式也会随之发生一些变化；同时，噪声又具有多样性，使得在处理带噪语音时很难采取固定的方法或特征来应对多种多样的噪声。 2. 语音时变性的影响。人的发音方式会随着生理状况和心理状况的变化而变化。比如：语音特征会随着年龄的变化而变化；人在患有感冒等疾病时发音也会发生很大变化。这些时变因素的存在同样会影响说话人识别的性能。 3. 难以找到简单且能反映说话人语音特性的语音特征参数2。目前在说话人识别系统中采用的明这些特征除了能反映一定的说话人个性特征外还能够反映大量语义信息，因此可能会对说话人识别性能造成干扰。目前还没有较好的特征能够将个性信息和语义信息相剥离。 4. 声音具有一定的模仿伪造性3。利用语音合成技术伪造与目标说话人相似的语音，或者利用高保真录音设备录制目标说话人语音，都可能闯入说话人识别系统，使系统的安全性降低。 除此以外，还有一些其他的难点需要解决，如：超短语音、大规模说话人的识别等。 选题背景和意义 高区分性语音选取 说话人识别中，输入语料往往夹杂着各种各样的信息，这其中包括：反映说话人个性特征的信息、反映话音内容的语义信息，还包括了信道信息、环境噪声信息等等。在语音的不同段落，这些信息所占的比重不尽相同。比如：语音的静音段（不含目标说话人声音的语音段落）通常反映了更多的噪声信息和信道信息，如果将这部分语音段落输入说话人识别系统进行特征提取和模型训练识别，将对识别结果造成很大干扰。因此在进行特征提取之前，对语料进行说话人信息区分性大小的检测，并选取有效语音部分就变得非常必要。 第1章 绪论 5 说话人识别中的高区分性语音选取是指：在说话人识别系统的前端，对录入的语料进行初步处理，依据特定规则从中挑选最能区分说话人个性特征和其他无关信息特征的语音段落，使得这部分语音与未经处理的语音相比能够提高说话人特征模型分布的类间离散度，减少语音中无关信息对说话人识别性能的干扰。 目前采用的高区分性语音选取方法 目前在说话人识别中广泛采取的高区分性语音选取方法，主要是使用各种端点检测算法。其目的是从一段包含语音的信号中定位语音的起止点，以区分语音和非语音信号4。通过语音端点检测，可以排除静音段或噪声段的干扰，还可以以此降低数据采集量5。 现有高区分性语音选取方法的不足 总体上看，目前应用于说话人识别系统的高区分性语音选取模块在功能上还相对比较简单，还存在一些明显的不足： 1）目前的端点检测算法最初主要应用于语音识别研究领域，目前研究提出的各种端点检测算法都是为了尽可能准确地找到语音的端点，以保证语音内容的完整性不会被端点检测所破坏。然而对于说话人识别来说，语音内容的完整并不表示语音就一定最能代表说话人的声纹特点。 以人类的听觉处理机制为例，人类的听觉系统对声音所包含信息的处理分析能力非常奇特而强大，能够在非常复杂的条件和环境下，提取并跟踪其感兴趣的语音成分6,7。 比如，人类可以在不同的语种环境下准确识别说话人的身份，即使被试者听不懂目标说话人的语言，或者目标说话人所说的语音根本不具有语义内容，只要目标说话人的声音是被试者所熟悉的，被试者就很有可能判断出目标说话人的真实身份。大量的研究表明，人对说话人身份的判别很少需要依赖说话人所说内容的语义信息，虽然在某些情况下，语义信息可以起到一定的辅助作用，但其并不是决定性因素。 又比如，当人听到很短的一段语音（可能只是一个词）时，往往就能准确判断说话人的身份，这通常与语音的内容并不相关。有研究8表明，人耳接收的声音信号具有非常显著的统计特征，根据不同音素的出现概率，人类会采用特定的音素编码机制，通过对部分音素采用更精细的编码刻画来让说话人的特征更加突出。 再比如，当背景噪声很大或存在其他多个说话人时，与机器相比，人类依然第1章 绪论 6 能够较为有效地分辨目标说话人的声音并对其进行追踪。一些心理物理学的研究9表明，人在这类复杂环境中通常会采用一种信息掩蔽的策略，即：人耳会按照一定的感知规则对声音信号在时域上进行感知分离，利用先验知识将背景掩蔽音剥离，然后再将剩下的目标音进行感知整合。 因此，基于对人类听觉处理机制的分析可以发现，一段语音在语义信息层面的完整性并不是区分不同说话人个性特征分布的要素。这一点对于现有说话人识别研究中的高区分性语音选取具有很大的指导意义。一段语音中哪些要素是最能体现说话人个性，如何根据这些要素原则改进高区分性语音选取方法，这是本论文重点考虑的问题。 2）现有的高区分性语音选取方法中缺少对语音质量的控制和判断。虽然在实验室研究环境下录制的语音都比较规范，但如果将说话人识别技术应用于实际，那么不同人群在不同环境条件下录入的语音可能存在各种各样的问题，比如：音量过小、音量过大、语料中没有出现说话人的声音、语料中混入他人的说话声等等。如果在高区分性语音选取部分不能对这部分存在明显质量问题的语音进行排查，可能会导致系统识别性能的大幅度下降。 本文研究内容 因此，本文主要针对现有高区分性语音选取过程的不足进行研究，重点探究了发音方式与信噪比这两个因素对说话人识别的影响，并将现有基于语音端点检测的处理方法改进为基于元音和高信噪比部分提取的高区分性语音选取方法，希望以此提高后续特征提取结果对说话人个性特征的表征度。另外，在改进的高区分性语音选取步骤前端中加入语音质量控制模块，希望通过加强对语音质量的检测与控制，发现并阻止质量不合格语音对系统的影响。 论文结构安排 本论文共分为五章，现将每章的主要表述内容陈述如下： 第一章是绪论部分，介绍论文研究工作的选题背景、意义及相关的研究现状。 第二章主要介绍目前语音端点检测广泛采取的各种算法，并对这些算法性能的优劣进行分析。 第三章将重点探讨发音方式对语音区分性的影响，及其带来的对说话人识别性能的影响，提出基于发音方式的高区分性语音选取算法。 第四章详细探讨了信噪比对语音区分性的影响，重点研究了语音的噪声估计算法，基于改进后的噪声估计算法完善高区分性语音选取环节。 第1章 绪论 7 第五章主要综合前几章的研究成果，实现一个较为结构完整的高区分性语音选取模块，实现对语音质量的有效检测和控制，并从质量合格的语音中选取高区分性语音段落，在基于最后是对论文的总结和对未来工作的展望。 第2章 常用的语音端点检测算法 8 第2章 常用的语音端点检测算法 引言 语音端点检测（是指通过信号域的分析，从一段语音中寻找确定目标说话人有效语音信号的起止点，同时将静音、纯噪声等部分排除在外。在语音信号处理的许多领域，比如语音增强、语音识别、说话人识别等，语音端点检测都扮演着重要角色，直接影响着后续识别工作的性能。 语音端点检测最初被应用于电话传输与转换系统中，通过端点检测可以实现在空闲信道中加入其他人的语音信息，从而提高信道的时间分配效率。随后，各式各样的语音端点检测算法被提出，这些算法在精度、复杂度等方面都具有很大差别。一般来说，一个理想的端点检测算法应具有以下几个特点：（1）能够精确地划分语音段和非语音段；（2）对于不同的语音、录音环境和信道具有鲁棒性和适应性；（3）实现尽量简单，避免过高的计算复杂度；（4）能够实时处理输入的语音信号。通常，现有的算法都不能很好地兼顾以上几个要求，往往需要根据系统的需求选择较为合适的端点检测算法或几种算法的融合。 一般来说，语音端点检测由两个部分组成，即：“声学特征提取”和“语音/非语音判决”。前者通过提取语音信号中的声学特征来计算目标语音信号存在的可能性。后者则以此为依据最终给出目标语音信号是否存在的判决，比如采用门限阈值判决、似然率测试、隐马尔可夫模型（方式。 在语音识别和说话人识别领域，语音端点检测通常位于系统的前端。语音进入系统后，首先进行去直流分量、预加重等处理后，进入语音端点检测模块，选出目标语音部分后再进行特征提取和建模识别等操作。 本章将介绍几种目前在说话人识别领域常用的语音端点检测算法，并对它们性能的优劣进行比较探讨。 基于短时能量和过零率的语音端点检测 在系统输入信噪比较高时，目标语音的能量要大于其他部分。即使有噪声干扰，其语音段的能量也是噪声能量与语音能量的叠加。在这种情况下，通过计算信号的短时平均能量（幅度）就能够取得比较理想的语音段划分结果。 第2章 常用的语音端点检测算法 9 短时平均能量 假设一段语音的时域信号为 x l ，经过加窗分帧后得到的第nx m ，则 nx m 满足下式： 0 1nx m w m x n m m N （2 1 0 10m Nw mm （2其中， 0,1 ,2 ,. T ，为帧移。第 nx m 的短时能量 120Nn x m（2有时候，也可以采用短时平均幅度替代短时平均能量的计算： 10Nn x m（2是反映语音信号强度的重要指标10，与短时平均能量相比，短时平均幅度对高电平相对不敏感，在一些情况下有一定的好处。 第2章 常用的语音端点检测算法 10 语音“1应的波形、短时平均能量、短时平均幅度 对应的波形和短时平均能量/幅度。可以看出，短时平均能量/幅度能够较好地检测出语音中的浊音部分，但对于语音段开始和结尾处存在弱擦音、爆破音、鼻音的情况，往不能准确地划分，特别是当有噪声存在的情况下。因为这些部分的能量或幅度相对较小，有噪声存在的情况下，容易对阈值判断造成干扰，比如上图中的声母“s”位置，当背景噪声较大时，可能会被噪声能量所“淹没”。 第2章 常用的语音端点检测算法 11 短时平均过零率 对于连续语音信号，过零表示时域波形穿过横轴（零电平）一次；而对于离散采样信号，如果相邻点取值的代数符号发生了改变，则表征着信号发生了一次过零11。信号的过零率是其频率的一种简单直观的反映。 短时过零率示为一帧语音信号波形发生过零的次数： 1012Nn n x m x m （2其中， 1 0 （2在实际应用时，短时过零率可能会受直流偏移、50了减少这些干扰对过零率计算的影响，可以通过设置一个门限T，将过零率定义为越过正负门限。 门限宽度设置对过零率的影响 这时，门限过零率的计算公式为： 101 Nn x m T x m Tx m T x m T （2这样，如果语音信号中存在一些能量较小（不致于跨过门限）的噪声干扰，也不会对过零率产生影响。 第2章 常用的语音端点检测算法 12 语音“1应的波形、短时过零率、短时门限过零率 与短时平均能量/幅度相比，短时过零率能够弥补对清音判断的不足，因为清音的频率相对较高，也就意味着有较高的过零率。同时，短时过零率还能去除一些波形中的非自然语音部分。 在实际应用中，人们往往将短时平均能量和短时过零率结合使用，对语音端点的检测具有更高的准确度。 第2章 常用的语音端点检测算法 13 基于短时能量和过零率的双门限端点检测算法 该 法同时考虑信号的短时能量和过零率，设定双门限来检测语音端点，将两个参数结合使用，可以发挥各自的优势，利用短时能量检测浊音，用过零率检测清音。这两个门限值将整个端点检测划分为四个状态：静音段、过渡段、语音段和结束段。最初，信号处于静音段；当短时能量和过零率二者之一超过低门限时，进入过渡段，同时标记起始点；在过渡段内，一旦两个参数都降至低门限以下，则退回到静音段；当高门限被短时能量或过零率其中之一超过时，判定为进入语音段；信号处在语音段时，当两个参数都降至低门限以下，如果同时满足计时区间长度小于设定的最小时间长度，则判定该区间内是噪音干扰，否则标记为语音终止点12。 第2章 常用的语音端点检测算法 14 采用双门限法对语音“1端点划分结果 基于短时能量和过零率的双门限端点检测算法与单独使用短时能量或过零率相比，虽然能更准确地划分有声段，但仍不能完美地解决噪声环境下语音开头和结尾处是弱擦音或鼻音的检测问题。 短时自相关函数法 基音频率（周期）是语音信号的一个重要参数，人的基音频率一般在80500过计算语音信号的短时自相关函数，可以估计出基音频率，然后根据基音频率的分布区间给出语音段的起始位置。 对信号进行短时自相关分析，定义某一帧信号的自相关函数为： 0N kn n k x m x m k （2通常，自相关函数会在基音周期整数倍位置出现波峰，因此可以通过检测峰值间的距离可以来估计基音周期。 为保证正确提取基音，在分帧时，设定的窗长要大于2个基音周期，如果窗长不够，会给基音周期计算带来困难。同时需要采用中值平滑法去除基音提取过程中造成的“野点”。所谓的中值平滑法就是构造一个滑动窗口，对窗口内超出均值范围的点进行剔除操作。 其他语音端点检测算法 除了上面介绍的几种端点检测算法外，还有基于倒谱特征13、信息熵14等的端点检测算法。与前面提到的各种算法相比，这些算法在计算复杂度上更高，但同时对平稳噪声的鲁棒性也相对更好。 总结与思考 从上面的介绍分析中可以看出，不同算法在精确度、复杂度等方面确实存在较大差异。 以上介绍的这些算法，最终目标都是从语音找到尽可能完整的目标语音段落，尽可能保证语义信息的完整性，这一要求在语音识别中尤为重要。然而在说话人识别研究中，说话人的语义信息并不是研究者所关注的，如何获得最能反映说话第2章 常用的语音端点检测算法 15 人个性特征的语音段落才是最