【毕业学位论文】基于说话人识别的门控系统研究

摘 要 中国门控安防行业经过多年的发展，已形成许多先进的工业体系。其中，融合生物识别技术的门控系统已经成为一种发展趋势，这表现在一些利用目标说话人的语音、目标者的指纹图像、目标者的虹膜等个性信息搭建起来的身份识别门控体系越来越多。本文是将可以远程认证的说话人识别技术应用于智能门控体系中 ，实现了特定人与机器的自然交流，具有一定的安全性和便捷性。 本文先以门控系统国内外的发展现状为背景，提出了用说话人识别技术在 片上的实现来完成门控系统设计。首先介绍了说话人识别技术的实现功能及其分类方式，然后对说话人识别的基础理论做了详细分析。在对语音信号的预处理过程中，对语音信号进行采样与量化，预加重，分帧，加窗，并对以上每一步骤用 仿真；还使用了语音信号双门限端点检测方法来检测语音的开始点位置和结束点位置；在特征参数提取上，详细地分析了线性预测倒谱系数 (美尔频率倒谱系数 (的功能特点，并选择 率倒谱系数来作为说话人识别的特征参数；在识别方法上，先对识别小词汇量具有良好效果的经典动态时间规划（ 法做了介绍，然后提出了遗传动态时间规划算法 (该算法利用了遗传算法的全局搜索能力和并行计算能力，结合 特点，通过在 的仿真，结果证明新算法对孤立词能进行更加快速、准确的识别。 本文的设计是基于 司 片的嵌入式说话人识别系统，在硬件实现上，主要介绍了 频编解 码器的结构，并对两者间无缝连接的接口做了详细说明，同时还设计了系统的外扩存储器模块、电源模块、复位电路、仿真电路等。在软件实现上，将调试成功的 C 程序移植到集成开发环境 使各功能模块都能正常初始化，最后还实现了系统的自举运行。在对系统软硬件测试之后，通过对实验结果和系统性能的分析表明 ， 本文设计的实时说话人识别门控系统是可以正常运行的。 关键词： 说话人识别；动态时间规划算法； 传动态时间规划算法；门控系统 研究类型： 应用基础研究 a of of a is in a to in of In in It a it a of of it in SP to of it be of it a of in In to it to it to of In it a as a it it to By of it It is an It a of It In CS be in 目录 I 目 录 1 绪论 . 1 题的研究背景和意义 . 1 内外研究的现状 . 2 话人识别技术的发展现状 . 2 . 2 . 3 论文的主要研究内容 . 4 2 说话人识别技术 . 5 话人识别技术简介 . 5 话人识别原理 . 6 音信号的预处理 . 6 样及量化 . 6 加重 . 7 帧和加窗 . 7 音信号的端点检测 . 8 音信号的特征提取 . 10 . 10 . 11 . 11 于动态时间规划（ 法的说话人识别 . 14 章小结 . 16 3 基于遗传动态时间规划（ 法的说话人识别系统 . 17 传算法的简介 . 17 传算法的构成要素 . 17 始种群的产生及规模 . 18 始种群编码 . 18 应度函数的构造 . 18 传算法的操作 . 18 传算法的控制参数 . 19 传算法的优点 . 19 武汉纺织大学硕士学位论文 . 20 . 21 . 21 验结果及分析 . 26 然数识别实验 . 26 语识别实验 . 27 章小结 . 27 4 说话人识别门控系统的硬件设计 . 28 . 28 . 30 片简介 . 33 间的接口设计 . 34 扩存储器与 的接口设计 . 35 . 36 . 37 源模块 . 38 他模块及电路设计 . 38 位电路的设计 . 38 真电路的设计 . 39 章小结 . 39 5 说话人识别门控系统的软件设计及系统测试 . 41 . 41 . 42 . 44 征参数提取的软件设计 . 45 . 45 . 46 统调试结果及分析 . 48 源及仿真器测试 . 48 据采集电路测试 . 48 据采集软件调试 . 48 章小结 . 49 6 结论和展望 . 50 论 . 50 目录 足和展望 . 50 参考文献 . 52 附 录 . 55 致 谢 . 56 1 绪论 1 1 绪论 题的研究背景和意义 安全问题关系到国家、城市、行业用户和百姓利益。伴随着各种自动化、信息化、智能化产品技术的不断发展， 21 世纪 以来，门控系统已经从原来的门加锁，到一个简单机械装置安装到门上，再到各种复杂光机电系统、大型虚拟无线系统等应用在门控单元上，这种发展已经让宾馆、银行、楼宇、小区甚至是自己办公室的门都可以运用到身份验证技术。多变的安防市场，让门控技术具有较高的灵活性。 门控用到的身份识别技术大致上有三种方式：一是用户设置密码的方式，二是通过某卡片上的信息来识别的方式，最后一个是有很大发展空间的生物识别的方式。第一种方式需要用户自己记住正确的密码才能获得入门权限， 密码容易泄露， 也 无从查起， 并且每次都需要按密码，非常不方便；第二 种方式是如今大部分市场上使用到的非接触式D 卡，自从 2008年，德国研讨员 先破译了思智浦半导体的 片的安全算法开始，利用卡片信息识别的门控系统已经存在巨大的安全隐患，这也引起了我国相关主管部门的高度重视 。 而最近几年使用的生物识别技术已经作为一种方便、安全、先进的信息技术走进人们的生活，结合机械工程、无线通讯等相关技术，应用在了许多重要部门的门控系统上，例如指纹识别门控系统、虹膜识别门控系统、语音识别门控系统等等，这 让门控系统在安全性、易操作性等各方面都有所突破，也使门控系统的实现领域更加广泛。 一般的门控系统是由控制器 、读卡器、电控锁、电源及其他功能软件设备组成的。其中的控制器是 整个门控系统的核心，它能够使信号输入 、 处理信息 、 储存信息并且输出信息。读卡器是信号的存储设备，用来存放生物特征信息以及其它数据。说话人识别技术是语音信号处理的重要技术之一，也是当前应用于门控系统的研究热点之一。在研究说话人识别的门控系统中，最重要的是对说话人语音信号的分析，它应该可以实时得到相应的语音数据，并对其进行分析和处理，再进一步去改善 语音信号的处理系统。本文正是利用了 司和 司联合开发的 具 ， 使语音数据的分析处理、整个系统的编程调试 和最后的验证结果过程都变得简单方便。 现了其在数据处理方面、可视化分析方面的强大优势，也正因为如此本文完成了改进的说话人识别方法与未改进方法在效果上的比较，这对于复杂的说话人识别门控系统研究具有现实意义。 武汉纺织大学硕士学位论文 内外研究的现状 话人识别技术的发展现状 由于电话的出现使语音传递不再依据距离而实现，录音的出现也让语音的发生不再考虑时间。 1945 年， 贝尔实验室第一次提出了语音频谱图，这个语音频谱图能够将说话人语音中的生理特征和行为特征形象描述出来。再到 20 世纪 50 年代，世界上首次实现了十个英文数字的语音识别系统。再到 1963 年，模板匹配和统计方差方法的提出引起了一大批人对语音识别的关注和研究，而我们国家的说话人识别技术就是开始于此。再往后的说话人识别领域里，出现了反映声音特征系数的线性预测倒谱系数 (梅尔频率倒谱系数 (等，也在各种线性、非线性 处理问题的方法上，提出了很多的识别算法，例如日本学者 出的动态时间规划 (法，1987 年出现的矢量量化 (法等等 1。为了实现大词汇量、连续语音和非特定人说话人识别系统，识别算法从之前的模式匹配转为了构建模型，如当时的隐马尔可夫模型 (再后来为了拥有更好噪声鲁棒性能的模型，高斯混合模型 (出现了，这使说话人识别技术开启了新的辉煌篇章。 1987 年我们国家开始实施了 863 计划，说话人识别技术也就作为一项专门的研究技术正式进入人们的视野。在最早的中国科学院声学研究所对汉语语音识别研究的基础上，经过长时间、大量地开发， 1997 年我国清华大学研发的非特定人汉语识别系统成为世界上最好的大词汇量连续汉语说话人识别系统，而在我国的台湾，实时汉语语音听写机的出现也证明了我国在说话人识别技术上的快速发展。从国内外发展现状可以看出，我国说话人识别技术已形成了 自己的特点，正逐步趋于成熟，并且正在被应用于各行各业。 术的发展现状 自从 20 世纪 60 年代开始，简单的微处理器（ 然达不到迅速处理数字信号的要求。随着快速福利叶变换（ 及超大规模集成电路技术的发展，数字信号处理 (门学科不断地兴起，其理论和方法也在不断的创新。世界上第一块 片的诞生是由美国 司于 1978 年开发出来的，它的诞生为数字信号处理理论应用于实际打开了新的篇章。追溯 展的历程，可以分为以 下几代： 第一代：首先是 1978 年 司生产出的 后的 1979 年 布出商用可编程 件 为没有对 置单周期硬件乘法器，其运算处1 绪论 3 理效率并不是很高，因此仅仅只是在某些军事或者航天部门里应用。接下来， 1980 年司生产的 司生产的 等，这些器件均采用了哈佛结构，而且为了加快运算处理速度，统一在这些芯片内部设置了硬件乘法器。在当时，这些 件还是存在 功耗大，尺寸偏大的缺陷，可是通过其运算速度比通用微处理器（ 上百倍来看， 术发展已形成明显优势， 片也就被慢慢应用于语音信号处理等各领域。 第二代：这一阶段主要是 在 八零年代中期，这一代的标志是产生了基于 造工艺的芯片。这个时期的主要芯片有： 1985 年 司生产的 摩托罗拉公司开发的 。第二代 片在处理功能上 、 运算速度上和内存空间上都比第一代有进步，其已经开始被应用于语音处理、图像处理等方面。 第三代：这一阶段的 从八零年代后期开始， 司生产的 列芯片标志着第三代 片诞生，与此同时还有摩托罗拉公司的列等，经过第一代、第二代 片的生产与发展，第三代 优点是运算速度快，处理功能多，内存空间大，并且支持 C 语言开发环境等。这样就降低了对即时信号快速处理的难度，提高了工作效率。此时的芯片多应用在控制领域，不对操作系统有限制，能够直接在硬件上开发，这就说明第三代芯片更能符合数字信号处理的要求，为今后 片在语音信号处理、图像处理技术等方面打下了坚实的基础。 第四代 片伴随着 21 世纪的来临也如期而至，此时的 片制造商在芯片内部设置了更多的部件，例如多处理器的并行处理结构，特大指令字组等等，也使许多通用外设集成到片上。此时的 片内部引脚数目比 1980 年时的增长了四倍，这些芯片在程序编辑和调试上越来越灵活，开发功能也越来越强大，并且集成度变高，功耗进一步减小，成本逐渐下降，使其不断在无线通信、计算机领域越来越受欢迎，并已广泛应用到人们的日常生活领域中。 片在语音处理中的应用 在 片的生产市场上，主要的公司有：德州仪器 （ 公司，其占有 市场最大份额，同时还有美国模拟器件 （ 公司，摩托罗拉（ 司， 朗讯科技 （ 司 等等。这里主要介绍 司的 片，它主要有三种产品系列： 列 、列和 列。其中 列的性能最好，而又以其子系列中的 点系列最受广大 好者青睐，在 系列中， 以同时采集和处理多路音频和视频，已经被广泛应用于专业音频产业，如语音识别、语音合成、说话人识别、语音增强等领域中。 部是程序总线和数据总线分开的 哈佛结构，硬件拥有专门的乘法器，采用的流 水线操作可以并行处理语音信号的功能 2。当语音信号想输入到 片内部时，应武汉纺织大学硕士学位论文 先把语音信号这一模拟信号转换成二进制的数字信号，然后通过滤波、增强、压缩、识别等处理，再把数字信号恢复成为模拟信号。我们知道，虽然能在很多处理器上实现语音信号的处理，但是自 80 年代 术迅猛发展以来，通过 C 语言或汇编语言在 使语音数据处理能力和运算速度大大提高，实现即时的效果，这也就是高性能的 日益发展壮大，并渐渐渗透人们生产生活的主要原因，同时随 着其在价格上的大幅度下降，人们需要处理的信息越来越复杂，使用 理语音信号的前景将越来越广阔。 论文的主要研究内容 本文研究的是以说话人识别技术为基础的门控系统。基于现实情况，本文采用特定人、小词汇量的说话人识别技术，在分析技术理论的同时，用 件对技术内的各步骤进行仿真。为了在 片上实现说话人识别技术，我们对硬件各模块和电路进行了详细阐述，然后根据实现流程，在 件开发环境中对软件进行了设计，最后，再对系统软件硬件各部分做测试，实现高效能的说话人识别门控系统。本文主要内容 安排如下 : 第一章主要介绍基于说话人识别技术的门控系统具有哪些研究意义，介绍说话人识别技术以及 术的国内外发展现状，最后对本文的结构和目标做出规划。 第二章是对说话人识别技术相关知识的详细介绍，并对说话人识别技术各步骤进行真，通过总结动态时间规划算法的识别方式，提出改进的方法。 第三章先是对遗传算法做详细介绍，然后根据遗传算法的特点结合动态时间规划算法，提出用遗传动态时间规划算法对说话人的语音进行识别，并给出具体的设计方案和实验结果。 第四章是选用 片作为语音 信号处理的核心处理器，设计与其搭建硬件系统的其它模块，比如用 音编解码器处理语音信号的采集模块、外扩存储器模块、电源模块等，并对系统的各电路做出设计。 第五章是说话人识别门控系统的软件设计与测试，它是基于 成开发环境，对语音信号特征参数提取的程序、硬件间各接口的程序、系统自动加载程序等做出设计并运行，并对识别算法的步骤做出详细设计，最后对系统的软硬件进行测试，完成各模块的初始化，实现系统对实时输入的语音进行有效的说话人识别。 最后，对论文所做的工作进行总结，指出自己所做工作的成果 以及不足，对自己以后的研究工作进行展望。2 说话人识别技术 5 2 说话人识别技术 话人识别技术简介 说话人识别技术需要的信息来源是目标说话人发出的声音，并且要从这些声音信号中提取出有用的个性差异信息，从而判断出说话人的身份信息。它与语音识别技术不同，语音识别提取出来的是每个人说话的内容含义，而忽略说话人的声音信息。由于每个人发出的声音都带有自己的个性，例如由于先天条件 如 声带、声道形状的不同，发出的声音也是千差万别的。再比如每个人生活地域不一样，生活经历、感情色彩不一样，说出的话语可能是某种方言，抑或是带有某种语调 ，这就给说话人识别提供了方便，使说话人识别有了研究的意义，也让此技术成为验证身份的有效办法。 针对当前的说话人识别技术，主要实现两种功能：一是由 1997 年提出的说话人辨认 （ I,也即说话人鉴别 ） 功能，二是由 1990年提出的说话人确认 （ V,也即说话人检测 ） 功能。其中，说话人辨认的意思是如果在许多个训练说话人同时发声的时候，在此构成的语音集合中判断出与之前注册的语音匹配的目标说话人，是“一个映射多 个”。而说话人确认的意思是把一个待测的训练说话人所发出的语音，同之前注册的语音特征进行匹配，如果匹配成功则是目标说话人，如果匹配不成功则说明此待测训练说话人并不是目标说话人，这是“一个映射一个”，也就是判断是否是多类说话人的问题。 从对语音的要求以及识别的对象不一样上来看，说话人识别分为三类方式 3:一是文本相关 （ 的说话人识别，这种方式是在系统内已经提前存储好某语音内容，比如词语或者是句子，把它当作是注册的语音，待识别者所发出的语音当中只要包含此注册词或注册句，即可继续被识别 ，这样可以使注册的语音意思比较隐秘，只要保证不被泄露的情况下，识别的过程较容易；二是文本无关 （ 的说话人识别，这种方式不会在系统内预先注册语音内容，待识别者可以自由说话或者发声，不用顾及语音的意思，因此识别比较灵活，但是在注册和识别的过程中都 必须找到能表征说话人的个性信息，建立模型 时 比较难；三是文本提示（ 说话人识别，同文本相关一样，它需要说话人说出指定的文本内容，但是与它不同的是，在每次识别的过程中，要在一个大规模的文本集合中选择提示的语音内容，这样 可以避免注册语音的泄露。 要想对说话人进行辨认，我们必须提前注册目标说话人的语音信息，也就有了注册说话人集合，因此可以将说话人辨认分为： 别，这种辨认方式先验的将待识别说话人预想成为注册说话人集合中的一员； 别，这种方式允许待识别者不存在于注册说话人集合。因此，不少系统开始设计训练出一个冒认模型，武汉纺织大学硕士学位论文 用来抵御非目标说话人，证明其不在说话人集合内。随着说话人集合的增大，说话人辨认系统的性能会减弱，这一点不如说话人确认系统，因为说话人确认系统不受说话人集合大小 的影响。 话人识别原理 本文建立的与文本有关的短时说话人识别系统主要包括训练和识别两个环节。在训练环节 4，目标说话人录入若干训练孤立词，也就是注册语音，系统利用这些注册语音中包含的个性信息，为每一个目标说话人建立对应的说话人模型或者叫参考模型，形成注册说话人集合；在识别环节，系统处理待识别说话人语音信息后，提取出当中的个性参数形成待测模型，与训练环节得到的参考模型进行分析匹配，并根据准则做出判决，此准则需要计算两模型间的匹配距离，模型内各点距离必须是所有匹配距离中的最小值， 继续 累加得到最小的总 匹配距离，确认当前测试语音 是否 是目标说话人所发出，从而完成身份认证的任务。图 说话人识别的基本原理 。 语 音 信 号预 处 理 端 点 检 测 特 征 提 取 模 式 匹 配训 练话 者 模 式比 较识 别输 出图 话人识别原理图 音信号的预处理 样及量化 说话人发出的语音信号为原始的模拟信号，也是连续信号，如果要运用到系统中，应先把它转变为用时间 T 和幅度 A 表示的离散的数字信号，这就需要将模拟信号进行采样之后再进行量化。因为 样定理，系统使用低通滤波器剔除音频中大于二分之一 采样频率 的部分，从而避免信号的混 叠失真。除此以外，系统通过高通滤波器来避免 50电源工作频率干扰，因此预滤波器是一个 带内信号通过，带外信号滤除 的带通滤波器 , 对于绝大多数语音编译码器，其上下限截至频率分别是 及60100每秒 8K20频率采样。 采集语音信号的设备如麦克风、录音机等，它们将普通的声音转化为连续的模拟信号，然后再采样，就让这种时间上连续的模拟信号成为一个样本序列，得到的就是离散的数字信号。如果说采样是将语音信号波形的时间量离散，则量化就是对振幅值离散，量化值即为同一范围内采样点的振幅值。有三 种方法来完成量化：一是零内存量化技术，它是对所有的模拟采样点进行同样的量化；二是分组量化，它是通过离散输出组选定输2 说话人识别技术 7 出值，用这些值表征一组采样过的模拟输入值；三是顺序量化，它是通过相邻采样点的值对采样序列信息化。一般在量化的同时会引入量化噪声， 是使 随机白噪声均匀分布在量化区间。 加重 因为语音信号功率谱在高频段 800上，由 6频的速度下降，预加重的目的是将信号频谱的高频部分提升，减少其在高频端产生的剧烈回落，使信号的频谱保持稳定，实现数字语音信号的平滑处理，这样也能用同样的信噪比进行 信号的频谱分析，进而滤除低频干扰，减少随机白噪声。一般用一个一阶高通数字滤波器来实现，其形式为式 11H z (其中， k 为预加重系数，取 加重滤波器在 能够通过语句 s=1 1,x)实现，将 语音 “开门”在 仿真，采样率为 16到预加重前后波形如图 。 图 开门”预加重前后的信号波形 帧和加窗 对于待处理的语音来说，最重要的是语音的短时性，因为人体虽然通过声带振动来形成语音，但是这种人体器官的运动速度要比声音振动慢很多，所以通常将具有时域滤波特性的窗口在时变语音信号的时域波形上平滑移动， 即 将语音信号截成有部分重叠的一段一段，完成分帧，实现短时分析。一般情况下，语音信号跨越 1030是保持相对稳定的，这样该帧的长度通常也取成 1030常是 25这就需要对语音信号进行加窗，以确保在给定帧大小后，时间 频率特性 稳定 。 为了防止丢失信息，通常分成的小段都有 30%50%的重叠，这种重叠的地方叫做帧移，实现帧与帧之间的连续过渡。帧移通常小于的 1/2 的帧长 ， 即每隔帧长的 l/2 或武汉纺织大学硕士学位论文 l/3 进行分帧，例如连续的 25语音信号， 15生一个帧，并伴随 10帧移，这样的分帧处理可能使每一帧的首尾产生 突变。 选择合适的窗函数： 为了后续的特征提取，窗口函数被用来达到平滑每一帧的效果，即窗口函数与每帧相乘，利用有限大小的段，渐缩各帧的开头和结尾边缘。由于大多数的特征参数都是具有频谱的性质，如此一来，傅立叶变换即被采用，这是时域 窗函数的卷积或频域的乘法效应。一个窗函数通过处理能够创建更加平滑，更少失真的频谱。在语 音信号数字处理中汉明窗函数是最流行的，它是一种余弦窗，能使旁瓣 即窗口的边缘，衰减速度更小，此外还有矩形窗和汉宁窗等等。 为了避免频谱的泄露，尤其对高频部分的保护，本系统采用汉明 (窗 ,其公式为式 0 . 5 4 0 . 4 6 c o s 2 / 10 00 （ 图 示是对语音信号“开门”分帧之后，再加 的波形，由图可见，加窗后良好保存了频谱的高峰值。 图 帧信号加 后波形 音信号的端点检测 语音信号的能量表示语音信号的强度，它通常应用于检测是否有语音活动。而端点检测就是来找出声音在何时发出，并在何时结束。 一个声音的语音能量要比噪声能量更高，因此，它可以用来把信号转换成语音区，寂静区和噪声区。本文使用短时能量配同短时过零率双门限法判断端点。 短时语音能量的表达式为式 ： 1 20x m (2 说话人识别技术 9 其中 由窗函数在原样本序列上所切取的第 时能量能检测语音信号的浊音段。 连续语音信号的时域波形中，信号通过横轴意味着过零，而离散语音是信号相邻值的代数符号不同则称为过零。因此，单位时间内信号过零的次数称为短时过零率，其数学表达式为式 时过零率能够检测语音信号的清音段。 101 | s g n ( ) s g n ( 1 ) |2 Nn x m x m （ 其中 x为符号函数，即式 1,1,sg n ( ) 0( ) 0 （ 双门限端点检测，预先为短时能量与短时过零率规定一个高门限及一个低门限，高门限的决定是由分帧后各语音信号的平均能量计算出来的，低门限值是判定的噪声平均能量的两倍。在寂静区，若短时能量和过零率中有任何一个大于规定的低门限，就准备开始判断是否为起始点；在再判断区，由于能量值和过零率的值都比较小，当两个参数中至少有一个超过高门 限，则可以判定进入了真正语音区，标记有语音；相反，当两参数全部回落，降至低门限以下，则又恢复进入了寂静区，表示语音结束。而若检测到的语音段持续时间短于一定的时长，则判定为噪声，接着等待接下来语音数据继续判定。为了判定某段语音是否属于噪声，我们规定语音持续的最短时间门限为 18若检测到一段语音持续时间少于 18不标记语音信号，继续等待下次判定。为了判定某段语音是否完结，避免把词语中间 空档 的时间当作语音结束端点，我们规定语音点之间最长静音时间门限为 6过这两个时间门限的设定，可以大大避免语音信 号的误判。图 在 仿真语音“开门”的端点检测结果，红线之间的部分即语音有声段，可以看出双门限检测法能很好的实现端点的检测。 图 门限端点检测法检测语音“开门”的结果 武汉纺织大学硕士学位论文 音信号的特征提取 说话者的语音是一种复杂的信号，其特征被归类为“高级别”和“低级别”。高级别的属性包括语音的清晰度、响度、粗糙度等等；低级别的属性包括声道频谱，瞬时间距和声门激发流等等。我们研究的是针对说话人识别的低级别属性。 我们希望我们找到的语音特点能够绝对体现说话人独特的声音频谱特性。声道配置可以 通过频谱分析的方法分析，如线性预测分析或倒频谱分析。本节介绍用于说话人识别的两种