版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
文本无关的说话人识别系统设计、实现与应用研究目录TOC\o"1-2"\h\u21955文本无关的说话人识别系统设计与实现 131864第一章绪论 2216481.1课题的研究背景与意义 22721.2当下说话人识别技术的研究情况 2207091.3本文研究内容及组织结构 318009第二章语音信号基本原理 5185162.1认识语音 5101872.2认识听觉 6164172.3语音信号的分析方法 680742.4本章小结 726341第三章说话人识别的基本理论 852603.1语音信号预处理 8326783.2语音信号特征提取 9315023.3说话人识别训练分类模型 1319733.4本章小结 1621354第四章说话人识别系统设计与实现 1752364.1预处理 1746164.2特征提取 18314334.3说话人识别系统分类模型设计 1949804.4系统所用数据集说明 21103374.5说话人识别系统结果分析 21313564.6本章小结 222166第五章NAO机器人 23278585.1NAO机器人硬件平台 238535.2NAO机器人软件支持 2368305.3NAOqi与音频信号处理 24301105.4本章小结 2415051第六章结束语 25212576.1论文工作总结 25279336.2问题和展望 25绪论1.1课题的研究背景与意义语音,作为人类语言的物质载体,记录并传递了一个人的具有一定意义或目的的社会交际信息,是人类社会中信息交流的重要通道。同时,语音作为声音的一种,包含了声音的基本要素,比如音高、音强、音长等。由于每个人的发音器官与发声系统的特异性与确定性,不同语音的音色也不尽相同,从而为根据说话人语音的特异性特征参数来进行身份识别创造了条件。说话人识别,也正是通过提取不同语音的特异性参数来进行与文本无关的身份识别的技术。 随着人工智能相关科技的发展,通过计算机用数字化的方法进行语音的传送、储存、合成、增强以及识别成为了可能。说话人识别是语音处理的基本内容,并在现实世界中得到广泛应用。例如,它用于个人智能设备的基于语音的身份验证;它用于警方调查嫌疑人是否有罪的证据来源;它用于会议记录中基于音频的信息检索等等。这项技术已在金融、国家安全、司法、电子商务、电子政务等应用领域具有特殊的现实意义。 对比当下现有的成熟的识别技术,如面部识别、指纹识别等,说话人识别技术具有非接触、不易变、易采集等优点,在隐私性与可操作性上更胜一筹。因此,开发发展说话人识别技术意义非凡。1.2当下说话人识别技术的研究情况 说话人识别问题早在上世纪50年代便已提出,1945年,贝尔实验室通过研究语音图谱总结了人体发声器官与发声系统的功能,并利用语音图谱手动完成了说话人识别的分类。1963年,出现了的一个自动说话人识别系统(ASR),不过,该系统将语音的平均谱向量作为输入,并以欧氏距离作为度量计算语音信号间的相似程度。继模式识别技术提出后,说话人识别技术研究的浪潮正式掀起。通过模式识别理论,科学家将工作重心从相似度计算转移到了语音信号的参数特征提取上来。1972年,B.Atal引入倒谱特征作为语音信号的分析,经验证发现,倒谱特征在识别系统中的表现明显优于其他特征。二十世纪八十年代,科学家提出了线性预测系数(LPC),进而与倒谱特征相结合,推出了线性预测倒谱系数(LPCC),这一特征至今仍被广泛用于语音信号学的研究领域。而真正奠定说话人识别关键特征提取部分的是1980年科学家提出的梅尔频率倒谱系数(MFCC),该系数基于人体发声的共振与人耳对不同频率的非线性感知能力提出,经过梅尔刻度的三角滤波器组映射得到的梅尔倒谱频谱,经验证具备着出色的鲁棒性,是语音信号学领域主流且十分重要的特征参数。 不仅是特征提取方法技术的不断革新,随着机器学习方法的深入研究,越来越多的分类算法得到开发与普及。例如,隐马尔科夫模型(HMM)的提出对说话人识别系统的分类准确率得到了极大改善。20世纪90年代,高斯混合模型(GMM)提出,基于高斯混合模型的各个分量描述可以对语音信号频谱的任意特征分布拟合,这使得鲁棒性得到了进一步的提高,同时使得说话人识别技术更为完善。步入21世纪以来,说话人识别技术的重点聚集于语音信号信道去噪的研究上,这一重点问题的解决使得说话人识别技术的应用领域更加广泛。近些年来,随着神经网络技术的突飞猛进,科学家进一步提出了声学矢量模型(i-vector),并基于此矢量模型,结合神经网络与深度学习,d-vector与x-vector应运而生。根据当下人工智能领域发展态势,深度学习在说话人识别技术等语音信号学领域发展前景广大。 不仅是理论与方法上的发展,随着计算机硬件处理能力的进一步提高,科学家已经能够对超大规模的数据集进行高效力的计算,其得出模型的鲁棒性与识别率将会更高。如今随着相关理论的完善,硬件能力的提升支持,国际上,越来越多的科技公司将说话人识别技术看作是前沿AI科技,并投资研发。如苹果公司的iphone系列手机,中国的小米手机等都已具备特异性人声唤醒功能。此外,我国的科大讯飞已经在语音输入,说话人识别,语义分析,人机对话一系列语音信号研究领域取得了显著的研究成功,并为更多的科技产品公司提供科技支持。展望未来,说话人识别技术将寄身于这一系列科技产品,落实到每个人的手中,切实为社会科技进步发力。1.3本文研究内容及组织结构 本文对说话人识别等语音识别领域发展状况进行调研,参考上世纪以来提出并仍在使用的主流特征提取算法与分类模型,设计研发基于短时傅里叶变换、线性预测倒谱系数、梅尔倒谱系数分析三种特征提取方法,支持向量机、K近邻分类模型、随机森林分类模型三种分类模型,共计交叉组合六种组合方式的说话人识别系统,并对不同组合下系统的预测得分进行分析比较。 本文研究包括以下方面:从生物学角度调研学习人体发声器官与发声系统的运作方式,人体听觉生成过程,阅读相关论文,为理解后续仿生算法打下基础。调研学习上世纪至今主流特征提取算法,学习算法流程,制定具体的实现方法,为后续编码实现提供理论保障。根据学校学习内容与调研,选择使用三种分类模型分别对系统进行检验,分别学习三种分类模型的特点与实现过程。根据模式识别分类问题理论,设计与文本无关的说话人识别系统框架,在实现上述特征提取模块与分类模块后,将其关联在一起,得到完整的说话人识别算法,并根据数据集进行验证比对。利用NAO机器人的嵌入式NAOqi模块,开发说话人识别系统API接口,将系统基于NAO机器人的麦克风输入与音频输出模块验证实际操作。本文的章节安排共分为六章进行:引言及研究现状调研:首先介绍了说话人识别技术的研究背景与意义,介绍了当下说话人识别技术的发展现状与主流方法,最后给出本文的主要研究内容与整体章节安排。生物学基础介绍:介绍说话人识别技术所需支持的生物学理论基础知识,包括人体的发音器官与发声系统的工作方式,听觉系统的工作方式,并给出语音信号的评判特征。说话人识别系统理论基础:该章为本文核心所在,介绍并推导了当下流行的三种语音信号特征提取方法,阐述了三种方法的优点与局限性,又给出了当下常用的三种分类方法,阐述了数学推导过程及意义,与对应的算法实现过程。说话人识别系统设计说明:该章为第三章理论内容转化为实际操作的说明,阐述了模式分类问题下分类系统的模块设计,并将理论知识实际编码具体实现,根据任务安排,交叉验证了六种组合方式下系统的预测分数,并根据理论与结果加以比较分析。NAO机器人基本架构说明:NAO机器人作为当下流行的功能性强大的研究机器人,该章着重介绍了NAO机器人在语音信号处理范畴中的硬件架构与软件支持体系,并阐述了NAO机器人内置NAOqi模块的可嵌入式开发性,并提出了利用Windows系统下python嵌入开发的相关模块的理论。总结与展望:总结本文工作,并针对调研过程中遇到的新问题加以阐述与理解,并展望了在当下科技发展与硬件水平提高的背景下,说话人识别技术的研究与应用的广泛前景。
语音信号基本原理从物理学角度来看,语音属于声音的一种,因此也是由振动产生的,最初发出振动的系统被称为声源。振动将产生波,而表达声音的波被称为声波。2.1认识语音2.1.1语音的产生语音是由人的发音器官产生的。人的发音器官主要包括口腔和鼻腔构成的吐字器官、胸腔中的呼吸器官和喉构成的发声器官,以及这些器官形成的共鸣腔体,这些器官组成的通道称之为声道,咽喉的部分称之为声门。通过这些器官的形状变化,共振,调整气体流速等协同配合,人体才可以发出不同的声音。如下图2-1所示。 在这些发声器官中,声带是发声器官的主要组成部分。声带位于喉腔中部,由声带肌、声带韧带和粘膜三部分组成。中国成年男性的声带一般在18mm~24mm,平均长度为20mm左右,成年女性一般在14mm~18mm,平均长度为15mm左右。声音则是声道中的气流冲向靠拢的声带引发振动而产生的。此时发出的声音被称之为基音。基音再经受下共鸣腔(包含咽、口、鼻等器官)的共鸣作用而发生变化,成为听到的声音。发声时,从气管和肺冲出的气流不断冲击拉紧的声带与几乎关闭的声门裂,从而引起振动,在声道肌肉的协调作用下,使声门裂受到有规律性的控制。故声带的形状和声门裂的大小,均能影响声调高低。成年女子的声带对比成年男子的声带而言较短且狭窄,因此女子比男子声调高。同时,青少年将在14岁左右经历变声期,从而形成稳定的发声系统。2.1.2语音的声学特征 (1)基音周期 经肺部呼出气体,振动声带产生的未经过声道及共振器官修饰的声音被称之为基音,声带每开启和闭合一次将产生一次基音,这一段时间被称为基音周期,它的倒数被称为基频。基频范围随发声人性别、年龄及周边环境等情况而改变,最低为80Hz左右,最高可达500Hz左右。普遍而言,老人低于成年人低于小孩,成年男性低于成年女性。 (2)波长 语音信号在物理学中属于声音信号,声音由振动产生,故语音信号同声音可用声波表示,因此具备声波的一系列特征。声波从声源发出,经过墙壁或其他物体发生反射与散射等效应,其频率指单位时间内声波的周期数目。波长则指声波中两个波峰之间的时间距离。频率越高,波长越短。 (3)振幅 随着发音人呼出气体的量的大小,语音的响度也就随之不同,这在物理学上反应为声波的振幅。响度大,如大声呼喊,振幅就大;响度小,如窃窃私语,振幅就小。2.2认识听觉 人的听觉系统主要组成部分是耳。耳由外耳、中耳与内耳组成。其中,外耳用于收集语音信息,对收集到的语音信息加以放大与定位,起感知作用;中耳用于声阻抗变换,将中耳两侧的声阻抗匹配,起保护内耳的作用;内耳中的耳蜗则对语音信号加以时频分析,将复杂的信号分解为多个分量,掩蔽弱音杂音,并通过听神经将处理过后的信号传递于大脑中枢产生听觉。 虽然目前已经对人体的发声系统与听觉系统有了详细的研究,但是对于人体是如何接受语音信号与时频分析的详细操作仍缺乏事实操作。因此,研究听觉系统的语音信号处理机制与大脑皮层的听觉产生对今后语音研究领域意义重大。2.3语音信号的分析方法 语音信号作为特殊的声音,具备着声音的声学特征,因此,语音信号可以利用信号学的理论加以分析。语音信号是典型的非平稳信号,但是,在短时间内,可认为语音信号是平稳的,经研究,在10~30ms内,人的发声模型相对稳定,因此不断切分信号,在短时间内可以对语音信号进行传统的信号学分析:时域分析这是最早提出,也是应用最广,最简单的语音分析方法,简而言之,即将声波的幅度与时间结合加以分析。通过时域分析,可比较明显地分析出语音信号的周期性,频率与过零率。过零率短时过零率只语音信号在单位时间内声波波形穿过横轴的次数。过零率可直观反映语音信号的频率。倒谱分析倒谱分析是常见的频域分析方法。倒谱字面意义上看即将谱线做反变换,经研究发现,倒谱定义下的信号短时的傅里叶反变换可近似分离并提取频谱包络和基频信息的特点。因此采用倒谱分析是当下常见的频域分析方法。2.4本章小结本章节主要从生物学角度上阐述了人体的发声器官与发声系统的工作机制,以及人类听觉系统的机理,便于后续仿生算法的理解。同时,基于物理信号学角度,介绍了语音信号的几类常见信号学方法,便于理解本文后续的算法分析。说话人识别的基本理论说话人识别,又称声纹识别,是生物识别技术的一种,主要解决与文本无关的说话人辨认及确认问题。从技术上来看,与文本无关的说话人识别问题是一个模式识别问题,与传统的面部识别、指纹识别问题一样,属于分类问题的一种。解决该类问题的传统思路有:语音信号预处理、语音信号特征提取、匹配模型训练与识别等几个步骤。(如图3-1所示)3.1语音信号预处理 语音经麦克风等声音设备收集,经声电转换、采样、量化转变为数字信号,以方便计算机对语音信号进行处理。在收集过程中,往往受到环境及人为因素等影响,得到的数字信号中包含系统不需要的成分,即噪音。因此,对语音信号进行去噪、归一化等处理以提高语音信号的可分析性十分重要,称此过程为语音信号预处理。 在语音信号预处理中,有以下几个过程:预加重、分帧、加窗。 预加重指弥补语音信号传输过程中高频成分衰减大的损失而在传输始端增强信号高频成分的技术。从实现上看,预加重技术旨在提高信号上升/下降沿处的幅度。 分帧过程中,采用语音信号的采样频率为16KHz,每帧长度为20ms左右。 加窗过程中,语音信号往往是长距离且不停变化的,整体上看,很难直接发现信号的整体特性,因此,在每一帧中引入窗函数,窗外的值设定为0,以消除帧两端可能造成的信号不连续性。根据窗函数的频域特征,在此使用汉明窗。窗函数如下。 语音信号经分帧加窗等预处理过后即可进行后续的特征提取操作。3.2语音信号特征提取 在说话人识别系统中,提取语音信号的关键特征以有利于后续分析是最为重要的过程。经预处理过后的语音信号仍是数字信号模型,计算机难以分析其特征。同时,作为数字信号模型,包含了如振幅、频率、峰值等诸多信号特征,寻找且提取音频的关键特征是该过程的主要问题。这一关键特征应该具备以下优点:(1)包含个人独特的语音特征,即音色;(2)具有区分度,特异性强;(3)与文本无关且稳定;(4)易于获取且易于计算机分析等。经上世纪70年代至今的研究过程中,普遍认为一个人语音发声的音色在成年后发声系统稳定后被唯一确认且难以改变。因此,大多的声学特征提取原理基于人发声系统的特征出发探索。为满足特征提取过程中的易操作性,研究提出的特征提取方法大多基于信号变换与谱分析。其中常用的有:短时傅里叶变换(STFT)、线性预测倒谱系数(LPCC)、梅尔频率倒谱系数(MFCC)。短时傅里叶变换(STFT)快速傅里叶变换(FFT),即将某条件下的函数转换为三角函数或者其积分的线性组合的形式,被广泛应用于信号学时域频域分析领域。其中,F(ω)叫做f(t)的象函数,f(t)叫做F(ω)的象原函数。F(ω)是f(t)的象。f(t)是F(ω)原象。而短时傅里叶变换(STFT)实质即为加窗的快速傅里叶变换,其优点在于将时域和频域相关联,即可反映信号在频域中的特性,也可在时域中对信号进行分析。语音信号由于携带特定的社会意义,从整体上看,是不平稳且无法分析的,但是,通过窗函数在时间轴移动,可以认为非平稳信号在窗口短时间中是平稳的,因此,通过加窗并进行窗口内的傅里叶变换,逐段分析得到语音信号的一组关于语音信号频域特性与时域相关联的频谱,这就是短时傅里叶变换。信号x(t)的短时傅里叶变换定义为:由上式可以看出,信号x(t)在时间t初的短时傅里叶变换即为信号与时间t为中心的窗的乘积的傅里叶变换,这反映了信号在时间t附近的一个片段,同时,STFT(t,f)看作是信号在时间t时的频谱。特别的是,当h=1时,上式正是传统傅里叶变换的表达式,是短时傅里叶变换包含的特殊情形。在实际操作中,不断调整窗口大小方能得到最优局部化性能。短时傅里叶变换作为傅里叶变换的分窗口演化,继承了傅里叶变换在信号学中易解释的物理意义,但也具备着窗口大小固定不能自适应调节的局限性。 线性预测倒谱系数(LPCC) 在说话人识别技术发展研究过程中,曾提出一个思想:将一个语音的取样通过之前若干同一人语音取样的线性组合进行LMA逼近,从而得出一组唯一的预测系数。这一思想被称为线性预测(LPC)。这组系数被称为线性组合中的加权系数。LPC在语音信号处理过程中,不仅可以对之后的语音信号提出预测,更重要的是,该思想提出了一个出色的声道模型以模拟真人的发声系统。计算机可利用LPC模型的参数实现降低传输码率、解混响等诸多功能。线性预测的原理可以粗略表示为,将信号看作为一个模型的输出,进而通过模型参数来描述信号。通常模型包含有限个极点且无零点,系统函数如下:上式展示的模型被称为全极模型或AR模型。式中,a为实数,称为LPC系数,各系数a和增益G为模型参数。LPC分析即根据已知信号对参数a和G的估计。对于语音信号,在确定了LPC系数之后,根据下式可得到其频率特性的估值,即LPC谱。LPC可以看作一种短时谱估计法。 同时,LPC系数可表示为LPC模型系统冲激响应的复倒谱。 设LPC获得的声道模型为: 设其冲击响应为h(n),则: 根据复倒谱公式即可得出LPC复倒谱,即LPCC。 通过推导上述过程,可以得到由LPC获得LPCC公式如下:较LPC而言,LPCC运算量小,表现效果明显,是语音识别中的常用的特征矢量。 梅尔倒谱系数(MFCC)无论是上述提到的短时傅里叶变换,还是线性预测倒谱分析,均是基于语音信号的声道模型。从生物学角度上看,一个人音色的特异性来源于发声系统的特异性,即声道与发声器官的特异性的唯一确定。同时,音色的识别过程经过以人耳为主的听觉系统进行,与计算机不同的是,人耳听觉系统对不同频率的声音敏感程度也不尽相同。人耳对200Hz~5000Hz的语音最为敏感,对低频声音较高频声音敏感。因此,人耳对不同频率的声音的判别并非一种线性关系,基于此,提出了梅尔倒谱分析,即MFCC。 与寻常的普通频域不同,相关研究人员提出了Mel频域。其中,Mel频率与实际频率之间为数学对数关系,如下式。f的单位Hz,代表实际频率。通过上式分析,当f小于1000Hz时,二者近乎呈现线性关系,而当f大于1000Hz时,二者关系呈现对数关系,基于此,Mel频率能够更好地映射人耳对语音信号的敏感程度。MFCC的提取过程如下图所示。语音信号经前面所述的预处理及短时傅里叶变换后得到实际频率的频谱,接下来,通过下式所示,将实际频率转化为Mel频率尺度,并输入到Mel滤波器组中以得到Mel频谱,之后经过对数运算,得到对数功率谱S(m): 其中E代表传输函数,表达式如下: Mel滤波器是多通道的带通三角形滤波器,每个滤波器复制相同,在频率轴上均匀分布,相邻两个滤波器的最高频率、中心频率、最低频率的数量关系如下式:其中,m(l),s(l),g(l)代指第l个滤波器的最高频率、中心频率与最低频率。为了将数据压缩,将空域的信号转换到频域上,实现去相关性的功能,接下来将进行离散余弦变换操作,即DCT。DCT变换不仅是无损变换操作,还能利于编码等领域的量化、哈弗曼编码操作。同时,由于DCT变换是对称的,因此,通过DCT反变换,还能够在接收端得到原始信息。DCT变换阵的基向量除了具有一般的正交变换性质外,其还类似于Toeplitz矩阵的特征向量,这一特征极大体现了人类语言信号的相关特性。因此,在语音信号处理领域,DCT变换被认作是一种准最佳变换。对Mel滤波器组的输出经过DCT,得到MFCC参数: 其中,n取自1~L之间,L为MFCC参数的阶数。 通常而言,根据人类语言特征,语音信号的相邻帧之间也会存在一定 的信息,对于此,可通过一、二阶差分参数作为动态特征求解: 上式中,代表第n阶差分系数,M为窗的大小,c为MFCC参数。 从信号物理学角度上看,MFCC可以看作为语音信号的能量在不同频率的分布。语音信号的频谱可以看作是低频的包络和高频的细节相加,在得到倒谱系数后,我们只需要取低位的系数便可以得到包络信息,这也是人类听觉系统的体现。从生物学角度上看,低频的包络信息正是人在发声时,发声系统中声道与发声器官发生共振引起共振峰的体现。经研究,共振峰是不同人音色特异性的表现,包含了语音信号的音色特征,这也是人类发声系统的体现。 综上所述,语音信号的特征提取过程既是一个信息特征寻找,也是一个信号压缩的过程,经由不同的提取策略,得到不同的信息特征,旨在分类器能够更好地分类划分与相似度判断。3.3说话人识别训练分类模型 说话人识别问题属于分类问题的一种,因此在提取语音信号后的特征后,选择合适的分类模型进行训练,以生成模型文件便于后续决策分类十分关键,是整个说话人识别系统中的另一重要组成部分。就目前人工智能领域,常用分类模型众多,在此选用支持向量机、K近邻模型、随机森林模型三种分类模型分别分类并对其结果进行分析、验证及比较。3.3.1支持向量机支持向量机(SVM)是依靠监督学习方式对数据进行二元分类的分类器,其主体思想在于从两类数据之间寻找一个超平面,使得数据能够最大限度地区分在平面两侧。从而可通过多次二分类引申为多分类模型。 在任意空间中,任意超平面可以用下述方程描述: 在n维空间中,点x到平面距离可表示为: 其中。根据支持向量的定义,其他点到超平面距离大于支持向量到超平面的距离d,由此,可得: 整理后,得: 暂且令分母为1(方便推导优化且对目标函数优化无影响),得: 合并两个方程,即: 至此可得到最大距离超平面的上下两个超平面。(如下图3-3所示) 每个支持向量到超平面得距离可以写为: 又可以推得,则 最大化此距离d为: 又,得到: 取倒数,得到: 因此得到得最优化问题转换为: 根据上述线性问题的求解方法便可以推导出超平面对应表达式为: 其中,为核函数。下表展示了SVM中常用的核函数类型。 表3-1SVM常用核函数核函数名称数学表达式参数说明线性核无多项式核d为多项式次数Sigmoid核tanh为双曲正切径向基核(RBF)a为高斯函数的带宽在本系统中,采用的为线性核。 支持向量机有着严格的数学理论支持,具备不依靠统计方法,可解释强,简化分类问题的优点,并且在最终决策中只由少数支持向量确定,计算复杂度取决于支持向量的数目,一定意义上避免了“维数灾难”。同时。支持向量机的计算方法也会引起训练时间长,当支持向量数量大,预测计算复杂度高等局限性。因此,支持向量机适合于小批量样本的分类任务,难以承受大规模数据的分类任务。3.3.2K近邻模型 K最近邻分类算法(KNN)属于成熟的机器学习算法之一,其基本思想为:任一未分类点的判别将与该点周围最为相邻的K个点的类别决定。该算法可使用下述流程表示: KNN算法 训练算法: 对于每个训练样例,把这个样例加入列表training_examples 分类算法: 给定一个要分类的查询实例 在training_examples中选出最靠近xq的k个实例,并用…表示 返回 若a=b,则d(a,b)=1,否则d(a,b)=0。 K近邻算法属于机器学习早期提出且成熟的模型,具有着简单易理解且无需参数估计,无需训练,精度高等优点。同时也具备着空间开销大,计算量大等局限性。3.3.3随机森林模型 在机器学习中,随机森林是利用多棵树对样本训练并预测的一类分类器。该分类器包含多个决策树,分类的输出由个别树输出的类别的众数所决定。 随机森林的计算步骤如下所示:导入数据集及标签。设定常数N代表样本数目,设定常数a代表条件数目,且a<N。设定常数X作为决策树数目,创建X个决策树利用测试样本训练决策树的模型。分类过程中以多棵决策树中结果少数服从多数或取平均值作为最终预测结果。 随机森林模型由于决策树的多样性可以生成高精确度的分类器模型,且由于决策树训练可并行操作,因此可以处理大量的数据输入,具备高效性,从结果上看,对于不平衡的分类数据集还可以有着平衡误差的优点。与此同时,由于决策树的不可读性,因此随机森林模型具备着很强的不可解释性等局限问题。3.4本章小结 本章主要论述了说话人识别技术的基本原理,阐述了说话人识别的系统框架。文章依照系统框架顺序出发,依照传统分类模型的步骤,首先是语音的采样、预加重、分帧加窗等预处理方法,然后表述了自上世纪研究以来的三种特征提取方法——短时傅里叶变换(STFT)、线性预测倒谱系数(LPCC)、梅尔倒谱系数(MFCC),并对三种模型进行了推导与优缺点分析。之后,对系统将拟用的三种分类模型进行了论述,推导了支持向量机(SVM)的数学模型,概述了K近邻算法(KNN)与随机森林分类模型的实现过程,并分别对三种模型的优缺点进行了分析与对比。为后续设计说话人识别系统提供了有力的理论基础。说话人识别系统设计与实现基于说话人识别系统原理的分析,设计说话人识别系统如下图所示。 系统将分别基于STFT+LPCC与STFT+MFCC两种特征提取组合,三种分类模型,共六种组合产生的结果进行比较确认分析。下面阐述说话人识别系统的实现过程。4.1预处理 预处理操作包括读取音频,采样,预加重,分帧及加窗。设定参数如下:预处理配置信息文件 classAudio:#采样率rate=16000#采样点个数fsize=400#每一音频帧的时间长度#每秒有16000次采样,而每个帧有400次采样,所以一个帧的时间是400/160000flen=fsize/samp_rate#连续窗口之间的步长hlen=0.01 通过预处理后可以观察音频的波形图如下图所示4.2特征提取4.2.1STFT+LPCC算法 STFT+LPCC算法 #从样本数组中提取LPCC系数defextract_LPCCs(sample_array,sampling_rate,flen,hlen)://len:分析窗口大小,记为0.025s(25ms)//step:连续窗口之间的步长,记为0.01s(10ms)//numcep:倒频谱返回的数量,默认13//返回:一个numpy数组,包含着特征参数,每一行都包含一个特征数组。lpccs=lpcc(sample_array,sampling_rate,winlen=flen,winstep=hlen,numcep=13,winfunc=config.Windowing.hamming)lpccs=numpy.array(lpccs)lpccs=lpccs[:,1:]returnlpccs#此方法用于提取测试音频文件的lpccsdefextract_features(sample_array,sampling_rate,flen,hlen):lpccs=extract_LPCCs(sample_array,sampling_rate,flen,hlen)returnlpccs 4.2.2STFT+MFCC算法 STFT+MFCC算法defextract_mfccs(sample_array,sampling_rate,flen,hlen)://len:分析窗口大小,记为0.025s(25ms)//step:连续窗口之间的步长,记为0.01s(10ms)//numcep:倒频谱返回的数量,默认13//返回:一个numpy数组,包含着特征参数,每一行都包含一个特征数组。mfccs=python_speech_features.mfcc(sample_array,sampling_rate,winlen=flen,winstep=hlen,numcep=13,winfunc=config.Windowing.hamming)mfccs=numpy.array(mfccs)mfccs=mfccs[:,1:]returnmfccs#此方法用于提取测试音频文件的mfccsdefextract_features(sample_array,sampling_rate,flen,hlen):mfccs=extract_mfccs(sample_array,sampling_rate,flen,hlen)returnmfccs 上述两种算法均使用python_speech_features库实现特征提取过程。并利用python的数组转换方式,利用numpy数组作为桥梁,从而提取特征值,并输出表格文件存储。下截取表格的一部分: 表4-1特征参数表部分截取01234567891011speaker14.5492.1837248.8455610.03896.611493.922651.8580716.495117.605410.03728.32572.40322士兵7630.50936.528717.281626.197791.488234.3095071.0386729.5754.181734.512276.111762.39402士兵7633.609211.147911.817810.80737.523665.81830.133714.435883.16097822.99873.99022212.10981天使36.849214.943212.445615.923510.065318.15794.959827.430832.441814.02962.211138.464821天使4.3说话人识别系统分类模型设计 4.3.1支持向量机SVM分类算法defmain():#获取数据集data_set=pandas.read_csv("dataset.csv",index_col=False,encoding='gbk')print("数据集的shape:",data_set.shape)#将数据集分为特征x和标签ydnumpy_x,dnumpy_y=TrainTestHelper.split_dframe_x_y(data_set)#使用StratifiedKFold将数据集分为训练集和测试集folds=TrainTestHelper.split_dnumpy_train_test(dnumpy_x,dnumpy_y)#创建模型model=SVC(C=1,kernel='linear')#使用kfold交叉验证TrainTestHelper.apply_SKfold(model,folds)#训练模型TrainTestHelper.train_model(model,dnumpy_x,dnumpy_y)#保存模型以备将来使用joblib.dump(model,"SVC_model.plk") 利用python中的sklearn库中的SVC函数,可以通过model=SVC(C=1,kernel='linear')快速训练线性核支持向量机模型并储存。 4.3.2K近邻模型KNN分类算法defmain():#获取数据集data_set=pandas.read_csv("dataset.csv",index_col=False,encoding='gbk')print("数据集的shape:",data_set.shape)#将数据集分为特征x和标签ydnumpy_x,dnumpy_y=TrainTestHelper.split_dframe_x_y(data_set)#使用StratifiedKFold将数据集分为训练集和测试集folds=TrainTestHelper.split_dnumpy_train_test(dnumpy_x,dnumpy_y)#创建模型model=KNeighborsClassifier(n_neighbors=1)#使用kfol交叉验证TrainTestHelper.apply_SKfold(model,folds)#训练模型TrainTestHelper.train_model(model,dnumpy_x,dnumpy_y)#保存模型以备将来使用joblib.dump(model,"KNC_model.plk") 利用python中的sklearn库中的KNeighborsClassifier函数,快速训练KNN模型并储存。 4.3.3随机森林模型随机森林模型分类算法defmain():#获取数据集#不使用第一列作为行索引data_set=pandas.read_csv("dataset.csv",index_col=False,encoding='gbk')print("数据集的shape:",data_set.shape)#将数据集分为特征x和标签ydnumpy_x,dnumpy_y=TrainTestHelper.split_dframe_x_y(data_set)#使用StratifiedKFold将数据集分为训练集和测试集folds=TrainTestHelper.split_dnumpy_train_test(dnumpy_x,dnumpy_y)#创建模型model=RandomForestClassifier(n_estimators=23)#交叉验证TrainTestHelper.apply_SKfold(model,folds)#模型训练TrainTestHelper.train_model(model,dnumpy_x,dnumpy_y)#保存模型以备将来使用joblib.dump(model,"RFC_model.plk") 利用python中的sklearn库中的RandomForestClassifier函数,快速训练随机森林模型并储存。 在上述三种模型生成过程中,支持向量机模型在1000次交叉验证过程中生成速度最慢,且CPU占用率最高。4.4系统所用数据集说明 数据集采用网络搜集电影、游戏、主播等音频数据自行生成,共10人,总计200段已标注高清音频。采样频率为16kHz,且无背景音等噪音,采用wav格式保存。4.5说话人识别系统结果分析 六种模型组合分别经三次实验,结果取平均值得到预测得分如下表表示: 表4-2模型预测分数预测分数SVMKNN随机森林STFT+LPCC71%75%78%STFT+MFCC76%85%79% 由上表,使用短时傅里叶变换与梅尔倒谱系数与K相邻分类模型的情况下,预测分数最高,达到85%;横向来看,K相邻分类模型与随机森林模型的预测分数显然大于支持向量机,分析认为,支持向量机作为出色的二分类器,在多分类领域不如其他多分类模型,而K相邻分类模型与随机森林模型的发挥也受到了数据的结构,大小等因素影响;纵向来看,梅尔倒谱系数模型出发于人体的发声结构与听觉系统,在梅尔频谱的映射下,更为近似地反映了人耳对于不同频率语音信号下的非线性变化,基于此,梅尔倒谱系数反应的预测分数高于线性预测倒谱系数反应的预测分数。4.6本章小结 本章节基于第三章提出的原理与模型,通过python及其库函数,设计开发了说话人识别系统,并利用自制数据集,仿真验证了算法的正确性与准确程度。实现表明,在语音分析领域中,存在着各种不同的语音特征,不同的语音特征对最终识别结果有着不同的影响。与此同时,分类模型的选择要基于数据的特征,使用合适的分类模型将有助于分类的贡献程度。结果表明,使用短时傅里叶变换与梅尔倒谱系数的语音特征在K近邻分类算法的贡献下,实现了最高的准确率,为85%,这一对比结果,也体现了梅尔倒谱系数分析方法基于人体发声系统与人耳听觉感官的近似表达与K近邻分类算法在此类多分类问题中的优异表现。第五章NAO机器人5.1NAO机器人硬件平台 NAO机器人是当前人工智能领域先进的仿人机器人,由软银机器人公司研发,全身拥有25个自由度及一系列传感器。其中,2个摄像头作为眼睛,最大程度模拟人眼形成视觉的过程,并根据两眼不同位置形成图像的差异性,判断距离与方位;4个麦克风、语音合成器与扬声器作为发声设备并利用1个超声波距离传感器判断声源距离;2个位于面部的红外线发射器可有效使机器人实现避障功能,除此之外NAO机器人还具有一系列运动或感觉传感器来模拟真人运动过程。这为NAO机器人在语音音频信号的输入与输出的过程提供了坚实的硬件基础。如下图所示5.2NAO机器人软件支持 NAO机器人的CPU内含自研开发的智慧大脑NAOqi,可以自主控制NAO机器人的高智能的对话交流与肢体语言,大大降低了NAO机器人的应用门槛,有助于NAO机器人的进一步开发。 NAOqi是NAO机器人中的嵌入式软件,包含一个跨平台的分布式机器人框架,为开发人员提供了一个完整的底层开发基础,以实现NAO机器人本不存在的功能。同时,NAOqi可兼容其他算法的API并使用。通过编程模块的API接口,NAO机器人具备了可被远程操作与深度开发的能力。 利用Windows系统下的Python语言,安装NAOqi库后,可利用python
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 中医眼科中药离子导入管理制度
- 2024独家销售代理合同
- 中信息技术《算法与程序设计》试题
- 一年级语文教学大纲
- 2025年采购管理师《采购实务》预测卷
- 2026年医药行业报告:人机协作模式在医药生产中的应用前景
- 2026年能源行业应用安全报告:保障能源设施稳定运行的安全策略
- 2026年人脸识别技术在安防行业的应用案例分析报告
- 2026年车载显示行业投资风险分析报告
- 2026年科技行业会员储值策略研究
- GB/T 3672.1-2025橡胶制品的公差第1部分:尺寸公差
- 安装指导合同(标准版)
- (高清版)T∕CES 243-2023 《构网型储能系统并网技术规范》
- 华兴数控WA-32XTA用户手册
- 年产1亿片盐酸二甲双胍缓释片生产工艺设计
- 《结直肠癌的治疗进展》课件
- 《亲子沟通模式对幼儿情绪调节能力的影响探究国内外文献综述》1600字
- DB11∕T 1655-2019 危险化学品企业装置设施拆除安全管理规范
- JB-T 8532-2023 脉冲喷吹类袋式除尘器
- 《测绘管理法律与法规》课件-测绘资质管理
- JGT14-2010 通风空调风口
评论
0/150
提交评论