版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第8章语音识别
8.1采用矢量量化的说话人识别8.2采用DTW的孤立词识别8.3基于HMM的语音(语句)识别
第8章语音识别
实际语音信号序列的变化是随机的不确定的,观测结果会随着它们状态的改变而改变,而状态是隐藏的,无法直接被观测到,状态序列和观测序列都是随机的,因此需要从语音数据的统计数据中进行学习,利用已有的数据拟合出一个最优的模型。38.1.1矢量量化的原理8.1.2矢量量化的训练8.1.3矢量量化说话人识别的实现8.1采用矢量量化的说话人识别48.1采用矢量量化的说话人识别矢量量化(VectorQuantization,VQ)是一种信号处理和数据压缩技术,常用于图像处理、语音处理等领域。在说话人识别中,矢量量化可以用于提取和表示说话人的声音特征,以便于后续的识别和验证任务。58.1采用矢量量化的说话人识别在说话人识别中,矢量量化的基本思想是将声音信号的各帧表示为一个向量。这些向量可以是声学特征的统计信息,接着对这些向量进行聚类,形成一组代表性的矢量。当新的声音信号到来时,它会被分割成时间片段,并用与训练时相同的特征提取方法转换为向量。然后,通过计算输入向量与码本中各个矢量的距离,找到最匹配的码本向量,从而确定说话人的识别。68.1.1矢量量化的原理将若干个标量数据组成一个矢量(或者是从一帧语音数据中提取的特征矢量)在多维空间给予整体量化,从而可以在信息量损失较小的情况下压缩数据量。矢量量化有效地应用了矢量中各元素之间的相关性,因此可以比标量量化有更好的压缩效果。78.1.1矢量量化的原理
88.1.1矢量量化的原理矢量量化器的设计主要有两个问题:一个是如何划分量化区域,使平均失真度最小化;另一个则是怎样保证在失真度最小的情况下寻求最优码本。98.1.1矢量量化的原理失真测度是输入矢量用码字来表示时所产付出的代价,能够表示码字和各个码本之间的相似程度。失真测度选择的好坏会直接影响到说话人识别系统的性能。失真测度108.1.1矢量量化的原理
矢量量化器118.1.1矢量量化的原理
矢量量化区域128.1.1矢量量化的原理
138.1.2矢量量化的训练矢量量化的说话人识别训练主要包含:1.从训练语音提取特征矢量,得到特征矢量集。2.选择合适的失真测度,并通过码本优化算法生成码本。3.重复训练修正优化码本。4.存储码本。148.1.2矢量量化的训练
158.1.2矢量量化的训练
168.1.2矢量量化的训练根据这两条原则,可以得到一种码本设计的递推算法LBG(Linde-Buzo-Gray,LBG)算法。整个算法实际上就是上述两个条件的反复迭代过程,即从初始码本中寻找最佳码本的迭代过程。它由对初始码本进行迭代优化开始,一直到系统性能满足要求或不再有明显的改进为止178.1.2矢量量化的训练
LBG算法步骤如下:188.1.2矢量量化的训练
LBG算法步骤如下:198.1.2矢量量化的训练
LBG算法步骤如下:208.1.2矢量量化的训练
LBG算法步骤如下:218.1.2矢量量化的训练6.计算新码本的码:LBG算法步骤如下:228.1.2矢量量化的训练
LBG算法步骤如下:238.1.3矢量量化说话人识别的实现
24孤立词识别是语音识别中的一个重要任务,它涉及识别单个独立的词语。动态时间规整(DynamicTimeWarping,DTW)是一种常用于语音识别和时间序列匹配的算法,特别适用于处理时间轴上存在时间伸缩或略微变形的情况。8.2采用DTW的孤立词识别258.2采用DTW的孤立词识别DTW算法的基本思想是将两个时间序列进行时间轴的拉伸或压缩,使得它们之间的距离最小。在孤立词识别任务中,DTW可以用于计算测试音频与模板音频之间的距离,从而确定测试音频所属的词语类别。DTW算法是大多用于检测两条语音的相似程度,在语音信号中,需要比较相似性的两段时间序列的长度通常并不相等,不同人的语速不同。DTW算法268.2采用DTW的孤立词识别在比较相似度之前,需要将其中一个(或者两个)序列在时间轴下扭曲,以达到更好的对齐。而DTW
就是实现这种扭曲的一种有效方法。DTW通过把时间序列进行延伸和缩短,来计算两个时间序列性之间的相似性。278.2采用DTW的孤立词识别例如下图(a)所示,上边缘和下边缘曲线分别是同一个孤立词“pen”的两个语音波形,它们整体上的波形形状很相似,但在时间轴上却是不对齐的;而在下图(b)中,DTW就可以通过找到这两个波形对齐的点,这样计算它们的距离才是正确的。288.2采用DTW的孤立词识别
298.2采用DTW的孤立词识别DTW的目标是寻找一条通过此网格中若干格点的路径,路径通过的格点即为两个语音序列进行计算的对齐的点,如图8.3所示。308.2采用DTW的孤立词识别
318.2采用DTW的孤立词识别路径的选择应满足以下约束条件:
328.2采用DTW的孤立词识别路径的选择应满足以下约束条件:
338.2采用DTW的孤立词识别路径的选择应满足以下约束条件:
348.2采用DTW的孤立词识别在符合条件的多种路径中,选择规整代价最小的:系数K主要是用来对不同的长度的规整路径做补偿,把两个时间序列进行延伸和缩短,来得到两个时间序列性距离最短的扭曲,这个最短的距离也就是这两个时间序列的最后的距离度量。在这里,我们要做的就是选择一个路径,使得最后得到的总的距离最小。358.2采用DTW的孤立词识别
368.2采用DTW的孤立词识别
378.2采用DTW的孤立词识别
388.2采用DTW的孤立词识别最终计算结果如下,2个模板直接的距离为26,通过回溯找到最短距离的路径,通过箭头方向反推回去。如图8.5所示。39实际语音信号序列的变化是随机的、不确定的,观测结果会随着它们状态的改变而改变,而状态是隐藏的,无法直接被观测到,状态序列和观测序列都是随机的,因此需要从语音数据的统计数据中进行学习,利用已有的数据拟合出一个最优的模型。8.3基于HMM的语音(语句)识别408.3.1HMM模型隐马尔可夫模型(HiddenMarkovModel,HMM)是一种常用的模型,在许多实际应用中,我们只能观测到系统输出(观测序列),而对于系统内部的状态序列,我们无法直接观测到。通过HMM,研究者可以利用观测序列推断最有可能的状态序列,从而对系统状态进行估计。418.3.1HMM模型首先介绍马尔可夫链来建模离散状态的随机序列,状态之间的转换有一定概率,隐马尔可夫链如图8.6所示。428.3.1HMM模型
438.3.1HMM模型
448.3.1HMM模型
458.3.1HMM模型因此一般将一个完整的状态转移矩阵应定义为:468.3.1HMM模型
478.3.1HMM模型
488.3.1HMM模型
498.3.1HMM模型
508.3.1HMM模型HMM涉及三个基本问题,这些问题是在给定模型和观测序列的情况下,我们想要得到的关键信息。这些基本问题分别是:概率求解问题解码问题训练学习问题518.3.1HMM模型概率求解问题在给定模型参数(状态转移矩阵A包含初始状态概率和终止状态概率、发射矩阵)和观测序列,在已知模型的情况下,计算该观测序列出现的概率。如在语音识别中,给定一个声音序列,想要计算出这个声音序列是某个词的概率。528.3.1HMM模型解码问题在已知模型参数和观测序列的情况下,找到最有可能的隐状态序列,即想要找到与观测序列最匹配的状态序列,这就是语音识别中的解码过程。538.3.1HMM模型训练学习问题在已知观测序列的情况下,求解最优模型参数,使得在此模型下观测到此观测序列的概率值最大,也就是说,希望从观测数据中学习出一个最优的HMM模型,使得该模型能够较好地拟合在训练中从未见过的数据。训练学习是HMM最关键的问题。548.3.2HMM模型的概率求解
558.3.2HMM模型的概率求解
568.3.2HMM模型的概率求解
578.3.2HMM模型的概率求解
588.3.2HMM模型的概率求解
598.3.2HMM模型的概率求解
608.3.2HMM模型的概率求解
618.3.2HMM模型的概率求解
628.3.2HMM模型的概率求解类似地同样定义后向似然度(BackwardLikelihood),用后向算法来求概率。638.3.2HMM模型的概率求解
648.3.2HMM模型的概率求解
658.3.3HMM模型的解码
668.3.3HMM模型的解码
678.3.3HMM模型的解码
688.3.3HMM模型的解码
698.3.3HMM模型的解码HMM状态图708.3.3HMM模型的解码帧-状态拓扑图718.3.3HMM模型的解码在语音识别中,Viterbi算法用于将声学特征序列映射到最可能的音素或单词序列。语音信号是一个时序数据,Viterbi算法可以帮助确定最可能的发音序列,从而实现准确的语音识别。728.3.3HMM模型的解码738.3.4HMM模型的训练
748.3.4HMM模型的训练
758.3.4HMM模型的训练
768.3.4HMM模型的训练本节将使用Viterbi训练(硬状态分配)和Baum-Welch训练(软状态分配)来进行检验。77Viterbi训练(硬状态分配)8.3.4HMM模型的训练
788.3.4HMM模型的训练
798.3.4HMM模型的训练
808.3.4HMM模型的训练因此对于单独一个观测序列模型参数更新,重新估计状态转移概率和发射概率:818.3.4HMM模型的训练因此对于单独一个观测序列模型参数更新,重新估计状态转移概率和发射概率:828.3.4HMM模型的训练
838.3.4HMM模型的训练然而隐状态的占用不是完全确定的,因此现考虑一种基于EM(expectationmaximisation)期望最大化的方法,通过软状态分配来优化模型的参数。这种方法称为Baum-Welch(BW)算法Baum-Welch(BW)算法:848.3.4HMM模型的训练首先定义状态的占用似然度(occupationlikelihood):858.3.4HMM模型的训练
868.3.4HMM模型的训练
878.3.4HMM模型的训练
888.3.4HMM模型的训练
898.3.4HMM模型的训练
908.3.4HMM模型的训练
918.3.4HMM模型的训练
928.3.4HMM模型的训练
938.3.4HMM模型的训练948.3.4HMM模型的训练可以看出两者的估计结果不完全相同。这是因为:Viterbi算法找的是最优路径,用的是围绕这些状态的概率值,计算出的概率结果分布可能不够精确。Baum-Welch算法是基于局部最优的方法,它考虑所有可能的路径并计算在某个时间点处于某个状态的概率,能够提供更精确的概率分布但会消耗更多计算资源。958.3.4HMM模型的训练总的来说,用这两种算法训练的模型得到的结果是相似的,但它们的侧重点不同,Baum-Welch得到的结果更符合实际情况。当观测序列达到一定长度或给出的数据集的状态分布更符合实际状态的分布时,两者的训练结果将更加接近。968.3.5HMM-GMM模型HMM-GMM模型(HiddenMarkovModelwithGaussianMixtureModels),本质上是一种特殊的HMM模型,在HMM-GMM模型中,每个状态都有一个与之关联的高斯混合模型(GMM),这个GMM用于描述在该状态下观测值(通常是连续的)的概率分布。978.3.5HMM-GMM模型
988.3.5HMM-GMM模型
998.3.5HMM-GMM模型
1008.3.5HMM-GMM模型
1018.3.5HMM-GMM模型
1028.3.5HMM-GMM模型用Baum-Welch算法更新:1038.3.6基于HMM的语音识别应用案例demo1048.3.6基于HMM的语音识别应用案例demo1058.3.6基于HMM的语音识别应用案例demo1068.3.6基于HMM的语音识别应用案例在语音识别中,观测序列通常代表每个帧所提取的特征,例如梅尔频率倒谱系数(MFCC)。这些特征向量构成了观测序列,每个特征向量代表了一帧的声音特征。在语音识别中,状态通常代表语音信号中的音素、音节、单词或子词单元。每个状态对应一个特定的语音单元,HMM模型的状态音素可以被视为语音识别任务中的单位。状态序列指导了语音信号如何演变,从而形成了整个语音信号的表示。语音识别一般过程如图8.15所示。1078.3.6基于HMM的语音识别应用案例语音识别过程1088.3.6基于HMM的语音识别应用案例HMM语音识别模型结构1098.3.6基于HMM的语音识别应用案例
1108.3.6基于HMM的语音识别应用案例
1118.3.6基于HMM的语音识别应用案例朴素贝叶斯分类器(NativeBayesClassifier)是一种基于概率论的简单分类器,它在语音识别任务中的应用基于贝叶斯定理。朴素贝叶斯分类器1128.3.6基于HMM的语音识别应用案例
1138.3.6基于HMM的语音识别应用案例分类器将选择后验概率最大的类别作为输出结果:1148.3.6基于HMM的语音识别应用案例
1158.3.6基于HMM的语音识别应用案例
1168.3.6基于HMM的语音识别应用案例
1178.3.6基于HMM的语音识别应用案例重新估计的GMM参数也使用BW算法进行更新:1188.3.6基于HMM的语音识别应用案例重新估计的HMM参数为:1198.3.6基于HMM的语音识别应用案例语音是连续的,音素的发音可能会受到前后音素的影响。同时如果仅使用单音素进行建模,需要收集大量的训练数据以覆盖各种音素组合,而使用三音素可以减少所需的训练数据量,并且可以更好地利用已有的数据。1208.3.6基于HMM的语音识别应用案例HMM的三音素建模方式如图8.17所示1218.3.6基于HMM的语
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年初级新能源拆装防护件基础操作考试试卷及答案
- 2026年上位机报警设置操作工考试试卷及答案
- 20261026-134207-苏科版九年级信息技术上册期中测试卷(含答案解析)
- 汽车产业焊装线改造项目实施方案编制大纲
- 汽车产业新能源零部件项目实施方案编制指南
- 2026年机关资产管理试题库及答案
- 2026年船舶驾驶员适任考试真题试卷及参考答案
- 2026年铜杆线材行业洞察报告及未来五至十年发展趋势报告
- 2026年其他日用杂品制造行业市场现状分析报告及未来五至十年碳中和与循环经济
- 2026年家用通风电器具制造行业深度研究报告及未来五至十年市场规模与增长潜力评估
- 2026年企业法务岗位考试题(含答案)
- T/CMEAS 079-2026院内快速反应体系建设规范
- 新教材部编人教版五年级上册道德与法治(课件)第1课开天辟地的大事变
- 2011 氧化铝耐磨陶瓷复合衬板
- 赣南脐橙产业化发展:成就、困境与突破路径探究
- 知识产权专业专利代理就业方向
- JJG(吉) 145-2025 无创非自动电子血压计检定规程
- 农村小学“一生一档”学生成长记录表
- 江苏省南通市2026届高三上学期学业质量监测英语试题(含答案)
- 文学接受理论中“期待视野”的动态建构-基于姚斯《走向接受美学》读者反应模型
- 锚杆支护施工方案边坡加固方案
评论
0/150
提交评论