基于稀疏非负矩阵分解的单通道语音分离方法研究.doc_第1页
基于稀疏非负矩阵分解的单通道语音分离方法研究.doc_第2页
基于稀疏非负矩阵分解的单通道语音分离方法研究.doc_第3页
基于稀疏非负矩阵分解的单通道语音分离方法研究.doc_第4页
基于稀疏非负矩阵分解的单通道语音分离方法研究.doc_第5页
已阅读5页,还剩22页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

参考文献:基于非负矩阵分解的单通道语音分离方法研究专业:网络工程 学号:6100408049学生姓名:敖艳玲 指导教师:梁声灼摘 要 这篇论文首先简单地介绍了一下非负矩阵分解和单通道语音分离。由于数据的非负性的要求,让其更能符合人类的认识思维习惯。非负矩阵分解具有速度快和占用存储空间小等优点,从而使得其得到了广泛的应用,其中包括语音分离。如果能找到一个快速的语音分离算法,它将会推动人工智能、自动音乐复制、声音特效、对象译码等的应用和研究。最后,本文展示了一个用于分离在单个通道记录中的两个讲话者的方法。这个分离实验是在一个代表语音最佳的低维特征空间中实施。对于每个讲话者,一个过完备基是采用稀疏非负矩阵分解评估的,同时语音混合物是通过将其映射到两个讲话者的联合基中分离的。我们采用语音分离竞赛数据集中的单词识别率来评估这个方法。 关键词:非负矩阵分解;单通道;语音分离;语音分离竞赛Investigating Single-channel speech Source Separation Methods Based on Non-Negative Matrix FactorizationAbstract This paper introduce briefly about non-negative matrix factorization (NMF) and Single channel speech separation at first. Because of the requirement of non-negative,makes the NMF fits to the human habit of cognition.The NMF has the advantage of fast speed and low storage etc.,so,it attain a wide range of applications,which include the separation of speech.If we can find a high-effective speech separation algorithm,it will promote the application and research of artificial intelligence ,automatic music transcription, object coding, special sound effects and so on.Finally,this paper describes a method for separating two speakers in a single channel recording. The separation is performed in a low dimensional feature space optimized to represent speech. For each speaker, an overcomplete basis is estimated using sparse non-negative matrix factorization, and a mixture is separated by mapping the mixture onto the joint bases of the two speakers. The method is evaluated in terms of word recognition rate on the speech separation challenge data set.Keywords: Non-negative Matrix Factorization;Single-channel;Speech Separation;speech separation challenge目录摘 要IAbstractII第一章 绪论11.1 选题依据11.2 国内外研究状况11.3主要研究内容21.4 论文主要成果31.5 论文结构3第二章 语音分离及NMF背景知识52.1 语音分离52.2 非负矩阵分解(NMF)6第三章 NMF算法分析83.1基本NMF算法83.1.1目标函数83.1.2 迭代函数83.2 局部非负矩阵分解(LNMF)93.2.1 目标函数93.2.2迭代函数93.3 非负稀疏编码(NNSC)103.3.1目标函数103.3.2迭代函数103.4 稀疏非负矩阵分解(SNMF)103.4.1目标函数103.4.2迭代函数11第四章 实验124.1非负特征124.2语音分离134.3 讲话者识别154.4 重过滤164.5语音识别174.6讨论17第五章 总结205.1 论文总结205.2 相关问题讨论20致谢22参考文献2323第一章 绪论1.1 选题依据 自从非负矩阵分解(NMF)第一次由D.D.Lee和H.S.seung于1999年提出后,便表现出极大的魅力。由于NMF算法实现简便有效, 非负矩阵分解已成为模式识别研究领域中特征提取和数据降维的一种新方法, 在高维数据处理中有着广泛的应用前景.NMF思想的提出迅速得到了很多人的重视,并有很多将这种思想应用到实际中成功解决具体实际问题的例子。语音的分离一直是计算机科学家努力的方向,也是未来智能应用实现的基础技术。语音同样包含大量的数据信息,分离语音的过程也是对这些信息处理的过程。NMF算法具有处理大规模数据的优势,在这方面NMF算法为我们提供了一种新方法,NMF算法成功实现了有效的语音特征分离,并且由于NMF算法的快速性和简单性等优势,对实现语音识别有着重大的意义。 NMF通过计算机与许多领域相结合,其应用均取得了令人瞩目的成果。NMF 的故事还在不断进行中,NMF 的应用领域还有待进一步的发掘,针对 NMF 的进一步研究也没有停止过,其中诸如分解的存在性、惟一性和收敛性以及收敛的速度等问题的深入探讨必将使该思想能更好地服务于人类17。1.2 国内外研究状况 讨论利用矩阵分解来解决实际问题的分析方法很多,如PCA(Primary Complement Analysis ,主成分分析)、ICA(Independent Complement Analysis,独立成分分析)、SVD(Singular Value Decomposition,奇异值分解)、VQ(Vector quantization,矢量量化)等。在所有这些方法中,原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是因子 W和 H中的元素可为正或负,即使输入的初始矩阵元素是全正的,传统的秩削减算法也不能保证原始数据的非负性。在数学上,从计算的观点看,分解结果中存在负值是正确的,但负值元素在实际问题中往往是没有意义的17。 NMF是一种新的矩阵分解算法,它克服了传统矩阵分解的很多问题,通过寻找上下文有意义的解决方法,提供解释数据的更深看法。语音包含大量的数据信息,对语音进行识别的过程也是对这些信息进行处理的过程。选择一种恰当的数据处理方法将会节省大量的时间和人力,多项试验明,NMF方法就是分析处理此类数据的有效方法。 郭莉莉23等提出基于NMF的语音特征波形分解方法.利用NMF将幅度谱矩阵CW分解为r个基向量的叠加,提高了算法的灵活性。同时也提出了采用Mel刻度分带初始化的基于K-L散度的NMF方法,在分解精度和复杂度方面均优于其它特征波形分解方法,从而更适合实时通信7 。 Kaw T26等将NMF用于音乐信号分析中,将音乐的幅度谱进行NMF分解,得到具有单个音调的特征数据。另外,Novak M27等将NMF用于自然语言的的处理中; F. Sha28等将NMF用于语音信号分析和处理中。从算法优化的角度来看,非负矩阵分解是一种满足非负性约束下的优化问题。在非负性约束的基础上,人们提出了局部非负矩阵分解,稀疏非负矩阵分解,加权的(正)非负矩阵分解, 多重线性引擎和正张量分解。Wang将 Fisher 约束引入到分解中, Ahn还将非负矩阵的单层神经网络表示推广到多层的情形。 1.3主要研究内容 从理论上研究将 NMF 作为大规模数据处理方法的优点,在此基础上将 NMF 运用于语音分离领域,分析基于 NMF 的语音分离方法。本文主要是将SNMF 运用于单通道语音分离方面的研究,对语音数据向量进行降维,设计获取高质量语音分离的方法。论文将通过以下几步展开研究:1) 语音分离基本知识 研究将NMF应用于语音分离,先简单介绍有关语音分离的知识。传声器数多于或等于声源数时,不需要太多的限定及猜想就可以实现分离,因此称为盲源分离。而 当传声器数少于声源数时,要实现分离就比较复杂,称为欠定模型,其中有一种极端情况,即当传声器数为1时,我们称此种情形下的语音分离为单通道语音分离。本文主要研究的是单通道语音分离的实现。2)非负矩阵分解基本理论研究当前非负矩阵分解的基本理论、现有主要分解算法以新的发展。总的来说非负矩阵分解算法的产生和发展与应用密切相关。非负矩阵分解的产生以及现有的非负矩阵分解算法的各种变体都是为了适应应用需求而产生的。因此有必要对现有的非负矩阵分解算法进行总结分析和对比,为应用过程中非负矩阵分解算法的选取提供指导。3) 基本非负矩阵分解及其几种改进算法的研究 简单介绍有关基本非负矩阵分解(BNMF)的目标函数及迭代函数,介绍了一些在BNMF基础上因增加不同的限制条件而有所改进的算法,包括他们的目标函数及迭代函数。同时简单阐述了他们之间在意义、特点、算法及应用等方面的不同。4) 实验部分 本文主要借鉴语音分离竞赛的指示和Mikkel N. Schmidt的采用稀疏非负矩阵分解(SNMF)的语音分离的实验方法。本文描述的方法很大程度上依赖于对讲话者的识别(男或女)。如果一个语音分离系统是用于有着大量不认识的讲话者的情形,那么这个系统将无法依赖于本文前面描述的方法来训练讲话者。而实际生活中更多的情形是:语音分离系统中有着大量不认识的讲话者。采用SNMF的一个优点是它具有简单性,不需要符合语法规则的模式。但是,虽然分离过程能轻松地实时生效,它需要花大量的计算来估算讲话者依赖基。 1.4 论文主要成果 论文的主要研究成果表现在以下几个方面:1) 归纳了基本非负矩阵分解和其它几种改进的NMF算法的目标函数和迭代算法,总结了他们在特点和应用等方面的不同;2) 参照语音分离竞赛的指示和Mikkel N. Schmidt的语音分离实验方法,采用稀疏非负矩阵(SNMF)分解进行分离;3) 虽然NMF需要花费大量的计算,但是它能够轻松地实现实时生效。本文的描述的方法对讲话者的识别有很大的依赖。对此需要进一步的研究。1.5 论文结构论文主要分为三个部分。第一部分是第一章和第二章,综述全文,介绍非负矩阵分解的相关概念,总结非负矩阵分解的各种算法及其改进算法的特点和主要应用。 第二部分包括第三章,是本文方法的理论基础,它分析了 NMF 的目标函数和迭代算法。 第三部分包括第四章,它是本文的主要部分,在这一章中,结合 NMF 的特点,我们设计了基于 SNMF 的单通道语音分离算法,并用实验表明了新算法的优势和需要改进的地方。 论文各章节摘要如下: 第一章是论文的绪论。从选题背景开始,简述非负矩阵分解理论和应用的研究现状,提出课题研究思路和论文的主要内容,概要枚举论文的研究成果,描述论文结构。 第二章综述语音分离和非负矩阵分解理论。简述语音分离和非负矩阵分解理论的基本知识,让读者更轻松地进入本话题。 第三章研究了基本NMF及几种典型的改进NMF。归纳了基本非负矩阵分解和其它几种改进的NMF算法的目标函数和迭代算法,总结了他们在特点和应用等方面的不同; 第四章将 SNMF 运用于单通道语音分离,并进行试验,试验结果表明了新算法的优势和不足。 第五章对论文进行总结,探讨相关问题,展望今后工作。综述本文在非负矩阵分解方面所作的工作,指出现有工作的局限性和需要改进的方面。 第二章 语音分离及NMF背景知识 本章介绍了有关单通道语音分离及非负矩阵分解NMF的一些基础架构知识。2.1 语音分离 人类听觉系统一个显著的特征就是,完全有可能只用一只耳朵来从嘈杂的环境中获取所需要的声音,或者也可以这么说,能听出混合物中单独的一种记录。我们将在有多个相互干扰的讲话者中分离或辨别出单独一个个体的讲话称为鸡尾酒舞会问题。设计出一种能模拟这种功能的算法是一个有趣但目前还未解决的问题【1】。如果将鸡尾酒会问题按照观测信号个数(M)与源信号个数(N)来划分,可以分为如下情形:1) MN,称之为过定问题(overdetermined);2) M=N,称之为确定问题(evendetermined);3) MN,称之为欠定问题(underdetermined); 一般来说,对于过定和确定问题,不需要对源信号和混合过程作过多的假设就可以实现分离,这就是所谓的盲源分离(Blind Source Separation,BSS)方法。这一类方法一般在假设源信号独立的条件下基于独立分量分析(Independent Component Analysis,ICA),源信号可以通过最大化其相互独立性或非高斯性(non-Gaussianity)的度量函数(如峰值(Kurtosis)【2】或互信息(mutual information)【3】)实现分离。后来有不少学者提出许多改进的ICA算法。最初的ICA算法是针对瞬时混合模型的。而对于欠定问题相对困难的多,往往需要对源信号做更强的假设,使得这类病态问题有近似唯一解。 在欠定问题中,如果取观察信号M=1,这类语音分离问题则被称为单通道语音分离(single-channel speech separation,SCSS)【4】.单通道语音分离方法今年来受到研究人员的广泛关注,2006年Cooke等人【5】提出了语音分离竞赛(speech separation challenge)。许多学者和研究团队参与研究,取得了一定的进展。 如果能实现单通道语音的高质量分离,则可以实现机器听觉,能极大推进人工智能的研究。另一方面,还可以应用于语音/乐器鉴定、自动音乐复制、对象译码和声音特效等。这些高科技技术进入商业化和民用,能极大丰富人们的生活,为人民的生活提供精彩的便利。2.2 非负矩阵分解(NMF) 1999年,两位科学家 D.D.Lee 和 H.S.Seung在著名的科学杂志Nature上发表了其关于非负矩阵研究的成果。该文提出了一种新的矩阵分解思想非负矩阵分解(Non-negative Matrix Factorization,NMF)算法【6】。由于NMF算法的诸多优点,使得该论文的发表迅速引起了各个领域中的科学研究人员的重视。 NMF的思想可以简单描述为: 对于任意给定的一个非负矩阵 ,NMF 算法能够寻找到一个非负矩阵和一个非负矩阵,使得满足 XU V, (1) 从而将一个非负的矩阵分解为两个非负矩阵的乘积。由于分解前后的矩阵中仅包含非负的元素,因此,原矩阵X中的一列向量可以解释为对左矩阵U中所有列向量(称为基向量)的加权和,而权重系数为右矩阵V中对应列向量中的元素。这种基于分量组合的表示形式和非负性的限制蕴含了很实际的语义印象,它反映了人类认知思维中“部分组成整体”的概念。在此我们将U称为基矩阵,V称为系数矩阵。 一般情况下,r值选择比n小的数字,r、m和n之间的关系可表示为: (m+n)*rm*n (2)此时,用系数矩阵代替原始数据矩阵,就可以对原矩阵实现非线性的维数约减【7】。因此可以说,NMF算法提供了基于简单迭代的求解U、V的方法,求解方法具有收敛速度快、左右非负矩阵存储空间小的特点,它能将高维的数据矩阵降维处理,适合处理大规模数据,较传统的处理算法速度更快、更便捷。NMF思想的提出迅速得到了很多人的重视,并有很多将这种思想应用到实际中成功解决具体实际问题的例子。 正是由于NMF在数据压缩、消除噪声、加速处理等方面有显著效果,NMF在各领域各方面的应用研究在激烈,例如:人脸识别、图像融合、图像检索、图像分类、图像压缩、文本聚类、数据挖掘、网络安全入侵检测、数字水印技术、脑电信号处理、语音处理、生物医学工程、化学工程等。本文主要介绍其在语音分离方面的应用。 第三章 NMF算法分析本章介绍了有关基本NMF算法(basic NMF,BNMF)及几种改进的NMF算法(improved NMF ,INMF),并比较了这几种算法的意义、特点、算法及应用等方面的不同。3.1基本NMF算法 矩阵的非负分解实现的是维数约减,不能保证分解后的基矩阵U和系数矩阵V的乘积UV完全等于X(如前所述XUV)。所以在此需要定义一个函数来描述原数据矩阵分解前后的逼近程度,此函数称为损失函数。然后再在非负性的约束条件下求解符合条件的U和V。最早提出的正矩阵分解方法采用的是传统的梯度下降算法与加性迭代规则【9】,加性迭代规则不能保证后续的迭代中不出现负值,因此需要一个强制将负值转化为零的操作。文献【8,10】中采用乘性迭代规则,更适合非负数据的特点,只要保证初始矩阵为非负性,在迭代过程中能容易地保证非负性,不需要额外的转化操作。3.1.1目标函数 我们可以把非负矩阵分解归结为求解如下带约束的非线性优化问题: (3)其中 Q( U, V)为某一损失函数.3.1.2 迭代函数 在迭代中, 往往还要求对基矩阵的各列向量进行归一化【8】, 即对于,都需保证.从而得到如下的乘性迭代规则: (4)3.2 局部非负矩阵分解(LNMF) 在BNMF要求所分解的因子矩阵为非负的基础上,Li 等人【11】提出对分解的因子矩阵增加更多的约束, 从而强化分解的结果.他们提出因子矩阵的如下 3 个方面的约束: 1) 一个基向量的每个成分不能被分解得太零碎, 但同时尽可能使得基向量的成分数目少2) 尽可能保证不同基向量之间的正交化; 3) 不能丢失含有关键信息的部分. 3.2.1 目标函数 在上面所论述的基础上, Li等人提出了局部非负矩阵分解问题,可转化为如下带约束优化问题:【15】 (5)3.2.2迭代函数其乘性迭代规则为: (6)在求解迭代函数过程中进行了一些近似处理, 目标函数中的正则化参数和被略去,以至于在迭代函数中找不到和的身影. 3.3 非负稀疏编码(NNSC)根据稀疏编码原则【12】,基于使得分解后的系数具有比较好的稀疏性考虑, Hoyer【13】提出了一种非负稀疏编码(Non-Negative Sparse Coding,NNSC). 3.3.1目标函数此方法即为求解如下的约束优化问题: (7)3.3.2迭代函数其迭代算法如下: (8) 其中为学习速率. 从迭代算法中易知:这个迭代算法的是基基于加性迭代,在迭代过程中不能很好地保持非负特性,需要将负值强制转化为零。Hoyer【14】将此算法推广到视觉感知的建模研究中.3.4 稀疏非负矩阵分解(SNMF) 稀疏非负矩阵分解是在BNMF的基础上增加强制性要求:系数矩阵V应具备稀疏性。采用NMF近似估计讲话者的功率声谱图时,KL散度是一个合理的成本函数,相当于Poisson处理。3.4.1目标函数在此提出概率函数: (9)其中表示Frobenius范数。D行优先标志化得非负矩阵。为了获得稀疏性,V的优先级被假设为独立同分布的单侧指数 其中。这个对数后验可以表示成:; (10)S.t. 其中是U矩阵的第j列向量。对数后验可以看做由一个在矩阵V的系数中的L1范数惩罚项增广的二次成本函数。超参制约着稀疏度。极大后验估(MAP)能通过关于矩阵U和V的最佳化计算出来。SNMF 问题可以用公式描述为: (11) 其中是强制性实施稀疏性的惩罚项。3.4.2迭代函数Eggert 和Korner16提出了一种简单的用于计算极大后验估计(MAP)的算法,它采用交替乘法迭代方法: (12)其中,是列优先标准字典矩阵,是带有元素的矩阵,黑体的操作表示是逐点乘除的。约束非负矩阵分解方法用于解决单通道语音分离问题。如不加任何条件限制,非负矩阵分解直接用于求解欠定盲信号分离时,分解结果不唯一,无法正确分离源信号。在基本非负 矩阵分解算法基础上,对分解得到的混合矩阵施加行列式约束,保证分解结果的唯一性;对分解得到的源信号同时施加稀疏性约束,实现混合信号的高效率分解,提高源信号分离性能第四章 实验 训练数据来自于GRID语音库(Cooke和Shao),它由简单词汇的结构化语句组成。这个语音库有34个讲话者,一共有34,000句语音,它们当中的一半用作这个挑战中的训练数据。这个测试集由混合有不同target-to-masker ratios(TMR)的两个不同语句构成其中一个目标人总是说“white”这个单词。这个实验的任务就是识别由目标讲话者说的单词和数字31 。x(t)这个实验的主要思路如下: 短时傅里叶变换(STFT) X 过滤 特征提取Y 分离 Y2Y1 重建 图1 实验流程图1.采用短时傅里叶变换将混合信号转换到时频域上,并采用幅值平方取得功率声谱图。2. 降低功率声谱图的维度,通过将它映射到一个更低维度基上,这个基从采用NMF的训练数据中学习而来。4.1非负特征 在对声谱建模时,采用一个频率和幅度都考虑在内的人类感知的代表是明智的,这样一个代表可以是一个高度压缩的MEL频率的光谱图。在这个实验中采用了不同的路径到达相同的目标。前面已经讨论过,KL散度用于解释人类声觉系统中的振幅的相关感知。现在,不再在一个感知地触发的频率范围内计算声谱向量,而是计算线性的频率声谱向量并将它们映射到一个对于编码语音最佳的基向量集 中。将功率声谱图映射到这个特征空间有助于强调重要的频率和减少数据的维度。 连接来自于训练集中34个不同讲话者的10分钟语音,并计算STFT的幅度平方,采用一个大小为20ms的并且一半重叠,获得了一个257维的光谱特征。然后使用NMF迭代更新计算出一个更底维的基,公式为(11),而公式: , (12)中给出了我们特征基矩阵。稀疏参数在这个计算中被设置为0,因为当使用NMF降低数据维度时没有稀疏性的要求。为了将功率光谱图映射到特征空间,我们采用公式12来计算Y,并: 。 (13)从特征空间映射回功率谱图,可以简单地由预叠加特征矩阵和完成。如图2所示,特征基用于一个32维的分解。当这个基在一个对数频率轴上绘制时似乎有恒定中心频率带宽比,虽然在中央频率范围内它稍微高的分辨率。用NMF计算的32 维特征空间的基U。为了使其形象化,基向量已根据中央频率被自动分类了。 图2 用NMF计算的32维特征空间的基4.2语音分离 假设特征空间代表Y,有个两个讲话者的矩阵,我们现在考虑如何实现分离。目前我们假设讲话者是已知的,在下面我们将会讨论如何判断他们的身份。第一步先为每个讲话者计算一个过完整基。我们连接来自每个讲话者的2.5分钟训练语音并将它映射到特征空间。然后采用公式(11)计算过完整稀疏NMF分解 : , (14)根据经验选择=0.5.这样就有了一个对于每个讲话者的基矩阵,例子在图3中展示。为了形象化,基向量都排列成最大化相邻关联。 图3 两次过完整基,(a)为男性,(b)为女性用公式11将矩阵的特征空间代表映射到讲话者的联合基中来计算V1和V2, , (15)最后,特征空间中的每个讲话者的评估为: , (16) 通过监听分离的语音波形,根据经验选择基向量的数目.采用在2到16倍过完备的基进行试验,发现从感知上看结果变化不大。 在图4中用图表示出了分解方法,不过只是在三维空间中,因为32维向量很难绘制。这两个点集代表了用于计算稀疏过完备基的训练数据,这个稀疏过完备基由两个射线集合表示。如前所述,由于稀疏限制,基向量将位于内部或者靠近训练数据集,另一方面,训练数据会位于基向量张成的凸锥的内部。来自两个讲话者的语音混合物的一个特征向量,位于两个讲话者的子空间外部,但可以描述为来自各个子空间(和)的一个向量的和,稀疏NMF方法通过将一个混合的特征向量映射到声源的联合子空间,继而计算落于各自子空间的部分来分离混合物。 图4采用稀疏编码的信号分离图示分离算法的输出是特征空间Yn中分离的语音的估计,这个特征空间可以映射回功率声谱图代表,现在剩下的就是计算分离的语音声波。4.3 讲话者识别 目前这个语音分离架构的一个重要部分就是有效地评估混合物中的讲话者的识别,不过在这里只是提出一种类似于Kristjanssson等人的方法。在这个方法和讲话者识别的oracle 知识的基础上提出这个结果。 为了评估混合物中的讲话者,假设在一个混合句子中各个讲话的声音在一小段时间内是隔离的。将混合物映射到34位讲话者的各自的过完备基中,并计算每个时间帧内的总误差(广义KL散度)。由于不存在一个讲话者的模式和两个讲话者的混合物有着很好的匹配,所以除了一个时间帧中只有一个讲话者的情况外,误差通常都相对比较高。为每个讲话者计算了10次最小误差的平均值,来获得这个模式最佳匹配时的一个匹配度测量方法。 在语音分离竞赛测试集中,这个简单方法表明两个讲话者中至少有一个有98%的成功,当两个讲话者的性别相同时,这个方法能发现具有此性别的两个讲话者,然而,当一个混合物中有一个男性和一个女性讲话者时,这个方法通常错误地认为这两个讲话者是同性。 由此考虑,采用更先进的方法,有可能使得评估在挑战测试集中的讲话者的识别近乎完美,例如,采用组合搜索(Schmidt and Olssson,Kristjansson)。如果采用更粗略,更少运算量的方法,讲话者识别算法是否会显著差于语音分离算法的性能呢?4.4 重过滤 在此提出一个简单的基于时变Wiener过滤器的补偿时延的方法。为每个时间帧设计一个因果线性相位FIR过滤器来匹配要求的频率响应。通过用重叠和相加过滤信号来避免循环卷积。为了消除音乐声影,将过滤系数放平滑。然而,消除音乐噪声仍然允许 更多的相互干扰的讲话者的声音保留在结果信号中。平滑时变过滤器是一个为剩余的噪声交换工艺的有效方法。当使用这个技术重过滤时,分离语音信号结果没有可听见的伪影,相互干扰的讲话者的声音有明显的衰减。在图5中展示了一个包括重过滤的语音分离方法的例子。其中,(a)左边为一男性讲话者说单词:soon。右边为一女性讲话者说单词:please。(b)为两个讲话者的混合。(c)为两个讲话者的评估声谱图。(d)为平滑时变Winer过滤器后的结果声谱图。 图5 语音分离方法的例子。4.5语音识别 我们在如第一节中提到的语音分离竞赛数据集上采用由这个竞赛的组织者提供的相关HTK语音识别系统评估这个语音分离方法。结果在图6和图7中展示。 s 图6 两个讲话者问题在不同情形下的单词识别率 当讲话者身份预先已知,稀疏NMF将会显著提高除了相同讲话者情况的识别率。当使用讲话者识别方法,识别率仅仅在低TMR方面有着小小的提高,但和baseline(没有语音分离)相比更糟。4.6讨论可以说,正确的讲话者识别对于讲话者依赖的语音分离方法的性能至关重要。使用讲话者身份这一知识和使用有缺陷的讲话者识别方法获得的识别率有着非常大的区别。 图7 语音噪声问题的单词识别率如果一个语音分离系统是用于有着大量不知道的讲话者的情形,那么这个系统将无法依赖于本文前面描述的方法来训练讲话者。而更广泛的问题是:这种情况下的语音分离方法将比研究复杂的用于分离小集体的的已知的讲话者的方法更重要。想借鉴本文所述思想来解决这样一个问题,可以使用广义讲话者模式的缓冲池和手边的信号来实现分离。 稀疏非负矩阵方法用于语音分离的一个优点就是他的简单性。它不需要符合语法规则的模式;实际上,它完全不塑造短暂的结构同时,反过来,它需要大量的计算来估算讲话者依赖基,分离过程能轻松地实时生效。 第五章 总结 语音分离是一项非常有意义的研究,是人工智能如机器听觉和模式识别中的关键问题。并被广泛应用于语音/乐器识别、自动音乐复制、对象译码和声音特效等众多领域。非负矩阵分解给语音分离提供了一种崭新的方法。由于对分解结果加入非负限制,与之前的分离算法相比,使用非负矩阵分解更能反映样本的局部特征,更接近人们的认知习惯,因此极大的提高了它分离的语音数据的可解释性和预测性。将非负矩阵分解代替之前的分离方法,能使得语音分离算法的处理效率有一定的提高。 5.1 论文总结本论文在以下几个方面取得了进展:1. 通过对比,详细研究和分析了几种有赖于非负矩阵分解的算法的特点,对 NMF 算法分解的本质有了更清晰的了解和把握。非负性和局部性是 NMF 抽取的特征向量的基本特点。非负性使得 NMF抽取的特征向量更容易解释,和实际联系更紧密。局部性使得 NMF 的分解结果更接近人们的认知习惯,在特定领域对新的样本更具有表达能力。同时在本文中可以看出,稀疏性是一个不可忽略的限制因素,因为稀疏性,使得分离算法的实施具有简单性和实时性。了解 NMF 的这些特点,能够更好为我们地设计实验、解释实验结果提供理论基础。2. 将SNMF 运用于单通道语音分离领域,解决了大规模语音数据处理时所遇到的高维问题。在短时傅里叶变换基础上,运用SNMF算法进行特诊提取、分离、重建和过滤,实验证明了方法的简单性和实时性。5.2 相关问题讨论 文中主要研究了非负矩阵分解在单通道语音分离方面的应用,在基本NMF算法基础上增加了稀疏性约束,改进了原来算法的效果。这一研究还是初步的,从理论基础到实验环节都还存需要思考和解决一些相关问题:1) 本文实验所采用的算法是对讲话者依赖的一种算法,如果有大部分此系统所“不认识”的讲话者,那此系统将不能很好的工作。需要在本文算法的基础上进一步研究出对讲话者依赖性更低的算法。2) 文中描述的实验比较粗糙,均是针对某些特定的实验数据进行的,再进一步进行更深入更普遍的研究。3) 在基本 NMF的基础上,通过增加不同的限制条件提出了多种改进的NMF算法,这些改进的算法的基本是一致的,但还是存在差别的,应该根据不同算法的不同特性,在不同的应用场合选择不同的算法,从而不断改善算法效果。 致谢 本论文在研究及写作过程中遇到了一系列的问题,一直是我的导师梁声灼给予我帮助与支持。在此,我要特别感谢我尊敬的导师梁声灼老师!本课题是在梁老师的悉心指导下完成的。梁老师多次询问研究进程,并为我指点迷津,耐心讨论、热忱鼓励。 本文引用了数位学者的研究文献,如果不是站在各位学者的研究成果的肩膀上,受到他们的启发,我将很难完成本篇论文的写作。 感谢我的同学和朋友,特别是吕彤、易文峰同学,在我写论文的过程中给予了很多素材,还在论文的撰写和排版灯过程中提供热情的帮助。 感谢梁声灼、曾庆鹏、邱桃荣、任燕、程从从、娄芳、姚燕、文喜、石永革、白似雪、林仲达、周聪、薛之昕、杨承根、邹芳红、熊宇虹、李向军等诸位老师,感谢他们在我大学期间对我的教导!同时感谢南昌大学!在这里生活四年,是南昌大学给我提供了一片肥沃的土地,让我在这里快速而茁壮地成长! 向我的父亲、母亲致谢,感谢他们多年的辛劳和对我的支持。 最后,再次感谢所有关心帮助过我的师长、同学和朋友们。 由于我的学术水平有限,所写论文难免有不足之处,恳请各位老师和学友批评和指正!敖艳玲二零一二年六月 参考文献:1CHERRY E C. Some experiments on the recognition of speech,with one and with two ears.Journal of the Acoustical Society of America,1953,25(5):975-9792CICHOCKI A ,PARK HM,LEE SY.Blind source separation and independent component analysis:a reviewj,Neural Information Processing-letters and Reviews,2005,6(1):1-573BELL J,SEJNOWSKI T J,An information maximization approach to blind separation and blind deconvolutionj,Neural Computation,1995,7(6):1129-11594杨海滨,张军,基于模型的单通道语音分离综述J,计算机应用研究,2010.115COOKE M,LEE T W.The Speech Separation Challenge (2006) 2010-04-24.http:/www.dcs .shef.ac.uk/ martin/Speech Sepatation Challenge.htm.6 D D Lee,H S Seung.Learning the parts of objects by non-negative matrix factorizationJ.Nature,1999,401(6755):788-791.7徐泰燕,郝玉龙,非负矩阵分解及其应用现状分析J,武汉工业学院学报,2010.58Lee D D, Seung H S. Learning the parts of objects with nonnegative matrix factorization. Nature, 1999, 401: 7887919Paatero P, Tapper U. Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values. Environmetrics, 1994, 5: 11112610Lee D D, Seung H S. Algorithms for nonnegative matrix factorization. In: Leen T, Dietterich T, Tresp V, eds. Advances in Neural Information Processing Systems 13. Cambridge, MA: MIT Press, 200011Li S Z, Hou X W, Zhang H J, et al. Learning spatially localized,parts-based representation. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001, 1: 20721212Olshausen B A, Field D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature, 1996, 381: 60760913Hoyer P O. Non-negative sparse coding. Proc Neural Networks for Signal Processing, 2002, 55756514Hoyer P O. Modeling receptive fields with non-negative sparse coding. Neurocomputing, 2003, 52-54: 54755215刘维湘,郑国宁,游屈波,非负矩阵分解及其在模式识别中的应用J,科学通报,2006.2,51-316J. Eggert and E. Korner, “Sparse coding and NMF,” inNeural Networks, IEEE International Conference on, vol. 4, 2004,pp. 25292533. 17 汪鹏,非负矩阵分解:数学的奇妙力量,计算机教育, 2004(10): 38-40 18Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorizationJ.Nature, 1999, 401: 788-791. 19Paatero P, Tapper U. positive matrix factorization:A non-negative factor model with optimal utilization of error estimates of datavaluesJ. Environmetrics, 1994, 5(2): 111-126. 20李乐,章毓晋.非负矩阵分解算法综述J.

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论