麦克风阵列语音降噪技术

1、语音增强技术（Speech Ehancement ）1 语音增强技术基本知识2 语音增强原理和方法麦克风阵列语音降噪技术第1页1 语音增强技术基本知识一、语音增强定义二、语音增强意义三、噪声分类麦克风阵列语音降噪技术第2页一、语音增强定义 语音增强是指当语音信号被各种各样噪声干扰、甚至淹没后，从噪声背景中提取有用语音信号，抑制、降低噪声干扰技术。一句话，从含噪语音中提取尽可能纯净原始语音。麦克风阵列语音降噪技术第3页Speech enhancement speechnoisenoisy speechBackground NoiseEstimate the noise component fro

2、m the noisy speech麦克风阵列语音降噪技术第4页Multi-Speaker： cocktail party effectSpeaker 1Speaker 2Speaker 3Blind source separation: Separate one speech source from another麦克风阵列语音降噪技术第5页Original speechcompressionFading ChannelEnhancementdegraded speechrestored speechChannel Impairment麦克风阵列语音降噪技术第6页二、语音增强意义 确保通信正

3、常进行，需要语音增强。1.日常生活中，经常会碰到在噪声干扰下进行语音通信问题。比如在汽车、火车上使用移动电话，马路旁和市场里公用电话等。 2. 军事通信中，指挥员作战命令和战斗员战情汇报都需要用语言来表示，因为战斗环境恶劣，尤其是炸弹产生冲击性噪声，使有用信号完全淹没在噪声中。麦克风阵列语音降噪技术第7页（3）侦听技术中需要语音增强（4）语音识别技术需要语音增强 在实际生活中，语音信号无时无地不受各种噪声干扰。人们正常生活环境就是一个声级为60dB左右噪声环境。被强噪声污染场所，噪声达120dB以上。麦克风阵列语音降噪技术第8页三、噪声分类 1.噪声是扣除被测信号真实值后各种测量值，可能来自外

4、界环境、物理系统、操作人员等。广义将噪声称为干扰。麦克风阵列语音降噪技术第9页2.按性质分为：脉冲噪声（爆炸、撞击和放电）;周期性噪声（如交流电干扰）; 平稳噪声（如白噪声）和非平稳噪声（如色噪声）；按噪声和信号相关性质分为加性噪声和乘性噪声。 我们研究噪声是声音一个，它含有声波一切特征，称之为声噪声。麦克风阵列语音降噪技术第10页Impulsive noise white noise pink noise brown noise 麦克风阵列语音降噪技术第11页White noise1White noise2White noise1-White noise2麦克风阵列语音降噪技术第12页aec

5、iphone.wavasfalarm.wavasfradio.wavasfsportscar.wavrnfmusic.wavrnfwailsiren.wav麦克风阵列语音降噪技术第13页2 语音增强原理和方法 一、频域语音增强技术二、时域语音增强技术三、时频语音增强技术四、麦克风阵列语音降噪技术麦克风阵列语音降噪技术第14页一、频域语音增强技术(宽带噪声) 是语音信号中一个主要技术，因为其原理简单所以被广泛使用，如手机中降噪处理就是采取此方法，其中谱相减法是频域语音增强技术惯用方法。1. 谱相减法（Spectral Subtraction）基本原理2. 谱相减法数学推导3. 谱相减法特点4.

6、改进谱相减算法麦克风阵列语音降噪技术第15页 1. 谱相减法基本原理（流程图描述）含噪语音纯噪声原始语音谱幅度估值DFT插入相位DFTIDFT原始语音频谱估值麦克风阵列语音降噪技术第16页 将含噪语音信号和有声/无声判别得到纯噪声信号进行DFT改变，从含噪语音幅度谱平方中减去纯噪声幅度谱平方，然后开方，得原始语音谱幅度估值，再借用含噪语音相位，进行IDFT改变，得到增强语音。谱相减法基本原理（文字描述）麦克风阵列语音降噪技术第17页 2. 谱相减法数学推导 首先假设语音和噪声信号是线性叠加，且语音和噪声是平稳，噪声与语音信号不相关。 麦克风阵列语音降噪技术第18页 对上式两边取数学期望有： 因

7、为噪声与语音信号不相关，且傅立叶变换不会改变信号之间相关性，上式中，最终两项均为0。则上式简化为：麦克风阵列语音降噪技术第19页 利用语音信号短时平稳性，加之噪声信号平稳性。因为傅立叶变换不会改变信号统计特征，在一帧中， 、 和 都是平稳。所以，在一帧内可用单个值来代替均值。 因为平稳噪声功率谱在发声前和发声后能够认为基本没有改变，利用有声/无声判决纯噪声信号 来预计噪声功率谱 ，从而有：麦克风阵列语音降噪技术第20页开方后，再借用含噪语音相位麦克风阵列语音降噪技术第21页（1）噪声与语音信号不相关；幅度谱平方运算原因（2）平稳噪声功率谱在发声前和发声后能够认为基本没有改变。利用有声/无声判决

8、纯噪声信号 来预计噪声功率谱 麦克风阵列语音降噪技术第22页幅度谱直接相减缺点 利用有声/无声判决纯噪声信号 来预计噪声幅度谱残留很多噪声。麦克风阵列语音降噪技术第23页谱相减时，为了预防出现负功率谱情况：麦克风阵列语音降噪技术第24页算法流程利用窗函数进行分帧，对含噪语音进行有声无声判决，得到无声帧，统计噪声幅度谱平方均值，得到纯噪声幅度谱平方估值；求含噪语音帧幅度谱平方；将含噪语音帧幅度谱平方减去纯噪声幅度谱平方估值，进行判断，开方，得到语音幅度谱估值；借用含噪语音相位，进行傅立叶逆变换，得到增强语音。麦克风阵列语音降噪技术第25页 3. 谱相减法特点(1)原理简单，只需要一个话筒，故又称

9、为单话筒语音降噪。话音噪声谱相减法处理输出话筒麦克风阵列语音降噪技术第26页(2) 需要无声和有声判决，在信噪比大情况下，使用短时平均能量等参数可到达效果。信噪比小情况下用功率谱来进行判决。(3)因为该方法存在前提条件要求噪声平稳，所以当噪声特征改变时，消噪效果可能会变差，这时需要重新拾取噪声特征。麦克风阵列语音降噪技术第27页利用功率谱统计进行有声和无声检测 含噪语音信号短时功率谱统计，对每一帧输入信号，经过与预先设定一系列门限值比较来判断该帧是信号帧还是噪声帧。麦克风阵列语音降噪技术第28页 (4)在谱相减过程中，是以无声帧统计噪声幅度谱平方（功率谱）来代替当前分析帧内中各频率点幅度谱平方

10、。因为噪声随机分布范围广，所以相减时，若该帧某频率点上噪声幅度谱分量大时，就会有很大一部分残留，在频谱上展现随机起伏尖峰。在听觉上形成类似音乐残留噪声，又称为背景音乐噪声。背景音乐噪声损伤了语音质量，降低了可懂度和清楚度，是该类方法最大缺点。麦克风阵列语音降噪技术第29页蓝色为原始含噪语音黄色为谱相减处理结果麦克风阵列语音降噪技术第30页4.改进谱相减算法（消除音乐噪声）进行了谱相减后，背景噪声变成了音乐噪声。如能得到音乐噪声预计帧，就能够消除音乐噪声。音乐噪声是怎样产生：含噪语音帧和纯净噪声帧在进行谱相减后，残留噪声引发。麦克风阵列语音降噪技术第31页含噪语音帧标准纯噪声帧纯语音幅度谱平方幅

11、度谱平方幅度谱相减残留音乐噪声幅度谱平方麦克风阵列语音降噪技术第32页音乐噪声帧取得将任意两帧纯噪声幅度谱平方进行相减，可作为音乐噪声幅度谱平方预计值。将多帧纯噪声幅度谱平方减去同一帧纯噪声（标准纯噪声）幅度谱平方，得到不一样音乐噪声幅度谱平方预计值。麦克风阵列语音降噪技术第33页第一帧第四帧第三帧第二帧不一样音乐噪声幅度谱平方噪声噪声幅度谱平方谱相减music1music2music3标准纯噪声麦克风阵列语音降噪技术第34页第一次谱相减：将含噪语音幅度谱平方减去标准纯噪声幅度谱平方。第二次谱相减： 将第一次谱相减结果减去第一帧音乐噪声幅度谱平方。第三次谱相减： 将第二次谱相减结果减去第二帧音

12、乐噪声幅度谱平方。依次类推级联谱相减麦克风阵列语音降噪技术第35页含噪语音含噪语音幅度谱平方第一次谱相减标准纯噪声标准纯噪声幅度谱平方麦克风阵列语音降噪技术第36页第二次谱相减第三次谱相减第四次谱相减第一次谱相减music1music2music3麦克风阵列语音降噪技术第37页基于DSP谱相减算法实时实现麦克风阵列语音降噪技术第38页二、时域语音增强技术 语音增强中另一惯用技术，其特点是对语音损伤小。在消噪过程中，普通需要二个以上话筒，采取自适应滤波算法。故经常将时域语音增强技术称为自适应语音降噪技术（Adaptive noise canceling ANC）。 1. 自适应消噪基本原理描述

13、2. 自适应滤波器权系数求解3. 自适应消噪实现4. 影响自适应消噪效果原因麦克风阵列语音降噪技术第39页 主话筒和参考话筒取得信号是语音和噪声在话筒处迭加后混合信号。话音噪声+自适应滤波器主话筒 + 输出参考话筒-麦克风阵列语音降噪技术第40页 主信号 ，为有用信号 （来自信号源）和一个与它不相关噪声信号 混合而成。 为另外拾取噪声参考信号，与 相关。主输入信号 + 输出参考输入自适应滤波器+- 1. 自适应消噪基本原理描述 麦克风阵列语音降噪技术第41页 将参考信号 经过自适应滤波器后，得到信号 ，此信号与 基本一致。 中依然包含部分噪声 ，要使这部分噪声小，到达完全消除噪声目标，则 尽可

14、能与 一致。 经常依据 均方误差最小准则来调整滤波器参数，形成自适应地修改滤波器参数。麦克风阵列语音降噪技术第42页滤波器为FIR滤波器，其直接结构为：每一时刻刷新滤波器系数麦克风阵列语音降噪技术第43页 怎样更新滤波器权系数，采取 均方误差最小准则利用LMS（Least mean Square）算法。为了便于讲解，将第n个时刻全部滤波器系数 写为 则有： 2. 自适应滤波器权系数求解麦克风阵列语音降噪技术第44页（1） 两种表示形式麦克风阵列语音降噪技术第45页麦克风阵列语音降噪技术第46页（2） 均方误差求解麦克风阵列语音降噪技术第47页 在主输入信号和参考信号都是平稳信号情况下，均方误差

15、为权矢量二次函数。是一个N+1维空间中一个下凹超抛物面，有唯一最低点2个权系数组成3维空间中一个下凹抛物面麦克风阵列语音降噪技术第48页 超抛物面又称为均方误差性能曲面，自适应过程是自动调整权系数，使均方误差到达最小过程，相当于沿性能曲面往下搜索到最低点。（3）均方误差性能曲面麦克风阵列语音降噪技术第49页（4）直接求解 困难麦克风阵列语音降噪技术第50页沿性能曲面最陡方向向下搜索曲面最低点。梯度方向是性能曲面函数增加最快方向，负梯度方向就是性能曲面函数减小最快方向。（5）最陡下降法麦克风阵列语音降噪技术第51页（6）LMS算法用平方误差代替均方误差，简化梯度计算公式麦克风阵列语音降噪技术第5

16、2页解梯度麦克风阵列语音降噪技术第53页（7）求权系数麦克风阵列语音降噪技术第54页 第n个采样时刻：（1）拾取 和 信号（2）（3）（4）（5）输出（8）算法流程麦克风阵列语音降噪技术第55页+麦克风阵列语音降噪技术第56页3. 自适应消噪实现模拟放大两路A/D输出抗混叠滤波DSP一路D/A输入 在DSP中实现关键LMS算法，采样率为8kHz,利用中止，每隔125us中止一次，读入两路数据，将参考数据按，进行滤波，用主通道信号减去滤波后数据，得到增强后信号，将此信号输出，修改滤波器权系数。麦克风阵列语音降噪技术第57页自适应滤波消噪输出结果主输入信号（收音机失谐纯噪声）麦克风阵列语音降噪技术

17、第58页4. 影响自适应消噪效果原因 （1）参考信号中含有语音成份，则经过滤波后，n(n)信号中含有有用信号成份，经过相减后，将主通道信号减去一部分，损伤了有用信息。话音噪声+自适应滤波器主话筒 + 输出参考话筒-麦克风阵列语音降噪技术第59页 能够证实，输出信号信噪比和参考信号输入信噪比有以下关系： 可见，当参考通道输入信噪比愈强，噪声抵消系统输出信噪比愈差，所以，为了取得好噪声抵消系统性能，应使参考通道检测信号尽可能小。麦克风阵列语音降噪技术第60页 （2）主输入信号和参考输入信号中含有非相关噪声成份 和 。自适应滤波只能将两个输入中噪声相关部分滤掉，则当信号不相关时，则无法消除。话音噪声+自适应滤波器主话筒 + 输出参考话筒-麦克风阵列语音降噪技术第61页原始含噪语音基本自适应抗噪输出结果麦克风阵列语音降噪技术第62页原始含噪语音基本自适应抗噪输出结果麦克风阵列语音降噪技术第63页三、时频语音增强技术 为了到达更加好消噪效果，可将自适应消噪技术和谱相减结合起来。自适应消噪主输入信号参考信号谱相减消噪增强语音麦克风阵列语音降噪技术第64页原始含噪语音 自适应抗噪与谱相减相结合后输出结果基本自适应抗噪输出结果麦克风阵列语音降噪技术第65页四、麦克风阵列语音降噪技术 因为自适应语音降噪技术消除是两个话筒中噪声相关部分。所以当增加一个话筒，则增加一份与主话筒噪声