（信号与信息处理专业论文）数字助听器中语音增强技术的研究.pdf

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南京邮电大学南京邮电大学 硕士学位论文摘要硕士学位论文摘要 学科、专业： 工学 信号与信息处理 研 究 方 向：现代语音处理与通信技术 作 者：2009 级研究生 安扣成 指 导 老 师：张玲华 教授 题 目：数字助听器中语音增强技术的研究 英 文 题 目：research on speech enhancement techniques of digital hearing aids 主 题 词：数字助听器；语音增强；语音端点检测；先验信噪比估计； 增益平滑；掩蔽效应 keywords: digital hearing aids; speech enhancement; voice activity detection; a priori snr estimation; gain smoothing; masking effect 南京邮电大学硕士研究生学位论文 摘要 i 摘摘 要要 语音增强的主要目的是消除带噪语音信号中的噪声，提取较为纯净的语音信号，该技术 对提高数字助听器的性能具有重要意义。本文主要研究数字助听器中的语音增强技术，通过 对基于先验信噪比估计算法的语音增强方法和传统的基于听觉掩蔽效应的语音增强方法的研 究，提出了改进算法。论文的主要工作包括： 1、对数字助听器中的语音增强技术进行了研究，重点研究了基于先验信噪比估计算法的 语音增强方法和传统的基于听觉掩蔽效应的语音增强方法，对不同算法进行了实验仿真和性 能分析。研究发现，采用先验信噪比估计算法计算的相邻帧之间增益函数的取值变化过快， 导致增强后的语音频谱存在随机尖峰，造成音乐噪声；采用传统谱减法对带噪语音信号进行 初步增强造成掩蔽阈值误差偏大，对谱减系数的计算产生较大误差，使语音增强效果降低。 2、为了减小音乐噪声的影响，提出了基于自适应先验信噪比估计和增益函数平滑相结合 的方法，利用带噪语音信号的频谱和估计噪声频谱的差异度对增益函数进行平滑。实验表明， 本文算法可以使相邻帧之间增益函数的取值缓慢变化，能够有效消除增强语音频谱上的随机 尖峰，使音乐噪声得到有效抑制。 3、通过对人耳听觉掩蔽效应的研究，对传统的基于听觉掩蔽效应的语音增强技术进行了 改进，该方法在初步增强中采用了基于谱熵的改进谱减法，然后结合人耳听觉掩蔽效应，利 用初步增强语音计算出掩蔽阈值，得到较为准确的掩蔽阈值，用以动态调整谱减参数。实验 表明，该方法能有效改善语音增强的效果。 关键词关键词：数字助听器；语音增强；语音端点检测；先验信噪比估计；增益平滑；掩蔽效应 南京邮电大学硕士研究生学位论文 abstract ii abstract the main purpose of speech enhancement is to eliminate the noise in noisy speech, to extract more pure speech and it has great significance to improve the performance of digital hearing aids. the major study of this thesis is the speech enhancement technology of digital hearing aids. this thesis studies the speech enhancement based on a prior snr estimation and the speech enhancement based on human auditory masking effect, and proposes the improved algorithms. the main work of the thesis includes the following aspects: first, this thesis studies the speech enhancement of digital hearing aids, and does research on the speech enhancement based on a prior snr estimation and speech enhancement based on human auditory masking threshold. and then this thesis makes simulation and performance analysis on different algorithm. therefore we find that the gain function value between adjacent frames changes rapidly, which leads to random spikes in enhanced speech spectrum and results in musical noise. the traditional spectral subtraction has a bad effect on initial speech enhancement, resulting in a large error in masking threshold which causes to calculate the spectral subtraction coefficient inaccuracy; so it reduces the perceptual of the speech enhancement. second, in order to reduce the impact of musical noise, an improved algorithm that combines the adaptive a prior snr estimation with gain function smoothing is proposed. this proposed algorithm uses the difference degree of noisy speech spectrum and noise spectrum estimated to smooth gain function. the simulation results show that the proposed method can make the slowly varying values of the gain function between adjacent frames; so that it can eliminate the random spikes, suppress the musical noise effectively. third, this thesis conducts research on the human auditory masking effect, analyzes the method based on human auditory masking effect and proposes an improved algorithm. the improved spectral subtraction based on entropy is applied. and this thesis uses the initial enhancement speech to calculate the masking threshold and obtains the more accurate threshold. so we can use the threshold to adjust the spectral subtraction coefficient. the simulation results show that the proposed method can improve the perceptual of the speech enhancement effectively. keywords: digital hearing aids; speech enhancement; voice activity detection; a prior snr estimation; gain smoothing; masking effect 南京邮电大学硕士研究生学位论文 目录 iii 目目 录录 摘 要 . i abstract . ii 目 录 . iii 第一章 绪论 . 1 1.1 引言 . 1 1.2 国内外研究现状及进展 . 1 1.3 助听器的基本原理 . 3 1.4 论文内容及章节安排 . 3 第二章 语音增强技术基础 . 5 2.1 语音的产生机理 . 5 2.2 语音的分析 . 7 2.2.1 语音信号的特征 . 7 2.2.2 语音信号预滤波 . 8 2.2.3 语音信号预加重 . 9 2.2.4 语音信号的时域分帧 . 10 2.3 噪声的特征 . 11 2.4 人耳的听觉特性 . 12 2.4.1 人耳听力系统 . 12 2.4.2 人耳感知特性 . 13 2.5 常见语音增强算法 . 13 2.5.1 谱减法 . 13 2.5.2 维纳滤波法 . 14 2.5.3 最小均方误差法 . 14 2.5.4 听觉掩蔽效应语音增强方法 . 14 2.6 本章小结 . 14 第三章 语音端点检测技术 . 16 3.1 短时平均过零率检测法 . 16 3.2 短时平均能量检测法 . 17 南京邮电大学硕士研究生学位论文 目录 iv 3.3 短时平均过零率和短时平均能量联合检测法 . 19 3.4 基于语音谱熵的端点检测方法 . 20 3.4.1 熵的基本概念及基本性质 . 20 3.4.2 基于分带谱熵的语音端点检测算法 . 21 3.5 本章小结 . 24 第四章 基于先验信噪比估计改进算法语音增强 . 25 4.1 谱减法语音增强分析 . 25 4.2 先验信噪比估计 . 28 4.3 改进算法 . 30 4.4 实验仿真及结果分析 . 32 4.5 本章小结 . 34 第五章 基于人耳听觉掩蔽效应的语音增强 . 35 5.1 人耳听觉掩蔽效应 . 35 5.2 掩蔽阈值的计算 . 36 5.2.1 临界频带和 bark 频率 . 36 5.2.2 掩蔽阈值的计算 . 38 5.3 传统的基于听觉掩蔽效应的语音增强算法 . 41 5.3.1 基于听觉掩蔽效应的语音增强 . 41 5.3.2 实验仿真及结果分析 . 42 5.4 基于人耳听觉掩蔽效应的改进算法 . 43 5.4.1 基于谱熵的改进谱减法 . 44 5.4.2 基于听觉掩蔽效应的改进算法语音增强 . 45 5.4.3 实验仿真结果及分析 . 47 5.5 本章小结 . 49 第六章 总结与展望 . 50 6.1 工作总结 . 50 6.2 研究展望 . 50 致谢 . 52 参考文献 . 53 攻读硕士学位期间发表的论文 . 57 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章第一章 绪论绪论 1.1 引言引言 中国老龄化越来越明显，耳聋成为困扰老龄化群体的一个严重问题，人们逐渐意识到采 用科学、正确的方法选配助听器对提高听力损失患者的听力水平极其重要。据不完全统计， 我国大约有 1.2 亿患者受耳聋问题的困扰1，严重影响了他们的生活质量。而且助听器也没有 在我国得到广泛普及，其使用率仅仅只有 3%，但是在西方发达国家的普及率则已经达到了 35%，与此相比我国还有很大的差距，因此听力疾病预防控制和康复工作任务所面临的形势 极其严峻，听力康复工作刻不容缓。但是由于受到目前医学水平和医疗条件的限制，对于感 音神经受到损伤的患者来说，目前还没有较好的药物和手术治疗手段，对于这一类听力损失 患者来说，通过佩戴助听器能够取得较好的助听效果，成为其最佳选择。 目前市场上的助听器绝大部分来自国外几个主要的厂家，如美国的斯达克、德国的西门 子、丹麦的唯听和奥迪康、瑞士的峰力等。应用类型逐渐由可编程式助听器向数字型助听器 过渡。信号处理技术在助听器的性能上起主导作用，国外对助听器的研究起步比较早，其生 产的助听器采用了先进的数字信号处理技术，在压缩技术、回声反馈和噪声消除等方面都取 得了比较好的效果。与国外相比，我国的助听器技术相对落后，主要体现在信号处理技术上， 技术不够成熟，与国外产品差距较大。从市场占有率上来看，国内的助听器市场多为国外厂 商所垄断，因此，开发高性能，经济适用的数字助听器成为国内助听器市场目前亟待解决的 任务。 1.2 国内外研究现状及进展国内外研究现状及进展 现代科学技术的快速发展推动了助听器的发展，同时听力损失患者对助听器性能的要求 也越来越高。从十八世纪开始，学者们就开始了对助听器的研究改进工作，到目前为止，助 听器从产生、发展到更加完善已经历了以下几个发展阶段：模拟式助听器、可编程式助听器、 全数字助听器。 模拟式助听器将所有频率的声音全部放大，对患者的听力损失频率分布考虑不够全面， 这样在各个频率上患者的听力水平损失不一致，导致助听效果下降。此外传统的模拟助听器 对信噪比的提高效果也不是很理想，甚至有时会降低信噪比，使语音包络发生畸变，降低语 音的清晰度。 南京邮电大学硕士研究生学位论文 第一章 绪论 2 可编程式助听器出现于上世纪 90 年代末期， 其设计考虑了听力损失患者在不同频率段上 的听力损失程度，对不同频段上的声音根据患者的损失程度进行放大，取得了比模拟助听器 好的效果。但是由于语音信号的宽带特性，而且对不同频带的划分又比较粗糙，效果还是不 尽如人意。 数字助听器的出现给听力损失患者带来了福音，相对于传统助听器，大大提高了其可控 性，可以灵活划分频段，进行多频段调。此外，数字助听器的灵活性更高，先进算法的应用 使其能够摆脱对固化模拟电路的依赖，可灵活调整和更新算法，满足患者的需求；数字助听 器的小型化、互动化、智能化和跨行化2也使患者对助听器的接受程度大幅提高。在一百多 年的发展过程中，出现了盒式助听器、耳背式助听器、耳内式助听器、耳道式助听器3、完 全耳道式助听器、骨锚式助听器4及软体助听器5等多种形状，其听力补偿效果也越来越好。 数字助听器中所采用的算法对其性能有很大影响，目前对数字助听器的研究主要集中在各种 算法上，解决的问题主要包括压缩技术6、方向性麦克风技术7、回声反馈消除技术8和自动 增益控制9等。 在助听器领域中，如何使助听器在噪声环境中更好的处理带噪语音，从而帮助听力损失 患者获得更为清晰的语音，成为所有听力学临床工作者和使用者所关注的问题。语音增强技 术在噪声消除中起到很大的作用，近几十年来，许多学者对这方面进行了研究。1978 年 lim 和 oppenheim 将维纳滤波法应用于单通道语音增强10；1979 年 s. boll 提出了谱减法11，该 方法实现简单，计算量小，从而得到广泛应用，随后在此基础上又出现了许多改进的谱减算 法， 都取得了较好的增强效果； 1980 年 malpass 和 macaulay 将软判决噪声消除滤波器12应用 于语音增强； 1985 年 y. ephraim 和 d. malah 在文献13中提出基于对数谱幅度的最小均方误 差估计语音增强算法；1987 年 paliwal 将卡尔曼滤波器14应用于语音增强；virag 在 1999 年 将人耳听觉掩蔽效应应用于单通道语音增强15，这些方法在消除噪声方面都取得了一定的成 果。随着信息论等理论的发展，又出现了基于盲源分离16、子空间降噪17、卡亨南-洛维变换 18等新的语音增强方法。2001 年丹麦唯听公司生产的助听器采用了双麦克风自适应降噪技 术。随着语音增强技术的发展，又有学者将小波变换19、基于人工神经网络的方法20、离散 余弦变换21和希尔伯特黄变换22等方法应用于语音增强中。 近年来又出现了自然方向性技术、warp 技术、智能优化系统、蓝牙耳机、净噪技术、充 电器技术23和 3d 声景技术24等。因此在不久的将来，助听器的设计将会更加人性化，能够 在最大程度上满足不同患者的需求。 南京邮电大学硕士研究生学位论文 第一章 绪论 3 1.3 助听器的基本原理助听器的基本原理 助听器实质上是一个电声放大器，可以通过声能放大、减少能量的消散、增加声音集合 来提高声音的强度。经过一个多世纪的发展，助听器依然主要由传声器、系统电路和耳机等 主要部分组成，但是科技的进步极大的推进了助听器中各个部件的发展速度。早期传统的助 听器实际上只是一个信号放大器，主要采用模拟器件来完成对语音信号的处理，与数字信号 处理相比，模拟信号处理具有很大的局限性，电路的动态范围受到电路噪声和输出最大值限 制，而且模拟电路体积大，噪声干扰也很严重，因此将数字处理技术应用于数字助听器的设 计成为一种必然趋势。最近几年，数字信号处理技术和大规模集成电路技术迅速发展，为全 数字助听器的发展提供了新的技术支持。图 1.1 展示了全数字助听器的基本结构。 mica/d滤波器压缩放大器输出限幅d/a rec 数字调节器 数字信号处理器 图 1.1 全数字助听器基本结构图 从图中可以看出，声信号由麦克风转换成电信号，经数字信号处理器放大后，然后电信 号再通过受话器转换成声信号，传入听力损失患者耳内。随着听力学、数字技术和计算机技 术的不断发展，数字助听器必将具有更强大的信号处理能力，自适应能力也将更强。 1.4 论文内容及章节安排论文内容及章节安排 本文主要对数字助听器中的语音增强技术进行了研究，研究工作及内容主要由以下几部 分构成： 1) 了解数字助听器的基本结构及原理。 2) 系统学习语音信号处理的基础知识、分析语音和噪声的特性、人耳听觉特性及常用语 音增强算法，为后续的研究工作打下一定的基础。 3) 研究语音端点检测技术，为后续的研究工作奠定一定的基础。 4) 对传统谱减法进行分析，在回顾和总结前人工作的基础上，对于语音增强后残留音乐 南京邮电大学硕士研究生学位论文 第一章 绪论 4 噪声的问题进行了一定的探索研究，并提出了自己的解决办法，结合自适应先验信噪比估计 和增益平滑来减小音乐噪声的影响，以提高语音增强的效果，改进语音增强的性能。 5) 研究基于人耳听觉掩蔽效应的语音增强，分析了初步语音增强对掩蔽阈值的影响，提 出了自己的改进算法。 根据以上工作内容，本文可分为以下六部分： 第一章： 阐述了数字助听器中语音增强技术的发展和研究现状及助听器的基本工作原理。 第二章：分析了语音信号的主要特征、噪声的特性、一些基本的语音信号处理方法、人 耳的听觉特性和常用语音增强算法。 第三章：研究了语音端点检测技术，重点分析了基于分带谱熵的语音端点检测方法，为 后续的研究奠定了一定的基础。 第四章：在回顾和总结前人工作的基础上，对基于先验信噪比估计的语音增强算法残留 音乐噪声的问题进行了分析，提出自适应先验信噪比估计和增益函数平滑相结合的方法，利 用带噪语音信号频谱和估计噪声频谱的差异度对增益函数进行平滑。并对该方法进行了实验 仿真分析。 第五章：研究了人耳的听觉掩蔽效应。首先对传统的基于听觉掩蔽效应的语音增强算法 进行了研究，发现初步增强语音对掩蔽阈值的计算有着很大的影响。并在此基础上将基于谱 熵的改进谱减算法和人耳听觉掩蔽效应相结合，得到更接近于纯净语音的掩蔽阈值，使得对 带噪语音的增强性能得到更大的提高，最后对算法的性能进行了分析。 第六章： 对全文进行了总结以及对数字助听器中语音增强技术的进一步发展做出了展望。 南京邮电大学硕士研究生学位论文 第二章 语音增强技术基础 5 第二章第二章 语音增强技术基础语音增强技术基础 语言是日常生活中人与人交流和沟通最有效、最直接的方式。但是在日常生活中，人类 进行交流的场所总是存在各种各样的噪声，从而影响我们交流过程中重要信息的提取，尤其 对于听力损失患者有着更大的危害。语音增强技术能够较好的消除带噪语音信号中的噪声， 改善患者的听力水平。对带噪声语音信号进行增强，要想取得好的效果，首先要了解语音信 号和噪声的特征以及人耳的听觉感知特性。 2.1 语音的产生机理语音的产生机理 为了应用数字信号处理技术对语音信号进行处理， 首先要建立语音信号产生的数学模型， 只有在对人的发生器官和发声机理进行研究的基础上才能建成比较精确的模型。人的发声器 官主要由 3 部分组成：肺和气管产生气源；喉和声带组成声门；咽喉、口腔和鼻腔组成声道。 图 2.1 给出了语音信号产生的数学模型，此模型可表现出语音信号的主要特性，可以充 分了解语音信号的产生机理。 周期脉冲序列 声门脉冲模型 g(z) 白噪声序列 gv gu 声道模型 h(z) 辐射模型 r(z) 开关 激励模型声道模型 辐射模型 图 2.1 语音信号产生的数学模型 从图 2.1 可以看出，语音信号产生的数学模型主要包括以下三个部分：激励模型、声道 模型和辐射模型。 1、 激励模型 根据发不同声音时激励不同的情况可以将语音分为浊音和清音。空气流经紧绷的声带时 使其产生张弛振动，此时声带的开启/闭合具有一定的周期性，当声带开启时，空气流从声门 喷射而出，形成一个脉冲，当声带闭合时，形成一个脉冲间隙，在声门处就会产生一个准周 南京邮电大学硕士研究生学位论文 第二章 语音增强技术基础 6 期脉冲，该空气流经过声道从嘴唇辐射出来产生的声音便是浊音，该脉冲的周期便是基音周 期。浊音的频率与声带的形状和张力相关，当声带较短、厚度较薄、张力较大时，产生的浊 音频率比较高，反之则其频率比较低。声门的开启和闭合产生间隙脉冲，可以用一个周期性 的斜三角形脉冲表示声门激励，其周期长度与基音周期相同，单个三角形脉冲可以用式(2-1) 表示为 11 12112 1 1 cos0 2 cos2 0 nnnn g nnnnnnnn 其他 (2-1) 式中 1 n为斜三角波的上升时间， 2 n为其下降时间。 将上述函数经过 z 变换到频域 g z可得声门模型的全极点模型，用式(2-2)表示为 11 12 1 11 g z g zg z (2-2) 从式子(2-2)可以看出 g z表现出一个低通滤波器的特性。式中 1 g和 2 g是常数，其中脉冲发 生器的模型可以用式(2-3)来表示 1 1 v a e z z (2-3) 其中 v a是调节浊音幅值和能量的参数。因此，激励模型可以用式(2-4)表示为 1 11 12 1 111 v a u zg z e z zg zg z (2-4) 当空气流经过完全舒展开的声带时，则肺部发出的空气流将不受影响的通过声门，空气 流通过声门后进入声道，气流在此处以高速冲过，并在附近产生空气湍流，这种湍流空气通 过后便形成所谓的摩擦音或清音。对于清音，激励信号可由随机噪声发生器产生，且产生的 噪声服从均值为 0，方差为 1 的高斯分布。 2、 声道模型 一般情况下，可以按声道发不同性质的声音分为以下两种不同的情况：发元音的情况和 发辅音的情况。声波受声腔共振的影响，在某些频率附近形成共振峰，一般情况下，前 3 个 共振峰就能够较好的表示一个元音，对于较复杂的辅音或鼻音，大概要用 5 个以上的共振峰 才可以表示，可以用式(2-5)所示的全极点模型25来刻画共振峰特性 南京邮电大学硕士研究生学位论文 第二章 语音增强技术基础 7 0 1 p i i i v z a z (2-5) 式中p的取值范围通常取为 812。 3、 辐射模型 辐射模型 r z和人发音时的嘴形有关，因此可以用式子(2-6)来表示 1 1r zrz (2-6) 综上所述，语音信号产生的数字模型由以上 3 部分串联而成，其传递函数如式(2-7)所示 ( ) ( ) ( )h zu z v z r z (2-7) 2.2 语音的分析语音的分析 对语音信号的特性和基本处理方法进行深入分析是语音增强的基础，可以分别从时域、 频域等领域对语音信号进行分析。因为时域波形比较直观，具有简单、清晰易懂、物理意义 明确等优点，因而得到广泛的应用；但是频域分析则更为有效，在频域中反映了语音信号最 为重要的感知特性，由于人耳对相位不敏感26，因此相位对语音信号的影响可以忽略不计。 2.2.1 语音信号的特征 语音增强涉及到语音信号的基本特征，主要包含以下几个方面： 1、 短时平稳特性 语音信号具有时变、非平稳的随机特性，也具有非连续的特性，正常的语音是具有停顿 和间歇的，停顿和间隙是无语音区。但是语音信号在 1030ms 的时间内，其各种特征相对稳 定，即在总体上随时间改变的语音信号中，短时信号有相对稳定性。这个短时平稳特征的存 在，使得短时信号在语音增强技术中有广泛的应用。 2、 语音信号是功率信号 用 x t表示时域连续的信号，用 x n表示其离散化后的信号，它们的能量可以分别用式 (2-8)和式(2-9)表示为 2 c ex tdt (2-8) 南京邮电大学硕士研究生学位论文 第二章 语音增强技术基础 8 2 n d n ex n (2-9) 假如e ，则 x t和 x n称之为能量信号。 假如e ，则 x t和 x n称之为能量无限信号，对于能量无限的信号，在研究过程中 重点研究其功率，分别用式(2-10)和式(2-11)来表示 x t和 x n功率 2 2 2 1 lim t c tt px tdt t (2-10) 21 lim 21 n d n nn px n n (2-11) 如果p ，则称 x t和 x n为功率信号。 语音信号作为一个随机时变信号，它是一个功率信号27而不是能量信号。 3、 清音和浊音 语音信号最基本的组成单位是音素，音素可以分为浊音和清音两类。在时域上浊音具有 周期性