数字语音信息处理 课件 第2章 语音产生与听觉感知

我们毕业啦其实是答辩的标题地方第二章语音产生与听觉感知北京工业大学2目录2心理声学原理1语音产生2.1语音产生语音的产生过程：肺部气流的形成（发声动力）、声源的产生（声带振动）以及语音的形成（声道共鸣）三部分。肺部通过呼吸作用将外界空气吸入体内，当人体开始说话时，肺部的肌肉收缩迫使空气流出。流出的空气经气管进入喉部，到达声带时引起声带振动产生了声音。振动的声带将声音向上传入由咽腔、口腔、鼻腔等组成的声道。声道能够对声音频谱中的一些频率进行加强或减弱。声道的大小和形状随着发音器官的活动而改变，引起声道的共鸣性质发生变化，产生不同的语音音调和音色，进而形成语音信号。最后，语音从唇或鼻辐射到外界，经过外界传导被人耳感知。2.1.1发音器官人类用来产生语音的发音器官：发声器官和构音器官两部分。发声器官由肺部和喉部构成，用于产生声音。其中，肺部的呼吸作用形成气流，气流引起喉部的声带振动而发声。通过协同调整肺部和喉部的运动，能够变换声音的音调、响度和音质，为进一步形成语音特征奠定基础。2.1.1发音器官人类用来产生语音的发音器官：发声器官和构音器官两部分。构音器官由上下颚、舌、唇、软腭等构成，用于对声音进行频谱变换，以产生语音。其中，相互邻近的构音器官共同构成口腔、咽腔、鼻腔等共鸣腔，并形成声道。在声道中，从喉部传来的声音被不断地反射和增强引发共振，改变原始声音的频谱，形成语音信号。当发音器官进行不同活动时，声道形状变化，由此形成元音和辅音特征。2.1.2发音原理元音的产生：元音是发音时气流通过口腔不受阻碍发出的音气流从肺部通过声门冲击声带，使声带发出均匀振动，然后气流不受阻碍地通过口腔发出不同的语音。元音的产生是发声和构音机制共同作用的结果。发声和构音都是由物体振动产生声波，但二者的区别在于，发声是在气流推动下利用喉部的声带振动产生声源，而构音是利用声门以上声道中的共振构成语音。“声源-滤波器”理论是解释语音产生过程的一个重要概念。其中，喉部的声带作为声源发生器发出声带声源，声道则作为声学滤波器对声源声音进行调制以构成语音，最终从唇辐射到外部空间。2.1.2发音原理元音的产生：元音是发音时气流通过口腔不受阻碍发出的音声带在人脑指令的控制下通过喉部肌肉的收缩打开或闭合。呼吸时，声带打开，空气无任何阻力地通过声门。发声时，大脑通过神经系统向声带肌肉发出指令，声带肌肉开始收缩，拉动声带使声门关闭。当声门完全闭合时，从肺部呼出的气流在声门处被阻断，声带上方和下方均收到气流冲击，从而产生振动；当振动累积到一定程度时，闭合的声带被重新打开；由于声带具有韧性，重新打开后会迅速闭合；由此，声带在不断振动的过程中产生一系列气流脉冲，这些气流脉冲被转化为声能脉冲信号，形成语音产生的基本声源，即声带声源。声带声源的响度、音高受声带振动程度的影响。2.1.2发音原理清音和浊音：

在语音学定义中，将发音时声带振动的音称为浊音，声带不振动的音称为清音。辅音

有清有浊，而多数语言中的元音均为浊音，鼻音、边音、半元音也是浊音。发元音时声带振动的叫浊元音。有些语言发元音时声带不振动，发出的为清元音。当发出浊元音时，声道在声门端关闭，除了喉腔会发生适度的收缩，其余空间没有明显的缩小。当发出清元音时，声门打开，舌部对发音的影响效果减弱。2.1.2发音原理清音和浊音：

在语音学定义中，将发音时声带振动的音称为浊音，声带不振动的音称为清音。辅音

有清有浊，而多数语言中的元音均为浊音，鼻音、边音、半元音也是浊音。辅音是指气流在经过在口腔或咽腔时受到阻碍而形成的音。按照发音时声带振动或不振动，可以将辅音分为浊辅音或清辅音两大类。这两类辅音的区别涉及特定语言中对喉部及喉部以上构音器官的精细时间控制。发出浊辅音时，声道闭合或变窄，气流持续存在并引起声带振动。但由于声道的容积增加（口腔扩张，由下颚下降和颊部的外扩引起；咽腔扩张，由侧壁外扩和喉部的下降引起），声门两侧的气流减少，声门间的压力差减小。声门处的气压变化不仅来自口腔和咽腔，还来自鼻腔，因为口腔内的声压会传播到鼻腔并从前鼻孔辐射到外部空间。发出清辅音时，口腔内的压力值上升，达到声门下的压力大小，声门间的压力差被迅速减小，声带振动受到抑制。2.2心理声学原理心理声学(Psychoacoustics):研究人耳听觉系统对声音的感知过程。外界声音通过耳廓传到耳道，振动鼓膜后所产生的能量依次通过听小骨（锤骨、砧骨、镫骨）传到耳蜗，耳蜗中的基底膜将声音转换为神经信号，最后通过听觉神经传入大脑。由此，声音中的物理属性（如强度和频率）与人耳对声音感知的心理声学属性（如响度和音高的感知）建立了联系。2.2.1听觉范围人耳的听觉范围涵盖了从刚好能够被人耳感知的声音到足以对人耳构成伤害的声音。一般来讲，人耳可以识别的声音的频率范围是20Hz到20000Hz之间。

声压级(SoundPressureLevel,SPL)是一种用于描述声音强度的物理量，以分贝(dB)为单位衡量待测声压相较于基准声压的大小

2.2.1听觉范围人耳的听觉范围涵盖了从刚好能够被人耳感知的声音到足以对人耳构成伤害的声音。一般来讲，人耳可以识别的声音的频率范围是20Hz到20000Hz之间。

声压级(SoundPressureLevel,SPL)是一种用于描述声音强度的物理量，以分贝(dB)为单位衡量待测声压相较于基准声压的大小

无噪声环境下，以特定频率的纯音进行测试时，人耳刚好能够感知到的纯音的声压级称为听阈，该值被定义为0dBSPL；人耳的痛阈约为140dBSPL。2.2.2绝对听阈绝对听阈在无噪声环境中、频率特定的条件下，人耳听觉系统能够感知到的最小纯音强度值，通常用dBSPL表示。在不同的频率下，人耳对声音的感知灵敏程度不同，即绝对听阈不同。1940年，弗莱彻等人就公布了美国国立卫生研究院(NIH)对一众测试者进行听力灵敏度测试的研究结果，并量化了绝对听阈与频率之间的关系。在无噪声环境中，一个听觉灵敏的年轻人的听觉阈值与频率的非线性关系被表示为：

2.2.2绝对听阈绝对听阈无噪声环境下的绝对听阈2.2.3临界频带临界频带在耳蜗的基底膜上发生着从频率到位置的转换。传入耳道的声波会振动鼓膜和鼓室内部的听小骨，而听小骨的机械振动会传导到耳蜗。由于基底膜与神经受体相连，行波会在与每种频率相关的特定位置产生峰值响应，不同的神经受体分别对应了其位置所在处的不同频段对于正弦波激励，基底膜上的行波从输入端的椭圆形窗口开始，向前传播直到接近其共振频率所对应的位置。在位置处幅度增大到峰值，但在该位置之后，波速减慢且幅度迅速衰减。波峰的位置被称为激励信号频率的“最佳位置”，而在特定位置的行波到达峰值的输入频率被称为“最佳频率”。由此，就产生了耳蜗的频率-位置转换关系。2.2.3临界频带耳蜗可以被看作为一组高度重叠的带通滤波器组。但这组带通滤波器的振幅响应是不对称且非线性的（与电平有关）。同时，耳蜗所对应的各带通滤波器的通带带宽呈不均匀分布，带宽随着中心频率的增加而增加，可以用“临界带宽”(CriticalBandwidth,CB)量化不同频率上的带宽。当中心频率小于500Hz时，临界带宽通常约为100Hz；但中心频率大于500Hz时，临界带宽的值约为中心频率的20%。对于一般听者而言，临界带宽与中心频率之间的关系可以表示为：

2.2.3临界频带Bark频带中心频率（频率/Hz）下界频率（频率/Hz）上界频率（频率/Hz）150010021501002003250200300435030040054504005106570510630770063077088407709209100092010801011701080127011137012701480121600148017201318501720200014215020002320152500232027001629002700315017340031503700184000370044001948004400530020580053006400217000640077002285007700950023105009500120002413500120001550025187751550022050理想化的临界频带分布情况2.2.3临界频带进行建模，得到Hz到Bark尺度的转换函数为：

等效矩形带宽(EquivalentRectangularBandwidth,ERB)是另一种描述带宽的度量方法，提供近似人耳听觉对带宽的感知。在信号处理中，等效矩形带宽的定义与信号的功率谱有关，它指的是将信号等效成一个矩形谱，使得等效后的矩形谱与原信号有相同功率。2.2.4同时掩蔽听觉掩蔽是一种常见的心理声学现象。当两个声音同时出现时，相对较弱的声音受较强声音的影响，将不易被人耳感知。较强的音是掩蔽音，较弱的音是被掩蔽音。当两个及以上声源同时发声时，会发生同时掩蔽。同时掩蔽：当一个响度较强的噪声或纯音作为掩蔽音时，其临界频带在基底膜上所对应的位置会产生一个足够强的刺激，从而有效阻断人耳在位置对较弱信号的感知。三种方式：噪声-掩蔽-纯音(Noise-Masking-Tone,NMT)、纯音-掩蔽-噪声(Tone-Masking-Noise,TMN)和噪声-掩蔽-噪声(Noise-Masking-Noise,NMN)2.2.4同时掩蔽噪声-掩蔽-纯音同一临界带内，当一个纯音的强度低于某个与窄带噪声强度和中心频率相关的阈值时，窄带噪声可掩蔽该纯音信号，此现象称为噪声-掩蔽-纯音临界频带是指当某个纯音被以它为中心频率且具有一定带宽的连续噪声所掩蔽时，如果该纯音刚好能被听到时的功率等于这一频带内噪声的功率。信号和掩蔽阈值之间的声级差，为信号掩蔽比(Signal-to-Maskratio,SMR)，SMR越大掩蔽效果越小。2.2.4同时掩蔽纯音-掩蔽-噪声当噪声的强度低于某个与掩蔽纯音强度和中心频率相关的阈值时，临界频带中心频率处的纯音可掩蔽任何亚临界带宽或形状的噪声在纯音掩蔽噪声带的检测阈值处，当掩蔽音的频率接近噪声的中心频率时，会出现最小SMR，即掩蔽音纯音的强度与被掩蔽噪声的强度之间差异最小。与噪声相比，纯音在掩蔽方面具有较大的信号掩蔽比(SMR)。低频纯音容易掩蔽高频纯音，而高频纯音相对较难掩蔽低频纯音。频率相近的纯音容易互相掩蔽。当增加掩蔽声的声压级时，掩蔽阈值会提高，同时被掩蔽的频率范围也会扩展。2.2.4同时掩蔽噪声-掩蔽-噪声一种窄带噪声掩蔽另一种窄带噪声的现象称为噪声-掩蔽-噪声。相比于NMT和TMN，NMN的研究更为困难

NMN的掩蔽效果会受掩蔽音和被掩蔽音之间的相位关系影响。基本