语音信号处理课件-短时傅立叶分析与综合与听觉特征

人耳感知原理SDTFT的两种解释1.滤波解释2.调制解释2021/10/10星期日1（1）2021/10/10星期日22021/10/10星期日3滤波观点（3）（2）可解释为x(n)调制到频率ω02021/10/10星期日42021/10/10星期日5调制观点（4）（3）式改写为2021/10/10星期日62021/10/10星期日7信号调制1.载波特点：频率较高2021/10/10星期日82.被调制信号一般来说，频率远低于载波2021/10/10星期日9调制后的信号2021/10/10星期日10语音信号的调制解释语音可看作多个信号被调制到多个载波后叠加的结果2021/10/10星期日112021/10/10星期日122021/10/10星期日13二、语音听觉系统（一个十分巧妙的音频信号处理器）人类接收语音由人耳来完成，空气振动由耳廓收集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓室中的空气和听骨链也发生振动，听骨链的振动经前庭窗（卵圆窗）激励前庭淋巴，变为液波，液波使位于基底膜上的螺旋器受到刺激，将神经冲动经听神经传到中枢而产生听觉。2021/10/10星期日14正常人的听觉系统是极为灵敏的，可听声的范围为0.02Hz-20kHz。可听声的最小声压级(dB)称为听阈。-5130dB，对低频和高频是不敏感的，听阈为60dB，在1kHz附近最敏感。2021/10/10星期日15声源声压/Pa声压级/dB飞机附近200140织布车间20100地铁0.6390繁华街道0.06370普通谈话0.0260安静房间0.00240耳语0.0006330树叶沙沙声0.000220农村静夜0.000063102021/10/10星期日161.耳的结构（外耳、中耳和内耳）和功能

外耳：对声源定位和对声音放大的作用，由耳廓和外耳道组成。☆耳廓呈漏斗型，其作用是收集声音。☆外耳道直至鼓膜，其中充满空气，是一谐振腔，使谐振频率附近的频率成分有某些放大作用，导致声音有某些失真。2021/10/10星期日17

外耳道的长度为2.5cm，对波长为其4倍作用的声波能起到较好的放大作用，即有：4

2.5=10cm，3000-4000Hz声波的波长为8.5cm-11.41cm，因此外耳道对这部分频率的信号有扩音作用，10dB左右。外耳道2021/10/10星期日18中耳★

结构：总容量为2立方厘米，内含三块听小骨，锤骨、砧骨、镫骨，其中锤骨与鼓膜相接触，镫骨则与内耳的前庭窗相接触。★

作用：进行阻抗变换，将中耳两端的声阻抗匹配起来；保护内耳。在一定声强范围内，听小骨实现声音的线性传递，而在特强声时，实现非线性传递。2021/10/10星期日19内耳★

结构：主要部分是耳蜗，耳蜗长约3.5cm，呈螺旋状盘绕2.5-2.75圈，是一个密闭的管子，内部充满了淋巴液。前庭窗镫骨基底膜2021/10/10星期日20★

作用：将振动变换为神经冲动。当声音传入中耳时，镫骨的运动经过前庭窗引起耳蜗内液体压强的变化，从而引起行波沿基底膜的传输，引起基底膜的振动。不同频率的声音产生不同的行波，其峰值出现在基底膜的不同位置上。基底膜的振动导致沿基底膜分布的毛细胞的电位发生改变，引起神经冲动，传递给大脑，产生听觉。2021/10/10星期日21

如果信号是一个多频率的信号，则产生的行波将沿着基底膜在不同的位置产生最大幅度，从这个意义上讲，耳蜗就像一个频谱分析仪，将复杂信号分解成各种频率分量，这种作用称为人耳的时频分析特性。耳蜗在语音接收过程起着重要的作用。2021/10/10星期日22

人工耳蜗是一种电子装置，能帮助重度及极重度耳聋患者获得或重新恢复听觉。它代替病变受损的听觉器官，把声音转换成编码的电信号传入内耳耳蜗，刺激分布在那里的听神经，再由大脑产生听觉。人工耳蜗2021/10/10星期日23

麦克风接收声音，并通过导线将其传至言语处理器；言语处理器对声音进行数字化、滤波编码等处理，并将编码信号经导线传至传输线圈；传输线圈将编码信号通过耦合传至皮下的接收器；接收器对编码信号进行解码；按信号选择一定位置的电极，刺激耳蜗内的听神经纤维，使其产生兴奋，将信号传入大脑，产生听觉。人工耳蜗的工作原理2021/10/10星期日242.声音传入内耳的途径由空气传导，称为气导，其过程为：声波

耳廓

鼓膜

听骨

内耳

基底膜上毛细胞电位改变

神经冲动由骨传导，称为骨导，其过程为：声波

颅骨

外淋巴振动

内耳

基底膜上毛细胞电位改变

神经冲动2021/10/10星期日253.人耳的两个重要特性（1）耳蜗对声信号的时频分析特性（2）人耳的掩蔽效应人耳的掩蔽（maskingphenomenon）效应:在一个强信号附近弱信号将变得不可闻，被掩蔽掉了。2021/10/10星期日26掩蔽阈值被掩蔽掉的不可闻信号的最大声压级称为掩蔽门限和掩蔽阈值（maskingthreshold）,在这个掩蔽阈值以下的声音将被掩蔽掉。掩蔽效应分为同时掩蔽(频域掩蔽)和短时掩蔽（时域掩蔽）。同时掩蔽是指存在一个弱信号和一个强信号，当其频率接近时，强信号会提高弱信号的阈值，就会导致弱信号变得不可闻。2021/10/10星期日271kHz的听阈1dB20dB4dB可闻声3dB不可闻声图形描述2021/10/10星期日28同时出现的A声和B声，若原来A声的阈值为50dB,由于另一个频率不同的B声的存在使得A声的阈值提高了68dB,则B声称为掩蔽声，A声称为被掩蔽声。掩蔽量为68dB－50dB＝18dB。数学描述2021/10/10星期日29

掩蔽效应的作用当只有A声时，必须将声压级在50dB以上的声音信号传送出去，50dB以下的声音是听不到的。当同时出现了B声，由于掩蔽效应，使得A声中的68dB以下的声音是听不到了，可以不予传送，只是传送50dB以上的信号。同时掩蔽时，掩蔽声越强，掩蔽作用越大；掩蔽声和被掩蔽声的频率越接近，掩蔽效果越明显，当频率相同时，掩蔽效果最大。2021/10/10星期日30前向掩蔽：若被掩蔽声A出现后，相隔(0.05s,2s)之内出现了掩蔽声B，对A起掩蔽作用，因为A声尚未被人所反应接收而强大的B声已来临。短时掩蔽前向掩蔽和后向掩蔽后向掩蔽