语音信号处理-短时傅立叶分析与综合与听觉特征PPT课件

-,1,人耳感知原理,SDTFT的两种解释1.滤波解释2.调制解释,-,2,（1）,-,3,-,4,滤波观点,（3）,（2）,可解释为x(n)调制到频率0,-,5,-,6,调制观点,（4）,（3）式改写为,-,7,-,8,信号调制,1.载波,特点：频率较高,-,9,2.被调制信号,一般来说，频率远低于载波,-,10,调制后的信号,-,11,语音信号的调制解释,语音可看作多个信号被调制到多个载波后叠加的结果,-,12,-,13,-,14,二、语音听觉系统（一个十分巧妙的音频信号处理器）,人类接收语音由人耳来完成，空气振动由耳廓收集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓室中的空气和听骨链也发生振动，听骨链的振动经前庭窗（卵圆窗）激励前庭淋巴，变为液波，液波使位于基底膜上的螺旋器受到刺激，将神经冲动经听神经传到中枢而产生听觉。,-,15,正常人的听觉系统是极为灵敏的，可听声的范围为0.02Hz-20kHz。可听声的最小声压级(dB)称为听阈。-5130dB，对低频和高频是不敏感的，听阈为60dB，在1kHz附近最敏感。,-,16,-,17,1.耳的结构（外耳、中耳和内耳）和功能,外耳：对声源定位和对声音放大的作用，由耳廓和外耳道组成。耳廓呈漏斗型，其作用是收集声音。外耳道直至鼓膜，其中充满空气，是一谐振腔，使谐振频率附近的频率成分有某些放大作用，导致声音有某些失真。,-,18,外耳道的长度为2.5cm，对波长为其4倍作用的声波能起到较好的放大作用，即有：42.5=10cm，3000-4000Hz声波的波长为8.5cm-11.41cm，因此外耳道对这部分频率的信号有扩音作用，10dB左右。,外耳道,-,19,中耳,结构：总容量为2立方厘米，内含三块听小骨，锤骨、砧骨、镫骨，其中锤骨与鼓膜相接触，镫骨则与内耳的前庭窗相接触。,作用：进行阻抗变换，将中耳两端的声阻抗匹配起来；保护内耳。在一定声强范围内，听小骨实现声音的线性传递，而在特强声时，实现非线性传递。,-,20,内耳,结构：主要部分是耳蜗，耳蜗长约3.5cm，呈螺旋状盘绕2.5-2.75圈，是一个密闭的管子，内部充满了淋巴液。,前庭窗,镫骨,基底膜,-,21,作用：将振动变换为神经冲动。当声音传入中耳时，镫骨的运动经过前庭窗引起耳蜗内液体压强的变化，从而引起行波沿基底膜的传输，引起基底膜的振动。不同频率的声音产生不同的行波，其峰值出现在基底膜的不同位置上。基底膜的振动导致沿基底膜分布的毛细胞的电位发生改变，引起神经冲动，传递给大脑，产生听觉。,-,22,如果信号是一个多频率的信号，则产生的行波将沿着基底膜在不同的位置产生最大幅度，从这个意义上讲，耳蜗就像一个频谱分析仪，将复杂信号分解成各种频率分量，这种作用称为人耳的时频分析特性。耳蜗在语音接收过程起着重要的作用。,-,23,人工耳蜗是一种电子装置，能帮助重度及极重度耳聋患者获得或重新恢复听觉。它代替病变受损的听觉器官，把声音转换成编码的电信号传入内耳耳蜗，刺激分布在那里的听神经，再由大脑产生听觉。,人工耳蜗,-,24,麦克风接收声音，并通过导线将其传至言语处理器；言语处理器对声音进行数字化、滤波编码等处理，并将编码信号经导线传至传输线圈；传输线圈将编码信号通过耦合传至皮下的接收器；接收器对编码信号进行解码；按信号选择一定位置的电极，刺激耳蜗内的听神经纤维，使其产生兴奋，将信号传入大脑，产生听觉。,人工耳蜗的工作原理,-,25,2.声音传入内耳的途径,由空气传导，称为气导，其过程为：声波耳廓鼓膜听骨内耳基底膜上毛细胞电位改变神经冲动,由骨传导，称为骨导，其过程为：声波颅骨外淋巴振动内耳基底膜上毛细胞电位改变神经冲动,-,26,3.人耳的两个重要特性,（1）耳蜗对声信号的时频分析特性（2）人耳的掩蔽效应,人耳的掩蔽（maskingphenomenon）效应:在一个强信号附近弱信号将变得不可闻，被掩蔽掉了。,-,27,掩蔽阈值,被掩蔽掉的不可闻信号的最大声压级称为掩蔽门限和掩蔽阈值（maskingthreshold）,在这个掩蔽阈值以下的声音将被掩蔽掉。,掩蔽效应分为同时掩蔽(频域掩蔽)和短时掩蔽（时域掩蔽）。同时掩蔽是指存在一个弱信号和一个强信号，当其频率接近时，强信号会提高弱信号的阈值，就会导致弱信号变得不可闻。,-,28,1kHz的听阈,1dB,20dB,4dB,可闻声,3dB,不可闻声,图形描述,-,29,同时出现的A声和B声，若原来A声的阈值为50dB,由于另一个频率不同的B声的存在使得A声的阈值提高了68dB,则B声称为掩蔽声，A声称为被掩蔽声。掩蔽量为68dB50dB18dB。,数学描述,-,30,掩蔽效应的作用,当只有A声时，必须将声压级在50dB以上的声音信号传送出去，50dB以下的声音是听不到的。当同时出现了B声，由于掩蔽效应，使得A声中的68dB以下的声音是听不到了，可以不予传送，只是传送50dB以上的信号。,同时掩蔽时，掩蔽声越强，掩蔽作用越大；掩蔽声和被掩蔽声的频率越接近，掩蔽效果越明显，当频率相同时，掩蔽效果最大。,-,31,前向掩蔽：若被掩蔽声A出现后，相隔(0.05s,2s)之内出现了掩蔽声B，对A起掩蔽作用，因为A声尚未被人所反应接收而强大的B声