声音信号处理与项目实践 课件 第4章 短时傅里叶技术

第4章短时傅里叶变换4.1短时傅里叶变换的定义4.2短时傅里叶变换的理解4.3短时傅里叶变换的实现4.4短时傅里叶变换的应用案例24.1短时傅里叶变换的定义傅里叶变换FT对于声音非平稳信号，其频率成分随时间变化，仅使用FT无法同时获取信号的时间和频率信息短时傅里叶变换STFT34.1短时傅里叶变换的定义离散信号STFT连续信号STFTSTFT使用窗函数将信号分段，并对每一段应用傅里叶变换。窗的大小决定了时间和频率的分辨率：窗越长，频率分辨率越高，时间分辨率越低；窗越短，时间分辨率越高，频率分辨率越低。对于时变的非稳态信号，高频适合小窗口，低频适合大窗口44.1短时傅里叶变换的定义在实际应用中，信号通常是有限长度的，这限制了频率分辨率。离散化可以帮助在有限的数据长度内更有效地进行频率分析。类似于时域采样，对频域在单位圆上进行离散化采样，就可以得到频率离散的STFT频域离散化可以使傅里叶变换更容易在计算机上实现。通过使用快速傅里叶变换（FFT）算法，计算效率可以大大提高。54.1短时傅里叶变换的定义STFT的输出是一个二维函数，通常表示为时频谱图，其中横轴表示时间，纵轴表示频率，用不同的颜色表示信号在该时间和频率位置的能量或幅度。在STFT时频谱图中，时域被分帧，并对每一帧计算傅立叶变换以获得频率。帧位置在整个数据中滑动以获得STFT系数。64.2短时傅里叶变换的理解对于非平稳信号，傅立叶变换只能反映整个信号当中有哪些频率成分，而无法反映各个成分出现的时间，信号各个频率成分的大小随时间变化的情况，各个时刻的瞬时频率及其幅值，而短时傅里叶变换STFT则能捕获这些傅里叶变换丢失的信息。74.2短时傅里叶变换的理解图原始信号的时域波形及频谱图图时域反转后信号的时域波形及频谱图84.2短时傅里叶变换的理解图x(t)时域波形及频谱图图x(t)加入突变后的时域波形及频谱图将信号x(t)=2cos(20t)+4sin(60t)的某个位置加入一个高频突变，其图像如下图所示94.2短时傅里叶变换的理解图x(t)加入突变后的时域波形及频谱图在频谱图中，这样的变化并没有被很好的捕捉到。注意下图框中部分，显然傅里叶变换把突变解释为了一些列低成分高频信号的叠加，并未很好地反映突变扰动给信号带来的变化。104.2短时傅里叶变换的理解图原始信号的时域波形及频谱图图时域反转后信号的时域波形及频谱图114.2短时傅里叶变换的理解图STFT滤波器组框图在滤波器形势下，STFT的另外一个表达式为：图STFT合成框图窗函数的带宽ΔfΔf是窗函数频率分辨率的二阶矩，计算的是能量加权的平均频率的平方，与单纯平均频率的平方的差值。这给出了关于窗函数的频率分布的“宽度”的量度。与之类似还有时间分辨率Δt，这是窗函数在时间域中能量分布的宽度窗函数的带宽Δf分辨率数值越小则分辨率越高，时间分辨率和频率分辨率不能无限制提高，因为它们的乘积必须满足一个下限：

即不可能同时在时间和频率上有高分辨率，在保证一个维度的分辨率时会牺牲另一个维度的分辨率。高斯窗函数是满足下界的窗函数，在时域和频域都具有最优的分辨率，然而在实际应用中并不是首选，这是因为相比于海明窗等，高斯窗的旁瓣的降落缓慢，容易导致频谱的泄露。144.3短时傅里叶变换的实现15MFCC的提取和应用声音去噪算法的实现声音信号熵的提取应用4.4短时傅里叶变换的应用案例164.1.1MFCC的提取和应用

倒谱是语音信号处理中常用的一种特征表示方法。它是对信号频谱的对数谱的反变换。倒谱能够提取语音信号的周期性特征，对于声调、共振峰和声带振动等特征具有较好的描述能力。设语音信号为s[n],其离散傅里叶变换DFT为S(k),则其倒谱系数为174.1.1MFCC的提取和应用梅尔倒谱系数（MFCC）是在Mel标度频率域提取出来的倒谱参数。倒谱和梅尔频率倒谱的区别在于，梅尔频率倒谱的频带划分是在梅尔刻度上等距划分的，它更接近人类的听觉系统，Mel标度描述了人耳频率的非线性特征，对低频较敏感而对高频不敏感图频率和MEL频率曲线图184.1.1MFCC的提取和应用MFCC的计算步骤有：1.预加重2.分帧3.加窗4.快速傅里叶变换5.滤波器6.离散余弦变换7.取对数预加重

预加重例：分帧取N个采样点集合成一个观测单位，称为一帧，N的值通常为256或512，覆盖时间约为20到30ms。为避免两帧之间变化过大，相邻两帧之间有一定重叠，重叠区域包含M个采样点，通常为N的1/3至1/2。若语音信号的采样频率为8kHz，帧长度取256个采样点，则对应的时间长度为256/8000×1000=32ms加窗窗函数的主要目的是加强帧左右的连续性。在频域分析中，将时域信号分割成窗口后，会在每个窗口内进行频谱分析。如果不加窗函数直接对窗口内的信号进行傅里叶变换，由于窗口的大小不是无限长的，导致实际频谱的能量会泄漏到其它的频率成分上去。窗函数在时域上对信号进行加权，以平滑地将信号从无限延伸的形式转换为有限长度的形式。这样做可以减少信号在窗口边界处的不连续性，从而减轻频谱泄漏的影响。加窗

加窗图不同a值下海明窗函数曲线图快速傅里叶变换图原始信号和加窗信号对应的波形和能量谱图滤波器

m表示滤波器的个数，f(m)表示每个滤波器的中心频率。频谱有包络和精细结构，分别对应音色与音高。对于语音识别来讲，音色是主要的有用信息，音高一般没有用。在每个三角形内积分，就可以消除精细结构，只保留音色的信息。离散余弦变换DCT

取对数标准的倒谱参数MFCC只反映了语音参数的静态特性，语音的动态特性可以用这些静态特征的差分谱来描述。把动、静态特征结合起来才能有效提高系统的识别性能。差分参数的计算可以采用下面的公式:

代码实现图MFCC频谱图304.4.2.1谱减法去噪谱减法是一种发展较早且应用较为成熟的语音去噪算法，该算法利用加性噪声与语音不相关的特点，在假设噪声是统计平稳的前提下，用无语音间隙测算到的噪声频谱估计值取代有语音期间噪声的频谱，与含噪语音频谱相减，从而获得语音频谱的估计值。谱减法具有算法简单、运算量小的特点，便于实现快速处理，往往能够获得较高的输出信噪比，所以被广泛采用。该算法的不足之处是处理后会产生具有一定节奏性起伏的背景噪声。314.4.2.1谱减法去噪324.4.3声音信号熵的提取应用

334.4.3声音信号熵的提取应用声音信号的熵描述的是信号中所有可能值的信息量的期望值，或者说是平均信息量，用来度量信号的不确定性。声音信号熵是对声音信号的信息量和不确定性的度量，它可以帮助我们从声音中提取有用的特征和信息。对于一个离散的声音信号X，其信息熵H(X)为：代码实现图声音信号的信息熵354.4.3声音信号熵的提取应用

代码实现图声音信号的能量熵图声音信号的频谱熵1、在声音信号处理中，为什么要使用短时傅里叶变换？短时傅里叶变换有什么具体的作用？2、请完成一个信号的短时傅里叶变换代码实现，并分别画出其时域波形和