第03讲 语音信号变换域(频域+倒谱)分析

.,上次课内容简单回顾,语音信号的数字化和预处理语音信号的时域分析,.,（1）语音信号的数字化,(2)语音信号的预处理,预处理一般包括预加重、加窗和分帧等。,.,(3)语音信号的时域分析,短时能量及短时平均幅度短时过零率,.,短时自相关函数短时平均幅度差函数,.,1语音信号的频域分析2语音信号的倒谱分析,第三章语音信号分析,（第二讲）,.,3.4语音信号的频域分析,语音信号的频域分析就是分析语音信号的频域特征。从广义上讲，语音信号的频域分析包括语音信号的频谱、功率谱、倒频谱、频谱包络分析等。常用的频域分析方法有带通滤波器组法、傅里叶变换法、线性预测法等几种。本节介绍的是语音信号的傅里叶分析法。,.,短时分析将语音流分为一段一段来处理，每一段称为一“帧”；帧长：1030ms，20ms常见；帧移：01/2帧长，帧与帧之间的平滑过渡；,“短时谱”,.,3.4.1利用短时傅里叶变换求语音的短时谱语音分帧之后，对第n帧语音信号xn(m)进行傅里叶变换(离散时域傅里叶变换，DTFT)，可得到短时傅里叶变换，其定义如下：由定义可知，短时傅里叶变换实际就是窗选语音信号的标准傅里叶变换。这里，窗w(n)是一个“滑动的”窗口，它随n的变化而沿着序列x(m)滑动。由于窗口是有限长度的，满足绝对可和条件，所以这个变换是存在的。是帧号n和角频率的函数。,.,是帧号n和角频率的函数。,可见，当n不变时，是序列的标准傅立叶变换，此时具有与标准傅立叶变换相同的性质。,第一种解释（从傅立叶变换的角度）：,.,设语音信号序列和窗口序列的标准傅里叶变换均存在。当n取固定值时，根据卷积定理有：因为上式右边两个卷积项均为关于角频率的以2为周期的连续函数，所以也可将其写成以下的卷积积分形式：结论：假设x(m)的DTFT是X(ej)，且(m)的DTFT是X(ej)，那么Xn(ej）是X(ej)和W(ej)的周期卷积。,.,由于相当于信号谱与窗函数谱的卷积，因此应该使窗函数的频谱分辨率高，主瓣尖锐；同时还要使旁瓣衰减大，这样与信号卷积时的频谱泄露才会少。为了使能够与具有相同的性质，则要求必须是一个冲激函数。窗长越长，的主瓣越狭窄尖锐，则越接近。但窗长太大时，窗选信号已经不满足语音的短时平稳特性，此时已不能正确反映短时语音的频谱了。为此，必须要折中选择窗长。,.,令角频率则得到离散的短时傅立叶变换，它实际上是在频域的取样，如下所示,在语音信号数字处理中，都是采用的离散傅立叶变换代替，并且可以用高效的快速傅立叶变换（FFT）算法完成由至的转换。当然，这时窗长N必须是2的整次幂（L是整数）。根据傅立叶变换的性质，实数序列的傅立叶变换的频谱具有对称性，因此全部频谱信息包含在长度为个里。另外，为了使具有较高的频率分辨率，所取的DFT以及相应的FFT点数N1应该足够多，但有时的长度N要受到采样率和短时性的限制。,.,.,FFT的计算可以在通用计算机上由相应的算法软件完成，这种方式一般只能实现非实时运算。为了完成实时运算可以采用先进的数字信号处理芯片、阵列处理芯片或专用FFT芯片。,.,是帧号n和角频率的函数。,当w固定不变时，可视为信号与窗函数的卷积，此时，短时傅立叶变换可看作线性滤波.,第二种解释（从线性滤波的角度）：,.,.,下面给出采样率8kHz，窗长400点（50ms）情况下，分别用矩形窗与汉明窗选取同一段浊音信号，求得其对数幅度谱。简单分析一下不同的窗函数对语音信号短时谱的影响。,讨论：窗口形状对短时谱的影响,.,矩形窗加窗的浊音波形及其短时频谱,汉明窗加窗的浊音波形及其短时频谱,.,由上图可看出：（1）它们都具有两种变化。一种是快速变化，这是由于激励信号引起的变化。例如图中由于时域波形具有周期性，因此经短时傅立叶变换得到的对数幅度谱表现出频率等间隔的尖峰，尖峰反映了语音的基频和各次谐波。另一种是慢速变化，这是由于声道滤波器的共振峰特性引起的，它反映了各个共振峰的位置和带宽。而且共振峰的幅度随着频率的增高逐渐衰减。,（2）矩形窗和汉明窗得到的频谱之间存在明显的区别。矩形窗具有较窄的主瓣，因而频谱分辨率较高，在频谱图中表现为基音谐波的各个峰都很尖锐。但是矩形窗旁瓣的衰减较小，由于相邻谐波的旁瓣在谐波间隔内相互干扰，有时叠加，有时抵消，所以在相邻谐波之间会产生类似于噪声的杂乱频谱，造成频谱泄漏现象，抵消了矩形窗具有较窄主瓣的优点。而采用汉明窗得到的短时频谱相比之下要平滑得多，因而汉明窗用得比较普遍。,.,矩形窗加窗的清音波形及其短时频谱,汉明窗加窗的清音波形及其短时频谱,.,由上图可看出：从两个短时频谱图中都可以发现，由于清音的发声类似于随机噪声，因此频谱具有慢速变化的趋势，同时有着频繁的尖峰和谷。当然，汉明窗较之矩形窗有着平滑的短时频谱。,下面给出了浊音和清音前40个样点加矩形窗和汉明窗的短时频谱，可以直观地看到窗长对短时谱的影响。,.,.,由图可见：由于窗长很短，所选出的语音段甚至不到一个基音周期长度，因此语音段丢失了关于基音周期的信息，表现在短时谱上就是反映基音频率和谐波的快速变化特点消失了，短时谱中只保留着慢速变化的特点，也就是还保持着声道滤波器的共振峰。由于矩形窗具有更高的频谱分辨率，因此其短时频谱不如汉明窗平滑。,.,从以上对窗函数和短时频谱的讨论可以得出以下结论：1）矩形窗和汉明窗的主瓣狭窄且旁瓣衰减较大，具有低通的性质。窗越长，主瓣越窄，加窗后的频谱能更好地逼近短时语音的频谱。2）窗长越长，频谱分辨率越高，但由于长窗的时间平均作用导致时间分辨率相应下降，如共振峰在不同的基音周期是要发生变化，但如果使用较长的窗则会模糊这种变化。3）窗长越短，时间分辨率越高，但频率分辨率相应降低。如采用短窗可以清楚地观察到共振峰在不同基音周期的变化情况，但是基频以及谐波的精细结构在短时频谱图上消失了。4）由于时间分辨率和频谱分辨率的相互矛盾关系，在进行短时傅里叶变换时，应根据分析的目的来折中选择窗长。,.,在语音信号数字处理中，功率谱具有重要意义，在一些语音应用系统中，往往都是利用语音信号的功率谱。根据功率谱定义，可以写出短时功率谱与短时傅里叶变换之间的关系：或者：式中*表示复共轭运算。并且功率谱Sn(ej)是短时自相关函数Rn(k)的傅里叶变换。,.,3.4.2语音的短时谱的临界带特征矢量,利用短时傅立叶变换求取的语音信号的短时谱是按照实际频率分布的，而符合人耳的听觉特性的频率分布应该是按临界带频率分布的。所以，如果用按实际频率分布的频谱作为语音特征，由于它不符合人耳的听觉特性，将会降低语音信号处理系统的性能。下面介绍一种把实际的线性频谱转化为临界带频谱特征的方法。,.,第一步，首先求出一帧加窗语音xn(m)：m=0(N-1)的DFT的模平方值|Xn(k)|2,即功率谱。DFT可用FFT计算，设定DFT的点数为512（在实际的语音信号数字处理系统中的DFT点数一般在128、256、512、1024中任选一个，点数越高则频谱分辨精度提高，计算开销相应提高），则可以得到|Xn(k)|2与原始加窗模拟语音的频谱模平方具有下列关系：（3-35）式中，k=2fk，fk=kfs/512。第二步，依据下面公式，在f=0fs/2中确定若干个（单位Hz）临界带频率分割点，将i=1,2,3代入；,.,由此可求出,这样,如果fs=8kHz，在0.14000Hz范围内需要安排16个临界带。若fs=10kHz，在0.35000Hz范围内可安排16个临界带。将每个临界带中|Xn(k)|2取和即可得到相应的临界带特征矢量。如果用表示临界带特征矢量，对于上面举的第一个例子（，频谱范围0.13.7kHz），L=16，其中的每一个分量可用下式计算：,.,临界带特征矢量从人耳对频率高低的非线性心理感觉角度反映了语音短时幅度谱的特征。它的畸变可以用欧式距离来度量，所需的变换可以用高效的FFT来完成，因而使用该特征矢量时计算开销较小。所以可用它作为语音识别系统的特征矢量。,.,3.5语音信号的倒谱分析,语音信号的倒谱分析就是求取语音倒谱特征参数的过程，它可以通过同态处理来实现。同态信号处理也称为同态滤波，它实现了将卷积关系变换为求和关系的分离处理，即解卷。解卷算法分为两大类：一类是参数解卷：为线性系统建立一个模型，然后按照某种准则对模型进行参数估计，如线性预测分析；另一种是非参数解卷：无需为线性系统建立模型，如同态处理。对语音信号进行解卷，得到声门激励信息用于判断清浊音、求基音周期；得到声道响应信息用于求得共振峰；用于语音编码、合成、识别等。,.,3.5.1同态信号处理的基本原理我们日常生活中遇到的许多信号，它们并不是加性信号(即组成各分量按加法原则组合起来)而是乘积性信号或卷积性信号，如语音信号、图像信号、通信中的衰落信号、调制信号等。这些信号要用非线性系统来处理。同态信号处理就是将非线性问题转化为线性问题的处理方法。按被处理的信号来分类，大体分为乘积同态处理和卷积同态处理两种。由于语音信号可视为声门激励信号和声道冲击响应的卷积，所以这里仅讨论卷积同态信号处理。下面看一个同态系统模型。,.,线性系统,复倒谱,.,第一个子系统D*完成将卷积性信号转化为加性信号的运算，即对于信号x(n)=xl(n)*x2(n)进行了如下运算处理：,由于x(n)为加性信号，所以第二个子系统可对其进行需要的线性处理得到y(n)。第三个子系统是逆特征系统D*-1，它对y(n)=y1(n)+y2(n)进行逆变换，使其恢复为卷积性信号，即进行了如下处理：,从而得到卷积性的恢复信号。,我们感兴趣的是第一个子系统的运算，若语音信号为x(n)，通过第一个子系统后，就可将声门激励信号和声道冲击响应的卷积运算转换为线性运算，从而分解两信号。,.,3.5.2复倒谱和倒谱x(n)是x(n)的“复倒频谱”，简称为“复倒谱”，有时也称作对数复倒谱。其英文原文为“ComplexCepstrum”，Cepstrum是一个新造的英文词，它是由Spectrum这个词的前四个字母倒置而构成的。同样，序列y(n)也是y(n)的复倒谱。虽然D*与D*-1系统中的x(n)和y(n)信号也均是时域序列，但它们所处的离散时域显然不同于x(n)和y(n)所处的离散时域，所以我们把它称之为“复倒频谱域”。,.,在绝大多数数字信号处理中，X(z)，X(z)，Y(z)，Y(z)的收敛域均包含单位圆，则序列的傅里叶变换存在，复倒谱计算中的Z变换可用傅里叶变换代替，因而D*与D*-1系统有如下形式：D*=D*-1=,设:,则取其对数得:,.,即复数的对数仍是复数，它包含实部和虚部。注意，这时对数的虚部argX(ej)由于是X(ej)的相位,所以将产生不一致性。如果，我们只考虑X(ej)的实部，令：显然c(n)是序列x(n)对数幅度谱的傅里叶逆变换。c(n)称为“倒频谱”或简称为“倒谱”，有时也称“对数倒频谱”。倒谱对应的量纲是“Quefrency”，它也是一个新造的英文词，是由“Frequency”转变而来的，因此也称为“倒频”，它的量纲是时间。c(n)实际上就是我们要求取的语音信号倒谱特征。,下面我们根据上面的讨论来分析一下复倒谱和倒谱特点和关系。,.,复倒谱,倒谱,(1)复倒谱要进行复对数运算，而倒谱只进行实对数运算。(2)在倒谱情况下一个序列经过正逆两个特征系统变换后，不能还原成自身，因为在计算倒谱的过程中将序列的相位信息丢失了。(3)与复倒谱类似，如果c1(n)和c2(n)分别是x1(n)和x2(n)的倒谱，并且x(n)=x1(n)*x2(n)，则x(n)的倒谱c(n)=c1(n)+c2(n)。,(4)已知一个实数序列x(n)的复倒谱x(n)，可以由x(n)求出它的倒谱c(n)。(5)已知一个实数序列x(n)的倒谱c(n)，能否用它来求出复倒谱x(n)?,.,（1）如何由复倒谱求倒谱。首先将表示成一个偶对称序列和一个奇对称序列之和。,易于证明,由于一个偶对称序列的DTFT是一个实函数，而一个奇对称序列的DTFT是一个虚函数，对照式子,.,可得,由公式3-44可得,所以有,这样可由求得,同理可以导出相位倒谱,.,.,（2）由倒谱求复倒谱已知一个实数序列x(n)的倒谱c(n)，能否用它来求出复倒谱？,要做到这一点，必须满足一定的条件，例如是一个因果序列，该条件可表示为,其中，u(n)是一个单位阶跃函数。可以看出，在满足此条件时，式（3-50）可以表示为下列形式,.,因此，立刻得到,如果是一个反因果序列，即满足下列条件,则可以导出,.,在什么情况下才是一个因果稳定序列呢？可以证明，只有当是一个因果最小相位序列时，才是一个因果稳定序列。这说明应满足两个条件：（1）（2）的零极点都应该在单位圆之内。同理可以证明，只有当是一个反因果最大相位序列时，才是一个反因果稳定序列。于是，只有当是因果最小相位序列或反因果最大相位序列时，可由求出。,.,.,3.5.3语音信号倒谱分析实例1由同态分析求出的语音信号倒谱实例一个信号的倒谱定义为信号频谱模的自然对数的逆傅里叶变换(即设相位恒定为零)。设信号为s(n)，则其倒谱为：根据语音信号产生模型，语音信号s(n)是由声门脉冲激励e(n)经声道响应v(n)滤波而得到，即：设三者的倒谱分别为s(n)、e(n)及v(n)，则有：,.,.,.,从上面的图中可以看出：浊音信号的倒谱中存在着峰值，它的出现位置等于该语音段的基音周期。清音的倒谱中则不存在峰值。加汉明窗的倒谱基音蜂清晰突出，加矩形窗的倒谱基音蜂变得不清晰甚至消失。可见，窗口函数应选择缓变窗。利用这个特点我们可以