第4章-语音信号的时域处理技术分析.ppt

第4章语音信号的时域处理技术,4.1语音信号的短时处理方法4.2短时能量和短时平均幅度4.3短时平均过零率4.4短时自相关函数4.5短时时域处理技术应用举例4.6中值滤波在语音短时处理中的应用,A/Dofsomecommonaudiosignals,短时化加窗分帧处理Windowing(frame),加汉宁窗hanning,第n帧,第n+1帧,第n+2帧,帧长时间为1020ms。各帧之间有01/2的重叠。,帧长N,帧移M,Inshort-term,non-stationary-stationaryNon-linear-linear(10ms-20ms),N,M,x(m),n,w(n-m),xn(m),n的位置可位于窗的中央或起点或终点。,x(m),w(n-m),m,m,n,w(m),xn(m),汉宁窗hanning,汉明窗hamming,矩形窗(rectangular),Windowshapes,矩形窗,汉宁窗,汉明窗,布莱克曼窗,过渡带宽和阻带最小衰减,Longwindow:frequencyresolution（fs/N）timeresolutionShortwindow:frequencyresolutiontimeresolution,基音频率为200Hz，采样频率为8kHz,窗长：8000(1/200)7=256,经过处理，语音信号就已经被分割成一帧一帧的加过窗函数的短时信号，然后再把每一个短时语音帧看成平稳的随机信号，利用数字信号处理技术来提取语音特征参数。在进行处理时，按帧从数据区中取出数据，处理完后再取下一帧。最后得到由每一帧参数组成的语音特征参数的时间序列。,x0(m),0,N-1,x1(m),M,M+N-1,y0(m),0,N-1,y1(m),M,M+N-1,4.2短时能量和短时平均幅度,一、短时能量二、短时平均幅度,1.能量分析的依据：是基于语音信号幅度随时间变化。清音段幅度小，其能量集中于高频段；浊音段幅度较大，其能量集中于低频段。2.短时能量函数,一、短时能量,平方,滤波器h(n),滑动数据窗h(n-m),平方和,短时能量反映语音振幅随时间缓变的规律，受窗函数及其窗宽的影响。,N=51,N=101,N=201,N=401,矩形窗,汉明窗,矩形窗比汉明窗具有显著的平滑效果；随着窗的宽度的增加，平滑效果越来越显著；清音和浊音之间的区别和分界点。,窗宽的选择,使能及时地跟踪语音能量的缓慢时变规律对语音振幅在一个基音周期时间内的瞬时快变化有显著平滑作用窗宽时间为1020ms,短时能量函数一个主要的问题是En对信号电平值过于敏感。由于需要计算信号样值的平方和，在实际应用中（如定点设备）很容易溢出。因此，一般用平均幅度函数Mn来代替En。但这时，清音和浊音、有声和无声的Mn不如短时能量En明显。,存在的问题,1.平均幅度分析的依据：清音段幅度小；浊音段幅度较大。2.短时平均幅度,二、短时平均幅度,绝对值,滤波器h(n),滑动数据窗h(n-m),绝对值求和,男声“深圳广州珠海”的短时幅度统计。在采样频率为22050Hz的情况下，取20ms作为一帧，帧长为441点，一共统计了180帧。,短时平均幅度,原始语音,N=51,N=101,N=201,N=401,矩形窗,汉明窗,矩形窗比汉明窗具有显著的平滑效果；随着窗的宽度的增加，平滑效果越来越显著；清音和浊音之间的区别和分界点。,三.短时平均幅度函数和能量函数的作用,(1)区分清/浊音：En、Mn大，对应浊音；En、Mn小，对应清音。(2)在信噪比高的情况下，能进行有声/无声判决无声时，背景噪声的En、Mn小；有声时，En、Mn显著增大。判决时可设置一个门限。(3)大致能定出浊音变为清音的时刻，或反之。,静音检测（VAD）和舒适噪声(CNG)的生成,VAD:VoiceActivityDetectionCNG:ComfortNoiseGenerator测试表明，人在正常谈话时，有50左右是静音。VAD是用来检测输入的信号是实际语音还是背景噪声，若检测是实际语音信号进行固定编码；如果是背景噪声，则采用更低的速率进行编码。CNG针对接收端，重构背景噪声。VAD可通过能量检测来实现。,h(n)无限冲激响应滤波器,按x(n)的取样点逐点进行计算En和Mn，然后再以帧频率（50100Hz/2010ms）抽取En和Mn。,绝对值,滤波器h(n),4.2短时平均过零率,1.过零率定义2.语音信号的短时平均过零率分析3.短时平均过零率的作用,1.过零率定义：信号跨越横轴的情况。对于连续信号，观察语音时域波形通过横轴的情况；对于离散信号，相邻的采样值具有不同的代数符号，也就是样点改变符号的次数。,t,n,zerocrossrate,对于语音信号，是宽带非平稳信号，应考察其短时平均过零率。,sgn.为符号函数,选用矩形窗函数,x(m),w(n-m),m,n,n-(N-1),当相零两个取样值符合相同时，不产生过零，而当相反时，2，因此求和后除以2N得到平均过零率。,Fs=10kHz,N=150,M=50,每输入100个样点计算一次平均过零率。,3、短时平均过零的作用,（1）区分清/浊音：浊音平均过零率低，集中在低频端；清音平均过零率高，集中在高频端。（2）从背景噪声中找出是否有语音，以及语音的起点。,女声汉语拼音a的一帧信号（在采样频率为22050Hz的情况下，取20ms作为一帧），短时过零率为46。,男声汉语拼音s的一帧信号（在采样频率为22050Hz的情况下，取20ms作为一帧），短时过零率为183。,在实际应用中，短时平均过零率容易受到A/D转换是的直流偏移、50Hz交流电源的干扰以及噪声的影响。减少这些干扰可以有两种方法：一种是采用带通滤波器消除信号中的直流和50Hz低频分量；,BandpassfilteHb,w,Hb(ejw),x(n),y(n),另一种是用过门限率来修改过零率，减少随机噪声的影响。过门限率反映了穿过正负门限的次数，如果存在随机噪声，只要信号没有超过-T,T的范围，就没有有过零率产生。,T,-T,4.4短时自相关函数,1.相关分析的依据：用于确定两个信号在时域内的相似性。常用的物理量为自相关函数和互相关函数。当两个信号的互相关函数大时，则说明一个信号可能是另一个信号的时间滞后或提前；当互相关函数为0时，则两个信号完全不同。自相关函数用于研究信号本身，如波形的同步性和周期性。,主信号s+n0，为有用信号s（来自信号源）和一个与它不相关的噪声信号的混合而成。n1为另外拾取的噪声参考信号，与n0相关。,主输入信号x=s+n0+输出s,参考输入n1,自适应滤波器,+,n,-,利用信号的相关性达到消除噪声的目的,利用信号的相关性进行声源定位,和,分别为两两麦克风间的时间延迟。,信号s(n)与其滞后信号s(n-m)的互相关函数在n=m处取得最大值。,Multiplesoundsourcetrackingsystem,利用互相关进行水管网络泄漏检测,水听器,水听器,放大滤波,数据采集,计算互相关,得到漏水声达到两个传声器的传播时间差，再进行位置判别。,流体水管,2.短时自相关函数的定义,(1)说明当时域信号为周期信号时，自相关函数也是周期性函数，两者具有同样的周期。(2)Rn(k)为偶函数，Rn(k)Rn(k)(3)Rn(0)最大，Rn(0)|Rn(k)|,Rn(0)=En,对于确定信号，Rn(0)是信号能量；对于随机信号或周期信号，Rn(0)是平均功率。,正弦波周期信号,正弦波周期信号的自相关函数波形,正弦波周期信号和其自相关函数叠加,运算量,窗宽为N,选取语音段需要N次乘法，对每个k值计算乘积需要N-k次乘法，设k的取值为0K，则给定n计算的总乘法次数为：,例如N=401,K=250,则M=69677,3.减少计算量的方法FFT,FFT,FFT,IFFT,极限情况：当k=0，线性卷积的长度为2N-1,循环卷积的长度为N,因此要满足上式，须将和扩展为2N点。,4.短时自相关函数的另一种计算方法,延迟k,5、短时自相关函数的作用,1.区分清/浊音浊音语音的自相关函数具有一定的周期性。清音语音的自相关函数不具有周期性，类似噪声，有点如语音信号本身。2.估计浊音语音信号的周期，即估计基音周期。,女声汉语拼音a的一帧信号（在采样频率为22050Hz的情况下，取20ms作为一帧），自相关波形图。说明浊音的自相关函数具有一定的周期性。,原始语音信号,自相关函数波形,原始语音信号和其自相关函数波形,Auto-correlationpeaks,男声汉语拼音s的一帧信号（在采样频率为22050Hz的情况下，取20ms作为一帧），自相关波形图。,原始语音信号,自相关函数波形,男声汉语拼音s的一帧信号（在采样频率为22050Hz的情况下，取10ms作为一帧），自相关波形图。,原始语音信号,修改坐标的自相关函数波形,用MATLAB的函数randn，产生一帧高斯白噪声，其自相关函数图。说明清音是噪声激励的正确性。,白噪声信号,修改坐标的自相关函数波形,浊音矩形窗,清音矩形窗,浊音汉明窗,清音汉明窗,N=401,N=201,N=125,窗形和窗长对的影响,6.对浊音短时自相关函数的修正,任何k值的短时自相关函数使用了N个积,矩形窗,通过增加窗的长度,0,N-1,0,N-1+K,0,N-1,K,7.短时平均幅度差函数（AMDF）,短时自相关函数是语音信号时域分析的重要参量，但由于乘法运算所需要的时间长。为了避免乘法，一个简单的方法就是利用差值，为此常常采用另一种与自相关函数有类似作用的参量，短时平均幅度差函数。,短时平均幅度差函数能够代替自相关函数的原理是：如果信号是完全的周期信号（设周期为Np）,则相距为周期的整数倍的样点上的幅值相等，差值为零：d(n)=x(n)-x(n-k)=0,对于周期性的x(n)，Fn(k)也呈周期性，与Rn(k)相反的是在Rn(k)谷点时，对应Fn(k)是峰值。,周期为（629点）的正弦波,正弦波的平均幅度差函数波形,正弦波的自相关函数,正弦波的平均幅度差函数,一帧浊音的的短时自相关函数,短时平均幅度差函数,一帧清音的短时自相关函数,短时平均幅度差函数,浊音是一个准周期信号，在一帧语音内基音周期近似恒定，因此，短时平均幅度差函数在浊音语音的基音周期上出现极小值，而在清音语音中没有明显的极小值。,短时平均幅度差函数和自相关函数的关系是：,由于计算AMDF函数只需要加、减和取绝对值运算，用硬件实现（定点DSP系统）时，运算量较之短时自相关函数大大下降，同时，AMDF函数在基音周期的谷点比自相关函数的峰值更加尖锐，错判率现对较少，稳健性更高。,4.5短时时域处理技术应用举例,1.语音段起止端点判别（起始点和终止点）需解决的问题：区分语音和噪声采用的手段：短时能量和短时平均过零率,En,Zn,L1,L2,L3,C,A,B,D,E,F,L1：AB段对应语音，语音的起止点在AB之外。L2（背景噪声的平均能量）：CD段对应语音。L3（背景噪声的平均过零率的3至5倍）:E对应语音的起点，F对应语音的终点。,2.基音周期的估计声道的共振峰特性对基音周期的估计造成干扰，这是因为语音信号包含丰富的谐波分量。基音频率的范围分布在50450Hz左右。同时，第一共振峰通常在2001000Hz的范围内，这样可能导致语音的谐波分量高于基频分量，对基音周期的估计造成错误。采用中心削波法：,Center-clippingtechnique,y(n),T,-T,T,-T,对中心削波后的信号求解短时自相关函数。为了简化运算量，改为三电平削波函数。,削波函数,x(n),用Hilbertenvelop求解语音基音周期,speech,Excitatione(n),Hilbertenvelop,4.6中值滤波在语音短时时域处理中的应用,1.语音基音周期轨迹语音的基音周期随时间的变换规律,帧数,基音周期,帧数,基音周期,无论采用哪一种基音检测算法都可能产生基音检测错误，使求得的基音周期轨迹中有一个或几个基音周期估值偏离了正常轨迹，这种偏离点称为野点。,为了去除这些野点，可以采用各种平滑算法，其中最常用的是中值平滑算法和线性平滑算法。,2.中值滤波器mediafilter,n0,x(n),L,L,n0-L+1,n0+L-1,中值滤波器,x(n),y(n),采用一滑动窗，则n0处的输出值y(n0)就是将窗的中心移到n0处时窗内输入样点的中值。具体地，2L+1个样值按大小次序排列成一队，取队列中的中间者作为滤波器的输出。L值一般为1或2，即中值平滑的窗口一般套住3或5个样值，称为3点或5点中值平滑。,y(3)=x(4),3.线性平滑滤波器,如三点窗权值取为（0.25,0.5,0.25）。线性平滑对窗内各样值做了修改，随着窗长的增加，可以增强平滑的效果，但也可能导致两个平滑段之间阶跃的模糊加重。,n,X(n),1,2,3,4,5,A,B,中值平滑,线性平滑,4.两种平滑滤波器的组合,单通道,x(n),y(n)Sx(n),x(n)=Sx(n)Rx(n),平滑部分,起伏部分,双通道,中值平滑,线性平滑,x(n),中值平滑,线性平滑,y(n),z(n),v(n),w(n),+,-