语音技术概述公开课课件

§２.1语音和语言

第２章语音信号短时分析技术构成人类语音的是声音，由人讲话所发出的声音，对语音中音的分类和研究称为语音学。1、言语的过程和作用想说阶段————大脑中枢活动说出阶段————发音器官的活动传送阶段————传送信息的物理过程起作用接收阶段————听觉系统活动理解阶段————大脑中枢活动1§２.1语音和语言第２章语音信号短时分析技术构成人类语2、一些基本概念①音素（phoneme）：语音的最小单位，由音素构成音节。②音节（Syllable）：说话时一次发出的，具有一个响亮的中心，并被明显感觉的语音片断。音素和音节22、一些基本概念①音素（phoneme）：语音的最小单位，辅音和元音

音素分为两类：辅音（Consonant）和元音（Vowel）元音：声带振动产生一个准周期的空气脉冲，如i、u、ü、a、o、e等。辅音：呼出的气流，由于通路中某一部分封闭起来或受阻，气流不通畅所产生的声音，如b、p、m、f、d、t、n、l等。3辅音和元音元音：声带振动产生一个准周期的空气脉冲，如i、u辅音和元音的区别有四点：1、辅音发音时，气流在通过咽头、口腔的过程中，要受到某部位的阻碍；元音发音时，气流在咽头、口腔不受阻碍。这是元音和辅音最主要的区别。2、辅音发音时，发音器官成阻的部位特别紧张；元音发音时发音器官各部位保持均衡的紧张状态。3、辅音发音时，气流较强；元音发音时，气流较弱。4、辅音发音时，声带不一定振动，声音一般不响亮；元音发音时，声带振动，声音比辅音响亮。4辅音和元音的区别有四点：4半元音：声道基本通畅，但某处比较狭窄，引起轻微摩擦。[W]、[Y]元音构成音节的主干，辅音只出现在音节前端或前后两端。元音的共振峰特性：声道被看成具有均匀截面积的声管，发音时起共鸣器的作用。元音激励进入声道时引起共振特性，产生一组共振频率，即共振峰。5半元音：声道基本通畅，但某处比较狭窄，引起轻微摩擦。[W]、清音和浊音清音：声带不振动浊音：声带振动而发音元音都是浊音、辅音有清音也有浊音。6清音和浊音清音：声带不振动元音都是浊音、辅音有清音也有浊音。3、汉语的声调：浊音的声带振动基频称为基音频率。无论在说一个单音节或说一段连续语音时，各个音节中韵母段的都是随时间变化的，基音频率的不同轨迹称为声调。几乎平均于横轴、平均值高从较低一直上升到较高频率先降后升从较高频率降到较低频率73、汉语的声调：浊音的声带振动基频称为基音频率。无论在说一个4、语音信号的时域波形开始/ai//k/时变特性有些段落周期性，有些段落具有噪声特性，短时平稳性84、语音信号的时域波形开始/ai//k/时变特性8Doyoulikeit?VsDidyoulikeit?Waveform9Doyoulikeit?VsDid§２.2语音产生的过程及声学特征语音产生的过程喉以上的部分称为声道，随着发出声音的不同其形状是变化的；而喉的部分称为声门。10§２.2语音产生的过程及声学特征语音产生的过程10声带（VocalCords）10~14mm在喉部的从喉结到杓状软骨之间的韧带褶。声门（Glottis）两个声带之间形成一个开闭自如的声门，声带合拢因而受声门下气流的冲击而张开；但由于声带韧性迅速地闭合，随后又张开而闭合，声带开启和闭合使气流形成一系列脉冲。声门每开启和闭合一次的时间即振动周期称为音调周期或基音周期，其倒数称为基音频率，也简称为基频。基音的范围约为70~350Hz左右。11声带（VocalCords）10~14mm声门每开启和声道（vocaltract）17cm

由咽腔、口腔和鼻腔三个空气腔体组成。声道是一个分布参数系统，它有许多自然谐振频率（在这些频率上其传递函数具有极大值），所以声道是一谐振腔，它放大某一频率而衰减其他频率分量。谐振频率由每一瞬间的声道外形决定。如果声道的截面是均匀的，谐振频率将发生在12声道（vocaltract）17cm声道是一个分听觉系统：声波经过外耳的放大后，经过鼓膜和听小骨将声波转化为机械振动，传入内耳。§2.3语音感知

由外耳、中耳、内耳组成人耳的作用：1、声音放大；2、声音传导；3、声源定位13听觉系统：声波经过外耳的放大后，经过鼓膜和听小骨将声波转化正常人的听域与听阈：听觉感知特性：正常人的听觉系统是极为灵敏的，人耳所能感觉的最低声压接近空气中分子热运动所产生的声压。正常人可听声音的频率范围为0.016-16kHz，年轻人可听到20kHz的声音，而老年人可听到的高频声音要减少到10kHz左右。正常人可听声音的强度范围为0-120dBSPL(声压级)，这里的基准声压(0dBSPL)是或。14正常人的听域与听阈：听觉感知特性：正常人的听觉系统是极为灵敏纯音听阈是与频率有关的量，在1000Hz时约为4dB左右，而在40Hz时上升为50dB左右，在15kHz时上升为24dB左右。

感觉阈代表可容忍的最高声压。在声压级高到一定程度时，耳朵会出现不适感觉，或者具有痒、压迫及痛感。对正常人而言一般取120dB为不适阂，140dB为痛阐，且认为它与频率无关。15纯音听阈是与频率有关的量，在1000Hz时约为4dB左右，而响度（Londness）---方（phon）是一种主观心理量，主观感觉到的声音强弱的一种衡量标准，它与频率有关。一样的音强，不一样的频率，则响度也会有所不同。0dB声强级的1000Hz纯音的响度级为0phon;ndB声强级的1000Hz纯音的响度级为nphon;16响度（Londness）---方（phon）162、计算方法简单。依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。ndB声强级的1000Hz纯音的响度级为nphon;元音激励进入声道时引起共振特性，产生一组共振频率，即共振峰。传统端点检测算法认为，如果环境噪声和系统环境噪声比较小，能够保证系统的信噪比较高，那么只要计算输入信号的短时能量或短时平均幅度就能把语音段和噪声背景区分开。准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。如果很大，它等效于很窄的低通滤波器，此时随时间的变化很小，不能反映语音信号的幅度变化，信号的变化细节就看不出来；声门每开启和闭合一次的时间即振动周期称为音调周期或基音周期，其倒数称为基音频率，也简称为基频。原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。语谱仪：将语音信号(经话筒变成了电信号)送进一排频率依次相接的窄带滤波器，各窄带滤波器的输出记录在一卷按一定速度旋转的记录纸上(各滤波器的由低到高按频率排列)，信号强则记录得浓黑一些，反之则浅谈一些。缺点：浊音和清音的区分不如En明显。这里窗长的选择对于反映语音信号的幅度变化起着决定的作用。也可在A／D变换之后进行，用具有6dB／倍频程的提升高频特性的预加重数字滤波器实现，它一般是一阶的。复倒谱和倒谱的特点和关系：谐振频率由每一瞬间的声道外形决定。把声道视作截面积变化的管子，研究声音沿管道是怎样传播的。语音信号具有时变特性，而在一个短时间范围内其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳态过程。依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号会提高弱信号的听阈，当弱信号的听阈升高到一定程度会导致弱信号不可闻。同态处理（同态滤波）：解卷，将卷积关系变为求和处理。听觉掩蔽效应掩蔽效应：一种声音的听觉感受受到同时听到的另一种声音的影响。分：同时掩蔽和短时掩蔽172、计算方法简单。听觉掩蔽效应掩蔽效应：一种声音的听觉感受受同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号会提高弱信号的听阈，当弱信号的听阈升高到一定程度会导致弱信号不可闻。短时掩蔽：当A声和B声不同时出现时。后向掩蔽：掩蔽声B消失后，其作用仍持续一段时间：0.5～2s前向掩蔽：被掩蔽音A出现后，相隔0.005～0.2s之内出现掩蔽音B，也会对A起作用。18同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号§2.4语音信号的数学模型准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。期望：模型既是线性的又是时不变的，这是最理想的模型。语音信号特征：一连串的时变过程；声门和声道相互耦合，还形成语音信号的非线性特性。合理假设：在较短的时间间隔内表示语音信号时，采用线性时不变模型。19§2.4语音信号的数学模型准则：要寻求一种可以表达一定物理发音器官的机理模型：20发音器官的机理模型：20语音信号的产生模型21语音信号的产生模型21(1)发浊音时。此时气流通过绷紧的声带，冲激声带产生振动，使声门处形成准周期性的脉冲串，并用它去激励声道。声带绷紧的程度不同，振动频率也不同。该频率就是音调频率，其倒数为音调周期。(2)发清音时。此时声带松弛而不振动，气流通过声门直接进入声道。表示为均值为0、方差为1，并在时间或在幅度上为白色分布的序列。

1、激励模型22(1)发浊音时。此时气流通过绷紧的声带，冲激声带产生振动，使罗森贝格（Rosenberg）在研究中发现，如果在发浊音时声门脉冲取如图所示的形状，可以获得比较好的合成语音效果。发浊音时的声门脉冲23罗森贝格（Rosenberg）在研究中发现，如果在发浊音时声把声道视作截面积变化的管子，研究声音沿管道是怎样传播的。2、声道模型（一）声管模型24把声道视作截面积变化的管子，研究声音沿管道是管道内声波的运动方程：

其中，为在点时刻的声压

为在点时刻的体积速度

为空气密度

为声速

为管道截面积25管道内声波的运动方程：其中，为在点时每个管子可看作为一个四端网络，这个网络具有反射系数，声道可由一组截面积或一组反射系数来表示。

通常用A表示声管的截面积。由于语音的短时平稳性，假设在短时间内，各段管子的截面积且是常数。设第m段和第m+1段的声管的截面积分别为Am、Am+1，设称为“面积和差比”，其取值范围为-1<km<1。它实际上是线性预测的反射系数。26每个管子可看作为一个四端网络，这个网络具有反射系数，声道可由决定短时能量特性有两个条件：不同的窗口的形状和长度。如果很大，它等效于很窄的低通滤波器，此时随时间的变化很小，不能反映语音信号的幅度变化，信号的变化细节就看不出来；是一个时域序列，我们称是x(n)的“复倒频谱”，简称为“复倒谱”，有时也称作对数复倒谱。④采用示波器等通用设备，使用较为简单。窗长越长，频率分辨率越高，而时间分辨率越低第２章语音信号短时分析技术2、抑制50Hz工频干扰。所处的离散时域，称之为“复倒谱域”。②实现起来比较简单、运算量少。几乎平均于横轴、平均值高短时掩蔽：当A声和B声不同时出现时。辅音：呼出的气流，由于通路中某一部分封闭起来或受阻，气流不通畅所产生的声音，如b、p、m、f、d、t、n、l等。对于爆破音的寂静段，应将其纳入语音的范围而不是无声段；由咽腔、口腔和鼻腔三个空气腔体组成。上图给出了相同条件下一段加窗语音的时域波形及其倒谱。一样的音强，不一样的频率，则响度也会有所不同。同态信号处理的基本原理反特征系统D*-1：它是特征系统的反运算实验室背景下基于能量和过零率的端点检测结果已知一个实序列的复倒谱，可以求其倒谱。共振峰与舌位关系舌位高低决定了F1共振频率。舌位越高，F1的频率越低，反则反之。舌位前后决定了F2共振频率舌位越后，F2的频率越低，反则反之。

（二）共振峰模型声道被视为谐振腔，共振峰是腔体的谐振频率27决定短时能量特性有两个条件：不同的窗口的形状和长度。共振峰与1）级联共振峰模型（适合于一般元音）分解：281）级联共振峰模型（适合于一般元音）分解：282）并联型（非一般元音和大多数辅音）292）并联型（非一般元音和大多数辅音）293、混合型（结合级联型和并联型）：幅度控制因子AB专为一些频谱特性比较平坦的音素，如[f],[p],[b]所考虑的。303、混合型（结合级联型和并联型）：幅度控制因子AB专为一些频

声道的终端为口和唇。从声道输出的是速度波，而语音信号是声压波，二者之倒比称为辐射阻抗ZL。它表征口和唇的辐射效应，也包括圆形的头部的绕射效应等。

口唇的辐射效应可表示为：，它是一阶后向差分。辐射模型R(z)是一阶类高通滤波器的形式。3、辐射模型31声道的终端为口和唇。从声道输出的是速度波，而

完整的语音信号数字模型可以用三个子模型：激励模型、声道模型和辐射模型的串联来表示。其转移函数为：

H(z)=U(z)V(z)R(z)这里，U(z)是激励信号——声门脉冲即斜三角波的形式；V(z)是声道传递函数，既可以用声管模型，也可以用共振峰模型来描述。在共振峰模型中，又可采用级联型、并联型或混合型等几种形式；R(z)为辐射模型。

4、完整的模型

32完整的语音信号数字模型可以用三个子模型：激励

声门脉冲

声道语音信号

激励信号声道滤波器语音信号频谱传递函数频谱韵母的产生过程33声门脉冲2.5语音的质量评估一类是音节以下(如音素、声母、韵母)的语音单元的测试，这常称为“清晰度”测试；清晰度测试可以元音、辅音为基础或以声母、韵母为基础，再根据音节成分算出音节清晰度。一类是音节以上(如词、句)的语音单元的测试，常称为“可懂度”测试。

语音质量测试可分为两类：

342.5语音的质量评估一类是音节以下(如音素、声母、韵母)的2.6语音信号的时频特性分析汉语拼音“SouKe”的时域波形采样率8kHz352.6语音信号的时频特性分析汉语拼音“SouKe”的时3636同时其振幅随着k值的增大而衰减。定义：过零就是信号通过零值。1)先将语音信号分成由1024个采样点组成的帧；反特征系统D*-1：其中，为在点时刻的声压若时域中有，则复倒谱域中。短时掩蔽：当A声和B声不同时出现时。③随|n|增大而衰减的速度至少比1／|n|快，声门（Glottis）3语音感知已知一个实序列的复倒谱，可以求其倒谱。4语音信号的数学模型元音：声带振动产生一个准周期的空气脉冲，如i、u、ü、a、o、e等。语音信号特征：一连串的时变过程；反之，窗长太小时，滤波器的通带变宽，随时间有急剧的变化，不能得到平滑的能量函数。10语音信号的倒谱分析应该尽量避免在检测中丢失鼻韵和弱摩擦音等与噪声特性相似、短时参数较少的语音；在背景噪声较小时用平均能量识别较为有效，而在背景噪声较大时用平均过零数识别较为有效。这段语音用海明窗加权，基音周期为Np=45。实验室背景下基于能量和过零率的端点检测结果37同时其振幅随着k值的增大而衰减。372.7语音信号的语谱图语谱仪：将语音信号(经话筒变成了电信号)送进一排频率依次相接的窄带滤波器，各窄带滤波器的输出记录在一卷按一定速度旋转的记录纸上(各滤波器的由低到高按频率排列)，信号强则记录得浓黑一些，反之则浅谈一些。由此得到的即是语音信号的语谱图，此图的水平方向是时间轴，垂直方向是频率轴，固上或深或浅的黑色条纹表征各个时刻的短时谱。382.7语音信号的语谱图语谱仪：将语音信号(经话筒变成了电信

自然语音a波形图

自然语音a语谱图

自然语音o波形图

自然语音o语谱图39自然语音a波形图自然语音a语谱图自然语音语音处理的根本方法——短时分析技术

语音信号具有时变特性，而在一个短时间范围内其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳态过程。语音的重要特性是它具有“短时性”，所以对语音的分析和处理必须建立在“短时”的基础上，即进行“短时分析”，§2.8语音信号的数字化与预处理语音信号处理系统框图40语音处理的根本方法——短时分析技术语音信号数字化：放大、增益控制、反混叠滤波、采样、A/D变换及编码预处理：预加重、加窗、分帧、端点检测①表示语音信号比较直观、物理意义明确。②实现起来比较简单、运算量少。③可以得到语音的一些重要参数。④采用示波器等通用设备，使用较为简单。

时域分析的特点：41数字化：放大、增益控制、反混叠滤波、采样、A/D变换及编码①1、预滤波、采样、A/D变换目的：1、抑制输入信号各频域分量中频率超出fs/2的所有分量，以防止混叠干扰；2、抑制50Hz工频干扰。实现：带通滤波器，上下边带截止频率分别为、421、预滤波、采样、A/D变换目的：实现：带通滤波器，上下边采样根据取样定理，当取样频率大于信号的两倍带宽时，取样过程中不会丢失信息，且从取样信号中可以精确地重构原始信号波形。在信号的带宽不明确时，在取样前应接入反混叠滤波器，使其带宽限制在某个范围内。语音信号频率范围：300～3400Hz采样率：8kHz～10kHz43采样根据取样定理，当取样频率大于信号的两倍带宽时，取样过程中量化：将输入的整个幅值分成有限区间，把落入同一区间的波形样本都量化成同一幅度值。44量化：将输入的整个幅值分成有限区间，把落入同一区间的波形样本量化后的信号值与原信号之间的差值称为量化误差，又称为量化噪声。若信号波形的变化足够大或量化间隔足够小时，可以证明量化噪声符合具有下列特性的统计模型：①它是一个平稳的白噪声过程；②量化噪声和输入信号不相关；③量化噪声在量化间隔内均匀分布，即具有等概率密度分布。45量化后的信号值与原信号之间的差值称为量化误差，又称为量化噪声2、预处理预加重：原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。目的：提升高频部分，使信号的频谱变得平坦，以便于进行频谱分析或声道参数分析。位置：可在反混叠滤波之前进行，这样不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。也可在A／D变换之后进行，用具有6dB／倍频程的提升高频特性的预加重数字滤波器实现，它一般是一阶的。式中值接近于1。

462、预处理预加重：46浊语音的倒谱和复倒谱实例能够将短时冲激噪声和超过门限值的信号纳入无声段而不是有声段；第２章语音信号短时分析技术5)通过帧间平滑连接所有互相关系数成为一个和原信号长度相同的序列；在共振峰模型中，又可采用级联型、并联型或混合型等几种形式；一个较好的端点检测算法应该能够满足：3语音感知1)先将语音信号分成由1024个采样点组成的帧；窗长越长，频率分辨率越高，而时间分辨率越低一样的音强，不一样的频率，则响度也会有所不同。管道内声波的运动方程：位置：可在反混叠滤波之前进行，这样不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。同态信号处理的基本原理谐振频率由每一瞬间的声道外形决定。有些段落周期性，有些段落具有噪声特性，短时平稳性准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。针对白噪声和汽车噪声环境对数字0~9的语音数据进行实验，用来做测试的语音文件每组50个，包括男生和女生发音，含有汽车噪声的语音信号平均信噪比10dB和5dB，分别模拟汽车中速和高速行驶环境下的录音。反特征系统D*-1：它是特征系统的反运算准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。舌位越高，F1的频率越低，反则反之。加窗分帧：语音信号是一种典型的非平稳信号，其特性是随时间而变化的，但是语音的形成过程是与发音器官的运动密切相关的，这种物理运动比起声音振动速度来说要缓慢得多，因此语音信号常常可假定为短时平稳的，即在10～30ms的时间段内，其频谱特性和物理特征参量可近似地看作是不变的，这样，就可以采用平稳过程的分析处理方法来处理了。由这个假定导出了各种“短时”处理方法，以后讨论的各种语音信号都是分隔为一些短段(帧)再加以处理。这些短段就好像是来自一个具有固定特性的持续语音片段一样。47浊语音的倒谱和复倒谱实例加窗分帧：47将语音分成短段的基本手段是对语音加窗，即用一个有限长度的窗序列截取一段语音信号来进行分析。该窗函数可以按时间方向滑动，以便分析任一时刻附近的信号。加窗运算定义为：48将语音分成短段的基本手段是对语音加窗，即用一个有限长度的窗序帧长和帧移的示例49帧长和帧移的示例49矩形窗：汉明窗：汉宁窗：50矩形窗：汉明窗：汉宁窗：50端点检测：端点检测是指从包含语音的一段信号中确定出语音的开始和终止点。有效的端点检测不仅能使处理时间减到最小，而且能去除无声段的噪声干扰，从而使识别系统具有良好的识别性能。一个较好的端点检测算法应该能够满足：门限值可以对背景噪声的变化有一定的适应；能够将短时冲激噪声和超过门限值的信号纳入无声段而不是有声段；对于爆破音的寂静段，应将其纳入语音的范围而不是无声段；应该尽量避免在检测中丢失鼻韵和弱摩擦音等与噪声特性相似、短时参数较少的语音；应该避免使用过零率作为判决标准，以免带来负面影响。51端点检测：51传统的端点检测算法1.基于能量的端点检测语音和噪音的主要区别在它们的能量上，语音段的能量比噪音段的大，语音段的能量是噪音段能量叠加语音声波能量的和。传统端点检测算法认为，如果环境噪声和系统环境噪声比较小，能够保证系统的信噪比较高，那么只要计算输入信号的短时能量或短时平均幅度就能把语音段和噪声背景区分开。实际中信噪比较低。52传统的端点检测算法1.基于能量的端点检测语音和噪音的主要区2.双门限前端检测法

利用短时过零率来检测清音，用短时能量来检测浊音。双门限法是考虑到语音开始以后总会出现能量较大的浊音，设一个较高的门限用以确定语音已开始，再取一比稍低的门限，用以确定真正的起止点及结束点。判断清音与无话的差别，是采用另一个较低的门限，求越过该门限的“过零率”。只要取得合适，通常背景噪声的低门限过零率将明显低于语音的低门限过零率值。这种方法普遍地用于有话、无话鉴别或词语前端检测。532.双门限前端检测法利用短时过零率来检测清音，用短时能3.基于噪声动态检测的语音端点检测算法543.基于噪声动态检测的语音端点检测算法54仿真实验及结果分析图1“制约”在零噪声时的检测结果图2“１”在加入少量噪声时的检测结果图3“１”在噪声加大时的检测结果

图4“１”在噪声进一步加大时的检测结果55仿真实验及结果分析图1“制约”在零噪声时的检测结果图2“4.基于小波变换的语音端点检测算法依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。564.基于小波变换的语音端点检测算法依据：小波系数可以反映语窗长为15ms，fs=10kHz，因此共包括150个语音样点。一样的音强，不一样的频率，则响度也会有所不同。利用它可以从背景噪声中找出语音信号，可用于判断寂静无语音和有语音的起点和终点位置。原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。谐振频率由每一瞬间的声道外形决定。一类是音节以上(如词、句)的语音单元的测试，常称为“可懂度”测试。在声压级高到一定程度时，耳朵会出现不适感觉，或者具有痒、压迫及痛感。声门和声道相互耦合，还形成语音信号的非线性特性。元音都是浊音、辅音有清音也有浊音。图（a）是一个海明窗乘过的清音语音段，图(b)为相应的倒谱。④采用示波器等通用设备，使用较为简单。窗长越长，频率分辨率越高，而时间分辨率越低N=51的直角窗和海明窗的对数幅频特性。噪声情况下各种语音端点检测方法比较原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。实验室背景下基于能量和过零率的端点检测结果窗长越长，频率分辨率越高，而时间分辨率越低这种方法普遍地用于有话、无话鉴别或词语前端检测。2、抑制50Hz工频干扰。3、声源定位步骤：1)先将语音信号分成由1024个采样点组成的帧；2)对每帧进行10层小波分解；3)计算所选两个子带(子带4和子带5)的小波系数；4)计算两个子带的互相关系数；5)通过帧间平滑连接所有互相关系数成为一个和原信号长度相同的序列；6)计算序列前220个点(20ms)的最大值，把此最大值作为阈值；7)比较序列中各个点的值。若小于阈值，则记为静音；若大于阈值，则记为语音；8)按照上述过程对语音信号进行标记，再滤掉个别误判点，完成语音信号的端点检测。57窗长为15ms，fs=10kHz，因此共包括150个语音样点5.基于循环神经网络的语音端点检测算法

原理：选用一个三层的RNN，且隐层的输出全部反馈到输入层。输入的采样语音信号被分成三种模式：浊音（U）、清音（V）、和背景噪声（N）。选用的RNN神经网络输出层有三个节点，对应输出的三种模式。585.基于循环神经网络的语音端点检测算法循环神经网络的结构59循环神经网络的结构593）仿真实验与结果分析

针对白噪声和汽车噪声环境对数字0~9的语音数据进行实验，用来做测试的语音文件每组50个，包括男生和女生发音，含有汽车噪声的语音信号平均信噪比10dB和5dB，分别模拟汽车中速和高速行驶环境下的录音。603）仿真实验与结果分析针对实验室背景下基于能量和过零率的端点检测结果61实验室背景下基于能量和过零率的端点检测结果61信噪比15dB时基于能量和过零率的检测结果62信噪比15dB时基于能量和过零率的检测结果62信噪比15dB时基于小波变换的端点检测结果63信噪比15dB时基于小波变换的端点检测结果63信噪比5dB时基于小波变换的端点检测结果64信噪比5dB时基于小波变换的端点检测结果64信噪比5dB时基于循环神经网络小波变换的端点检测结果

65信噪比5dB时基于循环神经网络小波变换的端点检测结果65方法测度白噪声/dB汽车噪声/dB0515510Energy0.620.750.800.720.780.530.610.780.590.690.590.720.780.680.75Wavelet0.850.900.990.870.900.700.820.980.770.800.810.880.990.840.87RNN0.900.951.000.910.920.750.880.980.820.850.860.920.990.880.92噪声情况下各种语音端点检测方法比较66方法测度白噪声/dB汽车噪声/dB0515510En

基于能量和过零率的端点检测方法在实验室环境下可以获得较好的端点检测结果，随着信噪比的降低该方法检测的准确率将随之下降，基于小波变换和基于循环神经网络的端点检测方法对于噪声具有一定的鲁棒性，但是随着噪声的明显增大，小波变换的方法得到的检测结果仍然有所下降，与之相比基于循环神经网络的方法的鲁棒性要优于基于小波变换的方法，具有很大的优越性和实用性。

结果分析：67基于能量和过零率的端点检测方法在实验室环境下可2.8短时能量和平均幅度分析原理：语音信号能量随时间有相当大的变化，特别是清音段的能量一般比浊音段的小得多。

定义：1、短时能量分析682.8短时能量和平均幅度分析原理：语音信号能量随时间有决定短时能量特性有两个条件：不同的窗口的形状和长度。

矩形窗：第一个零点：窗口形状：窗长对分辨率的影响窗长越长，频率分辨率越高，而时间分辨率越低69决定短时能量特性有两个条件：不同的窗口的形状和长度。矩形窗海明窗：第一个零点：矩形窗谱平滑性能好，但损失高频成分，波形细节丢失，海明窗与之相反。70海明窗：第一个零点：矩形窗谱平滑性能好，但损失高频成分，波形N=51的直角窗和海明窗的对数幅频特性。海明窗的第一个零值频率位置比直角窗要大1倍左右，同时其带外衰减也比直角窗大得多。71N=51的直角窗和海明窗的对数幅频特性。海明窗的第一个零值频这里窗长的选择对于反映语音信号的幅度变化起着决定的作用。如果很大，它等效于很窄的低通滤波器，此时随时间的变化很小，不能反映语音信号的幅度变化，信号的变化细节就看不出来；反之，窗长太小时，滤波器的通带变宽，随时间有急剧的变化，不能得到平滑的能量函数。窗口的长度：标准：一帧内含有1～7个基音周期，10kHz取样下，N取100～200点。72这里窗长的选择对于反映语音信号的幅度变化起着决定的作用。如果2、短时平均幅度分析定义：框图：优点：1、对高电平信号不如En敏感；2、计算方法简单。缺点：浊音和清音的区分不如En明显。732、短时平均幅度分析定义：73短时平均能量和短时平均幅度的主要用途：

可以区分清音段与浊音段：En值大的对应于浊音段，而En值小的对应于清音段。En值的变化，可大致判定浊音变为清音或清音变为浊音的时刻。可以用来区分声母与韵母的分界，无声与有声的分界，连字(指字之间无间隙)的分界等。作为一种超音段信息，用于语音识别中。

74短时平均能量和短时平均幅度的主要用途：可以区分清音段与浊音2.9短时过零分析定义：过零就是信号通过零值。连续语音信号，考察其时域波形通过时间轴的情况；离散时间信号，相邻的取样值改变符号则称为过零。语音信号序列是宽带信号，则不能简单用上面的公式。752.9短时过零分析定义：过零就是信号通过零值。75语音信号短时过零分析定义：其中：框图：76语音信号短时过零分析定义：其中：框图：76此时气流通过绷紧的声带，冲激声带产生振动，使声门处形成准周期性的脉冲串，并用它去激励声道。门限值可以对背景噪声的变化有一定的适应；能够将短时冲激噪声和超过门限值的信号纳入无声段而不是有声段；若大于阈值，则记为语音；缺点：浊音和清音的区分不如En明显。从较高频率降到较低频率窗长为15ms，fs=10kHz，因此共包括150个语音样点。这段语音用海明窗加权，基音周期为Np=45。基于能量和过零率的端点检测方法在实验室环境下可以获得较好的端点检测结果，随着信噪比的降低该方法检测的准确率将随之下降，基于小波变换和基于循环神经网络的端点检测方法对于噪声具有一定的鲁棒性，但是随着噪声的明显增大，小波变换的方法得到的检测结果仍然有所下降，与之相比基于循环神经网络的方法的鲁棒性要优于基于小波变换的方法，具有很大的优越性和实用性。③量化噪声在量化间隔内均匀分布，即具有等概率密度分布。图（a）是一个海明窗乘过的清音语音段，图(b)为相应的倒谱。此时声带松弛而不振动，气流通过声门直接进入声道。依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。元音：声带振动产生一个准周期的空气脉冲，如i、u、ü、a、o、e等。10语音信号的倒谱分析②实现起来比较简单、运算量少。由于语音的短时平稳性，假设在短时间内，各段管子的截面积且是常数。语音处理的根本方法——短时分析技术若信号波形的变化足够大或量化间隔足够小时，可以证明量化噪声符合具有下列特性的统计模型：10语音信号的倒谱分析短时过零分析的意义：可以区分清音与浊音：浊音时具有较低的平均过零数，而清音时具有较高的平均过零数。利用它可以从背景噪声中找出语音信号，可用于判断寂静无语音和有语音的起点和终点位置。

在背景噪声较小时用平均能量识别较为有效，而在背景噪声较大时用平均过零数识别较为有效。

77此时气流通过绷紧的声带，冲激声带产生振动，使声门处形成准周期2.10语音信号的倒谱分析求语音倒谱特征参数，通过同态处理来实现。倒谱分析：运用对数运算和二次FFT/IFFT变换，将基音谐波和声道的频谱包络分离出来，用低时窗从语音信号倒谱中截取出低倒谱域部分，可以更精确的反映声道的响应，得到共振峰。2、对原语音信号分析出一组预测系数，得到语音产生模型的频率响应。

同态处理（同态滤波）：解卷，将卷积关系变为求和处理。将语音信号的声门激励和声道响应分离开。782.10语音信号的倒谱分析求语音倒谱特征参数，通过同态处理同态信号处理的基本原理信号分类：加性信号、乘积性信号、卷积性信号等。同态信号处理目的：将非线性问题转化为线性问题来处理。同态信号处理分类：乘积同态处理和卷积同态处理两种。79同态信号处理的基本原理信号分类：加性信号、乘积性信号、卷积性特征系统D*反特征系统D*-1：它是特征系统的反运算卷积同态系统：80特征系统D*卷积同态系统：80特征系统D*81特征系统D*81反特征系统D*-1：82反特征系统D*-1：82复倒谱和倒谱是一个时域序列，我们称是x(n)的“复倒频谱”，简称为“复倒谱”，有时也称作对数复倒谱。所处的离散时域，称之为“复倒谱域”。这样，特征系统D*[]将离散时域中的卷积运算转换为复倒谱域中的加性运算。进行同态信号处理后，即可完成解卷的任务。若时域中有，则复倒谱域中。假设位于复倒谱域中不同的间隔内并且互不交替，那么适当地设计线性系统，便可将x1(n)或x2(n)分离出来。83复倒谱和倒谱是一个时域序列，我们特征系统D*反特征系统D*-1c(n)是序列x(n)对数幅度谱的傅里叶逆变换，c(n)称为“倒频谱”或简称为“倒谱”，有时也称“对数倒频谱”。84特征系统D*反特征系统D*-1c(n)是序列x(n)对数幅复倒谱和倒谱的特点和关系：1.复倒谱要进行复对数运算，倒谱只进行实对数运算。2.倒谱情况下，一个序列经过正反两个特征系统以后不能还原成自身，因为丢失相位信息。4.已知一个实序列的复倒谱，可以求其倒谱。5.已知倒谱，可以求复倒谱。85复倒谱和倒谱的特点和关系：1.复倒谱要进行复对数运算，倒谱只语音信号的复倒谱语音信号可看作是声门激励信号和声道冲激响应序列的卷积。1声门激励信号

发浊音时，声门激励是以基音周期为周期的冲激序列：

86语音信号的复倒谱语音信号可看作是声门激励信号和声道冲激响应序得到复倒谱：

对上式取对数并按泰勒级数展开：87得到复倒谱：对上式取对数并按泰勒级数展开：87或：一个周期冲激的有限长度序列，其复倒谱也是一个周期冲激序列，而且长度不变，只是序列变为无限长度序列。同时其振幅随着k值的增大而衰减。88或：一个周期冲激的有限长度序列，其复倒谱也是一个周期冲激序列2声道冲激响应序列

如果用最严格(也是最普遍的)极零模型来描述声道冲激响应，则其Z变换的形式为：

892声道冲激响应序列如果用最严格(也是最普遍的)极零模型取对数进行泰勒级数展开：90取对数进行泰勒级数展开：90进行逆z变换，得复倒谱

91进行逆z变换，得复倒谱91结论：

①是双边序列，存在于-∞<n<∞的范围内。②是衰减序列，随|n|的增大而减小。③随|n|增大而衰减的速度至少比1／|n|快，④如果x(n)是最小相位序列，为因果序列。⑤如果x(n)是最大相位序列，为反因果序列。92结论：①是双边序列，存在于-∞<n<∞避免相位卷绕在复倒谱分析中，z变换后得到的是复数，所以取对数时进行的是复对数运算。这时存在相位的多值性问题，称为“相位卷绕”。产生相位的多值避免相位卷绕的算法有：微分法、最小相位信号法、递归法等。93避免相位卷绕在复倒谱分析中，z变换后得到的是复数，所以取对数（a）（b）（c）（d）浊语音的倒谱和复倒谱实例实例分析

窗长为15ms，fs=10kHz，因此共包括150个语音样点。这段语音用海明窗加权，基音周期为Np=45。94（a）（b）（c）（d）浊语音的倒谱和复倒谱实例实例分析窗先用窗w(n)选择一个语音段，再计算复倒谱，然后将欲得到的复倒谱分量用一个“复倒谱窗”

分离出来。所得到的窗选复倒谱用逆特征系统进行处理以恢复所需的卷积分量。

95先用窗w(n)选择一个语音段，再计算复倒谱，然后将欲得到的复浊音语音用同态滤波分离出声门激励和声道响应的示例（a）（b）

上图给出了经过滤波和逆特征系统处理后的结果。图(a)为经过低复倒谱窗l(n)和之后的输出波形即声道冲击响应，图（b）给出了声门激励信号。可以看出声门激励波形近视于一个冲击串，其幅度随时间变化保持了用来加权输入信号所用的海明窗形状。96浊音语音用同态滤波分离出声门激励和声道响应的示例（a）（b）清语音的同态分析（a）（b）上图给出了相同条件下一段加窗语音的时域波形及其倒谱。图（a）是一个海明窗乘过的清音语音段，图(b)为相应的倒谱。可见倒谱中没有出现在浊音情况下的那种尖峰，然而倒谱的低时域部分包含了关于声道冲击响应的信息。97清语音的同态分析（a）（b）上图给出了相同条件下一段加窗语音§２.1语音和语言

第２章语音信号短时分析技术构成人类语音的是声音，由人讲话所发出的声音，对语音中音的分类和研究称为语音学。1、言语的过程和作用想说阶段————大脑中枢活动说出阶段————发音器官的活动传送阶段————传送信息的物理过程起作用接收阶段————听觉系统活动理解阶段————大脑中枢活动98§２.1语音和语言第２章语音信号短时分析技术构成人类语2、一些基本概念①音素（phoneme）：语音的最小单位，由音素构成音节。②音节（Syllable）：说话时一次发出的，具有一个响亮的中心，并被明显感觉的语音片断。音素和音节992、一些基本概念①音素（phoneme）：语音的最小单位，辅音和元音

音素分为两类：辅音（Consonant）和元音（Vowel）元音：声带振动产生一个准周期的空气脉冲，如i、u、ü、a、o、e等。辅音：呼出的气流，由于通路中某一部分封闭起来或受阻，气流不通畅所产生的声音，如b、p、m、f、d、t、n、l等。100辅音和元音元音：声带振动产生一个准周期的空气脉冲，如i、u辅音和元音的区别有四点：1、辅音发音时，气流在通过咽头、口腔的过程中，要受到某部位的阻碍；元音发音时，气流在咽头、口腔不受阻碍。这是元音和辅音最主要的区别。2、辅音发音时，发音器官成阻的部位特别紧张；元音发音时发音器官各部位保持均衡的紧张状态。3、辅音发音时，气流较强；元音发音时，气流较弱。4、辅音发音时，声带不一定振动，声音一般不响亮；元音发音时，声带振动，声音比辅音响亮。101辅音和元音的区别有四点：4半元音：声道基本通畅，但某处比较狭窄，引起轻微摩擦。[W]、[Y]元音构成音节的主干，辅音只出现在音节前端或前后两端。元音的共振峰特性：声道被看成具有均匀截面积的声管，发音时起共鸣器的作用。元音激励进入声道时引起共振特性，产生一组共振频率，即共振峰。102半元音：声道基本通畅，但某处比较狭窄，引起轻微摩擦。[W]、清音和浊音清音：声带不振动浊音：声带振动而发音元音都是浊音、辅音有清音也有浊音。103清音和浊音清音：声带不振动元音都是浊音、辅音有清音也有浊音。3、汉语的声调：浊音的声带振动基频称为基音频率。无论在说一个单音节或说一段连续语音时，各个音节中韵母段的都是随时间变化的，基音频率的不同轨迹称为声调。几乎平均于横轴、平均值高从较低一直上升到较高频率先降后升从较高频率降到较低频率1043、汉语的声调：浊音的声带振动基频称为基音频率。无论在说一个4、语音信号的时域波形开始/ai//k/时变特性有些段落周期性，有些段落具有噪声特性，短时平稳性1054、语音信号的时域波形开始/ai//k/时变特性8Doyoulikeit?VsDidyoulikeit?Waveform106Doyoulikeit?VsDid§２.2语音产生的过程及声学特征语音产生的过程喉以上的部分称为声道，随着发出声音的不同其形状是变化的；而喉的部分称为声门。107§２.2语音产生的过程及声学特征语音产生的过程10声带（VocalCords）10~14mm在喉部的从喉结到杓状软骨之间的韧带褶。声门（Glottis）两个声带之间形成一个开闭自如的声门，声带合拢因而受声门下气流的冲击而张开；但由于声带韧性迅速地闭合，随后又张开而闭合，声带开启和闭合使气流形成一系列脉冲。声门每开启和闭合一次的时间即振动周期称为音调周期或基音周期，其倒数称为基音频率，也简称为基频。基音的范围约为70~350Hz左右。108声带（VocalCords）10~14mm声门每开启和声道（vocaltract）17cm

由咽腔、口腔和鼻腔三个空气腔体组成。声道是一个分布参数系统，它有许多自然谐振频率（在这些频率上其传递函数具有极大值），所以声道是一谐振腔，它放大某一频率而衰减其他频率分量。谐振频率由每一瞬间的声道外形决定。如果声道的截面是均匀的，谐振频率将发生在109声道（vocaltract）17cm声道是一个分听觉系统：声波经过外耳的放大后，经过鼓膜和听小骨将声波转化为机械振动，传入内耳。§2.3语音感知

由外耳、中耳、内耳组成人耳的作用：1、声音放大；2、声音传导；3、声源定位110听觉系统：声波经过外耳的放大后，经过鼓膜和听小骨将声波转化正常人的听域与听阈：听觉感知特性：正常人的听觉系统是极为灵敏的，人耳所能感觉的最低声压接近空气中分子热运动所产生的声压。正常人可听声音的频率范围为0.016-16kHz，年轻人可听到20kHz的声音，而老年人可听到的高频声音要减少到10kHz左右。正常人可听声音的强度范围为0-120dBSPL(声压级)，这里的基准声压(0dBSPL)是或。111正常人的听域与听阈：听觉感知特性：正常人的听觉系统是极为灵敏纯音听阈是与频率有关的量，在1000Hz时约为4dB左右，而在40Hz时上升为50dB左右，在15kHz时上升为24dB左右。

感觉阈代表可容忍的最高声压。在声压级高到一定程度时，耳朵会出现不适感觉，或者具有痒、压迫及痛感。对正常人而言一般取120dB为不适阂，140dB为痛阐，且认为它与频率无关。112纯音听阈是与频率有关的量，在1000Hz时约为4dB左右，而响度（Londness）---方（phon）是一种主观心理量，主观感觉到的声音强弱的一种衡量标准，它与频率有关。一样的音强，不一样的频率，则响度也会有所不同。0dB声强级的1000Hz纯音的响度级为0phon;ndB声强级的1000Hz纯音的响度级为nphon;113响度（Londness）---方（phon）162、计算方法简单。依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。ndB声强级的1000Hz纯音的响度级为nphon;元音激励进入声道时引起共振特性，产生一组共振频率，即共振峰。传统端点检测算法认为，如果环境噪声和系统环境噪声比较小，能够保证系统的信噪比较高，那么只要计算输入信号的短时能量或短时平均幅度就能把语音段和噪声背景区分开。准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。如果很大，它等效于很窄的低通滤波器，此时随时间的变化很小，不能反映语音信号的幅度变化，信号的变化细节就看不出来；声门每开启和闭合一次的时间即振动周期称为音调周期或基音周期，其倒数称为基音频率，也简称为基频。原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。语谱仪：将语音信号(经话筒变成了电信号)送进一排频率依次相接的窄带滤波器，各窄带滤波器的输出记录在一卷按一定速度旋转的记录纸上(各滤波器的由低到高按频率排列)，信号强则记录得浓黑一些，反之则浅谈一些。缺点：浊音和清音的区分不如En明显。这里窗长的选择对于反映语音信号的幅度变化起着决定的作用。也可在A／D变换之后进行，用具有6dB／倍频程的提升高频特性的预加重数字滤波器实现，它一般是一阶的。复倒谱和倒谱的特点和关系：谐振频率由每一瞬间的声道外形决定。把声道视作截面积变化的管子，研究声音沿管道是怎样传播的。语音信号具有时变特性，而在一个短时间范围内其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳态过程。依据：小波系数可以反映语音信号在各个子带内沿时间轴的能量分布，通过处理又可以捕捉到语音段的边界，因此可以利用小波变换来对语音信号进行端点检测，以达到区分语音段和非语音段的目的。同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号会提高弱信号的听阈，当弱信号的听阈升高到一定程度会导致弱信号不可闻。同态处理（同态滤波）：解卷，将卷积关系变为求和处理。听觉掩蔽效应掩蔽效应：一种声音的听觉感受受到同时听到的另一种声音的影响。分：同时掩蔽和短时掩蔽1142、计算方法简单。听觉掩蔽效应掩蔽效应：一种声音的听觉感受受同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号会提高弱信号的听阈，当弱信号的听阈升高到一定程度会导致弱信号不可闻。短时掩蔽：当A声和B声不同时出现时。后向掩蔽：掩蔽声B消失后，其作用仍持续一段时间：0.5～2s前向掩蔽：被掩蔽音A出现后，相隔0.005～0.2s之内出现掩蔽音B，也会对A起作用。115同时掩蔽：同时存在的一个弱信号和一个强信号频率接近时，强信号§2.4语音信号的数学模型准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。期望：模型既是线性的又是时不变的，这是最理想的模型。语音信号特征：一连串的时变过程；声门和声道相互耦合，还形成语音信号的非线性特性。合理假设：在较短的时间间隔内表示语音信号时，采用线性时不变模型。116§2.4语音信号的数学模型准则：要寻求一种可以表达一定物理发音器官的机理模型：117发音器官的机理模型：20语音信号的产生模型118语音信号的产生模型21(1)发浊音时。此时气流通过绷紧的声带，冲激声带产生振动，使声门处形成准周期性的脉冲串，并用它去激励声道。声带绷紧的程度不同，振动频率也不同。该频率就是音调频率，其倒数为音调周期。(2)发清音时。此时声带松弛而不振动，气流通过声门直接进入声道。表示为均值为0、方差为1，并在时间或在幅度上为白色分布的序列。

1、激励模型119(1)发浊音时。此时气流通过绷紧的声带，冲激声带产生振动，使罗森贝格（Rosenberg）在研究中发现，如果在发浊音时声门脉冲取如图所示的形状，可以获得比较好的合成语音效果。发浊音时的声门脉冲120罗森贝格（Rosenberg）在研究中发现，如果在发浊音时声把声道视作截面积变化的管子，研究声音沿管道是怎样传播的。2、声道模型（一）声管模型121把声道视作截面积变化的管子，研究声音沿管道是管道内声波的运动方程：

其中，为在点时刻的声压

为在点时刻的体积速度

为空气密度

为声速

为管道截面积122管道内声波的运动方程：其中，为在点时每个管子可看作为一个四端网络，这个网络具有反射系数，声道可由一组截面积或一组反射系数来表示。

通常用A表示声管的截面积。由于语音的短时平稳性，假设在短时间内，各段管子的截面积且是常数。设第m段和第m+1段的声管的截面积分别为Am、Am+1，设称为“面积和差比”，其取值范围为-1<km<1。它实际上是线性预测的反射系数。123每个管子可看作为一个四端网络，这个网络具有反射系数，声道可由决定短时能量特性有两个条件：不同的窗口的形状和长度。如果很大，它等效于很窄的低通滤波器，此时随时间的变化很小，不能反映语音信号的幅度变化，信号的变化细节就看不出来；是一个时域序列，我们称是x(n)的“复倒频谱”，简称为“复倒谱”，有时也称作对数复倒谱。④采用示波器等通用设备，使用较为简单。窗长越长，频率分辨率越高，而时间分辨率越低第２章语音信号短时分析技术2、抑制50Hz工频干扰。所处的离散时域，称之为“复倒谱域”。②实现起来比较简单、运算量少。几乎平均于横轴、平均值高短时掩蔽：当A声和B声不同时出现时。辅音：呼出的气流，由于通路中某一部分封闭起来或受阻，气流不通畅所产生的声音，如b、p、m、f、d、t、n、l等。对于爆破音的寂静段，应将其纳入语音的范围而不是无声段；由咽腔、口腔和鼻腔三个空气腔体组成。上图给出了相同条件下一段加窗语音的时域波形及其倒谱。一样的音强，不一样的频率，则响度也会有所不同。同态信号处理的基本原理反特征系统D*-1：它是特征系统的反运算实验室背景下基于能量和过零率的端点检测结果已知一个实序列的复倒谱，可以求其倒谱。共振峰与舌位关系舌位高低决定了F1共振频率。舌位越高，F1的频率越低，反则反之。舌位前后决定了F2共振频率舌位越后，F2的频率越低，反则反之。

（二）共振峰模型声道被视为谐振腔，共振峰是腔体的谐振频率124决定短时能量特性有两个条件：不同的窗口的形状和长度。共振峰与1）级联共振峰模型（适合于一般元音）分解：1251）级联共振峰模型（适合于一般元音）分解：282）并联型（非一般元音和大多数辅音）1262）并联型（非一般元音和大多数辅音）293、混合型（结合级联型和并联型）：幅度控制因子AB专为一些频谱特性比较平坦的音素，如[f],[p],[b]所考虑的。1273、混合型（结合级联型和并联型）：幅度控制因子AB专为一些频

声道的终端为口和唇。从声道输出的是速度波，而语音信号是声压波，二者之倒比称为辐射阻抗ZL。它表征口和唇的辐射效应，也包括圆形的头部的绕射效应等。

口唇的辐射效应可表示为：，它是一阶后向差分。辐射模型R(z)是一阶类高通滤波器的形式。3、辐射模型128声道的终端为口和唇。从声道输出的是速度波，而

完整的语音信号数字模型可以用三个子模型：激励模型、声道模型和辐射模型的串联来表示。其转移函数为：

H(z)=U(z)V(z)R(z)这里，U(z)是激励信号——声门脉冲即斜三角波的形式；V(z)是声道传递函数，既可以用声管模型，也可以用共振峰模型来描述。在共振峰模型中，又可采用级联型、并联型或混合型等几种形式；R(z)为辐射模型。

4、完整的模型

129完整的语音信号数字模型可以用三个子模型：激励

声门脉冲

声道语音信号

激励信号声道滤波器语音信号频谱传递函数频谱韵母的产生过程130声门脉冲2.5语音的质量评估一类是音节以下(如音素、声母、韵母)的语音单元的测试，这常称为“清晰度”测试；清晰度测试可以元音、辅音为基础或以声母、韵母为基础，再根据音节成分算出音节清晰度。一类是音节以上(如词、句)的语音单元的测试，常称为“可懂度”测试。

语音质量测试可分为两类：

1312.5语音的质量评估一类是音节以下(如音素、声母、韵母)的2.6语音信号的时频特性分析汉语拼音“SouKe”的时域波形采样率8kHz1322.6语音信号的时频特性分析汉语拼音“SouKe”的时13336同时其振幅随着k值的增大而衰减。定义：过零就是信号通过零值。1)先将语音信号分成由1024个采样点组成的帧；反特征系统D*-1：其中，为在点时刻的声压若时域中有，则复倒谱域中。短时掩蔽：当A声和B声不同时出现时。③随|n|增大而衰减的速度至少比1／|n|快，声门（Glottis）3语音感知已知一个实序列的复倒谱，可以求其倒谱。4语音信号的数学模型元音：声带振动产生一个准周期的空气脉冲，如i、u、ü、a、o、e等。语音信号特征：一连串的时变过程；反之，窗长太小时，滤波器的通带变宽，随时间有急剧的变化，不能得到平滑的能量函数。10语音信号的倒谱分析应该尽量避免在检测中丢失鼻韵和弱摩擦音等与噪声特性相似、短时参数较少的语音；在背景噪声较小时用平均能量识别较为有效，而在背景噪声较大时用平均过零数识别较为有效。这段语音用海明窗加权，基音周期为Np=45。实验室背景下基于能量和过零率的端点检测结果134同时其振幅随着k值的增大而衰减。372.7语音信号的语谱图语谱仪：将语音信号(经话筒变成了电信号)送进一排频率依次相接的窄带滤波器，各窄带滤波器的输出记录在一卷按一定速度旋转的记录纸上(各滤波器的由低到高按频率排列)，信号强则记录得浓黑一些，反之则浅谈一些。由此得到的即是语音信号的语谱图，此图的水平方向是时间轴，垂直方向是频率轴，固上或深或浅的黑色条纹表征各个时刻的短时谱。1352.7语音信号的语谱图语谱仪：将语音信号(经话筒变成了电信

自然语音a波形图

自然语音a语谱图

自然语音o波形图

自然语音o语谱图136自然语音a波形图自然语音a语谱图自然语音语音处理的根本方法——短时分析技术

语音信号具有时变特性，而在一个短时间范围内其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳态过程。语音的重要特性是它具有“短时性”，所以对语音的分析和处理必须建立在“短时”的基础上，即进行“短时分析”，§2.8语音信号的数字化与预处理语音信号处理系统框图137语音处理的根本方法——短时分析技术语音信号数字化：放大、增益控制、反混叠滤波、采样、A/D变换及编码预处理：预加重、加窗、分帧、端点检测①表示语音信号比较直观、物理意义明确。②实现起来比较简单、运算量少。③可以得到语音的一些重要参数。④采用示波器等通用设备，使用较为简单。

时域分析的特点：138数字化：放大、增益控制、反混叠滤波、采样、A/D变换及编码①1、预滤波、采样、A/D变换目的：1、抑制输入信号各频域分量中频率超出fs/2的所有分量，以防止混叠干扰；2、抑制50Hz工频干扰。实现：带通滤波器，上下边带截止频率分别为、1391、预滤波、采样、A/D变换目的：实现：带通滤波器，上下边采样根据取样定理，当取样频率大于信号的两倍带宽时，取样过程中不会丢失信息，且从取样信号中可以精确地重构原始信号波形。在信号的带宽不明确时，在取样前应接入反混叠滤波器，使其带宽限制在某个范围内。语音信号频率范围：300～3400Hz采样率：8kHz～10kHz140采样根据取样定理，当取样频率大于信号的两倍带宽时，取样过程中量化：将输入的整个幅值分成有限区间，把落入同一区间的波形样本都量化成同一幅度值。141量化：将输入的整个幅值分成有限区间，把落入同一区间的波形样本量化后的信号值与原信号之间的差值称为量化误差，又称为量化噪声。若信号波形的变化足够大或量化间隔足够小时，可以证明量化噪声符合具有下列特性的统计模型：①它是一个平稳的白噪声过程；②量化噪声和输入信号不相关；③量化噪声在量化间隔内均匀分布，即具有等概率密度分布。142量化后的信号值与原信号之间的差值称为量化误差，又称为量化噪声2、预处理预加重：原因：语音信号的平均功率谱受声门激励和口鼻辐射的影响，高频端大约在800Hz以上按6dB／倍频程跌落。目的：提升高频部分，使信号的频谱变得平坦，以便于进行频谱分析或声道参数分析。位置：可在反混叠滤波之前进行，这样不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。也可在A／D变换之后进行，用具有6dB／倍频程的提升高频特性的预加重数字滤波器实现，它一般是一阶的。式中值接近于1。

1432、预处理预加重：46浊语音的倒谱和复倒谱实例能够将短时冲激噪声和超过门限值的信号纳入无声段而不是有声段；第２章语音信号短时分析技术5)通过帧间平滑连接所有互相关系数成为一个和原信号长度相同的序列；在共振峰模型中，又可采用级联型、并联型或混合型等几种形式；一个较好的端点检测算法应该能够满足：3语音感知1)先将语音信号分成由1024个采样点组成的帧；窗长越长，频率分辨率越高，而时间分辨率越低一样的音强，不一样的频率，则响度也会有所不同。管道内声波的运动方程：位置：可在反混叠滤波之前进行，这样不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。同态信号处理的基本原理谐振频率由每一瞬间的声道外形决定。有些段落周期性，有些段落具有噪声特性，短时平稳性准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。针对白噪声和汽车噪声环境对数字0~9的语音数据进行实验，用来做测试的语音文件每组50个，包括男生和女生发音，含有汽车噪声的语音信号平均信噪比10dB和5dB，分别模拟汽车中速和高速行驶环境下的录音。反特征系统D*-1：它是特征系统的反运算准则：要寻求一种可以表达一定物理状态下的数学关系，要使这种关系不仅具有最大的精确度，而且还要最简单。舌位越高，F1的频率越低，反则反之。加窗分帧：语音信号是一种典型的非平稳信号，其特性是随时间而变化的，但是语音的形成过程是与发音器官的运动密切相关的，这种物理运动比起声音振动速度来说要缓慢得多，因此语音信号常常可假定为短时平稳的，即在10～30ms的时间段内，其频谱特性和物理特征参量可近似地看作是不变的，这样，就可以采用平稳过程的分析处理方法来处理了。由这个假定导出了各种“短时”处理方法，以后讨论的各种语音信号都是分隔为一些短段(帧)再加以处理。这些短段就好像是