语音信号处理复习华南理工

语音信号处理复习第二章语音信号处理基础知识1，定义：（1）语音是指人们讲话时发出的话语，它是一种声音，具有声学特征的物理特性。而它又是一种特殊的声音，是人们进行信息交流的声音，是组成语言的声音。因此语音是语言和声音的组合体。（2）语音是由人的发声器官发出的一种声波，它具有音色、音调、音强和音长。①音色：是一种声音区别于另一种声音的基本特征②音调：指声音的高低，取决于声波的频率③音强：指声音的强弱，取决于声波的振幅④音长：指声音的长短，取决于发音时间的长短（3）任何语言都有语言的元音和辅音两种音素：元音：当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇腔出去时，这些声腔完全开放，气流顺利通过。一个重要的声学特性是共振峰。辅音：由于通路的某一部分封闭起来或者受到阻碍，气流被阻不能畅通。包括清音和浊音。①浊音：声带振动②清音：声带不振动（4）人的听觉系统有两个重要的特性：①时频分析特性：人的耳蜗就像一个频谱分析仪，将复杂的信号分解成各种频率分量。②听觉掩蔽效应：心理声学中的听觉掩蔽效应指在一个强信号附近，弱信号将变得不可闻，被掩蔽掉了。掩蔽效应分为同时掩蔽和短时掩蔽。2，语言信号生成的数学模型：①激励模型：在声门（声带）以下，称为“声门子系统”，它负责产生激励振动，是激励系统②声道模型：从声门到嘴唇的呼气通道是声道，是声道系统③辐射模型：语音从嘴唇辐射出去，则嘴唇以外是辐射系统3，语音信号的特性分析：（1）语音信号的时域波形和频谱特性：①时域波形：周期性，周期对应声带振动的频率，即基音频率。②频谱特性：共振峰特性。元音频谱有明显的几个凸起点，它们出现的频率就是共振峰频率。清辅音频谱峰点之间的间隔是随机的，没有周期分量。（2）语谱图：语谱图是一种三维图谱，它是表示语音频谱随时间变化的图形，其纵轴为频率，横轴为时间，任一给定频率成分在给定时刻的强弱用相应点的灰度或色调的浓淡来表示。语谱图中显示了大量的与语音的语句特性相关的信息，它综合了频谱图和时域波形的特点，明显地显示出语音频谱随时间的变化情况，或者说是一种动态的频谱。记录这种谱图的仪器就是语谱仪。语谱图中的花纹有横杠、竖直条和乱纹等。①横杠：与时间轴平行的几条深黑色带纹，它们相应于短时谱中的几个凸点，也就是共振峰。②竖直条：与时间轴垂直的一条窄黑带，每个竖直条相当于一个基音，条纹间的距离表示基音周期。③乱纹：清擦音从语谱图上看表现为乱纹，乱纹的深浅和上下限反映了噪声能量在频域中的分布。4，语音信号的统计特性：语音信号的统计特性可以用它的波形振幅概率密度函数和一些统计量（如均值和自相关函数）来描述。第三章语音信号分析1，概述：语音信号的特性及表征其本质特征的参数均是随时间变化的，所以它是一个非平稳过程。虽然它具有时变特性，但是从一个短时间范围（10~30ms）内，其特性基本保持不变，即相对稳定，可以将其看作一个准稳态过程，也就是短时平稳过程。2，语音信号的预处理：①预加重：通常语音信号的高频分量很小，预加重目的是提升高频部分，使信号频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱，以便于频谱分析或声道参数分析。②加窗分帧：分帧通过可移动的有限长度窗口进行加权的方法实现。3，语音信号的时域分析：（1）语音信号的时域分析就是分析和提取语音信号的时域参数：短时能量、短时过零率、短时自相关函数和短时平均幅度差函数。①短时能量：②短时过零率：表示一帧语音中语音信号波形穿过横轴（零电平）的次数。浊音具有较低的过零率，而清音具有较高的过零率。③短时自相关函数：④短时平均幅度差函数：4，语音信号的频域分析：分析语音信号的频域特征，使用短时傅立叶变换对语音信号的频谱进行分析。5，语音信号的倒谱分析：（1）同态信号处理：指将非线性问题转换成线性问题的处理方法。由于语音信号可以视为声门激励信号和声道冲激响应的卷积，因此可以通过卷积——乘积——加法的方法来处理。（2）倒谱与复倒谱：倒谱是语音信号的对数幅度谱的傅里叶逆变换，得到的是频域信息。复倒谱是语音信号对数频谱的傅立叶逆变换，得到的是时域信息。6，MFCC特征提取流程：①对输入语音进行预加重、加窗、分帧处理②FFT变换③取绝对值或者平方④Mel滤波：⑤取对数⑥离散余弦变换DCT：⑦动态特征MFCC，输出特征向量7，语音信号的线性预测：线性预测的基本思想是用过去的p个样点值来预测现在或未来的样点值。8，基音周期的估计：基音是指发浊音时声带振动所引起的周期性，而基因周期是指声带振动频率的倒数。主要包括以下三种方法：①自相关法②平均幅度差法③倒谱法。9，共振峰估计：声道可以看成一根具有非均匀截面的声管，在发音时起共鸣器的作用。当准周期脉冲激励进入声道时会引起共振特性，产生一组共振频率，称为共振峰。共振峰参数包括共振峰频率和频带宽度。共振峰信息包含在语音频谱包络中，因此共振峰频率提取的关键是估计自然语音频谱包络，并认为谱包络中的最大值就是共振峰。主要包括倒谱法和LPC法。第四章矢量量化技术1，矢量量化基本原理：将若干个标量数据组成一个矢量在多维空间给予整体量化，从而可以在信息量损失较小的情况下压缩数据量。矢量量化有效地应用了矢量中各元素之间的相关性，因此可以比标量量化有更好的压缩效果。2，矢量量化参数：3，矢量量化的两个基本问题：（1）设计一个好的码本（2）未知矢量的量化4，矢量量化的失真测度：失真测度是将输入矢量X用码本重构矢量Y来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模型矢量间的相似程度。失真测度的选择好坏将直接影响到聚类效果和量化精度，进而影响到语音信号矢量量化处理系统的性能。主要包括欧氏距离测度、线性预测失真测度、识别失真测度。5，矢量量化器的最佳码本设计：最近邻准则、LBG算法第五章隐马尔可夫模型1，概述：（1）隐马尔可夫模型（HMM）是语音信号的一种统计模型。HMM是一个输出符号序列的统计模型，具有N个状态，它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号。转移到哪个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。因为只能观测到输出符号序列，而不能直接观测到状态转移序列（即模型输出符号序列时，是通过了哪些状态路径无法得知），所以称为隐藏的马尔可夫模型。（2）HMM用于语音信号建模时，是对语音信号的时间序列结构建立的统计模型，它是数学上的双重随机过程：一个是具有有限状态数的Markov链来模拟语音信号统计特性变化的隐含的随机过程，另一个是与Markov链每一个状态相关联的观测序列的随机过程。2，HMM的基本元素：M={S、O、A、B、π、F}①S——模型中状态的有限集合③A——状态转移概率的集合⑤π——系统初始状态概率的集合②O——输出的观测值符号的集合④B——输出观测值概率的集合⑥F——系统终了状态的集合3，隐马尔可夫模型的基本算法：（1）识别问题：给定观察符号序列O和模型M={A，B，π}，如何快速有效地计算观察符号序列的输出概率P（O/M）？。可通过前向-后向（F-B）算法解决。（2）状态转移估计（路径选择）问题：给定观察字符序列和输出该序列的模型后，如何有效地确定与之对应的最佳的状态序列，即估计出模型产生观察字符序列时最可能经过的路径。可通过维特比算法解决。（3）模型训练问题：实际上是一个模型参数估计问题，即对于初始模型和给定用于训练的观察符号序列，如何调整模型M的参数，使得输出概率P最大？。可通过Baum-Welch算法解决。第七章语音编码1，概述：（1）语音编码主要针对信源编码，解决有效性问题，通过对信源的压缩、扰乱、加密等一系类处理，力求用最少的数码率传递最大的信息量，使信号更适宜传输和存储。（2）语音编码通常分为三类：波形编码、参数编码和混合编码。波形编码和参数编码的主要区别在于重建的语音信号时域信号是否在波形上与原信号一致。①波形编码：力图使重建后的语音时域信号波形与原语音信号波形保持一致，具有适应能力强、话音质量好的特点，但需要用到的编码速率高。②参数编码：根据对声音形成机理的分析，在以重建语音信号具有足够的可懂性的原则上，通过建立语音信号的产生模型，提取代表语音信号特征的参数来编码，而不一定在波形上与原信号匹配。优点是编码速率较低，缺点是语音质量差，特别是自然度低，对说话环境的噪声敏感。利用参数编码实现语音通信的设备称为声码器，包括通道声码器、共振峰声码器、同态声码器和线性预测声码器。③混合编码：基于语音产生模型的假定并采用了分析合成技术，同时又利用了语音时域波形信息，增强了重建语音的自然度，使得语音质量有明显的提高。2，语音压缩：对语音信号进行压缩编码的基本依据是语音信号的冗余度和人的听觉感知机理。语音压缩编码极限速率就80~100bit/s。3，语音编码的关键技术：①线性预测②合成分析法③感觉加权滤波器4，波形编码：①脉冲编码调制PCM②自适应预测编码③自适应变换编码④子带编码（频带分割编码）：先使用带通滤波器将语音信号分割成若干个频带（子带），然后用调制的方法将滤波后的子带信号进行频谱平移成低通信号，以利于降低取样率进行抽取，然后再用奈奎斯特率进行取样，最后再分别进行编码处理。而信号的恢复则是完全相反的过程。5，参数编码：①LPC线性预测声码器②LPC-10编码器6，混合编码：码激励线性预测编码CELP。语音生成模型把语音的生成看作一些激励信号激励一个模拟声道的滤波器得到的响应。CELP采用矢量量化技术对激励信号编码，将事先经过训练的一组码矢量组成一个码本，然后对每一帧语音信号从这组码本中选出一个在感知加权误差最小意义上的最佳码矢量作为激励源。第八章语音合成1，定义：解决如何让机器说话的问题，其目的是将任意文本实时地转换成自然语音输出，并且输出的语音清晰可懂。语音合成系统是一个单向系统，从机器到人。2，合成方法：（1）波形合成法：直接把要合成的语音的发音波形进行存储或者进行波形编码压缩后存储，合成重放时再解码组合输出。（2）参数合成法：为了节约存储容量，必须先对语音信号进行分析，提取语音的参数，，以压缩存储量，然后由人工控制这些参数的合成。包括发音器官参数合成和声道模型参数合成。包括共振峰合成法和LPC线性预测法。（3）规则合成法：通过语音学规则产生语音。3，文语转换系统：指把文本文件通过一定的硬软件转换后由计算机或电话语音系统等输出语音的过程，并尽量使合成的语音具有良好的自然度和可懂度。包括三个模块：文本分析、韵律控制和语音合成。（1）文本分析：使计算机能够识别文字，并根据文本的上下关系在一定程度上对文本进行理解，从而知道要发什么音、怎么发音，并将发音的方式告诉计算机，让计算机知道文本中哪些是词，哪些是短语、句子。（2）韵律控制：任何人说话都有韵律特征，有不同的声调、语气、停顿方式，发音长短也各不相同。（3）语音合成：文语转换系统中一般采用波形拼接来合成语音。基音同步叠加法PSOLA，其核心思想是直接对存储于音库的语音运用PSOLA算法来进行拼接，从而合成完整的语音。第九章语音识别1，定义：语音识别主要指让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的各种意图。2，语音模型：HMM模型3，语音识别的类型：①孤立词识别②连接词识别③连续语音识别和理解（自然说话方式）④会话语音识别3，语音识别方法：（1）HMM法：主要用于大词汇量语音识别系统，需要较多的模型训练数据，较长的训练时间和识别时间，较大的存储空间。（2）VQ法：所需模型训练数据小，训练时间短，识别时间短，存储空间小，但是识别性能不够好。（3）DTW法：主要用于小词汇量、孤立字词识别系统。4，动态时间规整DTW：（1）目的：提高识别率，克服发同一音而发音长短不同的问题。（2）基本思想：把未知量伸长或缩短（压扩），直到与参考模板的长度一致，在这个过程中未知单词的时间轴会产生扭曲或弯折，以便其特征量与标准模式对应。5，孤立字（词）识别系统：指识别孤立发音的字或词的系统。利用模式匹配方法，把单词整个作为识别单元。在训练阶段，用户将词汇表中每一个词依次说一遍，并且将其特征矢量时间序列作为模板存入模板库。在识别阶段，将输入语音的特征矢量时间序列依次与模板库中的每个模板进行相似度比较，将相似度最高者作为识别结果输出。第十章说话人识别与语种辨识1，定义：（1）自动说话人识别是一种自动识别说话人的过程。它与语音识别的区别在于，它不注重语音信号中的文字符号和语义内容等信息，而是着眼于包含在语音信号中的个人特征，提取说话人的这些个人信息特征，以达到识别说话人的目的。（2）语种辨识是通过分析处理一个语言片段以判别其所属语言的语种，本质上属于语音识别的一个方面2，任务：本质上它们都是根据说话人所说的测试语句或关键词，从中提取与说话人本人特征有关的信息，再与存储的参考模型进行比较，做出正确的判断。（1）自动说话人确认：确认一个人的身份，只涉及一个特定的参考模型和待识别模式之间的比较，系统只做出“是”与“否”的二元判决。（2）自动说话人辨认：多元问题，从一群人的语音中辨认出是哪一个。系统必须辨认出待识别语音是来自待考察的个人中的哪一个。3，说话人识别系统：预处理、特征提取、模式匹配和判决四个步骤。包括基于HMM、基于VQ、基于GMM的说话人识别系统，和基于DTW的说话人确认系统。4，语种辨识系统：特征提取、模板匹配、分类判决三个步骤。类型记忆性模型离散无记忆VQ有记忆离散HMM连续无记忆GMM有记忆连续HMM5，语种辨识的应用领域：①多语种信息服务②机器自动翻译的前端处理③军事上说话人身份和国籍判别第十四章语音增强1，定义：指当语音信号被各种各样的噪声干扰，甚至淹没后，从噪声背景中提取有用语音信号，抑制、降低噪声干扰的技术。实际应用中噪声的来源及种类各不相同，从而造成处理方法的多样性。因此，要结合语音特性、人耳感知特性及噪声特性，根据实际情况选用合适的语音增强方法。2，语音特性：语音信号是一种非平稳的随机信号，语音的生成过程与发音器官的运动过程密切相关，考虑到人类发声器官在发声过程中的变化速度具有一定的限度而且远小于语音信号的变化速率，因此可以假定语音信号是短时平稳的，即在10~30ms的时间段内某些物理特性和频谱特性可以近似地看作不变，从而可以应用平稳随机过程的分析方法来处理语音信号，在语音增强中利用短