语音信号毕业设计论文.doc

1 绪论1.1 综述 语音是人类信息活动的重要手段之一，语音不仅是人与人之间进行信息交流的最直接最方便的和最有效的工具。人机对话意味着计算机应该具有语音输入和语音识别的功能，即计算机具有听觉，能够“听懂”人话，这就是语音识别的功能。无论，人与人之间，还是人与计算机之间的语音通信，语音信号处理，特别是语音信号处理的理论和技术，都具有特别重要的作用。数字语音处理包含三个方面内容：语音信号的数字表达方法语音信号的数字处理的各种方法以及数字语音处理理论和技术在各个领域的应用。这些内容涉及到了数字信号处理计算机科学模式识别语音学生理学等学科，还涉及到通信和电子系统，信号和信息处理系统等具体的应用领域。对于语音信号，数字处理比模拟处理具有更多优点。这是因为：第一，数字技术能够完成很多很复杂的信号处理工作；第二，通过语音进行交换的信息，本质上具有离散的性质，因为语音可以看成是语素的组合，这就特别适用于数字处理；第三，数字语音具有更高的可靠性价廉紧凑快速等特点，很容易完成实时处理要求；第四，数字语音具有在强干扰信道中传输的特点，易于和数据一起在通信网中传输，也易于进行加密传输，因此，数字语音也是主要研究方向。语音信号处理的方法是多种多样的。和一般的数字与信号的处理相类似，其方法可以是时域的，也可以是频域的，但都应考虑到语音信号本身的特点。语音信号是时变信号，只是在一个一个短段内才可以看成平稳的，因此，短时处理是处理语音信号的一种基本方法。在时域内，这就是各种短时处理技术的方法，如短时能量短是平均过零率及短时自相关函数等计算；在频域内，这就是短时傅立叶变换方法。线性预测技术本质上属于时域分析方法，但结果可以是频域的参数。数字语音处理有着广泛的应用领域，其中最重要的包括：语音压缩语音合成、语音识别以及语音增强。这些方面的研究以深入到通信办公自动化远距离控制声控电话拨号计算机语音应答，以及机器人听觉和口语系统等实用的系统中。1.2主要研究内容根据设计任务书的要求，本设计主要内容如下：(1) 语音信号产生的数字模型，以及语音信号模型的建立机理。(2) 语音信号的时域分析。(3) 语音信号的频域分析。(4) 语音信号的线性预测技术。(5) matlab软件编程。第三第四章主要是介绍如何将本不平稳的语音信号转换为平稳的语音信号，以及短时处理的一些基本理论和方法。第五章是本书要重点研究的内容，也是语音处理一种非常重要的方法。 第六章是对matlab的一些基本介绍和程序上的运用。1.3语音处理技术的发展概况语音处理研究的历史可追溯到1876年贝尔发明电话，那是首次采用声电电声转换技术实现远距离语音通讯。1939年h.dudley 研制成功了第一个声码器，这一发明奠定了语音数字模型的基本思想，在语音信号处理领域具有划时代的意义。1958年duddley等人改进了数字实验装置，将语音分割为元音和辅音等单元。六十年代以来，有关语音信号处理的论文数量达到高峰，但处理方多以软件形式出现。八十年代以来出现的语音信号处理产品的热潮.ibm于1997年推出的汉语听写机，为语音识别技术的实际应用开辟了新的道路。近几年来，语音信号处理不仅在理论上取得了重大进步，而且其应用范围也不断扩大。如自动控制系统，公共交通中的自动报站各种场合的自动报警公安机关破案等国家安全事务有重要应用。现在，语音信号处理的理论与方法已成为许多专业的共同基础。2 语音信号的数字建模语音信号分析大体上有时域、频域、倒谱域等分析方法。但是按语音学观点，可将它分为模型分析法和非模型分析法两种。模型分析法是依据语音信号的数学模型的理论来求得这些模型参数，而将其它分析方法笼统地归于非模型分析法中。模型分析法中的各种模型只适合于信号是平稳或局部平稳的情形。由于不同的语音是由人的口腔肌肉运动构成声道某种形状而产生的响应，而这种肌肉运动相对于语音频率来说是极缓慢的，因此一般认为在2040ms的短时间内语音信号是平稳的，所以完全可以用短时平稳的分析方法。语音信号产生模型是对发声器官的模拟和仿真。数字模型就是用数字处理方法实现这种物理系统的模拟，由此可估计出语音波形的参数，因此，这种数字模型也是语音参数模型。我们知道发声器官能发出一系列的声波是出于声道受到气流的激励而产生的。声道的一端是喉，另一端是嘴，其中包含有声带、声门、口腔和鼻腔等。根据声带振动与否，语音可分为浊音和清音两大类。声带在气流的作用下发生振动，从而产生准周期的声波激励，这种激励经过口腔和鼻腔的谐振作用而形成浊音，有时称为有声音。气流经过口腔的唇齿部分，如果引起湍流就产生摩擦音，有时因为唇部突然张开而形成爆破音。凡是声带不振动的声音，统称清音，有时也称为无声音。用数字方法模拟这种功能时，用准周期的脉冲序列来模拟声带振动的激励，而用随机噪声模拟清音的激励，口腔、鼻腔等所组成的声道谐振特性可用时变数字滤波器来模拟。所谓建立数学模型，就是要寻找一种可以表达一定物理状态下量与量的数学表示。建立了数学模型才能够用计算机对语音信号进行模拟和处理。建立数学模型的基本原则是要使这种关系不仅能具有最大的精确度，还要最简单。数字滤波器的频率响应受到一些参数的控制。不断控制清浊音开关、激励脉冲的周期以及噪声源强度，同时随着不同的发音改变滤波器特性，输出的信号就是所要求的语音信号序列。通过对发音机理和语音信号的产生机理的分析，可以将语音信号分为三个部分，在声带以下，称为“声门子系统”，它负责产生激励振动，是“激励系统”；从声门到嘴唇的呼气通道是声道，是“声道系统”；语音从嘴唇辐射出去，所以嘴唇以外是“辐射系统”。如图2-1所示为语音信号的产生模型：图2-1 语音信号产生模型语音信号是一个局部平稳的随机信号，它的激励参数和声道滤波器的参数均随时间而变化，但是由于发声器官的惯性使这些参数的变化速度受到限制， 对于声道参数，在一较短的时间内(1030ms)可近似认为是不变的，因此语音的短时分析帧长一般取为20ms左右。对于激励源参数，大多数情况下这一结论也是正确的。但是有些音的变化速度特别快，例如塞音或塞擦音的爆破段，20ms的时间间隔就过长，这时取5ms的间隔更为恰当。模型中将语音信号截然分为受周期脉冲激励和噪声激励两种情况，与实际情况并不完全符合，将清浊音开关换为叠加号更为合适，这样激励信号可以是上述两种激励按任意比例相叠加，这更加符合实际情况(即使如此，这个模型也不能完全包括所有的情况)。除了这些限制以外，这个模型的局限性主要表现在它的传输函数不包含有限传输零点，而像鼻音、擦音这样一些音的声道传输函数中是包含有限零点的。一种解决问题的方法是在声道模型中引入若干有限传输零点，但是这将使模型复杂化。另一种方法是适当提高阶数p，使得全极点模型能更好地逼近具有此种零点的传输函数。综上所述，完整的语音信号得数字模型可以用三个子模型：激励模型声道模型和辐射模型的串联来表示。它的传递函数可表示为：h（z）=au（z）v（z）r（z） （2-1）这里，u（z）是激励信号，浊音时u（z）是声门脉冲即斜三角脉冲序列的z变换；在清音的情况下，u（z）是一个随机噪声的z变换。v（z）是声道传输函数，既可以用声管模型，也可以用共峰模型来描述。实际上就是全集点模型： 应该指出，式（2-1）所示模型的内部结构并不和物理过程相一致，但这种模型和真实的模型在输出上是一致的。另外，这种模型是“短时”的模型，因为一些语音信号的变化是缓慢的，例如元音在1020ms内其参数是假定不变的。这里声道转移函数v（z）是一个参数随时间变化的模型。另外，这一模型认为语音是声门激励线形预测系统声道所产生的；实际上，声带-声道相互作用的非线形特征还有待研究。另外，模型中，用浊音和清音这种简单的划分方法是有缺陷的，对于某些音是不适用的，例如浊音当中的摩擦音。这种音要有发浊音和发清音的两种激励，而且两者不是简单的叠加关系。对于这些音可以用一些修正模型或更精确的模型来模拟.3 语音信号的时域分析语言信号的时域分析就是分析和提取语音信号的时域参数。进行语音分析时，最先接触到并且也是最直观的是它的时域波形。语音信号本身就是时域信号，因而时域分析就是最早使用，也是应用最广泛的一种分析方法，这种方法直接利用语音信号的时域波形。时域分析通常用于最基本的参数分析及应用，如语音的分割、预处理、大分类等。这种分析方法的特点是：（1）表示语音信号比较直观、物理意义明确。（2）实现起来比较简单、运算量少。（3）可以得到语音的一些重要参数。（4）只使用示波器等通用设备，使用较为简单等。语音信号的时域参数有短时能量、短时过零率、短时自相关函数和短视平均幅度差函数等，这是语音信号的一组最基本的短时参量，在各种语音信号数字处理技术中都要应用。在计算这些参量时使用的一般是方窗或汗明窗。现在分别讨论如下。3.1短时能量及短时平均幅度分析设语音波形时域信号为x(l)、加窗分镇处理后得到的第n真语音信号为xn(m), 则xn(m)满足下式： xn(m)=w(m)x(n+m) 0m0)。因此由式（5-16）看出 , k-10或l0)的情况下，h(z)只有极点，即 (5-20)相应的差分方程为 (5-21)信号的功率谱为 (5-22)这种形式的信号模型称为全极点模型或自回归模型（简称为ar模型）。p阶自回归模型一般表示为ar（p）。这是一种最重要，应用最广的模型。对于ar(p)模型，式(6.20)中的bl应代之以单位取样序列，于是得到 (5-23) 考虑到h(k)的因果性，即当k0时有h(-k)=0；同时根据初值定理1知道 (5-24)所以，式(6.24)可简: (5-25) 式中a0=1。这就是ar(p)模型的模型参数与信号自相关函数之间的关系式。将其与线性预测的yule-walker方程式(5-11)对照可以看出，如果线性预测和信号模型是对同一信号而言的，即两个方程组中的已知数相同rzz(k-l)=r(k-l),那么两组方程的解应当相同（可以证明，只要r（k-l）或rzz(k-l)是正定的，则两组方程有唯一解），即 (5-26)这意味着，解最佳线性预测问题等效于解信号模型问题。具体地说，信号x(n)的线性系数和它的ar(p)模型参数al相同，而预测误差功率与模型的极力源的功率相同。一个平稳随机过程，如果它是p阶自回归过程，那么用一个ar（p）模型就能精确地描述它。在第二章曾经讨论过，语音信号可以看成是一个线性时变系统在准周期脉冲序列（相应于浊音）或随机噪声（相应与清音）激励下所产生的输出，参看图2.1。在语音信号的这个数字模型中，时变线性系统综合反映了辐射、声门脉冲以及声道的总的影响，并且对于除鼻音和摩擦音以外的大多数语音来说，都可以用一个全极点系统来表示。这个全极点时变线性系统的参数随着时间的变化是非常缓慢的，因而可以近似地认为，在一 语音时间内它是非时变的。这样一来，图2.1所表示的语音信号模型，正是一个平稳随机过程的自回归模型（在短时间内可以近似的认为语音信号是平稳的）。根据本节前面的讨论，很容易理解，线性预测是描述语音信号的一种很精确的方法。对语音信号进行线性预测分析，其合理性和精确性可以从另一个角度来加以解释。线性预测系数（等效于语音信号的模型参数）是根据最小均方误差准则来决定的，而最小均方误差恰等于信号模型的激励源的方差；另一方面，语音信号模型的激励源只能是准周期冲激序列或随机白噪声序列激励，而这两种序列的均方值都是最小的。由此可见，对语音信号进行线性预测分析是合理的。反过来说，如果用某个准周期冲激序列或随机白噪声序列激励一个全极点系统，产生出某个信号，然后根据该信号p个取样值对信号的当前值进行预测，而且在均方误差最小的意义上这种预测是最佳的，那么预测系数必将等于全极点系统的参数。最后需要指出，对语音信号x(n) 进行线性预测，实际上意味着建立一个由白噪声源激励一个全极点系统的自回归模型，使得该模型产生的信号在z(n)的自相关函数与语音信号x(n)的自相关函数相匹配，或者说使得z(n)和x(n)的谱包络相匹配。5.4 levinson-durbin 算法通过以上讨论可以看到：求取信号的模型参数可以通过线性预测来完成，而线性预测系数以及预测误差功率可以有式（5.11）所表示的yule-walker方程解出。本节讨论由已知的自相关函数，通过解式(5.11)以求取线性预测系数及预测误差功率的方法。将式(5.11)写成矩阵形式，并注意到平稳随机信号的自相关函数的对称性质，可以得到下面的结果： （5-27）值得注意的是，上列方程组的系数矩阵中，沿任何一条对角线上的元素都相同，这样的矩阵称为toeplitz矩阵，同时系数矩阵还是一个对称矩阵。利用系数矩阵的对称toeplitz性质，提出了一种高效算法来求解该方程组，这就是著名的levinson-durbin算法，简称为levinson算法，该算法的运算数量级为o(p2)，而线性方程组的一般解法的运算量数量级为o(p3)，后者比前者要大的多。levinson算法是一个迭代计算过程。它从最低预测器开始，由低阶到高阶，逐阶进行递推计算。即是说，总是由前一阶段预测器求出了所要求的p阶预测器的系数，而且得到了所有低阶预测器的系数。在图5-2中，最上面表示了过去p个取样值预测当前值xn；下面依次画出了1阶、2阶、3阶、p阶预测器的预测系数；旁边写出了个阶预测误差。预测系数有两个下标，第一个下标表示阶数，第二个下标表示该阶预测器系数的序数。 1 1 1 1 图5-2levinson算法递推示意图为了说明levinson算法的迭代计算过程，现在讨论在已知第p阶预测器系数后如何求出第p+1阶预测器系数的问题。图5.3表示了第p阶预测器和第p+1阶预测器，其中第p阶预测器假定是已知的。现在的问题是，如何根据第p阶预测器系数计算出第p+1阶预测器的系数，说者说，如何找出二者的迭代计算关系式。levinson算法的推导方法有多种，下面介绍1980年提出的一种推导方法，称之为缺口推导方法(gapped function method)23 1 1图5-3 由p阶预测器递推p+1阶预测器缺口函数定义为预测误差与观测数据（即xn-1,xn-2, ,xn-p）之间的相互关，即 （5-28）式中rex（k）代表与xn-1,xn-2, , xn-p之间的互相关函数，r（k-l）代表滞后为(k-l)时x(n)的自相关函数。根据正交定理(见式(5-6)可得到 (5-29)这是p阶预测器应该满足的条件。现在的任务是利用 造p+1阶预测器的缺口函数.显然,gp+1(k)的缺口应该等于p+1.为此，先将对称于纵轴进行折叠，得 ；然后将其右移p+1个单位，于是得到 现在 与 的缺口已经对齐了。为了得到一个缺口宽度为p+1的新的缺口函数，可将 乘以某个常量 ,然后将其从 中减去，这样便得到一个新的缺口函数，用 表示，即 （5-30）式中 的选择应使缺口扩大一个单位（从原来的p增为p+1）。为此，选择 使下式成立： （5-31）这就是说，选择 使得 的缺口右边的第一个取样值经加权后恰好等于 缺口右边的第一个取样值。式(5-31)即 （5-32）由此得到 （5-33）根据式（5-28）关于缺口函数的定义，可以得到 （5-34）将式(5-34)代入(5-33),得到 （5-35）这个加权系数称做为反射系数。由式（6.10）知道，最小均方误差等于 （5-36）为了区别不同阶段的预测器的最小均方预测误差，用下标来表示阶，例如第p阶预测器的最小均方预测误差用 表示。于是，有联系到缺口函数的定义式（5-28），式（5-36）也可以写成类似地有 （5-37）将式（5-33）代入上式，得到 （5-38）这就是最小均方预测误差的递推计算公式。下面推导线性预测系数的递推计算公式。首先写出p阶和p+1阶线性预测器的缺口函数的定义式： （5-39）对上二式求z变换得到 （5-40）式中的和 是 和 的z变换； 是r(k)的z变换，即信号x(n)的功率谱； 和 分别是序列 (l=0,1, ,p+1)的z变换，称为预测多项式，即 （5-41）另一方面，取式（5-31）的z变换得到 （5-42）将式（5-40）代入式（5-42）,得 （5-43）考虑到自相关函数的对称性,由上式可以得出这就是由p阶预测多项式迭代计算p+1阶预测多项式的公式。对上式取反z变换，便得到预测系数的迭代计算式 （5-44）或 （5-45）以上三个式子是相互等效的。总的来说，式(5-35)，（5-38），和（5-43）便构成了完整的levinson迭代算法。迭代计算从零阶即从p=0开始。零阶预测即不做预测，这时预测多项式为 预测误差为预测误差功率为以上便是迭代计算的初始条件。迭代计算步骤如下：（1） 初始化（2）假设已知p阶预测器的参数，即已知 和 。（3）计算p+1阶预测器的反射系数（4）计算p+1阶预测器的预测多项式（5）计算p+1阶预测误差功率(式（5-38）)（6）返回第（2）步。当迭代过程达到预先指定的阶时，迭代计算终止。计算结束后，得到了以下三类结果： （1）各阶预测器的预测系数。（2）各阶预测器的反射系数。（2） 各阶预测器误差功率。5.5 线性预测的频域解释迄今为止，一直是在时域中根据差分方程和相关函数来讨论线性预测问题。本节将从频域的角度对线性预测做出解释，从而得到更深刻的认识。对语音进行线性预测分析的结果，对应于每一帧语音将得到一组线性预测系数。这组系数正是语音产生模型中全极点线性滤波器的参数。说的准确些，这组系数正是滤波器的传输函数的分母和多项式的系数。由于全极点滤波器是声门，声道的共振特性。当根据一帧语音取样求得一组线性预测系数后，也就意味着求得了这真语音信号的产生模型中全极点线性滤波器的频率特性。根据语音信号的产生模型，语音的功率谱等于激励源的功率谱与全极点线性滤波器频率特性的摸的平方的乘积。激励源是（准周期）冲激序列或白噪声，其功率谱是平坦的，因此语音的功率谱主要地由全极点滤波器的频率特性所确定，这样，线性预测可以看成是对语音信号的短时谱进行估计的一种有效方法。 6 算法的软件实现本设计选择了levinson-durbin算法，并对其进行了软件实现。首先我先采用c语言对此算法进行了编程，然后又用vc语言使其生成一个动态链接库，最后用matlab调用该动态链接库，最终完成了matlab对该算法的软件实现。在以下的章节，将对上述步骤做进一步的阐述。为了使运算结果清晰直观，在matlab中还采用了界面显示结果的方式，使得处理的运算结果更加直观。关于图形用户界面的生成，虽然不属于本设计的主体部分，但本设计也做了一定层面的研究。6.1 matlab语言简介matlab是matrix和laboratory前三个字母的缩写，意思是“矩阵实验室”，是mathworks公司推出的数学类科技应用软件。其dos版本发行于1984年，现已推出了windows版本。经过十多年的不断发展和完善，它已成为国际上公认的最优秀的科技应用软件。它具有如下主要特点：1）具有丰富的数学功能，其中包括矩阵各种运算，如正交变换,三角分解，特征值，常见的特殊矩阵；包括各种特殊函数，如贝塞尔函数，勒让德函数，伽吗函数，贝塔函数，椭圆函数等；包括各种数学运算功能，如数值微分，数值积分，插值，求极值，方程求根，fft，常微分方程的数值解，残数计算等等。也就是说，matlab给使用者提供了足够多的数学工具，以便他们来解决各种各样的理论问题和工程问题。2）具有很好的绘图功能，可方便地画出二维和三维图形，如直角坐标曲线图，极坐标曲线，直方图，对数坐标曲线，网格图，三维曲面图，等高线图，区域图等，同时屏幕上出现的各种图形均可输送到打印机直接打印，或输送到windows的剪贴板内供各种应用软件调用。3）使用方便，便于掌握，便于修改，使用matlab语言编写的程序可直接运行而无须进行编译。具有很友好的图形界面，且使用者可根据自己的需求方便的编写出自己所希望的图形界面。扩充性能很好，使用者可使用此语言编写出自己所需的各种函数，同时采用一定的措施之后可以直接调用c语言的函数及fortran语言的子程序。4）具有若干功能强大的应用工具箱，如语音处理，通信，小波变换，图象处理，统计，仿真，插值，符号运算，系统识别，系统优化，神经网络，数据库，功率系统，地图，偏微分方程，系统控制，模糊逻辑等。5）可以直接处理计算机内的声音文件；安装图形处理工具箱后，可以直接处理各种格式的图形文件，如：bmp,gif,pcx,和jpeg等等。matlab的命令又称为函数，其名称的后缀为.m。matlab语言采用解释运行的方式，在这一点上它的运行方式与basic语言类似，在程序运行的过程中可以随时显示中间的结果，这样便于查找程序中的错误。另外由于用matlab语言编写的程序无须进行编译，因此它本身就像一个超级的函数计算器。由于很多的matlab语言的命令与人们通常的书写习惯类似，因此有人又称之为演算纸似的科学工程计算语言。由于matlab语言本身所具有的种种特点，它特别适合对电子系统进行信号处理，在通信等工具箱内，设有专门为电子系统设计的各种专门的函数，可以进行各种模拟和数字滤波器的设计和分析。matlab语言的另一个突出的优点就是便于学习，容易掌握。一般来说，一个初学者可在几十分钟内学会并掌握它的基本操作命令，进而就可以解决一些比较烦琐的数学运算问题，如矩阵求逆。由于matlab给使用者提供了极为丰富的，现成的数学工具，因此使用者无须掌握很复杂的编程技巧，如排队，指针，堆栈等等。另外，matlab本身提供了十分明确，十分详细的联机帮助文件，便于使用者进行自学，而无须依赖教师指导。6.2 vc中mex程序的建立和设置 一个mex程序实际上就是一个特别的dll，它的输出函数为mexfunction。 那么在vc中就可用project wizard 建立一个dll工程，并为其指定输出函数为mexfunction。1. 建立新的dll工程启动vc，选择菜单file/new,在projects页面中选择mfc appwizard(dll),输入路径名和工程名，并单击ok按钮。这里将工程命名为mextest。2. 设定输出函数 appwizard 将会自动生成如下几个文件：* mextest.cpp* mextest.def * mextest.rc * stdafx.cpp需要mextest.def中指定该dll文件的输出函数，也就是mexfunction。为此，在vc的workspace栏中，单击“fileview”属性页，展开“sourse files”栏，打开文件mextest.def，将其内容进行编译，在“exports”后面加入mexfunction一行。3. 环境设置 由于再编译和连接mex程序的时候，需要用到matlab提供的若干头文件和库文件，因此应该对这些文件的路径进行指定。在matlab6以前的版本中，没有提供必要的库文件，只提供了必要的def文件，必须由用户自己用lib命令手工将def文件转换为lib文件，步骤比较麻烦。在matlab6中，则直接提供lib文件，不需要用户生成了。matlab对于不同版本的编译器提供了不同的库文件，分别放在