（电路与系统专业论文）支持向量机核函数研究及其在语音识别中的应用.pdf

太原理工大学硕士研究生学位论文 支持向量机核函数研究及其在语音识别中的应用 摘要 随着计算机技术的发展，人工智能领域成为研究的热点，具有广阔的 发展前景。语音识别技术是人工智能的前沿技术之一，目的是使计算机能 够听懂人类语言，实现人机语音通信，使计算机操作更加自然、方便。 支持向量机是一种新兴的模式识别方法，可以较理想地解决小样本、 非线性、高维数和局部极小点等实际问题，比隐马尔可夫模型、人工神经 网络等方法具有更好的泛化能力和分类精确性，非常适合用于语音识别。 支持向量机的显著特点是通过引入核函数技术，把低维空间的输入数 据通过非线性变换映射到高维特征空间。描述支持向量机仅需要确定的核 函数和训练集即可。支持向量机分类器性能的质量高低，核函数的选择以 及核参数的取值起着至关重要的作用。 本文首先通过理论和实验分析，研究了不同核函数以及不同核参数对 语音识别结果的影响。确定了g a u s s i a n 核函数在语音识别系统中能够获得 最佳识别结果，并且对g a u s s i a n 核的参数以及支持向量机的惩罚参数进行 了实验选取。然后在对g a u s s i a n 核特性进行分析的基础上，在语音识别系 统中分别应用了两种g a u s s i a n 核的改进形式：u k f 核函数和修正的g a u s s i a n 核函数。 小波变换可以建立信号的多分辨分析，这使经过小波变换后的信号分量 间的相关性降低，且其自相关矩阵呈现特殊的稀疏带状分布。本文将小波 技术与支持向量机核函数结合，构造了m o d e t 小波核函数和m e x i c o 小波核 函数，并应用于语音识别系统中。 实验结果表明，u k f 核函数、修正的g a u s s i a n 核函数以及m e x i c o 小波 核函数支持向量机取得了比g a u s s i a n 核函数支持向量机更优秀的识别结 t 太壁里三奎兰堡主型窒竺兰垡笙苎 一 果，并且没有显著增加算法的空间复杂度和时间复杂度。 关键词：语音识别，支持向量机，核函数，g a u s s i a n 核，小波核 r e s e a r c ho fk e r n e lf u n c t i o no f s u p p o r tv e c t o rm a c h i n ea n d i t sa p p l i c a t i o ni ns p e e c hr e c o g n i t i o n a b s t r a c t w i t ht h e d e v e l o p m e n t o fc o m p u t e r t e c h n o l o g y ，a r t i f i c i a li n t e l l i g e n c e b e c o m e sar e s e a r c h f o c u s ，a n dh a sab r o a da p p l i c a t i o n p o t e n t i a l s p e e c h r e c o g n i t i o nt e c h n o l o g yi s o n eo ft h em o s tf r o n t i e r t e c h n o l o g i e so fa r t i f i c i a l i n t e l l i g e n c e i t sg o a l i st om a k ec o m p u t e r su n d e r s t a n dh u m a n l a n g u a g e ，t o a c h ie v e h u m a n c o m p u t e rc o m m u n i c a t i o n ，i no r d e rt oo p e r a t em o r en a t u r a l l ya n d c o n v e n i e n t l y s u p p o r tv e c t o rm a c h i n e ( s v m ) i san e wp a t t e r nr e c o g n i t i o nm e t h o dr i s i n g f r o m19 9 0 s i tc a ns o l v es o m ep r o b l e m si np r a c t i c e ，f o ri n s t a n c ep r o b l e mw i t h s m a l l s a m p l es i z e ，n o n l i n e a rp r o b l e m ，h i 曲d i m e n s i o n s ，a n dl o c a lm i n i m u m p o i n t s s v mp o s s e s s e sb e t t e rg e n e r a l i z a t i o np e r f o r m a n c ea n dc l a s s i f i c a t i o n a c c u r a c y t h a nh i d d e nm a r k o v m o d e l ( h m m ) a n d a r t i f i c i a ln e u r a l n e t w o r k s ( a n n ) ；t h e r e f o r ei ti ss u i t a b l ef o rs p e e c hr e c o g n i t i o n o n es i g n i f i c a n tc h a r a c t e r i s t i co f s u p p o r tv e c t o rm a c h i n ei st 1 1 ei n t r o d u c t i o n o fk e r n e l f u n c t i o n ，w h i c hm a p si n p u td a t ai nl o w d i m e n s i o n s p a c e i n t o h i 曲一d i m e n s i o ns p a c e s u p p o r tv e c t o rm a c h i n ec l a s s i f i e ri sf u l l yd e s c r i b e db v k e m e lf u n c t i o na n dt r a i n i n gd a t a s e t s t h ec h o i c eo fk e r n e l f u n c t i o na n dm e v a l u eo fi t sp a r a m e t e rd i r e c t l ya f f e c tt h ep e r f o r m a n c eo fs v m c l a s s i f i e r s f i r s tt h r o u g ht h e o r e t i c a la n de x p e r i m e n t a la n a l y s i s ，t h i sp a p e rs t u d i e st h e e f f e c to fd i f f e r e n tk e r n e lf u n c t i o n sa n dd i f f e r e n tp a r a m e t e rv a l u e s t os p e e c h r e c o g n i t i o nr e s u l t s i ti sp r o v e nt h a tg a u s s i a nk e r n e ls v mc o u l do b t a i nb e s t c la s s i f i c a t i o n a c c u r a c yi ns p e e c hr e c o g n i t i o ns y s t e m t h eb e s tp a r a m e t e ro f i i i g a u s s i a nk e m e la n dp e n a l t yp a r a m e t e r o fs v ma r es e l e c t e dd u r i n g t h e e x p e r i m e n t s f u r t h e r m o r e ，t h i sp a p e ra p p l i e st w ok i n d so fi m p r o v e dg a u s s i a n k e m e li n t os p e e c hr e c o g n i t i o ns y s t e m ，u k fk e r n e l f u n c t i o na n dc o r r e c t e d - g a u s s i a nk e r n e lf u n c t i o n w a v e l e tt r a n s f o r mc a nc a r r ym u l t i d i m e n s i o n a la n a l y s i so ns p e e c hs i g n a l m u l t i d i m e n s i o n a la n a l y s i s r e d u c e st h ec o r r e l a t i o na m o n g t h e s i g n a l c o m p o n e n t sa f t e rw a v e l e tt r a n s f o r m ，a n dt h ea u t o c o r r e l a t i v em a t r i xr e p r e s e n t s s p a r s er i b b o n s h a p e dd i s t r i b u t i o n i nt h i sp a p e r ，c o m b i n i n gw a v e l e tt e c h n o l o g y a n ds v mk e m e lf u n c t i o n ，m o r l e tw a v e l e tk e r n e la n d m e x i c ow a v e l e tk e r n e la r e c o n s t r u c t e da n da p p l i e dt os p e e c hr e c o g n i t i o ns y s t e m t h ee x p e r i m e n tr e s u l t ss h o wt h a tu k fk e r n e l ，c o r r e c t e d g a u s s i a nk e r n e l a n dm e x i c ok e r n e lp e r f o r mb e t t e rr e c o g n i t i o na c c u r a c yt h a ng a u s s i a nk e r n e l ， a n dd on o ti n c r e a s et h es p a c eo rt i m ec o m p l e x i t yo f t h es v m a l g o r i t h m k e yw o r d s ：s p e e c hr e c o g n i t i o n ，s u p p o r tv e c t o rm a c h i n e ，k e r n e lf u n c t i o n ， g a u s s i a nk e r n e l ，w a v e l e tk e r n e l i v 太原理工大学硕士研究生学位论文 1 1 课题研究背景与意义 第一章绪论 随着现代科学技术水平的发展，电子计算机已经成为人类日常工作、学习和生活中 不可或缺的实用工具。性能强大的计算机数据处理能力，带动了很多研究领域的飞速发 展，人工智能就是其中一个明显的应用领域。截至目前，与计算机之间交互的人机界面 仍然以键盘、鼠标和显示屏为主，而最为方便快捷和自然的界面应当首推人类的口述语 言。语音识别技术，全称为自动语音识另o ( a u t o m a t i cs p e e c hr e c o g n i t i o n ，a s r ) ，是实现 人机接口应用的前沿技术之一。它的最终极目的是使得计算机能够辨听出人类的口语， 实现真正的人机交互。语音识别是指计算机能够明白人类所表达的意思，听懂人类说的 话，具备人类的“听”的能力，并在此基础上对人类语言进行正确的响应，依据人类的 语言指令完成各种复杂的工作和任务，从而达到人与机器之间的自然语言通信i jj 。 语音识别技术是模式识别的一个重要分支，涉及到多门学科，如信号处理、概率论、 人工智能、信息论和人的听觉机理等等。语音识别需要判定一段输入信号中含有语音内 容，定位语音在输入信号中的位置，并且辨别语音的内容。相对于繁琐的手动输入，语 音输入系统更自然、高效，使用人的语音命令来操作设备的运行，比手动操作快捷方便。 语音识别技术发展近二十年来取得了长足的进步，并且正在逐步从实验室走向市场，进 一步适应生活应用的需求。应用的领域有工业控制、智能家电和玩具，进行语音拨号等 等；智能对话查询系统，让客户使用语音操作计算机，进行方便、自然、体验友好的数 据库检索服务。更可贵的是，对于一些恶劣的工作环境和工作条件，为了避免操作中对 人类可能造成的伤害，采取语音信号控制，既能操作设备，完成任务，又提高了安全性 和工程效率。因此语音识别在对计算机、机器的操作方面，生产过程的控制中以及通信 和服务领域中，都极大地提高了人类生活和工作的效率，并正在逐渐改变人们的生活方 式。 1 2 语音识别发展与现状 2 0 世纪5 0 年代a t & tb e l l 实验室的d a v i s 和b i d d u l p h 等人研制出a u d r y 系统，成 功地实现了一个面向特定人的十个英文数字孤立词发音的语音识别【2 1 。这标志着历史上 1 太原理工大学硕士研究生学位论文 第一次使得机器能够正确辨别出人类的语音，人类正式了语音识别领域的研究。a u d r y 系统的语音识别方式是基于模式匹配实现的，输入信号为滤波器组提取出的语音信号谱 信息。 2 0 世纪6 0 年代和7 0 年代，语音识别随着计算机在科学界的推广应用，取得了一系 列具有里程碑意义的实质性进展。其中最重要的一个成果是在语音信号处理中成功应用 了动态时间规整算法( d y n a m i ct i m ew a r p i n g ，d t w ) ，动态规整算法很好的解决了语音 识别中不等长的对正问题，使匹配算法成功应用在语音识别研究中1 3 】。此外，线性预测 编码( l i n e a rp r e d i c t i v ec o d i n g ，l p c ) 技术被应用在语音信号特征提取中。同时，研究人员 又提出了矢量量化( v e c t o rq u a n t i z a t i o n ，v q ) 和隐马尔可夫模型( h i d d e nm a r k o vm o d e l ， h m m ) n 论。这一阶段的语音识别系统主要基于模版匹配原理，特定人的孤立词发音的 识别成为了可行的有用技术。 2 0 世纪8 0 年代末到9 0 年代，随着新一代智能计算机的性能提高，以及模式识别、 自然语言理解等技术的发展，语音识别的研究进一步得到拓展。尤其是h m m 模型和人 工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 取得了一些关键的技术进展，在语音识别中 得到了成功应用：设计的模型更加细致化、优化了提取的参数，并且提高了系统的自适 应性1 4 1 。这个时期，随着计算机多媒体以及网络电信的高速发展，人们对语音识别系统 从实验室走向日常应用有着迫切要求。人们首次在实验室环境下把大词汇量、连续语音 和非特定人这三个特性集成在同一系统中，实现了高性能的非特定人、大词汇量连续语 音识别系统。许多发达国家的科研机构以及i b m 、a p p l e 和a t & t 等著名科技公司都投 入巨资，对语音识别系统的实用化开展研究。其中比较有影响的是i b m 公司的v i a v o i c e 语音识别系统；d r a g o n 系统公司的n a t u r a l l y s p e a k i n g ；卡内基梅隆大学( c a r n e g i em e l l o n u n i v e r s i t y , c m u ) 研制成功s p h i n x 系统；日本p h i l i p s 公司开发的s p e e c h m e d i a 和 s p e e c h p e a r l 两套软件系统，涵盖了自然语音识别与理解。其中最典型的代表是i b m 的 v i a v i o c e 系统，它的上市标志着大词汇量、非特定人、连续语音识别技术正在逐渐走向 成熟和实用1 5 。 语音识别技术最重要的性能评估准则，就是系统的识别准确率。目前，语音识别技 术基本上已经可以进入实用阶段，尤其是小词汇量孤立词语音识别系统的识别性能已经 显著提高【6 】。如著名的i b m 公司的t a n g o r a 5 0 0 0 识别率达nt 9 7 1 。a t & tb e l l 实验 室的音素识别系统，其识别率已经也达到了9 9 6 。今后，小词汇量孤立词语音识别将 向更快速反应、更高鲁棒性的方向发展。 2 太原理工大学硕士研究生学位论文 我国汉语语音识别技术的相关研究也在持续前行。虽然起步较晚，但是一直在紧跟 国际语音识别先进技术研究的步伐。二十世纪七八十年代，我国的研究手段是主要吸收 和引进国外先进理论和技术，通过实验研究和方法改进，使原本以外语( 多数为英语1 为 研究对象的语音识别技术适应汉语的特殊性质和要求。这一阶段的研究成功的在实验室 条件下，进行了以孤立字小字表、特定人的汉语语音识别。 八十年代至九十年代初期，在8 6 3 计划的支持下，我国的语音识别逐渐有了自主的 研究体系，除了在基础理论和实现技术上取得了较大进展以外，还逐步将研究领域拓展 到连续语音、中大词表、非特定人语音识别领域。九十年代中期以后，中国拥有了一批 自主知识产权的应用产品。其中的典型代表是清华大学开发的连续语音识别系统 t h e e s p ，其对汉字的识别率达到9 8 7 ，拼音自选识别率达到7 9 4 ，句子识别率约 为6 2 5 ，并且具有良好的实时性【7 j 。 目前语音识别研究依然处于曰新月异的高速发展阶段。随着语音识别算法的进步、 微电子技术的飞速发展以及芯片成本的降低，语音识别系统的应用前景将更加广泛，并 且在未来成为人机交互的主要手段和关键技术。 1 3 语音识别面临的问题 语音识别技术研究5 0 多年来，已经取得了很大的成就，并且推出了一些成型的产 品。这些产品虽然在实验中的技术已经达n t 相当精准的效果，但是它们的应用与实际 生活的目标还相差很远，其鲁棒性、灵活性、词汇量大小和识别速度还很大程度上不能 满足实际的需求。造成这种现象的原因有很多，其中最主要的原因是，人类对语音信号 的变化有着很强的抽象性、适应性、分辨和学习能力。而且，丰富的文化知识背景在人 类进行语音信号判断处理时提供了很大的帮助。在这种情况下，计算机语音识别的性能 距离自如对话的梦想仍然很远【8 】。语音识别系统要想走出实验室，迈向更成熟的实际应 用阶段，还需要诸多方面的改进，这主要体现在【9 】： ( 1 ) 可靠性的提高 语音识别系统的可靠性低，主要是因为受到环境因素制约较大。语音采集和应用的 环境往往需要一致，这使系统的应用范围受到限制。一旦系统所处的环境笈生改变，则 系统的性能将急剧下降。另一方面，生活中的实际语音会受到四面八方背景噪声的影响， 比如嘈杂的背景人声、工厂机器轰鸣、街道环境嘈杂、麦克和电话信道的畸变等等。这 3 太原理工大学硕士研究生学位论文 样，语音识别系统的鲁棒性成为其能否实际应用的一个关键因素。 另外，人类在日常生活中说话有连续发音的习惯，并且具有较大的随意性，不可能 总是按照孤立词词表进行单独发音，这就使人类语音具有协同发音的特点。因此研究者 们目前建立的声学单元，就会受到上下文音节的影响从而发生模糊化，甚至变异的现象。 字母或者单词的一部分在发音过程中的音调、重音、音量以及音速不同造成选取建模单 元时会面临很多问题。建模单元之间的相互影响不可避免，如何细化这种影响也是需要 解决的一个问题。 需要注意的是方言也会对语音识别造成很大的影响。各类语言中都普遍具有口语差 异化的现象，尤其在具有八大方言区的汉语语音中：发音不规则，声调变化大，不同词 的组合使用习惯等，这些都对汉语语音识别课题提出了更高的要求。因此对于汉语方言 类型，建立针对性强的语音识别系统，是很有意义的研究方向【l o 】。 ( 2 ) 可识别词汇量的增加 对于一个语音识别系统，它的词表，即能够识别的词汇量大小以及覆盖的领域多少， 决定了它的应用范围是否广阔。另外系统中的声学模型、语音模型的性能也决定了其在 生活中的应用领域。简单来说，在人和机器进行沟通时，如果用户的词语系统不能“听 懂 用户的对话，该系统的应用范围就受到了限制。为了解决这个问题，需要改进系统 声学模型和语音模型建模方法、提高搜索算法效率和发展硬件芯片。未来对语音识别系 统的期望将是词汇量无限制识别，完全满足用户的体验感受。 ( 3 ) 加快识别速度 除了订票系统、医疗服务、银行服务等少数语音识别领域以精准的识别率为最高要 求以外，其他的民用语音识别系统都要求在识别精度和识别速度之间能够达到最佳平 衡，即能够用最快的速度给出比较精确的识别结果。因此，现在降低训练时间和减少计 算复杂性的研究，也是科学人员投入较多的研究热点。求解支持向量机的算法称为“学 习算法”或“训练算法”。目前，经典的积极集方法、梯度下降方法求解支持向量机时， 效率非常低下，并且当样本规模变大时可能会出现不能求解的情况。针对s v m 自身的特 点，一些学者从不同途径出发，尝试着提出了多种快速学习算法。这些算法可以提高支 持向量机学习速度，并可处理大规模的样本数据集。 ( 4 ) 成本的降低 硬件的发展可以推动软件的普及，电子半导体产品的发展对于语音识别系统的推动 非常强劲。大规模生产电子产品，降低它的成本，可以为系统的发展提供一个良好的商 4 太原理工大学硕士研究生学位论文 业环境。但是，由于对功能和性能的要求比较高，语音识别系统在日常生活中应用时， 一般都需要量身定做。大规模成批生产定型产品的需求非常少见；而能够规模生产的产 品功能和性能却又非常有限，虽然产品成本低，然而其应用常常又受到功能和性能瓶颈 的限制j 。期望未来微电子芯片技术得到长足的发展，这样可以将性能较好的语音识别 应用系统固化到微小的芯片或模块上，并将其大规模生产，降低产品成本。这会成为语 音识别技术商业化的一个重要途径，提高广泛应用的可能性。 1 4 本文的主要内容 ( 1 ) 主要工作 本文主要从提高语音识别系统可靠性和增加可识别词汇量的角度出发，对支持向量 机核函数选择与构造角度出发，对支持向量机核函数在语音识别中的应用进行了比较系 统的研究。具体的研究内容主要包括如下几个方面： ( a ) 深入、仔细地分析了语音识别的总体流程，研究了语音识别的基础原理，概述 了语音数据的采集方式和自身特点，简要介绍语音识别系统需要改进的方面。目前国际 上流行的语音识别的方法主要有：隐马尔可夫模型、人工神经网络方法和支持向量机等。 针对新兴的支持向量机的原理，以及其统计学习理论基础进行了介绍。 ( b ) 研究了不同核函数，以及不同核参数对语音识别结果的影响，确定了相对适合 语音识别应用的核函数，以及敏感影响识别结果的参数范围，完善了s v m 核函数在语 音识别中的应用研究。 ( c ) 研究了g a u s s i a n 核函数的特性和优点，在其基础上对g a u s s i a n 核函数进行了改 进，从而选取了兼顾学习能力和泛化性能的核函数，并分析了其用于语音识别的可行性 及实用性。通过实验及理论分析，进一步提高了语音识别结果。 ( d ) 分析了小波理论的优点，并将其与支持向量机核函数结合，构造了小波核函数 支持向量机。通过实验验证了小波核函数支持向量机在语音识别系统中的有效性，并与 基于g a u s s i a n 核函数的支持向量机的语音识别结果进行了对比。 ( 2 ) 结构安排 本文主要分为五章，在这里对各章的题目和主要内容统一做介绍： 第一章绪论。引出了语音识别的研究背景和发展该领域的重要意义，回顾了其发 展历程，并针对其现状分析了语音识别面临的难题，展望了它在未来的发展方向。在章 5 太原理工大学硕士研究生学位论文 节末尾总结了本文的研究工作，并安排了以后的章节内容。 第二章基于支持向量机的语音识别。主要对基于支持向量机的语音识别系统的主 要结构做了分析：语音信号的处理、模型训练及模式匹配、统计学习理论及支持向量机 基础理论。 第三章改进的g a u s s i a n 核函数s v m 。在章节开始对常见核函数在语音识别系统 中的应用做了实验分析。分析了g a u s s i a n 核函数的优点，并在此基础上在语音识别系统 应用了改进的g a u s s i a n 核函数，使其更适应语音识别系统的要求，获得了更好的实验效 果。 第四章小波核函数s v m 。主要研究小波核函数在语音识别中的应用，证明了 m o r l e t 小波函数和m e x i c o 小波函数满足支持向量机核函数的条件，并对其在语音识别 系统中的识别结果进行了分析。最后对本文应用的四种核函数进行了汇总和对比。 第五章总结和展望。总结本文的主要研究工作及取得的研究成果，对从事的研究 领域的发展做了进一步展望，分析了本文的研究需要进一步拓展的方面。 6 太原理工大学硕士研究生学位论文 第二章基于支持向量机的语音识别 2 1 语音识别概述 语音识别技术是一门交叉学科，神经生理学、声学、语音语言学、计算机科学、模 式识别和人工智能等诸多学科都与语音识别有密切的关系。 依照不同的分类标准，语音识别一般有以下几种分类方法【1 2 】： ( 1 ) 按照可识别词汇量的多少分类，可分为小词汇量、中等词汇量和大词汇量语音 识别。其词汇规模通常分别为】o 1 0 0 词、1 0 0 5 0 0 词和5 0 0 词以上。随着词汇量的增加， 词汇之间发生混淆的几率必然大幅提升，语音识别系统的识别率自然会随之降低。 ( 2 ) 按照发音方式分类，可分为孤立词识别、连接词识别、连续语音识别等。孤立 词语音识别是指待识别语音是词汇表中的一个词条，且每个输入语音词条后都必须有明 显停顿才可能被系统识别；连接词语音识别是指待识别语音是词汇表中的若干个词条可 以以慢速连续的方式说出，但是每个词都必须清晰可辨，这时要求系统需要甄别一些连 音现象：连续语音识别是指待识别语音是以日常自然的叙述，语音输入是自然流利的连 续语音输入，系统需要解决大量出现的连音和变音问题。 ( 3 ) 按照说话对象分类，可分为特定人和非特定人语音识别。特定人语音识别系统 只能针对特定的单个人或多人的语音进行识别：非特定人语音识别与说话者无关，要求 系统对任何人的发音都可以进行识别。这种系统比较复杂，要求针对不同人建立不同的 语音识别模型，但是其应用范围比较广阔并且通用性好，是语音识别非常重要的一个发 展方向。 虽然不同的语音识别系统设计和实现的细节有所不同，但是它们都包括相同的基本 结构和功能模块。语音识别系统一般包括语音信号的预处理、特征提取及训练识别模型 三大部分，图2 1 为语音识别系统的基本结构。 输 了 二墅塑彳模式匹配目 图2 一】语音识别系统的基本结构 f i g u r e 2 一】 b a s i cs t r u c t u r eo fs p e e c hr e c o g n i t i o ns y s t e m 7l 果 太原理工大学硕士研究生学位论文 输入语音的预处理和特征提取可以统称为语音信号的处理过程，语音信号处理过程 后，系统得到特征矢量参数。训练识别模型包括参考模式库和模式匹配两个模块。参考 模式库对应训练阶段，系统利用输入的特征矢量参数，通过特征建模建立训练语音样本 的参考模式库乃】。模式匹配对应识别阶段，比较输入未知语音的特征矢量与参考模式库 之间的相似度，选择匹配度最高的语音信号模板作为识别结果，并输出。 2 2 语音信号的处理 1 语音信号的预处理 语音信号预处理，主要包括预滤波、预加重、加窗和分帧1 1 等内容。 预滤波的目的有两个：一是防止混叠干扰，抑制输入信号各频域分量中，频率超过 采样频率1 2 的分量；二是抑制交流电源工作时产生的频率干扰。由于语音信号的频率 分量主要集中在2 0 0 - - 3 4 0 0h z 的范围内，因此选用的采样频率应不低于8 k 总。经过预 滤波和采样后，将语音信号使用模数转换器转换为二进制数码。 大约8 0 0 h z 以上的语音信号高频端会以6 d b o c t 的速度衰减。对语音信号进行预加 重的目的，是为了按6 d b o c t 的比例对信号加以提升，加重语音信号中的高频分量。预 加重通常采用具备提升高频特性的预加重数字滤波器实现，传递函数为 h ( z ) = 卜口z 叫 ( 2 1 ) 其中，口为预加重系数，其值接近于l ，一般典型的取值处于0 9 4 - - - 0 9 7 区间。 语音信号是一种典型的非平稳时变信号，浊音的基音周期、清浊音信号幅度和声道 参数等随着时间缓慢变化。但是一般认为在- - d , 段时间里( 通常为1 0 3 0 毫秒) 语音信号 具有相同的物理特征参数，即语音信号具备短时平稳特性。因此可以把语音信号划分为 一些短段来进行处理，这些短段称为帧。为了避免帧与帧之间语音特性变化度过大，相 邻两帧之间需要有一部分重叠( 称为帧移) 。帧移与帧长的比值一般取1 2 或1 3 。语音信 号分帧的实现方式是采用可移动的有限长度窗口进行加权1 1 4 】。常用的窗包括矩形窗和汉 明窗( n a m m i n g ) 窗两种。矩形窗窗函数为 w = 记眍菇一 亿2 ， 汉明窗窗函数为 8 太原理工大学硕士研究生学位论文 w = 0 5 4 也4 6 “肛d 磊肛1 ( 2 3 ) 式中的为帧长。对于语音信号的时域分析来说，窗函数的选择非常重要。矩形窗的弊 端是会产生频谱泄漏；而汉明窗可以有效地克服频谱泄漏现象，应用范围也最为广泛。 2 语音信号的特征提取 特征提取目的是提取反映语音本质特征的参数。特征提取的基本思想，是进行时域 和频域的分析预处理后的语音信号，提取出代表性高的有效参数序列，去除无关的冗余 信息，供后续的训练和识别系统使用，从而提高识别的精度和系统的性能。 按照不同的分析领域，语音信号的特征参数可以分为时域和变换域两类。时域特征 参数包括短时过零率、共振峰和基音周期1 1 5 】等；变换域语音特征参数包括m e l 频率倒谱 系数1 6 】、线性预测系数和过零峰值幅度特征等。 m e l 频率倒谱系数( m e lf r e q u e n c yc e p s t r u mc o e f f i c i e n t s ，m f c c ) 是一种结合了人耳 听觉感知特性和语音特性的特征参数。人耳对声音频率的主观感知是非线性的：人耳感 知能力与声音频率的关系，通常以1 0 0 0 h z 为界，低于10 0 0h z 呈线性关系，高于10 0 0h z 呈对数关系。为了尽可能模拟这种非线性感知特性，人们提出了能够表达感知频率与实 际频率的对应关系的m e l 频率。m e l 频率的定义为 l “= 2 5 9 5 l g ( 1 + f 7 0 0 ) ( 2 ：4 ) 其中，为语音的实际频率，单位是勉，l d 是m e l 频率。 m f c c 首先将语音频谱转化到非线性的m e l 频标频谱，然后再变换到倒谱域。由于 充分模拟了人的听觉特性，m f c c 语音特征具有抗噪能力强和识别性能高等特点。 m f c c 特征参数提取原理如图2 2 所示，具体计算步骤如下： 型卧叵( 田h 堕野卧匪登霉 图2 2m f c c 特征提取原理框图 f i g u r e 2 2 f e a t u r ee x t r a c t i o no fm e if r e q u e n c yc e p s t r a lc o e f f i c i e n t s ( 1 ) 语音信号x ( n ) 经过预滤波及加窗分帧后，通过离散傅立叶变换( d i s c r e t ef o u r i e r t r a n s f o r m ，d f t ) 得到其频谱；( 2 ) 求出语音的能量谱，即频谱幅度的平方。然后通过一 组均匀分布在m e l 频率上的三角带通滤波器，求出各滤波器输出；( 3 ) 对所有滤波器的 输出做对数运算，以及离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) ，求出语音信号的 倒谱系数，即可得到m f c c 特征参数。 9 太原理工大学硕士研究生学位论文 从目前来看，m f c c 已逐渐取代线性预测系数，成为最常用的语音特征参数。本文 的实验中，所选用的语音库的特征参数也是m f c c 参数。 3 归一化 应用支持向量机进行训练和识别之前，对输入样本集进行归一化操作非常重要。归 一化的最大优点在于可以统一基本度量单位，避免同一维参数中，过大参数的权值作用 掩盖掉较小参数的权值作用。此外，归一化还可以有效简化计算过程中的数值复杂度， 加快收敛速度。因为核函数值涉及特征向量的内积计算，过大的属性值可能会造成计算 机的数值错误【1 8 】。本文采用将参数值归一化到【- 1 ，1 】的最大最小线性归一法，公式为： ，：一】+ 2x 三二塑丝竺 ( 2 5 1 。 m a x v a l u e m i n v a l u e 。 其中x 和y 分别为归一化前后的原始值和目标值，m i n v a l u e 和m a x v a l u e 为同一维属性 中的最小值和最大值。 2 - 3 模型训练及模式匹配 模型是描述信号本质的数学方法。所有的模型都需通过训练过程，才能用于识别。 语音的训练识别模型就是根据语音特征的模式，进行训练和分类，最终输出识别结果。 常用的语音训练识别模型有以下四种：动态时间规整模型( d y n a m i ct i m ew a r p i n g ， d t w ) 、隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 、人工神经网络( a r t i f i c i a ln e u r a l n e t w o r k s ，a n n ) ，以及本文研究的支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 模型i l 9 1 。 d t w 应用动态规划的方法，成功地解决了语音识别模式匹配中的一个难题特征 参数序列进行比较时时长不等。由于每个词的每一遍语音形成一个模板，d t w 比较适 合小词汇量孤立词特定人识别系统。在识别时用d t w 算法分别求得待识别矢量序列与 每个模板的累计失真，然后判别该矢量序列属于累计失真最小的一类。但d t w 不适应 于连续词大词汇量语音识别系统，且鲁棒性比较差，目前已被h m m 和a n n 等替代。 2 3 1 隐马尔可夫模型 h m m 语音识别模型是一种基于统计理论的识别模型，目前已经在语音处理的各个 领域中获得了广泛的应用。h m m 是在马尔可夫链的基础上发展起来的，它的出现使自 然语音识别系统取得了突破性的进展。h m m 有效地将动态规整方法融入到模型的核心 中，因此在处理离散时间序列的观测数据时得到了广泛的应用。h m m 是一种描述随机 1 0 太原理工大学硕士研究生学位论文 过程统计特性的，用参数表示的概率模型。它使用两个随机过程共同描述信号的统计特 性：其中一个是隐蔽的具有有限状态的马尔可夫链；另一个可观测的随机过程是与马尔 可夫链的每一状态相关联的，隐马尔可夫链的特征要依赖可观测到的信号特征揭示。 h m m 方法由于不需要时间规整，可大大节约判断时算法的时间复杂度和空间复杂度， 并且很好的表达了语音信号的整体非平稳性以及局部平稳性1 2 ，现在已经成为语音识别 的主流技术，目前已经在连续语音识别系统取得了成功的应用。 2 3 2 人工神经网络 人工神经网络是2 0 世纪8 0 年代末提出的，在模拟人脑神经组织的基础上发展起来 的一种计算系统。它构造了一种广泛连接大量的简单处理单元的复杂信息处理网络。其 中处理单元及其相互连接模式，是为了在某种程度上模拟人脑功能的基础特性( 如学习 记忆、知识概括以及抽取输入信息特征的能力) ，两者的设计借鉴了人脑神经元的结构 及其连接机制，因此该计算模型具有接近于人的认知过程的特征。a n n 不具备h m m 模型的动态时间规整性能，但是具有自适应性、鲁棒性、容错性和学习特性以及自学、 联想、对比、推理和概括能力。 a n n 通过大量处理单元搭建成网络，利用大型拓扑结构实现识别系统，来表达语 音基本单元的特性，从而表达相应的语音或者语义信息。这种系统可以通过一次次的训 练过程积累经验，不断改善自身的性能，在以后的识别过程中更加精确。a n n 在语音 识别中已经得到广泛的应用，并且具有很大的发展潜力。但是尚存在一些缺点，例如训 练、识别时间过长，网络结构难以确定，局部最优，容易出现过学习现象等【2 。 2 3 3 支持向量机 支持向量机是v l a d i m i rv a p n i k 和他的a t tb e l l 实验室小组于1 9 9 5 年提出的一种 新型模式识别方法。s v m 是一种学习算法工具，具有多维预测功能，可以把抽象的学 习理论转化为通用的实际预测算法。 s v m 算法是一种专门研究有限样本预测的学习方法，它使用结构风险最小化 ( s t r u c t u r a l 硒s km i n i m i z a t i o n ，s r m ) 准则代替了经验风险最小化( e m p i r i c a lr i s k m i n i m i z a t i o n ，e r m ) 准则。通过引入核函数的概念，s v m 较好地解决了模式识别领域 的一大矛盾模式分类器复杂性和推广能力之间的矛盾，引起了学者的极大关注。作 为一种模式识别方法，支持向量机可以直接应用于语音识别过程，是一条解决语音识别 1 1 太原理工大学硕士研究生学位论文 问题的新途径。 2 4 统计学习理论 现代人工智能技术基于数据的机器学习理论，它的途径主要是从观测的样本数据中 寻找规律，从而对未知的数据进行预测。目前机器学习的方法都是基于统计学理论，传 统的统计学理论有一个假设前提，即样本数目趋于无穷大。然而生活中的机器学习问题 的样本都采集于实际生活，数量往往非常有限。这导致机器学习在日常应用时表现不佳。 统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y , 简称s l t ) 1 2 2 正是研究有限样本数量下，如 何得到统计规律的学习方法。v a p n i k 等人从2 0 世纪6 0 年代开始就着手从事这方面的研 究，到9 0 年代中期该理论得到不断的充实与发展。同时由于人工神经网络等机器学习 方法，逐渐地暴露出越来越多难以克服的理论缺点，因此人们把目光转向如何从本质上 研究机器学习问题。统计学习理论有一套坚实的数学理论基础，同时将些经典的方法 纳入到它的框架中，并由此发展出了一种新的通用的学习方法支持向量机。 2 4 1 机器学习问题的数学模型 机器学习的目的是依靠给定的训练样本，估计系统输入输出之问的依赖关系，使系 统能够对未知输出做出尽量准确的预测，其基本模型可以如图2 3 所示。 出多 图2 3 机器学习的模型框图 f i g u r e 2 3 s c h e m a t i cd i a g r a mo fm a c h i n el e a r n i n gm o d e l 其中输入x 是独立同分布的样本，由未知概率分布函数f ( x ，y ) 产生；系统( s ) 对每一个 输入x ，产生一个输出y ，输入和输出之间符合一个未知的但是固定的条件分布概率函 数f ( y l x l ；学习机器( l e a r n i n gm a c h i n e ) 利用给定的训练样本，估计系统的输入输出之 间存在的依赖关系，然后对未知样本做出尽可能准确的预测输出。 机器学习问题的本质，就是根据观测样本集合 ( 而，乃) ，( 而，y ：) ，( _ ，乃) ，在函数 1 2 太原理工大学硕士研究生学位论文 集 ( x ：口) ) 中寻找一个最优函数厂( 工：口) 来估计输入输出变量之间的依赖关系，并且使 得期望风险 月( 口) = i l ( y ，( x ，口) ) 扭( x ，j ，) ( 2 6 ) 达到最小。其中o l 为广义参数， f ( x ，口) ) 为任意的函数集；( j ，口) 为预测函数； l ( y ，厂( 工，口) ) 描述用f ( x ，口) 对依赖关系进行预测时，预测值与真实值的差值( 预测损 失) ，称作一个损失函数。模式识别的预测函数通常是符号函数，即y 只有两个输出值 y 一1 ，+ 1 ) 。这样损失函数可定义为： 砌川川) ) = o 劫1 ：i y 坝= f ( x 邶, a ； ( 2 - 7 ) 当y f ( x ，口)