（信号与信息处理专业论文）基于ewb的语音控制电工电子实验cai系统的研究.pdf

摘要 基于e w b 的语音控制电工电子实验c a i 系统的研究 硕士研究生邓金星导师赵力教授 东南大学无线电工程系 本文通过分析电子技术实验教学的现状和对c a i 理论的探索，结合职业技 术教育的特点，提出了利用语音控制的基于“虚拟电子工作台( e w b ) ”软件的 电子技术实验c a i 系统，并从几个方面进行了电子技术实验c a i 系统设计工作。 在制作该实验系统过程中，首先研究了语音识别技术在c a i 系统中的应用，利 用语音控制代替手工操作，增强了c a i 系统的实用性和学生使用c a i 系统的兴 趣；其次研究了基于e w b 的电子技术实验c a i 系统的制作流程，阐述了系统制 作的各个环节，较详细地介绍了a u t h o r w a f e 的集成功能和部分实用技术，并通 过实例介绍了其具体应用。对系统的应用对象、应用范围和应用效果，本文也作 了简单介绍。 本系统具有助教助学双重功能，通过本系统的软件学习模块，学生可自学e w b 电路仿真软件的基本操作，将本系统应用到电子技术实验教学，可基本完成教学 演示、学生实验和电路设计的前期工作。利用a u t h o r w a r e 课件制作软件和e w b 电 路仿真软件，快捷、方便地开发电子技术虚拟实验系统，是一条利用现代教育技 术手段改进电子技术实验教学的可行之路。本文提出了学习e w b 软件的新型学习 方法，对虚拟实验的实验模式和实验方案作了一些探索，对电子技术实验c a i 系 统的发展方向也作了简单介绍。 关键词：电子技术，实验教学，语音识别，e w b ，c a i a b s t r a c t t h er e s e a r c ho ns p e e c hc o n t r o l l e dc a i s y s t e mo f e l e c t r i c a la n de l e c t r o n i c e x p e r i m e n tb a s e do ne w b c a n d i d a t e ：d e n gj i n x i n g ， s u p e r v i s o r ：p r o f e s s o rz h a ol i r a d i oe n g i n e e r i n gd e p a r t m e n t , s o u t h e a s tu n i v e r s i t y t h r o u g ha na n a l y s i so f p r e s e n te l e c t r o n i c st e c h n o l o g yt e a c h i n ga n dap r o b ei n t o t h ec a it h e o r y , a n dc o m b i n i n gw i t ht h ec h a r a c t e r i s t i c so fv o c a t i o n a lt e c h n o l o g y e d u c a t i o n , t h et h e s i sp u t sf o r w a r dt h eb a s i ci d e ao fa p p l y i n gc a ii ne l e c t r o n i c s t e c h n o l o g ye x p e r i m e n tt e a c h i n ga n dt h ep r i n c i p l e so fd e s i g n i n gs u c hac a is y s t e m ， m e a n w h i l ec a r r i e so nt h ed e s i g nw o r kf r o mf o u ra s p e c t s i nt h ep r o c e s so f m a k i n gt h e s i m u l a l e i ：le x p e r i m e n ts y s t e m ，t h eo r d i n a r ym a k i n gp r o c e s so fc a ic o u r s e w a r ei sf i r s t i n t r o d u c e d , w i t ha ne l a b o r a t i o no fe a c hl i n ki nt h ep r o d u c t i o nc h a i na n da c o m p a r a t i v e l yd e t a i l e dd e s c r i p t i o nt ot h ei n t e g r a t i o nf u n c t i o no fa u t h o r w a r ea n dp a r t o fi t sp r a c t i c a lu s et e c h n o l o g y t h ec o n c r e t ea p p l i c a t i o n so fi ti nt h es y s t e ma r e p r e s e n t e dt h r o u g hl i v i n ge x a m p l e s ，a n das h o r ti n t r o d u c t i o nt ot h eo b j e c t , r a n g ea n d e f f e c to f a p p l i c a t i o ni sa l s og i v e n t h es y s t e mh a sad o u b l ef u n c t i o n , w h i c ha s s i s t sb o t hl e a r n i n ga n dt e a c h i n g s t u d e n t sa r ea b l et ol e a r n b y t h e m s e l v e st h eb a s i c o p e r a t i o n s o fe w b c i r c u i t - s i m u l a t e ds o f t w a r et h r o u g ht h ee x e c u t i o no f m o d u l e si nt h es y s t e m t h eu s eo f t h es y s t e mi ne l e c t r o n i c st e c h n o l o g ye x p e r i m e n tt e a c h i n gc a l lo nt h ew h o l e a c c o m p l i s ht h ed e m o n s t r a t i o n so ft h em a t c h i n gt e x t b o o k s ，t h ee x p e r i m e n t sf o r s t u d e n t sa n d p r o p h a s e w o r ko fe l e c t r i cc i r c u i t d e s i g n t h e u s eo ft h e c o u r s e w a r e m a k i n gt o o l a u t h o r w a r e a n de w bc i r c u i ts i m u l a t i o ns o f t w a r ef o r r a p i d l ya n dc o n v e n i e n t l yd e v e l o p i n ge l e c t r o n i c st e c h n o l o g ys i m u l a t e de x p e r i m e n t s y s t e mi saf e a s i b l ew a y t om o d e r n i z et h ee d u c a t i o n a lm e t h o d si ne x p e r i m e n tt e a c h i n g t h i sk i n d o fn e wt e a c h i n gm o d e ，h a v eb e c o m et h et r e n do ft h ee d u c m i o no f e x p e r i m e n t ，a l s ow i l lp r o d u c et h ep r o f o u n di n f l u e n c et ot h et r a d i t i o n a lt e a c h i n gm o d e ， t e a c h i n gt h o u g h t ，c o n t e n to f c o u r s ea n dt h et e a c h i n gc o n s t r u c t i o n k e y w o r m ：e l e c t r o n i c st e c h n o l o g y ，s p e e c hr e c o g n i t i o n ，e w b ，c a i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名： 期：鳗：! ： 导师签名：日 第一章绪论 第一章绪论 1 1 引言 教育是面向未来的事业，当代的教育与社会发展存在着一种内在的张力，这 种张力是推动教育发展的建设性力量。以计算机及其网络化为代表的信息技术的 发展，正逐步将人类带入一个数字化、网络化、信息化的新时代。现代信息技术 如此深刻地影响着人类生存方式和实践活动方式，也必将对教育这一人类特殊的 活动产生影响。现代信息技术在教育领域的广泛应用与迅猛发展，正在动摇和瓦 解着现行教育的基础，为未来教育发展提供了新的机遇。因此要求我们以新的思 维方式来考虑教育改革，以新的视觉来设计、规划教育的未来，从而使教育不仅 适应未来社会的发展，而且成为影响社会未来的积极因素。 1 2 职业学校电类专业实验教学现状 职业技术教育是教育的重要组成部分，它以培养技能型，应用型人才为目 标，突出的是理论知识与实践知识的紧密结合。培养的人才具有一定的专业理论 知识，同时具有较强的实践操作能力。职业教育的理论教学是为应用服务的，以 必需的，够用为度，不讲究知识的系统性和完整性，但必须为人才的可持续发展 提供必需的理论基础。而实验教学是培养技能型，应用型人才的主要途径，是人 才服务于社会的技能基础。在电类专业职业人才的培养过程中，实验教学在教学 的地位更是举足轻重的。但是目前职业学校电类专业的实验教学中普遍存在一些 问题，主要表现在以下几个方面： 1 ，实验室管理落后：学校现有实验室的管理基本上是封闭式的，实验室仅 仅是在开实验课时使用，期于时间基本处于闲置状态。学生不能自由地进入实验 室，这时培养学生的实际动手能力十分不利。 2 、资金不足，实验室投入不够：职业学校在当前的教育形势下，存在严重 的资金不足问题。学校主要通过财政拨款和学生的学费来搞建设。在学生生源不 足的情况下，投入较大的资金搞某个专业的实验室建设也不切实际，所以非电类 专业的职业学校普遍存在电类专业实验室投资不足的问题。 3 、实验手段和方法落后：由于投入不够，所以实验设备老化，实验技术落 后，跟不上专业发展的需求。实验仍处于验证性阶段，甚至半数验证性的实验也 无法开出。造成的结果只能是从书本到书本，做几个简单的实验只不过是应付教 学的需要，把书本上抽象符号物理化、实物化而已，与培养学生动手，观察、思 维、创新等诸多方面的能力相去甚远。 第一章绪论 1 3 适合职业学校电类专业的实验教学模式 为了有效地解决电类专业实验教学存在的问题，研究利用具有计算机仿真功 能的电子设计自动化工具，研究构建起一种基于计算机工作平台的新型电类专业 实验教学模式，即c m 电类专业实验教学模式已经越来越被广大职业教育学校普 遍重视。c a i 电类专业实验教学并非是传统实验与e d r 技术的简单叠加，而是从 实验教学实际出发，重新组织了实验教学过程，充分利用职业学校的计算机资源， 最大限度地发挥计算机在电类专业实验教学中的作用。 电类专业新型的实验教学模式是一种结合计算机仿真技术、电子设计自动化 ( e d a ) 和多媒体实验教学c a i 的一种实验教学模式。根据职业学校学生的基础 和特点，选用e l e c t r o n i c sw o r k b e n c h ( 虚拟电子工作台) 和p r o t e l 9 9 软件作 为实验教学应用软件是很重要的工作。实验教学的硬件配置为计算机房一个( 可 以兼用) ，电子电工实验室一个( 带基本仪器和实验箱) 。这样不需要很大的投入 就可通过计算机创造出来的形、图、文、声并茂的多媒体教学环境，动态地提供 信息，使信息的展示丰富多彩、有声有色，有利于学生变被动接受信息为主动接 受信息，有利于激发学生的学习兴趣，提高学习效率，提高教学质量。 学生通过这样的实验，可以增加对电路的感性知识，掌握各种仪器的基本功 能，使用方法和电路参数的测试方法。由于学生是初次接触电路，元件管脚认错、 参数不准确是不可避免的。学生在计算机上做模拟实验时，可以随时进行改变元 件接线位置、改变元器件的参数、更换元器件等操作，这样不仅可以节约实验时 间，而且可以避免元件的损坏和仪器的损坏。对于验证性的实验，需要编写多个 有关电路原理、模电、数电的实验报告以提供给学生进行虚拟实验时用。运用 e w b 软件进行虚拟实验，把电子电工技术的理论通过计算机和实验教学有机地结 合起来了。 1 4 c a i 与语音信号处理的关系 要使计算机能真正完全代替教师，计算机应该具有语音输入和语音输出的功 能，既计算机具有听觉，能够“听懂”人类的口头语言，这就是语音识别的功能； 计算机还要能够“说话”，说出人类能听懂的语言，这就是语音合成的功能。无 论是人与人之间，还是人与计算机之间的语音通信，语音信号处理，特别是语音 信号数字处理的理论和技术，都具有特别重要的作用。所以我们提出了利用语音 控制的基于“虚拟电子工作台( e w b ) ”软件的电子技术实验c a j 系统，研究了 语音识别技术在c a 系统中的应用和利用语音控制的电子技术实验c a i 系统。 让计算机听懂人的语言是人类自计算机诞生以来梦寐以求的理想。目前的语 音识别技术研究水平还远远不能达到使计算机与人类之间能够自然交流的这个 2 第一章绪论 终极目标，这是一项公认的极具挑战性和市场价值的工作。 当今，语音识别产品在人机交互应用中已经占到越来越大的比例。比较成功 的产品有在1 9 9 7 年几乎同时推出的m m 公司的v i a v o i c e 连续语音识别系统( 目 前有八种版本，包括中文，平均识别率可达9 0 ) 和d r a g o ns y s t e m s 公司的类 似产品n a t u r a l l ys p e a k i n g ( 获得c o m d e x 9 7 三项大奖：p cw e e k 颁发的最佳应 用软件奖、p cm a g a z i n e 颁发的技术优秀奖和p cc o m p u t i n g 颁发的最有价值奖) ， 以及i n t d 和法国标致一雪铁龙公司联手推出的声控汽车等。另外，m i c r o s o r 公 司在引入了c m u 建立s p h i n x ( ) 系统的几乎所有主要研究人员以后，在9 7 年的c o m d e x 大会上还宣布同著名语音识别厂家l e m o u t & h a u s p i es p e e c h p r o d u c t s 公司建立联盟，旨在共同努力加速实施语音技术在操作系统上的实现。 同时s u n 公司也与a p p i e 、i b m 、n o v e l l 、p h i l i p s 和t i 等公司联合进行基于j a v a 的语音产品的开发，以及将语音识别技术集成到j a v a 应用之中。目前语音识别 的算法主要是基于隐马尔可夫模型( h m m ) ，与矢量量化( v q ) 。 1 5 本论文结构安捧 第一章绪论：介绍了中等职业学校电类专业实验教学现状以及研究和开 发电工电子技术实验c a i 系统软件开发的必要性。 第二章e w b 系统概述：介绍了e w b 软件的特点和在电工电子技术实验c a i 系统中的应用。 第三章语音信号处理基础和语音识别技术的原理和应用：介绍了语音特征 参数分析和语音识别技术方法。着重研究了基于矢量量化( v q ) 和动态时间弯节 ( d t w ) 下的语音识别方法。 第四章基于e w b 的语音控制电工电子实验c a i 系统的开发研究：介绍了电 类实验c a i 系统的设计原则以及系统的制作过程。 第五章介绍了新型c a i 系统的应用实现及教育测量与评价。 第六章总结与展望：总结了新型c a i 系统的特点、应用范围及存在的问题， 并对进一步改进作了展望。 1 6 本章小结 将电路仿真技术融合到多媒体c a d 课件中进行虚拟实验，起到了沟通理论 教学与实践教学的桥梁作用，实现了实验教学手段的创新。综上所述，在计算机 日益普及、计算机网络正在成为主流的今天，c a i 软件有着广阔的前景，c a i 将 成为传授知识、训练的重要方式，在实验教学中引入c a i 技术势在必行。 第二章e w b 应用软件简介 第二章e w b 应用软件简介 2 1 引言 e w b 英文全称为e l e c t r o n i c sw o r k b e n c h ( 电子工作平台) ，是加拿大 i n t e r a c t i v ei m a g et e c h n o o g i e sl t d 公司于1 9 8 8 年开发的一种电子电路 计算机仿真设计软件。该软件很好地解决了电子线路设计中既费时、费力又费 钱的问题，给电子产品设计人员带来了极大的方便和实惠，还可以利用电脑辅 助设计进行电路仿真，有效地节省了开发时间和成本。同时也非常适合于电子 课程的辅助教学，有利于提高学生对理论知识的理解和掌握，有利于培养学生 的创新能力。 2 2e 髓软件的特点 e w b 主要有以下特点： 集成化、一体化的设计环境 可任意地在系统中集成数字及模拟元件，完成原理图输入、数模混合仿真 以及波形图显示等工作。当用户进行仿真时，原理图、波形图同时出现；当改 变电路连线或元件参数时，波形即时显示变化。 界面友好、操作简单 单击鼠标，用户可以轻松地选择元件；拖动鼠标，可将元件放入原理图中。 调整电路连线、改变元件位置、修改元件属性也非常简单。此外，e w b 还有自 动排列连线的功能，使画原理图更加美观、快捷。 真实的仿真平台 e w b 的元件库提供了数千种电路元器件，既有无源元件，也有有源元件； 既有模拟元件，也有数字元件；既有分立元件，也有集成元件，还可以新建或 扩充已有的元器件库。e w b 还提供了齐全的虚拟仪器，如示波器、信号发生器、 万用表、波特图仪、频谱仪和逻辑分析仪等。用这些元件和仪器仿真电子电路， 4 第二章e w b 应用软件简介 就如同在实验室做实验一样，非常真实，而且大可不必为损坏仪器和元件而烦 恼，也不必为仪器过时、测量精度不够而一筹莫展。 分析方法多 e w b 不但可以完成电路的稳态分析和暂态分析，时域分析和频域分析、器 件的线性分析和非线性分析、电路的噪声分析和失真分析等常规分析，而且还 提供了离散傅里叶分析、电路的零及点分析、交直流灵敏度分析和电路的容差 分析等1 4 种分析方法，用户可以利用这些分析工具，清楚而准确的了解电路的 工作状态。 2 3 电子电路的仿真方法和步骤 用e w b 软件对电子电路进行仿真有两种基本方法。一种方法是使用虚拟仪 器直接测量电路，另一种方法是使用分析法使用电路。 一，使用虚拟仪器直接测量电路 用该方法分析电路就像在实验室做电子电路实验一样。具体步骤如下： 在电路工作窗口画所要分析的电路原理图。 编辑元器件属性，使元器件的数值和参数与所要分析的电路一致。 在电路输入端加入适当的信号。 放置并连接测试仪器。 接通仿真电源开关进行仿真。 二、使用分析方法分析电路 用e w b 软件提供的1 4 种分析方法仿真电子电路的具体步骤如下： 在电路工作窗口画所要分析的电路原理图。 编辑元器件属性，使元器件的数值和参数与所要分析的电路一致。 在电路输入端加入适当的信号。 显示电路的节点。 选定分析功能、设置分析参数。 单击仿真按钮进行仿真。 在图表显示窗口观察仿真结果。 第二章e w b 应用软件简介 2 4 电路原理图的输入方法 要想进行电子电路的仿真，首先必须在电路工作窗口画电路原理图，那么 该如何抓取和放置电路元器件呢? 又该如何连接电路呢? 下面分别介绍。 抓取元器件 单击元器件库，在库中选择所需要的元件或仪器，按住鼠标左键将其拖至 电路工作窗口。 调整元件的位置和方向 如果元件的位置不合适，可以用鼠标指向该元件，当箭头变成“手”的形 状时，按住鼠标左键，就能将元件拖动到电路工作窗口的任何位置；如果元件 的方向不符合要求，可以通过单击元件，激活工具条下的旋转、水平翻转和垂 直翻转工具，然后单击其中一项命令，即可调整元件的方向。如果元件已经连 接到电路中了，要调整元件的位置和方向时，应该先将连线断开，再根据上述 方法移动元件的位置或调整元件的方向，否则连线会跟随元件一起移动。 设置元件属性 用鼠标双击元件，在弹出的元件属性对话框中设置元件的数值和模型。 删除元件和插入元件 有时由于操作不慎，电路中多接入或少接入了某些元件，这时，就要从电 路中将多余元件删除，或者将元件插入电路。删除元件时，先用鼠标单击要删 除的元件，然后选择删除工具并单击。删除工具一般有两种，一种是工具条上 的“剪刀”按钮；另一种是单击鼠标右键，在下拉菜单中选择“c u t ”( 剪切) 功能。元件一旦被删除，其两端的连线将自动连接在一起。插入元件时，拖动 元件并将其放在连线上，连线即被元件切断，元件随即被自动连接在电路中。 连接电路 i 、两个元件之间的连接 将鼠标指向一个元件的连接点，该连接点处便会出现一个小黑点，按下鼠 标左键，拖动鼠标拉出一根线，当此线接近另一个元件的连接点并出现小黑点 6 第二章e v v - b 应用软件简介 时，放开鼠标，这两个元件对应的连接点就会连接在一起。 2 ，同一个元件两个引脚之间的连接 同一个元件两个引脚之间连接时，需要借助连接器( 一个黑点，可从元器 件库里的基本器件分库中调出) 。方法是每个引脚分别向连接器引线。 3 、移动连线 先用鼠标单击要移动的连线，连线即变成粗线，然后再在单击该连线的同 时按住鼠标左键不放，当光标变成上下方向或左右方向的箭头时，拖动鼠标就 可移动连线。上下方向的箭头可上下移动连线，左右方向的箭头可左右移动连 线。 4 、删除连线 用鼠标单击要移动的连线，连线变成粗线，再用右键菜单中的d e l e t e ( 删 除) 功能将线删除；或者使光标接近要删除的线和元件管脚的连接处，当出现 小黑点时按下鼠标左键，然后移动鼠标并松开左键，此时可以看到连线被断开 并消失。 5 、检查元件是否与连线相连 移动元件，若连线与元件引脚同时移动，则证明元件与连线可靠连接。 6 、连线规则 所有的连线都必须起始于一个元件的引脚，终止于一条线或另一个元件的 引脚或一个连接器。 7 、接地 任何电路都要“接地”，即使用元器件库中电源分库里的“接地元件”，否 则得不到正确的仿真结果。 8 、元件与仪器的连接 仪器与电路测试点的连接办法与两个元件之间的连接方法相同。 2 5 e w b 的界面 启动e l e c t r o n i c sw o r k b e n c h5 0 屏幕上出现如下图所示的e w b 工作界面。 工作界面主要有标题栏、菜单栏、工具条、元器件库、电路工作窗口、状态栏、 7 第二章e w b 应用软件简介 仿真电源开关、暂停按钮等部分组成。 2 6 本章小结 总之，e w b 软件仿真手段切合实际，选用的元器件与实际元件非常相似， 绘制电路图需要的元器件、电路仿真需要的测试仪器均可直接从屏幕上选取， 并且仪器的操作开关、按键也同实际仪器极为相似，因此特别容易学习和使用。 e w b 与其它e d a 软件的良好接口，也使我们能够在电路设计中灵活地利用它， 充分发挥e w e , 软件的特点和功能。 8 第三章语音信号处理基础和语音识别技术的原理和应用 第三章语音信号处理基础和语音识别技 术的原理和应用 3 1 引言 语音识别是语音信号处理领域的重要应用之一。通过语音识别技术，可以 对计算机进行声控操作，既可以节省手工劳动，又可以提高人工效率，充分发 挥计算机处理信息的速度优势。本研究就是一个这方面的尝试。 经过科学家们几十年的努力，语音识别技术已经有了很大的进展但由于有 说话人声音语速的变化、语音的模糊性、噪声和干扰这些因素的存在，识别的 效果一直受到很大影响。虽然目前语音识别技术已经成为信号处理领域的热门， 但其尚未成熟，故通用的计算机声控软件和设备至今还未能得到广泛应用。 3 2 语音信号的特征分析 由于语音信号的准平稳特性，任何语音信号的处理算法都建立在短时的基 础上。借助于较为成熟的语音数字处理技术，根据具体的识别要求，在语音的 处理中需要依此完成如下工作并实现了特征提取：预加重、加窗、自相关系数 计算、l p c ( 线性预测编码) 计算，m e l 倒谱计算等等。 3 2 1 基于短时分析技术的预加重与加窗 输入的语音信号经过抽样量化后变成一组数据，对其进行处理的第一步是 预加重，即让信号通过具有某个系统函数的滤波器。这一步可以由程序方便快 速的完成。 由于语音信号随时间变化缓慢，因而接下来可以将其分成相继的短段进行 处理。这些短段一般长l o - - 2 0 m s ，称为帧。在取数据时前一帧与后一帧交叠部分 叫帧移。之所以采用交叠的方式处理数据是为了尽可能避免以帧为单位处理语 音信号时产生的“截断效应”。 9 第三章语音信号处理基础和语音识别技术的原理和应用 每一帧语音信号s ( n ) 要经过加窗处理，从而形成加窗语音信号s 。( 力 s 。( 功= s ( 以) ( ，2 ) ( 3 一1 ) 在语音信号数字处理中，常用的窗函数有矩形窗、汉宁窗、汉明窗等等，本 研究使用的汉明窗表达式如下： 研，。行，：二54+。46a。8j；号 ，o n n 一1 ，n 为其他值 ( 3 2 ) 汉明窗在频率范围内的分辨率较高，而且侧瓣衰减大于4 3 d b ，具有频谱泄 漏少的优点，适合于在语音信号处理中使用。 设s 。( 力为一段加窗的语音信号，它的非零区间为打0 n1 ，s 。( 功的自 相关函数称为语音信号s 印) 的短时自相关函数，用r ，( ，) 表示，它的计算公式是： 一1 - 1 r ，( ，) = s ，( 疗) 曲+ ，) = s ，( ) 昂+ ，) ( 3 3 ) 自变量，是自相关的滞后时间，每段语音的短时自相关函数不止一个。 在求语音信号的特征参数时以及确立门限是，还会用到短时能量，其计算公 式如下： + r - i 最= 4 ( - ) ( 3 4 ) 短时自相关函数和短时能量是语音信号处理中非常重要的短时函数。它们分 别在时域上和能量上表征了语音信号的一些主要特征。它们除了用于各种语音 信号分析之外，还是其他一些算法的基本参数。 3 2 2 语音信号的线性预测编码( l p c ) 分析 语音线性预测编码的基本思想是将语音信号的每个取样值用它过去的若干 个取样值加权来表示，各加权系数的确定原则是使预测误差的均方值最小。如 1 0 第三章语音信号处理基础和语音识别技术的原理和应用 果利用过去p 个取样值来进行预测，则称为p 阶线性预测，若预测值用x b ) 表示， 则有： “ ， z ( 功= - ea p , x ( n d ( 3 5 ) 该式中，加权系数用一d 。表示，称为预测系数。预测误差为： i s , “一) = x ( n ) - x ( n ) = “以一，)a ，。= 1 ( 3 - 6 ) 在最小均方误差的意义上，这种预测是最佳的，也就是说预测系数应按照最 小均方误差来确定，即： 占= e e2 ) 】= r a i n 毒= 喜吼莓加，一j ) 万一o + 莓一) x ，) = 。 ( 3 7 ) 建立了线性预测定义的数学模型，可以通过一系列推导得到如下的方程： r ( k - 9 = k = 0 ( 3 8 ) 线性预测和随机信号之间有密切的关系。一个平稳的随机过程，如果它是p 阶自回归的，那么用一个全极点模型就可以精确描述它。根据语音信号产生模 型和语音信号的短时处理技术基础，可以证明由最小均方误差原则来确定的线 性预测系数恰好对应于这个全极点系统的参数，即l p c 系数反映了声道模型的 特征信息。 本研究的识别工作所依赖的码本必需建立在不同的语音特征上，而这一特征 已很好的反映在l p c 系数中。所以求l p c 系数成为特征提取阶段的首要任务。 比较经典的方法有自相关解法和自协方差解法，根据：圭q r ( k 一，) ：尺( _ | ) k = 1 ，2 ，3 ，p ( 3 - - 9 ) 第三章语音信号处理基础和语音识别技术的原理和应用 可以写出矩阵方程： 量鞠时 聃顾p 一2 ) ll ? l 即一2 )删l - ? j 隅 l ；i u ( 力j ( 3 - 1 0 ) 此系数矩阵为托伯里兹阵，可以采用一种高效的德宾( i ) u r b i n ) 算法递推方 法求解。 3 2 3 e l 倒频谱分析 对信号进行分析得出它的倒谱参数的过程，称为同态处理。对语音信号的某 一帧同样可以分析出它的短时倒谱参数。总的来说，无论对于语音通信、语音 合成或是语音识别，倒谱参数所提供的信息比其他参数多，语音质量好，识别 准确率高。 信号的倒谱是其功率谱对数的傅立叶变换。倒谱为频谱的平坦化提供了一种 非常有用的方法，我们知道，浊音的频谱由以下公式得出： j ( ，) 。g ( ，) h ( ，) ( 3 1 1 ) 其中，g ( f ) 为声门激励频谱，h ( f ) 为声道传递函数。如果我们对该功率谱取 对数，那么就可以将两个分量的积变换为两个分量的和： r q ) = 2 1 啦i = 2 g 卜i n i h 0 下图c a ) 给出了t ( f ) 的示意图。 频率( h z ) ( a ) 嚣；酽 ，l 第三章语音信号处理基础和语音识别技术的原理和应用 幅 度 岛2 乇 倒谱( s ) ( b ) ( a ) 为对数功率谱，可以看出慢变的频谱包络( 虚线所示) 之中快变的谐波 峰值的频谱( 实线所示) ( b ) 为理想话的对数功率谱的傅立叶变换，低倒谱部分相应于( a ) 中的频谱包 络 位于t 0 和2 t 。处的峰值表示基音及其二倒谱 注意t ( f ) 包括两个分量：相应于频谱包络的慢变化分量及相应于基音谐波 峰值的快变化分量。通过滤波或者再取一次傅立叶变换，即可将慢变化分量与 快变化分量分离出来。如果采用再取一次傅立叶变换的方法，那么我们得到倒 谱； c ( 口) = f 留( ，) = 2 f 缸i g ( ，) i + l al ee 1 ) l ( 3 一1 2 ) 图( b ) 为c ( q ) 的示意图，其中靠近原点的一簇分量是频谱包络的变换，而位 于q = t 。处的窄峰为谐波峰值的变换。基音峰值的变换与频谱包络的变换之间的 间隔总是足够大，从而前者很容易加以识别。 根据我们前面求出的l p c 系数，对其再求倒谱可以综合两种处理方法的优 点，得到较为理想的特征提取。由于采用了递推的算法，可以大大简化计算， 具体方法如下： 1 3 第三章语音信号处理基础和语音识别技术的原理和应用 c l2 - - g 1 n - i c 。= 一口。一( 1 一r a n ) a 。c ，。( 1 p ) 坩= d 为了提高特征参数的识别性能，我们把倒谱迸一步按人耳的听觉特性变换， 得到m e l 倒谱参数，其变换公式如下： ：斥裂k 后2 ， l m c k _ i 研一1 ) + a m c k ( n 一1 ) 一m c k - 1 0 ) 】 其他 l f i e l 倒谱特征是语音识别的主要特征参数。 3 3 语音识别技术的原理和应用 现代语音识别从二十世纪七十年代起在国外蓬勃发展起来，这期间最具代表 性的工作是线性预测编码( l p c ) 方法和动态时间规整( d t w ) 技术。l p c 较好地 表征了语音信号的产生模型并可用作语音的特征参数；d t w 是基于动态规划( d p ) 原理，较好地解决了模式匹配中非线性时间规整问题，显著地提高了基于模版 匹配的单词识别率。这两项技术大大推动了语音识别的应用。 八十年代以来，v q 、h 蛳和a n n 等相继被用于语音识别。删理论是1 9 7 0 年 前后由b a u m 等人建立起来的，随后由c m u 的b a r k e r 和i b m 的j e l i n e k 等人将 其应用到语音识别中。由于b e l l 实验室的r a b i n e r 等人在八十年代中期对h m m 深入浅出的介绍，才使h m m 为世界各国从事语音处理的研究人员所了解和熟悉， 进而成为一个公认的研究热点，也是目前的主流研究途径。在这期间作出贡献 的机构有i b m ( t a n g o r a 系统) 、c m i j ( s p h i n x 系统) 、b n n ( b y b l o s 系统) 、m i tl i n c o l n 实验室和a t & tb e l l 实验室。 进入九十年代，语音识别逐渐由实验室走向实用化。一方面，对声学语音学 1 4 第三章语音信号处理基础和语音识别技术的原理和应用 统计模型的研究逐渐深入，鲁棒语音识别、基于语音段的建模方法及删与a n n 的结合成为研究的热点。另一方面，为了语音识别实用化的需要，讲者自适应、 听觉模型、快速搜索识别算法以及进一步的语言模型的研究等课题倍受关注。 目前语音识别的算法主要是基于隐马尔可夫模型( 舢) 、矢量量化( v q ) 和 动态时间规整( d t w ) 技术的。基于h 删的方法需要较多的模型训练数据，较长 的训练时间及识别时间，而且还需要较大的内存空间，而基于v q 和d t w 技术的 方法所需的模型训练数据，训练与识别时间以及工作存储空间都很小。针对本 研究词汇量较少及对识别速度的要求，决定采用训练与识别时间以及工作存储 空间都很小的v q 和d t w 技术的方法。但由于与h m m 方法相比v q 和d t w 方法相 对识别率要低一些，所以我们在语音控制c i 系统中研究了改进的v q 和d t w 方 法，较大幅度地改善了语音识别率，达到了很好地效果。 3 4 改进的模糊矢量量化算法 我们研究了改进的模糊矢量量化算法，不仅解决了通常v q 算法识别率不高 的问题，而且也克服了初始值敏感和局部极小的问题。又由于采用新的初始聚 类中心选择算法，避免了收敛结果易陷入局部极小的问题。 3 4 1 模糊矢量量化算法 ， 矢量量化系统的构成如图3 - 1 所示。系统有两个完全相同的码本，每个码 本包括，个码字，每个码字是k 维矢量。对于情感识别，只需要信道传输之前 的部分即可，首先对待识别语句提取出特征矢量x ，再计算z 与各个码本 y j ( ，= l ，2 ，j ) 的失真度，每个码本代表一类情感，选择失真度最小的码本的下 标。作为输出，也就是对该语句做出情感的判别。这里码本要根据已知情感的 语句的特征矢量进行设计。 模糊矢量量化采用模糊c 均值聚类算法来实现矢量量化，通过隶属度函数 引入不确定性思想，实现对硬聚类算法的有效扩展，在同样码本尺寸的情况下， 第三章语音信号处理基础和语音识别技术的原理和应用 s 2 ： 置 图3 - 1 ：矢量量化系统的构成 通过模糊c 均值聚类分析司以减少码本的量化误差，因此在实际应用中取得了 较好的效果“1 。首先定义模糊c 均值聚类算法目标函数为如下( 3 1 5 ) 式所示： ， ，。( 工，u ，y ) = ? ( 置m ( 置，k ) ( 3 一1 5 ) t = 1k = l 其中彳= e 。以，“， 为某一观察矢量序列；y = 缸，如，j = ，j 为各类聚中心组 成的码本；u = 缸，甜：。虬j 为一个模糊c 均值隶属度函数集，( 是第七个类 j 聚中心即第i 个码字的隶属度函数，它满足o ( 功1 ( 1 后上( 功= 1 ) ； k = l m 【1 ，。) 代表模糊度；d 似，k ) 表示距离。 根据目标函数的模糊c 均值聚类算式如下( 3 - 1 6 ) 式所示： f ( 置) 置 丘= 旦矿一 f ( 置) t = 1 l 七t ， ( 3 一1 6 1 ) 一陆筹 - 1 l k j , l i s ns 刀 模糊c 均值算法具有较好的收敛性刚。利用输n i j l l 练矢量序列，通过迭代 计算聚类中心k 及隶属度函数直到收敛后，由新的聚类中心组成重估后的新 码本。 1 6 第三章语音信号处理基础和语音识别技术的原理和应用 3 4 2 改进的模糊c 均值算法 在模糊c 均值算法中，由于引入了隶属度之和为1 的归一化条件，在样本 集不完全的情况下可能导致结果不够理想。当存在某个野点样本远离各类的聚 类中心时，它严格属于各类的隶属度都很小，但由于归一化条件的要求，将会 使它对各类都有较大的隶属度，这种野点的存在将影响迭代的最终结果。对于 这个缺点，本文采用一种放宽的归一化条件，使所有样本对各类的隶属度总和 为n ，即： 甜j ( 五) = ( 3 - - 1 7 ) 此时圪的计算仍为( 3 1 6 1 ) 式，以如下式所示： r2、一1 ( 五) ：壹兰i 兰骘l ，l | i j ，1 f ( 1 8 ) j = l 8 飞肘【置，户j 针对聚类中心的对初值敏感、易陷入局部极小值的问题，本文采用基于相 似性阀值和最小距离原则的聚类方法。首先对样本进行粗聚类，该随机设置为 有目的地选择初始聚类中心，以保证获得的聚类结果为全局最优解，并作为初 始聚类中心，执行标准的f c m 算法。设输入的矢量序列为x = 融五，“j ， 选定类内距离门限三。改进的模糊矢量量化的步骤如下： 计算任意两个样本间的欧氏距离，将距离最近的两个样本定为一类，选定距 离阀值三，将与该两样本之一的距离在之内的所有样本判为此类； 将已有类别归属的样本及与这些样本有关的距离适当处理，不再使用； 在剩下的样本中找到距离最近的一对样本，若它们之间的距离大于工，则将 这两个样本分为定为一类，且各类中只有一个样本；若它们之间的距离小于 三，则选定距离阀值a 正( 1 0 ，设置迭代次数| = 0 ，以步骤的结果作为初始聚类中心； 对于待矢量量化的输入矢量置，模糊矢量量化不是通过矢量量化把输入矢 量置量化成为某个码字k ，而是把输入矢量五量化成由隶属度函数组成的矢 i u ( x , ) = 缸，( 置) ，却：( 置) ，幻( 置) ，它表示x 。分别属于码字k ( | = 1 2 ，j ) 的程度是多少；其中口。( | e ) 由下式给定： 一喜封矧。1 ，1 露s j 1 s i s ( 3 1 8 ) 这时x 的量化误差为 d = 甜? 贼置，匕) ( 3 - 1 9 ) 置的重构矢量由式( 7 ) 给定： 置：罂k f f i l 浯。， ： 可见置的重构矢量由码字l ( k = 1 ，2 ，) 的线性组合组成，所以相当 于增加了码本的尺寸。 3 5 改进的基于d - 1 1 r 汉语语音识别算法 现在隐马尔可夫模型( h m m ) 已成为语音信号处理的重要方法被广泛地应用 到语音识别等领域 1 2 。然而由于传统的舢在每个状态处理的各帧语音信 号都与前后的时间顺序无关，所以影响了h m m 描述语音信号时间相关等动态特 性的能力，降低了语音识别的性能。针对这个问题，因此本文提出了改进的d t w 算法，它类似于连续状态删的设想。它把语音信号样本的每一帧特征矢量都 看作是 姗d 的一个状态，这样就能较好地描述语音特征矢量的帧间相关信息， 改善了舢的动态特性。并且由于把d p 匹配算法引入到连续状态硼的学习和 识别中，较简便地实现了上述的设想。 1 8 第三章语音信号处理基础和语音识别技术的原理和应用 3 5 1 改进的d t l r 算法的原理 对于参考样本信号j = 墨，五霉刁，其特征矢量的时间序列是一个马尔 可夫过程。如果把每一个特征矢量看作马尔可夫过程的一个状态，则对于输入 信号时间序列 ，= 只，歹：只只，在时刻f l ( g ) 向f ( g ) 推移时，状态巧- 1 ( 神向霉( 劬转移的情 况下，序列，的概率p ) 可以用( 1 ) 式所示的一般形式表示。 尸( 罗) ：p 。皈) 矗p ( 曲i 弓( 护t ( ) p ( 毫( 们l 墨- l ( 种) ( 3 - 2 1 ) f q = l 这里f 是一个状