基于Matlab的语音识别系统的设计本科毕业设计

河南理工大学毕业设计（文）说明书摘

要语音别要让器懂说话即各情下准地别语的容从而据信执人各意。音别术是际争一重技，是一个家济展可少重技支文于音号生数模时、频域发语信进分，述语识的本论在基上论语识的五算态间缩法DynamicDTW)于规的工能法人工经络ArtificialNeuralNetwork，ANN)法隐尔夫HiddenMarkovModel，HMM)方HMM和的混模是理上究马可(HMM)模算，对经的HMM模型算法进改。语音别法多实方，文取方是用Matlab强的学算力实现立音号识是一功强的学件它带量信处工具箱信分研，别文主探的波析究来大利本应隐尔科模(HMM)为别法采MFCC(MEL频倒系)为要音征数建立一汉数语识系，中括音号预理特参的取识模板训、别配法同，出用Matlab图形户面发境计音别系统面设简，用便系界友。过计识效明达了期标。关词语识算；模型Matlab；GUIABSTRACTSpeechRecognitionisdesignedtoallowtounderstandwhataccuratelyidentifycontentsofvoicetoofpeople.Speechrecognitionnotinternationallycompetedfoundationaltechnologyfordevelopment.Basedmathematicalmodelfromthesignal,thispaperanalyzesignalfromthetimedomain,frequencythebasicofspeechtechnology.FiveWarping(DTW)Rule-basedArtificialMarkovModel(HMM),HMMcombinedwithANN.ThefocusintheofHiddenMarkov(HMM)classicalisimproved.Speechalgorithmisrealizedinarticletakingmethodtousepowerfulmathematicalabilitytheofspeechisolation.MatlabawithmasstoolboxesdealingwithItaterrificshortcuttheresearchoftheWethesoundwithkeysuchInpaper,hiddenmodel(HMM)recognitionMFCCI

河南理工大学毕业设计（文）说明书frequencyasmainvoicetheestablishmentofadigitalspeechrecognitionsystem,signal,theofparametersofthematchingsametime,theofgraphicaluserdevelopmentdesignedspeechrecognitioninterface,istosimple,easytoBesides,tohaveexplorationofthevoicerecognitionisanothertarget.Afterstatistics,recognitionresultismadeouttheexpectedKey：Speech；HMM；MatlabGUIII

河南理工大学毕业设计（文）说明书目一、言...............................................................................................................................11.1音别发历.............................................................................................11.2音别究状.................................................................................................11.3音别统分.............................................................................................21.4音别统基构......................................................................................1.5音别术点.................................................................................................31.6音别展景.................................................................................................4二、音号析................................................................................................................42.1音知..............................................................................................................42.1.1音和节.................................................................................................52.1.2汉的调.................................................................................................52.1.3语信产模.....................................................................................62.2音号字和处......................................................................................2.2.1数化.........................................................................................................72.2.2预重理.................................................................................................72.2.3防叠波.................................................................................................82.2.4加处.....................................................................................................82.3音号时分.............................................................................................92.3.1短能分.............................................................................................92.3.2短平过率.......................................................................................2.3.3短自关数短平幅差数................................................2.3.4语端检...........................................................................................2.4音号频分...........................................................................................2.4.1滤器法...............................................................................................2.4.2傅叶谱析.......................................................................................2.5征数取.......................................................................................................152.5.1LPCC倒谱数.........................................................................................2.5.2Mel频率倒系....................................................................................16三、音别要法.......................................................................................................3.1态间缩法...............................................................................................3.2于则人智方....................................................................................3.3工经络法...............................................................................................3.4马可方....................................................................................................203.5HMMANN的合型.......................................................................................四、含尔夫型法.4.1HMM基理和学述.234.2HMM三基问及决法........................................................................4.3HMM法改....................................................................................................31III

河南理工大学毕业设计（文）说明书4.4HMM结和型................................................................................................4.5HMM法现问............................................................................................五、于Matlab境的音别法现355.1别统台绍...............................................................................................5.2Matlab中HMM法实..............................................................................365.2.1端检...................................................................................................5.2.2特参提...........................................................................................5.2.3训和别...............................................................................................5.3验论析.......................................................................................................38六、束...........................................................................................................................6.1回........................................................................................................................6.2展........................................................................................................................七、谢...............................................................................................................................40参考献...............................................................................................................................40IV

河南理工大学毕业设计（文）说明书一前1.1音识别的发展历作为能算研的导向人语通的键术音识技一受各国学的泛注以音别发的品用域常泛有控话换语音号统信网查、庭务宾服、行服系、票统声智能具医服、行务股查服、算控、业制语通系、军事听信检、急务翻系等几深到会每行、个面其应和济会益景常泛因语识技既国竞的项要术也是一国经发不缺的要术撑研语识，发应产有广泛社意和济义语音别的话辨的究于20世纪30年早期工主集在耳辨试和讨音别可性面Bell实室L目观语图行别，出“纹Voiceprint)”的念Bell实室S提出模匹和概统方分的纹别法形了纹别究一高60年代末和70年代语识最要发是音号性测(LPC)技和态间整DTW)技术有效解了音特提和间等匹问特人语识十有。研究点以立语识为，常孤字为个体建模年代，音识研的点一连词音别了种接语识和键识算，如多动规语识算。一重发是音别法模匹技转基统计型术1.2音识别研究现状20世纪90年代后，在化型设、数取优，及统自应术取得一关进。音别术一成，开向场供品由中的际地不提，及经和场面处重地，语音别越越到视。、Microsoft、L&H等公相投到语音别统开中其资逐增加IBM开的Viavoice和Microsoft开发中识引代了前语音别最高平台的些学研所开出词量特人续音别示统日本先后在音别域展角还如Philips公司发Speech和Pearl两软，盖自语识与解对系。我国音别究作年发很，时从验逐走实。1年开始行863计划，家863智计机题专组语识研立。两滚动次从1991年始专组一二举一全性语识系测语语音别究经上织的路目我大汇连语识系的究经1

河南理工大学毕业设计（文）说明书近国最水。语音别展一阶，界国加了音别用统研开，常续语是有完语信的续句最近人自讲方，非续音连续音研面着多全同技难，连语的别一孤的波段，续音面着何分波问。如类新题连语识率提比非续音加难经过十的展摸，们于实室破大汇、续音非定这三障，一把三特一集于个统，以确了计法模在语识和音理的流位在学别次以个话发的规语数据基，马可链基的音列模法隐含尔夫型比有的解了音号时定长时的性并能据些本模元造连语音句模，到比高建精和模活。目前语识研领非活的题稳语识、话自应术大汇量键识算音别可度测法于类的语模和适语模，以及层的然音理。究方也来侧于语话统1.3音识别系统的分语音别近来分跃一研领。不的来语识技有能为一重的机互段辅甚取传的盘鼠等入备在人算上进文录和作制本介了音别基流、用的音数法语音别训算和别法初的究主运了定孤词别DTW算法和非定识的续HMM算法Matlab识系。语音别说人讲方可为立(Word)别词ConnectedWord)识和续音ContinuousSpeech)识。立识是说人次说个或短，个或语词表都作个条一用语电拨系中连词语识支一小语网，内形一状机可实简的用器控制而杂连词音别统以于话音询航定等统连语识别指说人日自的式音通特用语录的写。然连非特人音别难要得，为仅说人音问，有同音断断句搜等题除考语的学型还涉到言型如词、法。从识对的型看语识可分特(SpeakerDependent)音别非特人SpeakerIndependent)语识。定是只对一用的音别非定人可于同用。际，特人音别初识率往比低一都要用花定时对统行练将统参进一的适调，能识别达满的度非特人词连语识是几研的点也研的点目的续音识大是于HMM(隐马尔夫型框架，并声、言的识一入改这个架其件台常功强的作或机。2

河南理工大学毕业设计（文）说明书1.4音识别系统的基构成语音别统典实方为输的拟音号先进预理包预波、样量、窗端检、加等语信经处后接来重的环就特参提。特参的求1，取特参能效代语特，具有好区性2各参之有好独性3，征数计方，好高效计方，保语识的时现在训阶，特参进一的理后为个条到个型保为版库在别段语喜经相的道到音数生测模，参模进行配将配数高参模作识结。时可在多验识帮下，高别准率1.5音识别技术难点虽然音别突了初技的验段而入过话系形的计建立户爱应系时。而音术身在断步为场供新好应用式技。前技及用焦主集在个面首先带音Dialect)语音的别首要确是口是同种言不地区发有不，同地(如国的不方是区的例，国八方言属与通(方系不同语。就说有于通的同语，该用同声模来述而于音适性先由学型身品决的对某种音语的学型适性定基识率而此础的化模适应案提了好解方如Nuance公司为有大场最用的司，拥最的户音据保了极的础别。外该司系优工具所系提一实效优方化程所系的现会提，也可解小围口问。针严的音题它声模适机提了好的决案可使统识率很改。焦点二背噪。多公场巨的音语识的响不说早即使实室境，击盘挪麦风会为景音它破原语的谱，者原语部或部盖，成别下。际用，音无避的。究要决问就如把始音背噪中离来即谓高质(speechenhancement)减(noise的处。将使别统有强适应。这面优的音数灵活模结、的模法及有噪音制能使系在景境声手、载提高音境能持好工作况第三就“语的题这是户话自度题它涉到然言解，与学关语识技的终的要用在人对”时，够进行人对”样然而旦户跟交的式进语输时口的法不范语不常特会语的析理带困。也接到些音件声是以到然言别而这面正实商系的有Nuance公司Nuance的最版别件提的随(anything)”技，用可以然3

河南理工大学毕业设计（文）说明书语言出己需如的手上一功不明问下，我的单该期，帮查下交少用提了种“人话的自然音互面这更友的面许般话的些为如顿不全语句。1.6音识别发展前景语音术目世上热和具发前的术一从种义说语识别将算变真的智化设的佳径语作当通系中自的通媒，着算和音理术发，同种间语翻将为音究的点自语数库设：音征提；用音库行学型练研究适说人学型研；音别法研：言译对处的究成为音术热方。音别究另个展向人语与语结的媒体机互目这采声、觉种息合行别研在球围己展开成语识研的要展向研热之。一位界资人对IT产业展提的大言一为语成新机面语音别术成使机面生命突络代户要自、简、更方的语为心的机面未几里真实的音别音转技将首走实室走千万的器备。尔律预的件品迹的新速使算处复运的力飞进也体庞的音有会身普用户硬或他储质；术面新语统算日成：场求面简化PDA移电和他息电本琐操步的佳径是过音术另外语识是门叉科语识技关到学的究域在同域上进都促语识的展物学声学：音生传原电转以及音房回等关识(2)生学有人声道耳的理构朵的觉特在脑高的言理(3)统计和式别论基于各种计法模进行配以建有的计型语音征数行值分信理和算机学各算的究快搜查匹的法语学有人语产、感觉面知数字号理术信的域析噪消、字波线预测等面知(8)电技超规集电(VLSI)技术发对音别具应用很的响使语识系商化为能二语信分2.1音学知识在连数语识过中了提连数匹搜算的效以数的别率必要对字音研细到音的次，括各字音和节特性各字声进深研。4

河南理工大学毕业设计（文）说明书2.1.1音和节音素语信的基组单，分浊和音大。浊音过部声发时带动声振的本率为基频其数称“音期通过口内的气放来发，声喉封，于该气通一狭通时口中成，此有显随噪的点音节由素合成发最单，个节“音和辅”成当带振发的音流喉、腔入腔唇出时这声完开，流利通，种称元。音成个节主，论长还能上，音音节都主部。有音是音发时出气，于路某部封起来受阻气流阻能通克服音官这阻而生音称辅。辅音有浊分辅出在节前或后或后端2.1.2汉的调汉语一声语相同母韵构的节声的同具完不的义，应不的字所，汉的互谈，但凭不的音辅来别这字词意，需从同声来别，就说调辨作。汉语通的调阴平声声等种调另时包轻，这些本调在句虽受法语的响有变，基上改原的式一型声的化是音音期或音率的变，个母中音期时问变产了调变的迹为调线声曲从个母起端始到韵的止结。同调声曲的始称弯段呈同升向末一段共下走，为尾；中一具不的点这段为型。般来，头和尾对调听不作，作的调段而段音它起始结处波幅较，准地出些方基周并容，此将两处波忽，测型这部波的音期图2.1给出单说个节的四声的型线

/

)。5

河南理工大学毕业设计（文）说明书图2.1声调的四种模式2.1.3语信产生模型语音号声被励生振产的出由在音程声是动，此可用个变性统模。想模是性，时变；是音号一连的变程且门声相耦形了音号非性性做个理假设当较的间隔表语信时则以用性不模。包激模型声模、辐模。2.2给了典语信的生型语信被成是性不系在机声准期冲列励的出图2.2语音信号产生模型6

河南理工大学毕业设计（文）说明书2.2音信号数字化和处理2.2.1数化为了原的拟音号为字号必经采和化个骤从得时间幅上为散数语信。据样理当样率于号2带时，采过中会失息且采信中以确重原信波。实语音号理，样率常7～10kHz。信的宽明时采前接抗叠滤器低滤器，使带限在个围；则如采频不足样理，会生叠此，号的频分产失。采样后对号行化在化程不避的产误。化的号与原信之的值量误，称量噪。号量噪的率比量信噪。用

2

表示入音号列方，

表示号峰，表量分max率(化长，

2

表示声列方，量信比：

X)4.77)

（2.1假设音号幅服Laplacian分，时号度过4的概很,只x0.35%，而以

x

。此上变上表，化中位字长贡为6dB;当B=7时SNR=35dB此量后语质能足般信统的求研表:使音形动变信比到55dB的信比应取位以上。了语信变范内持35dB的噪，用12位量，中加5位用于偿30dB左的入态围化2.2.2预重理由于音号平功谱声激和辐的响800Hz以的频约6dB/oct减为要预理进预重预重目是升频分使号频谱得坦以于行道数析频分。加在混滤与A/D转换前进。样不能进预重而可压信的态围有地高噪。所以尽提SNR，在转换前行加。时预重可A/D转之进行用有6dB/oct地升频特地加数滤器现它般一的即H(z)

，式u值接于1,文去0.94。加重信在析理，要行加处，加6dB/oct的下降频特来还成来特。2.3所为语信0”预重理结果。下可明7

s河南理工大学毕业设计（文）说明书s的看，重语信中频量强图2.3音信号“0的预加重处理效果2.2.3防叠波A/D转换前需加个混滤器频干扰50或60Hz)不严或有干扰施则必带滤器只低滤器可低滤器截频由音号带决，于除于l/2样率信成或声并希其内动带衰减性可好A/D转后用通波作平滤器对构语波的次谐起滑用以除次波真对这低滤器特和A/D转换率也要与样具相的系2.2.4加处已经字的音号列被次入个据。语信处中一用环队的式存这数便一有容的据来付量大语数。在进处时按从数区取数，理成再一，此行去一来说语信处的长般20ms(当F=8kHz时相每由个信样)。8

Qwn)河南理工大学毕Qwn)取数时前帧后帧交部称帧。移帧之一取0～0.5在语音号行时析过中信流处用段分来现一每的数33～100，视际况定分既连，可用叠段方，可动有长度窗进加的法实。在10样时段，字后语信的谱性某物特参可近地作不地这就以用稳程分处方来理。种间来处的本段一是一长有的序w(n)截一语信来行析并让个滑，便析意刻近信。一式

T(

，其表某运{x(m)}为输信序。帮用多窗数矩窗汉窗(Hanning)和明(Hamming)。本文要用明，公为L他

(2-2)其中L是窗。常为一语帧，含1～7个音期然，同的基周变范很性儿童的到老男的14ms(即基频为50，所以L的选比困。常l0kHz采样率下L衷择100个采点即持续间～20ms)2.3音信号的时域分对信分最然直的法以间自量行析音信典的域征包短能、时均零、时相系和时均度。2.3.1短能分析对于号x(n)，短时量义：E

x

(2-3)

式中h(n)=w(n)，N为窗，表示在号第n个点开加函时短能。可以出短能可看语信的方过个性波的出该性波的单冲响为h(n)，如图2.4所示图2.4短能量的方框图表示如果x表x(n)经加处后信函数的长为N短能可示：9

河南理工大学毕业设计（文）说明书E

(2-4)如图2.5所示语“”域形和音0”时量。图2.5语信“”短能函利用时量以分音浊，为音能比音能大多其可用短能对声和声进判，声和母界以对字界。语识别统，股作特中一参来示音号量大和音信。短时量于对号行方算因认增了低号间差，此采用时均度表能的化其式：M

(2-5)

如图2.6所示0”短平幅图从中观到短平幅对量的信号计果比时量。10

河南理工大学毕业设计（图2.6音信号“0的短时平均幅度2.3.2短平过零率短时均零是每内号过值次。于续音号可考其域波通时轴情。于散号它质是号样符变的数在定程上时零可反出率信，浊段般有低过率而清段具较的零，样可初判清和音但是对言没精的值关。时均零公为Z

sgn

sgn

1

(2-6)

sgn

sgn

Sgn[*]是号数为解低的扰我设一门T将零的义改为过负限次。是：z

sgnsgnmm1T

w

m

(2-7)另外可将时均零和时量合来断音止的置即行点检。背噪较的况，时量较确但背噪较时短平过零可获较的测果一一的别统其端端检过都将两个数合于测音否的始如.7语音信0的零，为点测提参。11

河南理工大学毕业设计（文）说明书图2.7语音信号“的短时平均过零率2.3.3短自关函数和短时平幅度差函语音号x的时相函R的算如：

(2-8)这里K是最的迟数短自关数有一性，它偶数设列有周性则自关数是周的期数。此于音音以自关数求语波序的音期短时相函是音号域析重参。是计自关数运量大，原是法算需的间长利快傅叶换简计方都法免乘运。了免法一简的法是用值为常采另种自关函类作的量即时均度函(。平均度函能代自关数行音析是于样个实如信是完的期号设期。)，相为期整倍样上幅是等，值为。：d

0,N,

(2-9)对于际语信，虽不零但值小这极值出在数周12

河南理工大学毕业设计（文）的位上为，定短平幅差数F

x

(2-10)显然如x(n)窗取范内有期，将现小。图2.8所，于周性(k)也现期与R(k)相的在周的个数点F(k)具有值不峰。图2.8音信号“0的自相关函数2.3.4语端检测语音点测准性可性对系统别的高着要作当统到段包语的号，统要语的点行位丢语前后余噪段如果音后音留多则增不语的同分对别生扰而果音部被割，会成音息丢，丢的是分音重特，造误识正确语端也减系的算和储。音点测法要根语音一特参，时量过率完端检。端点测双限端测法多限零前检算门前检算用于话无鉴或语端测通窗(帧)取10，间隔即样隔)5～10ms，一的干能，使在的机声只它使信越正门限构的，不产虚的零。多门过率端测法设个低同门。一的门过率相13

河南理工大学毕业设计（比，明地少端判但有存较时。为次到门越点再前推能搜200ms左右能到音起，就便实实特提。2.4音信号的频域分语音感过与类觉统有谱析能紧相的因，语信进行谱析是识音号处语信的重方。2.4.1滤器法利用组波来析音号频，法用单实性、外环的响小滤器法用滤器以模滤器也以数滤器滤器以宽带通波，可用带通波。带通波具平性用可粗地求语的谱其率辨降，当短处时宽窄那情。用带带滤器其率辨提，当短处时宽宽那情。语音号x(t)输入带滤器f…f滤器出具一频的心率为f，……f的信。以滤器组输经自应量制变二制冲信，经多开，为串进脉信。种号以入算进各分析处。2.4.2傅叶谱分析傅立频分是音号域析广采的种法它法科家J．Fourier在1807年为得热传方的便法提的傅叶谱析基是傅叶换用立变及反换以得立谱自关数功谱倒。由于音号特是着间慢化，此出音号短分。信号x(的时立变为

(2-11)式中w(n)为口数图2.9从通波作理短傅叶换图2.9从带通滤波器作用理解短时傅里变换

可以作加后数傅叶换了实反换jw进频14

Xen河南理工大学毕业设计Xen采样即k

KL则有

jw

(2-12)式中L频采点。短时率实上短傅叶换度平信号x(n)短自关数傅立变，

jw

k

(2-13)式中（k）自关数图2.10几谱间关。图2.10几种基于短时傅里叶变换谱之的关系2.5征参数提取LPCC谱系数线性测谱数LinearPredictionCepstrumCoefficient，LPCC)是性测数在谱中表，特是于音号自归号假，用性测析得倒系。LPCC参的点计量，于现对音有好描能，缺在于辅的述力差抗声能差语音号倒与LPC数间递关:

1

n

1c,1npnp

(2-14)或是得C

k

C

(2-15)根据态理概和音号生模信号倒c(n)等激信的15

河南理工大学毕业设计（文）说明书谱谱激励信的音点及道输数的零点布况可

从时延到时，

主要分布低域。音号携的音息要现声传函上因在音别中常语信倒的时构LPC倒谱特c即式中qLPC倒特的数

10

(2-16)然而LPCC同也承LPC的陷其要一就LPC在所有频上是性逼语的而与的觉特是一的而LPC包了音频分大分噪细，些会响统性。频率倒谱系数美尔标谱数MelFrequencyCepstrumCoefficient，MFCC)考了耳听特性将谱化基Mel频的线频，后换倒域。于分虑人耳听特且有何前假参数有好识性和噪能，但其算和算度求。MFCC不于语数语识中参的能显于LPCC数是采滤器的法算来，组波在率美坐上等的这因人类对1000Hz以的音率围感不循性系遵循对频坐上的似性系Mel频可用下式示f

Mel

2596log/

(2-17)对频轴不匀分MFCC特征别普倒特的重的点率按式(2-17)换Mel域Mel带通波组中频是照频率度匀列。在实应中MFCC倒谱数算程下(1)信进分，加和哈窗理然进短傅叶换得其谱。(2)出谱方即量，用M个Mel带通波进滤；于一频中分的用入中叠的因将个波频内能进叠，时k个滤波输功谱X(k)。(3)每滤器输取数得相频的数率；进反散弦换，到L个MFCC系，般L取12～16个右系为

(2-18)（4将种接到特作静特，将种态征一和阶16

河南理工大学毕业设计（文）说明书分。到应动特。三语识主算3.1态时间伸缩算法日本者先动规的念于决立识时话度均的题出了著的DTW算法词汇较以各词不于淆个法得很成。从而60年代末开引了音别研热。在孤词音别，为单效方就该法该法于态划DP的思，决发长不的板配题是音别出较、为典一算法用孤词别DTW算与HMM法相的境件，别果差大但法复得多主体在HMM法训阶需提大的音据通反复算能到型数而DTW法训中乎需额的算所在立语音别，DTW法得广的用在训和立板段及识阶，采端检算确语的点终点。存模库各词称参模，个考板表为m为训语帧时序号为点音m=M为终语帧因为模所含语帧数，第帧语特矢要别一输词语称测模表为为测语帧的序号n=1为起点音n=N为终语帧因此N为模所含语帧数T(n)第帧的语特矢考板测模一采相类的征如MFCC系同帧、同窗数相的移测和考板别T和R表示，了较们间相度可计它之的离D[T,R]，离小相度高。了算一真离应T和R中各对帧间距算。n和m分别T和R中任选的号d[T(n),R(m)]表示两之的离距函取于际用的离量在DTW法通采欧距。DTW算法把间正距测计结起的种线规技。:(1)参考模特矢序为

aa,2

M

。(2)输入语特矢序为bb12

，如M≠N那DTW算就要找间正数m=w(n)，把入板时轴非性映射参模的间m，并该满：D

min

d

(3-1)

式中d[n,w(n)]第帧入量第m帧参矢量距D是相于优间正下模的离度若N=M可直计否则考将T(n)对。齐以采线扩的法如N<M可以将T线性映为个M帧序，计它之的距。是样计没考到音各段不的况的续间产或或短变，此别果可最。而多是用态划DP)方。是17

河南理工大学毕业设计（文）说明书一个型最化题它满一条的间正数(n)述入板参模的时对关，解模匹时计离小对的正数所DTW保了模板存的大学似。DTW算法优是简又效对小汇孤词别统分用但没一个效用计法行练框。不易底和层各知用识算中，此解大汇、续音非定语识问时HMM相见。3.1为基的立语识流图图3.1基DTW的语音识别流程图基于态间整配DTW算从前看可能是个为巧语识的法。系开小识速快在付词量语命控系中一非有的算。是如系稍复一，种法显力从了3.2于规则的人工智方法持这观的家为用识语有种难但人识语却不难如果将些理以现且纳一规，计机行就接人同的平。音家过究同音语及变后现虽不的说一语时相应语机变种差，是有些同特足使们分其语，些特就语学提的区性征DistinctiveFeature)一面人的言要词句、义约，在别音过中分用这约以对环的有信，来声—语学“别特”这为个别统“层)与来构、法语和用束这为别统“层)相结，可构一个由向(Bottom-up)”“顶(Top-down)交作的别统不层的知可用干则描。美国内—梅大在十代成H系统基这理的成的18

河南理工大学毕业设计（文）说明书音识系。个统用“板式完底和层间同次信交和则调，人句约的1000词的续音别务，产的义差大10％虽从工能角看对个统价高但语识的度做评与此反因从音别角看语的变和确性其有，些究经长研后重称人对语的大识是认于音无，是要这一提来制有识率系。识规的法所很取更的展既由语的变又于则难搜完，有行则算难高运。以从十代期现，然然人用工能方进语识，他很取得果人智的法不是代音别究主。3.3工神经网络方法人工经络出点通模大的制(实际上们目为还完清大脑思机)，将括觉统生神系的息理制入器习研中使其有习理的力名的经络究家Hecht—Nielsen给工经络下定是神经网络由工立以向为扑构动系通过对连续断的入状响而行息理一个经络含量似脑经的理元些单之相连形一的拓结，相影。有神元同作使个络现大模集计行为系的有算是这单完的而元间连权定网对意入模的算应连权建是过练法行。经络所能引多究人的趣在它有系传的字算系及性络没的点人工经络语识中主应，矢量、类分降滤、振检测，中的多是经络区能。初用经络语段成音浊音类或成音摩音爆音类这实都得很的类果充显示神网强的类分力在基神网的音别法，统数是个经络权所成集合，些值针全待别语基，过量练习建的是音征系统的种射它全同传识方的方于单权与别元间存在确对关，存整权构的统数整识空之的应系也就说系参只整上意，不分。信处的度看一信的存在经络部混在起，存过中信进了量加，绝不是把们立放那。息储信处二密可，息理程人一样如一黑。神网识方有较的点就时性差没解时间准题图3.2基神网的音别方原图19

河南理工大学毕业设计（文）说明书图3.2基于神经网络的语音识别方法原理图神经络语进分有个本法静识和态别在态别，经网一输整待的音征量列后做一判在态类络，神经络入帧窗音量列这窗语矢序上动网就出系局部策这局决不地合成个局策静网在素别题的别效非好而态类字及子面的别果较。神经络靠接能进长间忆知存，对输模的时应短时忆力较。音号一典的态式列前帧间时相性常强所要神网应于音别必解好时出记问。此虑人工经络已发的法合成种和统在种统，经络者为其端行处，者为端行处。之是望过种合分挥自的长3.4马尔可夫方法基于计HMM算法可是前为功一语识模和法前能到的种能良连语识系几无例地用这模。是为种学模出的间早人对的究比深，建起完的论架从0世纪80年初人开用种型描语信后断有对进了种良发展这隐马可模的法将音成一串定态这状是能直接测的如种态以语的个素特)，而是某隐的系语的观量或征相关。这隐关在HMM模型通以率式现来模的输结也概形给。为统后出个健判创了件如今各形的}砌型算己趋熟以为础经成语识的体框模，统了音别声层语学的法构制了佳搜和配算，概的式声层得的息语学中有信比理的合一起因，语音别型算是今止为美一语识模，中可看好理体对究作起重的导用图3.3一基HMM的音别流图20

河南理工大学毕业设计（文）说明书图3.3基于HMM的语音识别框图目前基上有验统实化产都使HMM法比IBM司系、内梅大SPHINX系和DragonSystem的NaturallySpeaking系统等也是于熟HMM方设了入环下如机等)语识系。随着音别究作深开，HMM语音别法来收人的视基HMM术识系的点在统模的立要赖个大语库这实工作占很的作模所要存量匹计包特矢的出率算)运量对大通需具一容SRAN的DSP才能成另外它一最要缺是据模推的态长布指分，不合语的质性因，在出一非次HMM语音别型(DurationDistributionBasedHiddenMarkov，称DDBHMM)在模中状的长布函替了次HMM的态移阵彻抛“平的设非稳角考虑题使模型为种于态长布隐模型段分函的入清了典HMM语音别的多盾DDBHMM国上行HMM语识模有好识别能更的算杂(练法较行Baum算复度两数)于该模解了语信状的次和语特的相性限，此为音别研的入展供一和的架3.5和ANN混合模型语音号一典的态式列前帧间时相性常，以将经网应于音别必解好时出记问。此虑人神网与经发的法合成种合统在种统，经络者为前进预理，者为端行处。ANN和HMM可以同方进结，ANN直实，者帧面的合，音面的合音层的合子面的合方，和ANN混合模型的合即优HMM模型又充利每种术长HMM的间模ANN21

河南理工大学毕业设计（文）说明书的声建，别用经络算HMM状态观概。神网来计测率设计训神网的法很，简的式是一语矢直映成察率，络训也一接帧进，种法成帧面的络练在音层方中神网的入自个音，不一语或定度语音。样可让络好利存音中所语帧间相性而还以更易利其信，如长这方的点必先语进分，经络才对出各音进计。这不的合式，验果明帧面的结比符HMM和ANN种法特。与传的HMM比混HMM/ANN模不在论抛了HMM系不理设而且训过中然引了HMM态间区机。合型服最似准(MLE)区能差缺且系体上保了HMM框所混HMM/ANN模是HMM和ANN两模型的有结，有确数和理义与统相，合HMM/ANN模型为合种音征量，虑同次的种束供一非方便接。混合型构充利了ANN下特，服HMM的系缺和足主特点下(1)合型以适学以应音据变；以必泥选特的音参面综的入式行练识。(2)以人听模融于ANN中，ANN的入可同加相数的音特矢，而语信的际况加合(3)类经络输端以近意式概分函，能好掌蕴在训数中概分特，以够真地述音号概分特。(4)ANN的训着于述间边不是述一内分以一区性训。处语信的变性面混模利了在这面特。所以合型系框上持传HMM的框架而部能块：率计上下关等通ANN现这有地和ANN各优统在个统中．弥了自不。混HMM/ANN中神网来行学模而域模赖于统HMM。用神网进声建一有种法第一方是测络预网的入相的帧音征量输下帧音的测，过每个子配个测络就以较个素测络预误差选其具最预误的络当语段配体了邻音之的域相性第二方是类络在类络，入是继几语矢。输直映射状分类络以n个输节表n类将输入射n类中一。分类络有单观在质是分的在计是块的可方地合更大系、有善数解等点所可很易集到统识框中。22

河南理工大学毕业设计（文）说明书四隐马可模算HMM是在80年代IBM的Baker和Jrlinek引入语音别研前是灵最成的音别法一HMM一面隐的态应声层相稳的音位，通状转和态留描发中的化停甚音。一面引了概统模，再动时对的法匹距，是过索佳态列计算大验率到别果HMM模较地述语信在间声特两方面统变。通常HMM对应具一语学义单，常音。素间过MM模型间的接转)可构出模(尔夫，模进步以成模，到子，以过同面的型状)之的移连)，实了素字词统表示成了个下上统识框知表的次构好吻是HMM在处时变上成的面这成了的霸地。4.1的基本理论和数描述HMM是一双的机程它有个限态马可链与个态联的一随概函。尔夫的个态以一稳或稳的件对，离散某时下观值就该程该刻于个态以该态应随函数率生一值其所的个态不见，状之根转概矩进行移状转的机程隐的它通状输的机程现来，称为马可模。图4.1称无转自向结，一常的MM模型它同状的留述发的短用态转描发单的化该构有L=6状，个音n，对于HMM模型有状中一，为S，l=1。若在刻n(即第n帧所处状用x表示，么只等S～S中的一，意时n统处状以率方取于始态率量a和态移率阵A。其中a一行量即a=[a,a,.....a]它每个量a。图4.1常用的一种HMM结表示于S的率可示下23

Ax/xijsss河南理工大学毕业设计（文）说明书pAx/xijssslrll矩阵是一个

)的阵它各元

A

ij

是已相两时中一刻态为S的条件后时状为，的率这表如:rinj

ijL

(4-2)对于4.1结的HMM初状只为S，以a=[1000],根其能状态移可状转矩为个疏

1121

2232

3343

4454

55

66

对于何刻n(n>0)发音处状x取S中哪种概只决前时(n-1)所的态更的刻取状无关产的态列(…)是一一马可链用N表示测列长，果完(Ｎ1)状转，么产的一有长马可链(…)可用条矢来示=[x，x，……。于何X，其现率：

r1x

。HMM所称隐尔夫型因第帧音处状x是藏系内的，外观不的外只得该刻该)的征量y，y=[y，y，…y]下Q为特矢的数若y为散布则为散HMM模型，y以为连分，称连HMM模(CHMM)在常况假虬从态布为更地逼实的布型时采若个态布数性加综上述HMM模的成素Y=[y，y，…]所察的段列乃观察N为观察列长，…x，藏系内的态列S=[S，S，……]，HMM状集，L为态数π初状概分。它示初时t=1处各态概。A布BijL状态出率布为了明见通将HMM型示，A，B)。得意是要a仅决产生出HMM初状，的要最；则直与出关其响大4.2的三个基本问题解决算法HMM的需解的个本题l、率算已观序O=[o，o，…]模=(a，A，如计由24

,qP河南理工大学毕业设计（文）说,qP模型生O概P(O／。Pq1q,

Bq

B

T

(4-3)其中

S,

表示条中个察量列概；

表示条在型出现概。2、优态列索已观序O和模型λ即何择佳状序X3、数计如根系所的干出Y来定型，A，B)，确模型的个数a，A，B对个出Y称为个习本假有Q个出即个习样，成个本合

,1,2,,

q来求数a，B，得有参数的HMM系统生合Yq}的一学样的率均达最。以上个题别应音别的别题搜问和练题其第个题可为板配题即个知型多程上一观序相配若决此问，们可度模与测列前匹程，到别出音的的因为训阶我已对个本音元别立相的HMM型识阶的务就寻HMM模，确对的什语符。解决个题具算：问1：前向后向算对于经定个察量列考n时刻用n时以出的察量列概率推到前刻n时现个察的率y…y的率推出yy…yy的率定义为前概。样yy…y取推算yy…y的概称为向率。应，出整观矢序Y=[y，…]的率

称为体率前向率a(j)表示其义：统时处S状态，经现n-1个察矢yy…y的情下又察y的率为计a(j)，察统前n-1时刻状态显a(j)表示统n-l时处S状态产观矢序y…y的率在此况继观到y的率：可计a(j)有推式

n

时刻的所状求，ijj

ij

j

(4-4)i另外在始态n-1刻系处S产生y的概：ajjjj

(4-5)前向率具计算如：(1)始：

jj

1,2,L,L

(4-6)(2)推算25

PYLL河南理工大学毕业设计（PYLLa

a

ijj

,j

,L

(4-7)(3)体率

a

(4-8)j后向率

表示其义：统n刻于S状下已存从到N刻观矢yy…y的情下又现y的率考察n=N时刻

计算是现y的概，实系y不在是集，此有始件

。后向率具计算如：(1)始：

L

(4-9)(2)推算

ji

i

1,2,

j

1,2,

L

(4-10)在定了向率及向率其算法后考整概，出整观矢量列，y，…]概

：

(4-11)j事实，述式系当所的刻n无，公(代入有：

j

ij

j

j

(4-12)ji

ijji

i

i即系在型名现察列Y的率唯的在n=N时，为

有：

a

(4-13)jj26

PYPYi在n=l时，虑

河南理工大学毕业设计（文）说明书ajj

j

B

j

(4-14)jj问2：用HMM模识别Viterbi算法对于HMM系统外观到某矢序Y在系内其应状序X不一的但不的X产Y的可性一。态列索任就根系输Y搜索最可的态列，得状序产Y的可性到大对于个Y搜索系内对的有能状序，可表为已当系模型以Y产X的条后概

PX

，并得概达最，X

X,

(4-15)上式，母对所的态列X都相同因可简成较中分，PX

YXY

对所可的X直接算述率并择中最者算量大为可采一递的法Yiterbi搜算即以好解这问。假设统观矢序Y=[y，y，…，y，yy…y]，求条态列X=[xx，…，x，x，x，…x]，得面概达最：,Yx,x,

,,y,

y,AB

(4-16)假设统时n处于态x=S，先时的态…x。可任选，可以到条l到n的径使产输序y…y的概率达最。设概最大记

max

x,

xi

,y

aBL

17)则由(—16)很易导1,L（4-18）nijj另外为描路节之的推系定A其意为nijx=S的条优径xx…xx中的态号则求优态列X=xx…x的Yiterbi搜索法下（1初化

aii

1,2,,L

（2递计：27

mlml对于n=1，由

求

：

argax

ij

j

j

1,2

L

(4-19)确定：j=l求应j值是整最状序列的后个态x所取状下序，为l，：largNi（3路回：出进回求最状序路：l

,2

（4-20）问3模型练Baum——Welch重估法假设练模参为a,A，B，训后型数为a

表示统在n时位状S，在n+1时位状S产观矢序Y概，,nijx,xYinjY

aijjnY

(4-21)

aijjnnijjnij

aijjnai

令表示系统在时位于状态S并有观察矢量序列Y的概率，有

i

,同样以写：28

iPNL和L为，有PYYNNiPNL和L为，有PYYNNLNn

PxY

PxYii

(4-22)

a事实，

i存在

j

对所的刻求，j其意表系从有刻S状态移S状并生察量序Y概总记PYijPY

i

Snj

j

aijj

（4-23）同样将以对所的刻n求其意义表示统所时的S状态移产生观矢序Y的概总，为

PYSi

j

ij

nnanijjn

(4-24)

nj

Y

anna的计假a'初状概矢的估，中素a’以n=l时系位于态S并又察量列Y的概来示有a

i

ata

L

(4-25)iA的计假A'表由S转到S的率新计其算法以示：A'=(由S状态转移到S状的率和/(S生态移概总)。系统所时的S状转到S状并生察量列Y的率和29

ij河南理工大学毕业设计（文ijYSalln给，从有刻S状发状转并产生观序Y的率总和PYSall给，此；ijjAij

YiYij

j

allallj

aijj

(4-26)B的计在散H模下系的察量一列离值概分函矢B为矩，中表系位状S并观到字(m=1，2…，M)(M为观察量的维数V为第维素的率。设'为b的新计则b'

aa

j,L;m

(4-27)

使用述法代可逐调系模参，使模产观矢序的概不增并到个大。是方的练果初相，能敛到局的优因此采用“分足值法以较的决个题图所。图4.2分K段均值算法进行模型参训练当然分K均值法然要于始型数行算初模的生两主要法一是取匀布随设的法另种法将练音数根HMM型状数照种则段每作某状的练据从计模的始参。30

PQPQPqPPQPQPqPq,PP4.3算法的改进经典模算有个要假：1)状转的尔夫设时的态n+l时的态移状转概仅仅n刻状有，与往何刻状无。2)输值马可假：n时输出观值概，取于前刻所处的态，与前历无。事实这种设不分理因为任时出的测出量率赖系当前处状，且赖系在一刻处状。了补一点对典HMM型状转和出测的尔夫设件一的进并出模的向和向法假设藏状序是个阶尔夫n时刻状向n+1时刻状转的状转概不依于时的态而依于n-I时刻状，：

ijk

qsqsqsqs,qsjiji（4-28）其中

ijk

1,

ijk

ij

。L示型状个。样征测量概率不依于统前处状，且赖系前时所的态即bqsLlijlji

（4-29）改进前—后算是计在定型的件产观序O=[o，o……]概即给定模型产生一态列Q=qq，…，q的概率

NN

N

（4-30）其中为系在刻时状为S的率A表示态SS，的率(4-29)式可，该态列Q条件下模已给)产观序0概：

q

,,

（4-31）所以给模λ产给序0的概：P

P

A

（4-32）按上直计简介方。前向法改：

，其算非大为问求变更实，寻更31

qoqqs,LL,qoqqs,LL,,qijPq,qoL首先义向量j,qn12

n

i

是在定型的条下，生n以的分察列o，o，…，在时态S，n状为的率。前向量n(1)始

可按列骤行代算s,q11i2j1ijisii12j1i1ijjii1ij(2)代算

（4-33）

n

,12

on

n

,nj

n

k

i12

on

n

,n

j

nkninjiLnij

n

,nj

n

,k

i,2j,knijkjki（4-34）后向法改：与前算相似定后变：

j,o,,ij

（4-35）即在定型和n-1状为S，n时态S条下从时到后部观测列概，按下骤行代算(1)始ji,jL(2)代算32

LLqLoLLqLo,LLLLLLL

qN

,,inj

o

N

,inj

ko

k

inj

Njnkq

k

,,ij

nj

kAijkjk

j(436)k在给模λ，生测列O的概率根前变和向量定可：PP,oN

o,,o,n

,

,qN

qij

ijij

（4-37）

N

2nij以上法以广Viterbi算Baum-Welch算些法免在算态移概和出测概时考当状而考历的单设在际题更合理。4.4的结构和类型隐马可模主有种的构一是连的另种从向的不结构HMM模型，有己应领。连的HMM以于话识：跨从向右型合的音点因可用进语识。有越左右型其允许位转味语中些音说中能吸或除实情；行从向右型包了同个音位能现音现4是见几HMM结。33

j河南理工大学毕业设计（文）说明书j图4.3常规的HMM构4.5算法实现的问题(1)始型选选取的始型使后出局极与局大近是有义。般为，和参数值取响大可随机取均取，要足率求可但B初对练的HMM影响较，般向取为杂初选方。较型HMM数计法“均值分”法(2)HMM状态的取一取态为4～10但是态越越，单汉而言取4较合。(3)HMM中B数型选为了用续测度必对型概密函(pdf)的形作些制以证能对pdf的数进一估。然不形的pdf是由同参来述，估计种数重公也不样。般泛用pdf为斯b(o)。(4)个察序训实际训一HMM，经常到止个察序，么于K个察序训HMM，对Baum=Welch算法重公加修。(5)例子题在前一后算和Baum=Welch算法，有a(i)和b(i)的归算因所的量小l因，a(f)(随的增和b(i)(随t的减)都速向零为杜绝种溢Underflow)问，须取加例子Scaling)方，有算加以正相算可看关料34

河南理工大学毕业设计（文）说明书五基Matlab环境下的音别法现Matlab原始序20世70年代期由国墨哥学算系任CleverMoler开完1984年由Mathworks公推市在20多年发过中件本不更，能步善深大教、生科工人好也为值计领耳能的词活在值算各舞。文结优的值计能及大信处功助对音部基特的究展Matlab在语音别的用并揭语识的秘5.1别系统平台介绍在本统，本最要仪为筒耳与机（有音等声具整个验台立软的础，得号采、析数转完一化利用Matlab各工具的大能以数进即的理送Matlab各个具往采了界最端算，此比传的现式该音别统通Matlab开图界，真演了音别过以结。编前要Matlab中安一voicebox语音处工箱到个录目加到的搜路。从数采的度看PC声本就为一优的据集统它时有A／D和D／A换能不价低，且容好性稳、活用软特别驱动序级便如测对的率音范(20～20kHz)内，且采频等指又有高求就以虑用卡而音频围般5kHz以，足卡采的求采集音号检声的置证配的入能录功能不处静状。声卡工原如．1所示主通总将字的音号到模换(D／A)，数信变模的频号同，可通模转器／D)将克或CD的输入号换数信，到算进各处。５.１卡理衡量卡技指包复数、样率采位即量精、道、噪比SNR)和谐失(THD)等复数代声能同发多种音复数大，色越，放音可听的部多越腻采频是秒集音本的量采频越，录声波越确保度越，采数量应35

河南理工大学毕业设计（