（应用数学专业论文）基于hmm和改进bp算法的非特定人连接数字语音识别.pdf

、 基于h m m 和改进b p 算法的非特定人连接数字语音识别 摘要 x 。398185 f 语音识别技术是计算机模式识别领域一个非常活跃的研究课题，在法律、 商业等领域有着广泛的应用。 在语音识别方面，基于隐马尔可夫模型的识别方法有着非常重要的地位， 并且在实际应用中得到了较好的识别结果。j 但是，在隐马尔可夫模型的识别方 法中，基于b a u m w e l c h 的重估算法和识别中的v i t e r b i 解码就其目标函数而言 并不一致，) 本文提出了基于最小误识率准则的区分训练方法，将目标函数直接 建立在v i t e r b i 解码的基础上，以保证所得的隐马尔可夫模型能提高识别率。 实验结果表明此方法确实有一定的效果。此外，对算法的初值设置及实现过程 中的溢出问题进行了讨论。 i b p 神经网络是应用最广泛的种人工神经网络，其学习能力和容错能力 对不确定性模式识别具有独到之处了本文对传统的b p 算法采用了向量的占加 速算法和共轭梯度法进行了加速，对相关的收敛性、稳定性进行了理论上的证 明，并对其初始权值的设置进行了研究。本文采用基于b p 神经网络的神经预 测模型进行语音识别。f 将加速后的b p 算法应用于连接数字识别，得到了良好 的结果。 多分类器的组合已成为模式识别领域的前沿研究课题，并在许多应用方 面，如字符识别、目标识别等领域取得了较好的应用效果j 苯文利用多分类器 组合的方法对连接数字语音进行了识别，达到了令人满意的效果。 关键字：隐马尔可夫模型，动态时间伸缩，语音识别了神经网培j 区分训练 神经预测模型：v e a 算法，分类器组合、 基于h m m 和改进b p 算法的非特定人连接数字语音识别 a b s t r a c t s p e e c hr e c o g n i t i o nt e c h n o l o g yi s av e r ya c t i v es u b j e c ti nt h ea r e ao fc o m p u t e r p a t t e r nr e c o g n i t i o n ，w h i c hh a saw i d er a n g eo fc o m m e r c i a la n dl a we n f o r c e m e n t p o t e n t i a la p p l i c a t i o n t h e r e c o g n i t i o nm e t h o db a s e do n h i d d e nm a r k o vm o d e lh a sg r e a ti n f l u e n c ei n t h ea r e ao fs p e e c hr e c o g n i t i o na n do b t a i n sg o o dr e s u l t s i nt h i sp a p e r , ak i n d so f d i s c r i m i n a t i v et r a i n i n gm e t h o d sa r ed i s c u s s e db a s e do nm i n i m u me r r o rr a t e ，t h e o b j e c tf u n c t i o ni sc r e a t e dd i r e c t l yo n v i t e r b id e c o d et og e tt h ep a r a m e t e r so fh i d d e n m a r k o vm o d e l ( h m m ) a n d r e c o g n i t i o n r a t ei si n c r e a s e d b a c k p r o p a g a t i o na l g o r i t h m ，w h i c h i s s i m p l ea n de a s y t ob e r e a l i z e d ，i s f r e q u e n t l yu s e dt ot r a i nf e e d f o r w a r dn e u r a ln e t w o r k i ti sv e r yv a l u a b l ei nm a n y s u b j e c t sa n d i ti so n eo f t h em o s tu s e f u lm e t h o d sf o rp a t t e r n r e c o g n i t i o n i nt h i sp a p e r ， w ea r g u e dh o wt oc o n f i g u et h ei n i t i a lv a l u eo f w e i g h ta n dv e c t o re p s i l o na l g o r i t h m a n d c o n j u g a t e dg r a d sm e t h o d a r eu s e dt oa c c e l e r a t eb a c kp r o p a g a t i o n a l g o r i t h ma n d i p r o v et h e s et w om e t h o d l sc o n v e r g e n c ea n ds t a b i l i t yi nt h e o r gt h ee x p e r i m e n t a l r e s u l t sh a v es h o w nt h a tt h e s em e t h o d sa r ew e l ls u i t e dt on e u r a l n e t w o r k i m p l e m e n t a t i o n s n e u r a lp r e d i c t i v em o d e lb a s e do na c c e l e r a t e db a c kp r o p a g a t i o n a l g o r i t h mi su s e d t or e c o g n i z et h ec o n n e c t i v e d i g i ta n d o b t a i ng o o dr e s u l t s t h er e s e a r c ho nc o m b i n a t i o nm e t h o d so fc l a s s f i e r si sah o ts p o ti nt h ea r e ao f c o m p u t e rp a t t e r nr e c o g n i t i o n i th a s aw i d e r a n g e o f a p p l i c a t i o n s ，s u c h a s h a n d w r i t t e nd i g i tr e c o g n i t i o n ，f a c er e c o g n i t i o n w eu s e dm u l t i c l a s s f i e rc o m b i n a t i o n t og i v eo u tt h ec l a s s f i c a t i o nr e s u l t s e x p e r i m e n t a lr e s u l t sh a v ea l s os h o w n t h a tt h i s m e t h o di n c r e a s e st h e r e c o g n i t i o n r a t e k e yw o r d s ：h i d d e nm a r k o vm o d e l ，d y n a m i ct i m ew a r p i n g ，s p e e c hr e c o g n h i o n ， n e u r a ln e t w o r k ，d i s c r i m i n a t i v et r a i n i n g ，n e u r a l p r e d i c t i v em o d e l ，v e c t o re p s i l o n a l g o r i t h m ，c o m b i n i n g c l a s s f i e r n 基于h m m 和改进b p 算法的非特定人连接数字语音识别 1 绪论 1 1 前言 语音识别的研究目标是让机器“听懂”人类口述的语言，听懂有两种含义， 第一种是将这种口述语言逐词( 字) 逐句地转换为相应的书面语言( 即文字) ，第 二种则是对口述语言中包含的要求或询问作出正确的响应，而不拘于所有词的 正确转换为书面文字。语音识别与语音合成相结合，即构成一个“人一机通信 系统”。促使科技界和工业界以及国防部门投入大量的人力和财力来研究语音 识别的动力是信息产业迅速发展的迫切要求，其中包括计算机、办公室自动化、 通信、国防、机器人等等。如：语音打字机、信用卡认证以及股市行情查询都 可以归结为语音识别方面的问题。由于语音识别的需要来自不同的领域和部 门，因此对语音识别系统应具有的性能和指标提出了差异极大的要求。 1 2 语音识别的发展和现状 5 0 年代至6 0 年代初是语音识别的初始研究阶段，代表当时水平的语音识 别器有：1 9 5 2 年b e l l 实验室的d a v i s 等人根据语音信号的第一共振峰和第二共 振峰特征完成的第一台识别十个英文数字的语音识别器，识别率高达9 7 。 6 0 年代中期后，随着计算机技术和数字信号处理的兴起，新的有效的数字 算法及信号处理技术层出不穷，如1 9 6 3 年b o g e r t 等提出了倒谱算法，1 9 6 5 年 c o o l y 和t u k e y 提出了快速傅立叶变换，1 9 6 8 年o p p e n h e i m 把倒谱应用于语音 信号处理，建立了同态信号处理技术等，这些都为计算机应用于语音识别的研 究提供了可能性。这一期间，日本学者i t a k u r a 将动态规划( d p ) 的概念用于 解决孤立词识别时说话速度不均匀的问题，提出了著名的动态时间伸缩算法 ( d t w ) ，获得了很大的成功，从而引起了语音识别的研究热潮。早期的语音 识别统的研究大多是按照简单的模板匹配原理工作的特定人、小词表、孤立词 识别系统，其模式识别的原理框图如图1 2 1 所示。与5 0 年代相比，6 0 年代人 们在语音识别的研究上大大前进了一大步，不过由于模型及算法的原因，使得 语音识别的研究仍处于实验室研究阶段 5 7 1 。 基于h m m 和改进b p 算法的非特定人连接数字语音识别 蓬 识别结果 o 输出 图1 2 1 模式识别原理 7 0 年代发展起来的语音信号的线性预测编码技术( l p c ) ，较好的解决了 基于语音产生模型的算法问题和语音特征提取问题，这种算法在语音识别应用 方面取得了基本令人满意的效果。 8 0 年代以来，矢量量化技术( v q ) 、隐马尔可夫模型( h m m ) 、人工神经网 络( a n n ) 的应用与发展为语音识别开辟了一条新途径。隐马尔可夫模型 ( h m m ) 用于语音识别最早见于b a k e r 和b a l l l 的报告中，开始时只应用于连 续语音识别8 0 年代由b e l l 实验室的r a b i n e r 等人推广到孤立词识别。h m m 是一种特别适用于语音信号序列的概率参数模型，它特有的双重随机性不仅能 描述语音信号的短时声学特征，还能描述其时间变化特征，因此比模板表示的 方法更有效。h m m 不仅可以表征各种语音基元，还有一套有效的算法计算h m m 的参数，正被不断应用于现代语音识别系统中去，被认为是解决语音识别系统 所面临的各种困难中最成功的技术。1 9 8 1 年，l b m 公司采用v q 和h m m 方法 开发了一个有2 0 0 0 0 个词汇的特定人、孤立词识别系统- - t a n g o r a ，识别率 达到9 4 6 。1 9 8 8 年，c m u 大学采用v q 和h m m 实现了一个语音识别系统一 s p h i n x ，它是一个可理解9 9 7 个单词构成的4 2 0 0 个句子的非特定人、大词汇 量连续语音识别系统。人工神经网络的进一步发展也为语音识别研究提供了另 一种新手段。一方面，它提供了启发式识别与统计识别之间的桥梁，使二者互 补。另一方面，它提供了一种模仿人的听觉系统对语言感知过程的方法，使得 有可能仿真人脑的神经系统来进行语音识别与理解。 我国的语音识别研究开始于5 0 年代，到7 0 年代已经作了许多语音识别的 基础性研究。近十几年来，我国的语音识别研究取得了长足的进展，一方面吸 2 墨主坚翌塑塑! 壁! ! 竺鲨堕! 堕! 壁垒壅塑墼塑童羔! 型 收国外已有的科研成果，另一方面结合汉语特有的各种声学特征和语音特征作 了大量的深入研究，研制出了一些语音识别系统【5 ”。如1 9 7 8 年，中科院声学 所设计了r t s e s ( 0 1 ) 实时语音识别系统，北方交大于1 9 8 8 年实现了特定人、 非连续a l l a 语音理解系统，这些系统均具有较好的识别能力，正逐渐赶上国 际先进水平。 综观上述各种研究成果，其研究方法可归结如下 第一条途径，知识工程或称为专家系统途径。美国国防部的高级研究规划 局一简称a r p a ( a d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 在7 0 年代初制定了一项 研究开发计划( 简称a r p a 计划) 的研究结果表明：由于语音的多变性和不确 定性是其所固有的，专家系统在语音识别方面的效果不是很好。一些研究者经 长期研究后着重宣称：人们对语音的最大知识就是确认对于语音的无知，正是 需要在这一前提下来研制具有高识别率的系统。知识和规则的方法之所以很难 取得更大的进展，既由于语音的多变，又由于规则的难以搜集完备，还由于执 行规则的算法难以高效运行。尽管欧、美还有一些研究者在此领域内作出了一 些成绩，但这已不是语音识别研究的主流，其成果已被吸收到另一条研究途径， 即统计方法的研究中去了。 第二条途径，也是目前作为主流的研究途径即采用概率统计的方法。 概言之，就是从声学语音层直到句法层，将全部语音的统计知识容纳在一个 统一的h m m 框架内。8 0 年代美国在语音识别方面进行的一些重大项目，包 括a t & t 公司b e l l 实验室以l r a b i n e r 为首的科研集团在连接数字识别和语声 响应等方面做的工作以及i b m 公司以f j e l i n e k 为首的研究组在语音打字机方 面所做的工作。几乎所有与语音识别有关的科研项目都采取以h m m 为基本框 架的统计途径。虽然该方法还有不少缺陷，但其巨大成果是其他研究方法无法 比拟的，它将语音识别的研究和实施纳入一个系统的、易于在计算机上实现的 框架中。 经过半个世纪的努力，语音识别已取得了巨大的进展，不少语音识别装置 已进入了市场。但也要指出，目前的语音识别与人类的听觉能力相比，仍存在 着很大的差距，这表现在： 1 ) 目前不少语音识别系统是针对特定讲话人设计的，使用者需要对识别系 3 差主旦兰竺塑堕堂! ! 竺兰塑! ! 堑塞垄量墼兰堕童塑型 统进行训练，训练的过程实际上是建立反映使用者个人的语音特征的标准模块 库。要系统能正确识别所有人的语音，那么标准模板库中的基本识别单元应能 反映人类发该音的共性或本质特点。不幸的是，现在人类尚不清楚人耳从不同 人说的同一语音中抽取了哪些共性特征，这是急需解决的问题。 2 、对于连续语音识别还有不少困难，即要求被识别单元之间要有一定的间 隙，以使计算机能识别单元的起止点，这极不符合人的说话习惯。连续语音识 别的困难不仅在识别基元的分割方面，而且由于受到协同发音或语调的影响， 在不同的语境下，同一发音单元的语音特性变化相当大。 3 1 目前的语音识别系统对环境的要求极高，一般要求工作在安静的环境 下，稍微嘈杂的噪声将造成系统识别率的极速下降。此外，对于讲话者、话筒 的要求也很苛刻。这些问题严重阻碍了语音识别的实用化。 1 3 本文主要的工作 非特定人的语音识别一直是一个难度较大的问题。能够让一个系统识别不 同人的发音，它面临的对象将比特定人语音识别系统复杂的多。因为语音信号 的非平稳特点，不仅包含了某个发音者的变化，还包含了发音者之间的差异。 语音模式识别过程包括：( 1 ) 特征提取；( 2 ) 模式匹配。如果我们能够找到一 种方法能有效地提取与人无关而仅依赖于语音模式本身的特征，那么对模式匹 配的方法要求可以降低；反之，如果我们能够找到一种模式匹配方法能够有效 地区分所有不同的模式，尽管有些模式在特征空间上有重叠，那么特征提取方 法的要求可以降低。但目前仍没有找到这两种理想的方法。传统的语音模式匹 配方法动态时间伸缩算法d t w ( d y n a m i ct i m ew a r p i n g ) 和隐马尔可夫模型 h m m ( h i d d e nm a r k o vm o d e l ) 经实验证明是有效的模式分类方法，但对是什 么参数能更好地反映语音模式的特征也知之甚少。从人工神经网络的研究中可 以知道，多层感知器m l p ( m u t i _ l a y e rp e r c e p t i o n ) 是一个很好的分类器，但 它不能完全代替传统分类方法，它们各有利弊。因此使它们有机结合起来，取 长补短来提高语音的识别率，应是一种可行的方法。 鉴此，本文从下面几个方面开展了讨论： ( 1 ) 采用基于隐马尔可夫模型的识别方法对连接数字进行识别。由于在 隐马尔可夫模型的识别方法中，基于b a u m - w e l c h 的重估算法和识别中的v i t e r b i 苎主望竺翌塑垦堂望! 簦鲨塑! ! 壁塞堕堡墼量堡童堡型 解码就其目标函数而言并不一致，并且未在模型训练中引入模型判别过程中候 选模型匹配得分的竞争特征，因此无法保证对于f o r w a r d b a c k w a r d 重估公式得 到的模型参数，识别器具有最低识别率，本文提出了基于最小误识率准则的区 分训练方法，将目标函数直接建立在v i t e r b i 解码的基础上，以保证所得的隐 马尔可夫模型能提高识别率。实验结果表明此方法确实有一定的效果。文中对 l b c h m m 算法的初值设置及实现过程中的溢出问题进行了相应的讨论。 ( 2 ) b p 算法初始权值设置不佳使系统可能陷入某个局部最小或某个平稳 点，本文对初始权值如何设置进行了讨论。 ( 3 ) 由于b p 神经网络的学习能力和容错能力对不确定性模式识别具有独 到之处，本文对传统的b p 算法采用了向量的s _ 力日速算法和共轭梯度法进行了 加速，对相关的收敛性、稳定性进行了理论上的证明。采用b p 神经网络的神 经预测模型进行语音识别，将加速后的b p 算法应用于连接数字识别，得到了 理想的结果。 ( 4 ) 多分类器的组合已成为模式识别领域的前沿研究课题，并在许多应 用方面，如字符识别、目标识别等领域取得了较好的应用效果。本文利用多分 类器组合的方法对连接数字语音进行了识另0 ，达到了令人满意的效果。 5 基于h m m 和改进b p 算法的非特定人连接数字语音识别 语音信号的特征矢量的形成 语音信号的倒谱特征矢量反映了语音全极点模型平滑谱的对数幅值，不但 计算简便而且用于语音识别时效果很好，因此本文采用倒谱作为特征矢量。为 了提高识别率，对每一帧语音，我们在求得q 维倒谱特征系数后再增加q 个 差分倒谱分量来形成特征矢量。特征矢量的计算过程大致可用下图描述： 图2 1 特征矢量计算过程 2 1 语音信号的端点检测及预加重 所谓语音信号的端点检测就是判断一个输入语音的起点和终点。由于语音 信号的准平稳特性，任何语音数字信号处理技术都建立在“短时”基础上。本 文利用短时平均幅度和短时过零率实现有声无声判决。对于浊音、清音和无 声，它们的短时平均幅度和短时过零率具有如下特点： 1 浊音：短时平均幅度最大，短时过零率最低。 2 清音：短时平均幅度居中，短时过零率最高。 3 无声：短时平均幅度最小，短时过零率居中。 语音有声无声判决的具体过程如下：求出每一帧语音的短时平均幅度的 基于h m m 和改进b p 算法的非特定人连接数字语音识别 最大值，即m 。= i s 。( ) l ，用此最大值将每帧语音的短时平均幅度归一化。 n = o 取一个较高的阈值m 。= o 1 5 ，当m m 。时，就可肯定该帧语音信号不是无 声。根据m 。可判定输入语音中的前后两个点n 。和：，其间为有声段。再取 一个较低的阈值m ，= o o l ，当m m ，时，可肯定该帧信号是无声段。根据 m 。可判定输入语音中的前后两个点n 。和：，语音的精确起、终点在n 。一。 和：一：之间。取一个非零电平孝， 令短时过零率 n - ! z = 去 i s g n i s 。( 行) 一胡一s g n s 。一1 ) 一刮) ，取无声情况下z 的均值z ，然 二n = l 后由。向前搜索，如z 始终大于z 。的三倍，则仍属于语音段，直至下降到低 于3 z ，值，此时确定精确起点力( 髓必位于。一n 。之间，且由n 1 向前搜索 不超过2 5 m s ) 。终点的精确值藏的确定方法同膏。 语音信号的功率谱受声门激励和口、鼻辐射的影响，通常是频率越高，谱 值越小。在语音信号的功率提高两倍时，其功率谱的幅度约下降6 d b 。因此需 对其进行高频增强，使语音信号的频谱变得平坦，便于进行频谱分析或者声道 参数分析。预加重部分也应采用6 d b o e t 来增强语音信号的高频部分，经预加 重后的语音信号，其高频部分可与中频部分( 1 - 2 k h z ) 幅度相当。软件上，可 用采样后的语音经过一个特性为( 1 一。1 ) 的数字滤波器来实现。口的值可在 0 9 0 9 7 之间选择，我们取口= o 9 5 。 2 2 语音特征矢量的形成 本文中，语音信号是通过录音机录制的，采样率为8 k h z 。采样后的语音 首先进行端点检测和预加重处理，然后对语音进行分帧。取语音帧的长度为 2 0 m s ，帧长为1 0 m s ，对每帧语音信号用h a m m i n g 窗相乘，然后将每帧语音转 7 苎旦竺塑塑垡堕! ! 塞堕塑斐堑塞堕蕉塾兰堕童望型 换成相应的特征矢量。根据图21 所示的特征矢量计算过程，可得 倒谱：l p c 倒谱 差分倒谱：设语音数据第n 帧的倒谱系数为c 。( m ) 。 f c 。( m ) 2 幻h ( 搠) 】g m = l ，2 ，q ( 2 2 1 ) 女= 一k 经验表明k 取2 ，g 取0 3 7 5 是比较合适的。 加权窗函数2 】 ”1 ： 岫) _ 1 + 譬s i n ( 其中q 为倒谱系数个数。 这里，采用d u r b i n 递推算法求得p 阶最佳前向预测器系数， 倒谱系数。( p = 1 2 ，q = 1 2 ) ( 2 2 2 ) 并由此求得 2 3 d u r b i n 递推算法 1 给定线性预测器阶数p 。 2 根据式( 2 3 1 ) ，计算r ( o ，= o , i ，p 。 3 根据式( 2 3 2 ) ，计算k 1 = 一r 0 ) g ( o ) 。 4 根据式( 2 3 3 ) ，计算舀，”= k ( ”。 5 根据式( 2 3 4 ) ，；= 1 一( 世1 ) 2 r ( o ) 。 6 令m = 2 。 7 根据式( 2 3 2 ) ，k “= 一【r ( m ) + 口；”川r o i m ) z7 川。 根据式( 2 3 3 ) ，a 。= k 。 8 根据式( 2 3 3 ) ，a ，“= a 。“+ k ( - ) h “，i = 1 ，2 ，一，一1 ) 。 8 墨型竺塑垡堕里! 苎鲨堕! ! 壁塞堡垫墼兰受童塑型 9 根据式( 2 3 5 ) ，计算穸= 【1 一 k 州) 2 】矿州。 1 0 如果m r ，都一定存在一个三层感知器网络来实现 这一映射。多层感知器m l p 执j 亍的信息处理操作实质是映射或函数的近似。 对于m l p ，w e r b o s 曾于1 9 7 4 年提出一种学习算法，即后人称之为反向传 播法( b a c kp r o p a g a t i o n ，8 p ) 的修正连接权的算法。下面简单介绍b p 算法。 在图41 2 中所示的q 层前馈网中，第q + l 层中的神经元i 从第q 层的神 经元接收信号，并加权：。对网络的第k 个输入，第q 层的m 个神经元到第 q + l 层中第i 个单元的连接所引起的活化性为： m x m k ) 2 f ( ( ) 一1 ) j = l 3 l 兰旦垫塑垦鲎! ! 兰鲨塑i ! 笪塞叁垄量墼圭堕童堡型 村+ l = f ( 辩( ) )( 4 1 3 ) j = l 上式中，阈值作为第m + i 项包含在求和号内，即x ：| ，+ ( k ) = 1 ，c o 。q + 。= 。o , q “。 x ? “( k ) 图4 1 2 多层感知器网 按照最小均方误差准则训练网络，定义总误差为： k e 2 b = ( x j 俐( 七) 一z ? ( 硝2 ( 4 1 4 ) k = lk = li - l 上式中， k ：训练集中的模式数 n ：输出层单元数 z f ”“( k ) ：输出层第i 个单元的目标活化性。 x 尸( ) ：输出层第i 个单元的实际活化性。 算法是通过调整权值使e 最小。学习规则规定权的变化正比于误差相对于 的偏微商负值，即： 础。c 一两o e k ( 4 1 5 ) 而盟 a 品，嘏枷鬻 北 基于h m m 和改进b p 算法的非特定人连接数字语音识别 对于s i g m o i d 函数，有 f ( x ) = p f ( x ) ( 1 一f ( x ) ) 故若q = q 一1 ，则有： 一轰邛：a r g e t - - x 一( 2 那0 鬈磁 此处，括号内的变量k 略去不写，故： 筋1 = 叩( ( x ：”“一x q 。0 ( 1 一x ? ) 扛：“ 其中，7 为常数，称为学习率，或学习步幅。 如果q q 一1 ，则x ，与二有关，可通过链式规则计算： 一焘= 拍i = l a r g e t - - x 槲旷柏1 篆 如果取q = 2 ，则： 一盟o c o ：= 黔n ta r g e t - - x 獬( h 辩1 鼬h 宇一雠2 = 犀( 1 一x ) ( x j ”“一x ? ) 犀? ( 1 - c ) c o , ：。) x 暑4 ( 4 1 7 ) ( 4 1 8 ) ( 4 1 9 ) ( 4 1 1 0 ) ( 4 1 1 1 ) a 。0 。- 2 = 修扎1 一x ( x ：一x ? ) 犀? ( 1 叶，q 鹏q 。1 工：。 ( 4 1 1 2 ) ，= l 概括地说，修正权的方程具有如下形式 ；= ，7 艿，q 一q 。1 对于输出层所连的权q = q ， 占f = ( x j “8 “一x ? ) c o x ? ) 对于输出层以前的各层， 月 占? = ( 占? “c o ：) ( x q o x ? ) ) ( 4 1 1 3 ) ( 4 1 1 4 ) ( 4 1 1 5 ) 茔王婴翌塑! 堕! ! 竺鲨塑! 堕塞壅堡墼兰至童望型 其中，r 是在q + l 层之单元数。 从上式可以看出，对第q 层单元计算群，需要用到在第q + l 层计算的误 差。所以用了反向传播法一词，说明在输出层计算的误差通过网络反向传播， 被前面各层用来进行权的修正。 一般，为了使权的变化更加平滑，还引入另一项，如下式所示： ；一( f ) = 叩占? 0 ) x j - 1 ( f ) + a a c o ；。1 ( f 一1 ) ( 4 1 1 6 ) 其中，0 。为4 的特征值c r = ，z ，一，v ， g ( z ) 2 丽( a x i + b 厅) r ( i a j x 而+ b ) y r u ”( d i a g ( d 。，a 2 ，旯。) ) 砂 ( 【少) ”吵 ( 吵) “( 讲昭( ，旯2 ，a n ) ) 吵 一 彤孙l 2 2 丽 刍 川 4 0 墨! 坚翌坚塑苎垡曼! 蔓鲨塑! ! 壁塞垄堡墼兰至童望型 故 从而 。 o ，m r 1 取 l_(ax+b)t(ax+b)，x一4。6 g ( x ) = ( a x + 6 ) 7a ( a x + b ) 【m ，x = 一a - i b 又因为f ( x ) 为解析函数，故f ( 一a 1 6 ) 存在。若令 彳= g 。li = l ，2 ，_ ，：1 ，2 ，n b = ( 6 l ，6 2 ，一，b ) 7 ，x = ( x l ，工2 ，一，x ) 7 则 f ( x ) x 一g ( x ) ( 善口，x 一+ 6 ，) x z g ( x ) ( 毛口z ，x ，+ 6 ：) x ”一g ( x ) ( 毛口帅x ，+ 6 ”) 由f ( x ) 解析可知，f ( x ) 各分量具有连续偏导数。 如对f ( x ) 的第一个分量，有： g l ( 。) 2 x t g ( x ) ( 善口，x ，+ 6 ) 垫：1一皇(芝钆，+6。)一g(。油ox 1 o x = l 。 4 l 堑坚塑竺塑! 垡! ! 墨鲨塑! ! 鲎塞垄堑墼兰亘童望型 ，姆。熹小 o。g-。l。1。=ab=，li。m。，cj!j!；：；：；：!：；i；!i，：。一。，。， 2 ，l i ( r a 一。6 ) i ( = 1 一m a l l z 。一g ( x ) ( 三q ，x ，+ b 1 ) 一( - a 。6 ) ，= i 故誓在一a 一1 6 存在且连续，从而在d 上存在且连续。其余类似可证。 戚 因此 f ( 一a _ 1 6 ) = ，! i i q 。f 7 ( x ) = 1 i 母。 ，一 g ( x ) ( 爿x + 6 ) ) h aoh b 而 【g ( x ) ( a x + 6 ) 】= 瓦o gl 丢n x ，+ 6 ) + 船。毒( 缸p 慨： 推得f ( 一a 。1 b ) = ，一m a 因为m 0 ，a 对称正定，故1 不为f ( 一a 一1 6 ) 的特征值。 如若不然，3 a 0 ，a r ”，使得f f a b ) a = 盯 即a m a a = a ja a = 0 j a = 0 ，与a 0 矛盾。 而 譬9 = - a 。1 b + ( f ( 一a 一1 6 ) ) 9 ( x o + 彳一1 6 ) = f ( 一a 。1 6 ) - i 9 1 + ( ，一f ( 爿一1 6 ) ) ( 一a 一1 6 ) ( p 1 ) 酗 舶 ) ) “ 也 + 虐。 a 气 吒 一同 西一船一 既 妒 p + ， j q 6 十 + 衍。 肛 q 吼 闩问船一船一跣 - = _ _ - = _ _ 兰童坐坠堑坐墅垒墅翼墅型堕型燮量墼主堡童塑型 则由条件3 ) 、4 ) 及定理4 1 的推论4 2 有： 础= - a 。1 b 又x 佃k f ( x c p - 1 ) ) = 一a - 1 b + f ( 一a 。吣沪1 + 4 1 6 ) + d ( 川+ a - b l l 2 ) = a - l b + f ( 一a 一1 6 ) ( x 。+ 爿一1 6 ) + 占。( 工。+ 爿1 6 ) 其中6 p ( x 。+ a - b ) = o ( 1 l x + a - 1 b l 2 、 故由引理2 有： 占2 = 础+ d 妒+ a - b i 2 ) 由此可得： s o ) 十爿一1 6 = o ( 1 1 j + 爿- b l l 2 ) = 侧一+ a1 b l l 2 ) 可见，j ( 1 比j ( o 更栳沂千一a j b 现用s 1 替代s ”，即取x ( o ) = s ( ”，则同理有： 铿：- - a 。b f z = 霹芝+ d 卜+ 彳。6 8 2 ) = 一一。b + d 4 k c + 彳 s 犯+ a - 1 6 = o ( 1 l x 。+ a - b l 2 ) = o ( 0 s ( 1 ) + 爿一1 6 0 2 ) 如此进行下去 有z j _ s 。，础= 一a 。1 b s 戮2 磁：。+ o ( 1 1 x + a