（控制理论与控制工程专业论文）基于ukf的通用学习网络算法研究.pdf

摘要 基于u k f 的通用学习网络算法研究 摘要 人工神经网络自发展以来，因其大规模并行性、高容错能力以及自适 应、自学习、自组织等特征，具有广泛的应用前景。但是，目前的神经网 络也存在一些缺陷，特别是在大型复杂系统的场合更加突出。为有效进行 控制，使系统具有紧凑性，引入了通用学习网络。这种网络的特点为：节 点之间有多重分支，并且所有节点互连，即任何两个节点之间都有联系； 节点之间可具有任意的时间延迟，延迟时间可正可负也可以是零。 常用来训练通用学习网络的算法是梯度下降法，但是，这种算法本身 具有一些不足，如容易使网络陷入局部最小点，增加系统的复杂性，使收 敛速度减慢，减低了学习效率和预测能力。人们不断探索新的有效的网络 训练方法，提出了扩展卡尔曼滤波( e k f ) 算法，其优点为收敛速度快，学 习能力强，预测精度高，适用于复杂的非线性系统。然而，e k f 应用于 网络训练算法也具有明显的缺点：可导致滤波高度不稳定，运算量大，在 网络训练中难于实现。 本文在大量理论分析和仿真实验的基础上，提出了一种将无轨卡尔曼 滤波( u 时) 算法用于训练通用学习网络的新方法。针对e k f 对函数的一 阶近似，u k f 算法对非线性函数采用二阶近似展开，最重要的是，u l 心 不用求取系统的雅可比矩阵，大大减小了计算量。仿真结果表明，该方法 在时间序列预测、函数逼近以及c s t r 上具有很好的有效性和运算速度。 最后，本文对研究生期间所做的实际项目一空调监控系统做了简单介绍。 l 北京化t 人学硕1 ：学位论文 关键字：通用学习网络，卡尔曼滤波，扩展卡尔曼滤波，无轨卡尔曼滤 波 a b s t r a c t ， 阡a i n i n gu n i v e r s a ll e a r n i n gn e t w o r k su s i n g u n s c e n t e d k a l m a nf i l t e r a b s t r a c t n e u r a ln e t w o r k sh a v eab r o a d 印p l i c a t i o nb e c a u s eo fi t sc h a r a c t e r i s t i c s u c ha s c o s i i l i c a l l yp a r a l l e l i s m ，h i 曲f a u l t i t o l e r a n c e a n d s e l f a d a p t a t i o n ， s e l f l e a m i n g ，s e l f o 玛a n i z a t i o n b u tm e r ea r es t i l ls o m ed r a w b a c l 【sa b o u tt h e n e u r mn e t w o r k ， e s p e c i a l l y i nl a 唱ec o m p l e xs y s t 锄u n i v e r s a ll e 锄i n g n 咖o r k s ( u l n s ) w e r ei n 臼o d u c e df o re f r e c t i v ec o n t r o la sw h i l ea sc o m p a c t c o n s t m c t i o n au l nc o n s i s t so fa 删m b e ro fi n t e 卜c o 衄e c t e dn o d e s ，t h e ym a y h a v ea n yc o n t i n u o u s l yd i f 琵r e n t i a b l e 允n c t i o n si nt h e m ，a n de a c hp a i ro f t h e n o d e sc o u l db ec o n n e c t e db ym e a n so fm u l t i p l eb r a n c h e s ，w i 也衲i t m 叮t i m e d e l a y s t h ec o l i l 】【i l o na l g o r i t h mt m i n i n gu l ni sg r a d i e md e s c e n ta l g o 订t ，b u t t h e r ea r es o m ed r a w b a c k sa b o u tt h em e t h o d ，f o re x a m p l e ，t r a i n i n go ft h e n e t w o r ki se a s yt ot r a pi n t ol o c a lm i n i m u m ，i n c r e a s e dc o m p l e x i t yo fs y s t e m ， s l o wc o n v e 玛e n c er a t e ，r e d u c e dl e a m i n ge m c i e n c y s op e o p l ea l w a y se x p l o r e n e wm e t h o do ft r a i n i n gn e t w o r k ，e x t e n d e dk a l m a nf i l t e r ( e k f )w a s i n t r o d u c e df o rn e u r a ln e t w o r kl e a m i n g w h i l eu s e df o rn e u r a ln e 觚o r kt r - a i n i n g ， e k fs h o wh i g hc o n v e 玛e n c er a t ea n db e t t e ra b i l i t yo fl e a m i n g ，s u i t a b l ef o r 北京化t 大学硕卜学位论文 c o m p l e xa 1 1 dn o n l i n e a rs y s t e m b u te k fa l s oh a ds o m ed i s a d v a n t a g e ss u c ha s i n s t a b i l i t y ，o p e r a t i o nc o m p l e xa n di sh a r dt oe x e c u t ei nt r a i n i n gn e t w o r k s ou n s c e n t e dk a l m a nf i l t e r ( u k f ) w a si n t r o d u c e df o rt r a i n i n gu l n i n s t e a dt h r o u g ham a s so fa c a d e m i ca n a l y s i sb a s e do nt h eo p t i m i z a t i o n d i 侬i r e n t 仃o me k fw h i c he x e c u t e6 r s to r d e r 印p r o x i m a t i o n ，u k fu s e s s e c o n do r d e ra p p r o x i m a t i o nt oe x t e n dn o n l i n e a r 如n c t i o n a n dt h em o s t i m p o r t a n ti s ：u k fd o e s n tn e e dt oc a l c u l a t es y s t e mj a c o b i nm a t r i xs ot h e c a l c u l a t i o nc o m p l e x 时o f 舰i 1 1 i n gp r o c e s sc a nb er e d u c e ds i g n i f i c a n t l y s i m u l a t i o nr e s u l t ss h o wi t sv a l i d i 哆a 1 1 ds p e e d i n e s si nm n c t i o n 印p r o x i m a t i o n ， t i i l l es e r i e sp r e d i c t i o na n dc h e m i c a lp r o c e s sm o d e l i n g k e yw o r d s ：u n i v e r s a l l e 锄i n gn e 俩o r k s ( u l n s ) ，k a l m a n f i l t e r ( k f ) ，e x t e n d e dk a l m a nf i l t 叫e k f ) ，u n s c e n t e dk a l m a nf i l t e r ( u k f ) i v 符譬说明 符号说明 神经网络输入向量 神经网络输出向量 神经网络待训练的权值 通用学习网络节点输出函数 系统误差 卡尔曼滤波增益矩阵 状态向量 观测向量 采样点输入 一阶统计向量权系数 二阶统计向量权系数 系统状态估计误差协方差矩阵 通用学习网络 误差反传算法 卡尔曼滤波器 扩展卡尔曼滤波器 无轨卡尔曼滤波器 连续搅拌反应釜 神经网络 v ) ， 矿 r ， ；we k删硐矿扩p删卯腰li唧一肼 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名：查堡蝥日期： 关于论文使用授权的说明 如啊埠6a5 日 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。 保密论文注释：本学位论文属于保密范围，在上年解密后适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授 日期： 日期： 潲缉6 同5 日 诌一犬一 镑【、垒二 名 名 签 签 獭 师 。 僬 鼎 搬 第一章引言 1 1 课题的背景及意义 第一部分 第一章引言 人工神经网络( a n i f i c i a ln e u r a ln 邮o r k ，简称a n n ) 技术是一种模拟人脑功 能的信息处理系统。它主要借鉴了人脑神经系统处理信息的过程，以数学网络拓 扑为理论基础，以大规模并行性、高度的容错能力以及自适应、自学习、自组织 等功能为特征，集信息加工与存储一体化，具有广泛的应用l i i 景。作为智能控制 的一个分支，砧州以其独特的非传统表达方式和固有的学习能力，引起了控制 界的广泛关注【1 1 。神经网络的发展己有半个世纪之久。1 9 4 3 年，m c c u l l o c h 和p i t t s 合作建立了第一个神经网络的数学模型，即著名的m p 神经元模型。1 9 4 9 年， h e b b 定义了第一个学习规则，称之为h e b b 学习规则。1 9 5 7 年，r o s 即b l a t t 推广 了m p 模型，首次引进了感知器( p e f c 印仃o n ) 概念，从而掀起了神经网络研究的 第一次高潮。上世纪6 0 年代中期，m i i l s 和p a p e n 在p e r c e p 仃o n 一书中指出 了感知器的局限性。7 0 年代到8 0 年代初期，一些科学家仍坚持在神经网络领域 研究，并取得了一些重要成果，如g r o s s b e 巧提出自适应共振理论，k o h o n 髓提 出的自组织映射理论，f u k u s k m a 提出了认知机( r e c 0 嘶t i o 由模型等，其中 w 口b o s 提出的误差反向传播( b a c kp r o p a g a t i o n ，简称b p ) 学习算法，是迄今影响 最大、使用最多的网络学习算法【z j 。 1 9 8 2 年和1 9 8 4 年，h o p f i e l d 提出了离散回归神经网络模型和连续回归神经 网络模型，引入了能量函数，给出了网络稳定性判据，并给出了连续模型的放大 器电路实现。这一突破性的工作标志着神经网络研究高潮的重新兴起。1 9 8 6 年， r l 皿e l h a n 和m c c l e l l 锄d 等人提出并行分布处理，重新发现并改进了b p 算法。 正是这些重要的研究成果唤起了人们对人工神经网络的研究热情，大量的理论与 应用研究成果涌现在各种刊物上，这一领域得到了迅猛发展，人工神经网络的应 用研究很快渗透到各个领域f 3 】。 但是，目前的神经网络存在一些缺陷，特别是在大型复杂系统的场合更加突 出，首先由于节点之间只有一个分支，因此它的结构比较松散，其次传统神经网 络的时问延迟不具有随意性，这与实际系统往往不符。实际中，为有效地进行控 北京化下人学硕：l 学位论文 制，要求系统具有紧凑性( c o m p a c t ) 。为了解决这些问题，2 0 0 0 年l 幻t a r oh i r 鹤a w a 等人提出了通用学习网络( u n i v e f s a ll e 锄i n gn e t w o r k ) 【4 1 。通用学习网络，顾名思 义，就是一种通用的高级神经网络结构，这种神经网络能够用来建模和控制复杂 系统。网络具有如下特点：( 1 ) 节点之间有多重分支；( 2 ) 所有节点互连，任何两 个节点之间都有联系；( 3 ) 节点之间可具有任意的时间延迟，延迟时问可正可负 也可以是“o 。该网络具有良好的动态特性，对于大滞后系统有很好的应用前 景。 1 2 通用学习网络及其算法的研究现状 通用学习网络自提出以来，由于其良好的对复杂系统的逼近能力，已经被广 泛应用于动态非线性复杂系统的建模与控制。l 幻t 锄h i r a s a w a 等人提出了通用学 习网络并将它应用于随机信号的预测和控制【5 j ；韩敏等也提出了一种通用学习网 络的适应性算法，并将其应用于模型预测控制，用来稳定一类带有长时间延迟的 p h 中和过程这一典型的非线性系统【6 】；此外，在机器人手臂实测信号的系统辨 识以及离线辨识建模直流电机系统并对该系统进行控制，使电机转速在线跟踪给 定信号等方面都应用了通用学习网络1 7 j 。 目前通用学习网络的算法主要是b p 及其各种改进算法，但是b p 算法存在学 习速率缓慢、计算量大、容易使网络学习进入局部极小点、出现收敛速度慢或不 收敛等诸多缺陷，极大地影响了b p 算法的实际运用。 近年来，卡尔曼滤波( 1 心) 的广泛应用，为神经网络的训练提供了理论支持【3 j 其中运用扩展卡尔曼滤波( e k f ) 进行网络学习具有收敛速度快、学习精度高等特 点，可以弥补b p 算法的不足。然而因为e k f 是通过截取系统方程和观测方程泰勒 展开式的一次项，使非线性系统线性化，所以该算法对系统状态量的估计仅可达 到一次精度，精度相对较低，而且在计算步长不是充分小的情况下，线性化会造 成滤波性能不稳定；另外，对于复杂的非线性系统，线性化过程中雅可比矩阵的 推导比较困难。对此，j u l i 钌和u i l l m 锄等人提出了无轨卡尔曼滤波( u n s c t e d k a l m a i lf i l t 叭u l 江) ) 2 1 。由于采用了近似分布而非逼近非线性函数的方法，因 而不需要知道非线性函数细节，可将非线性函数当作黑盒来处理。相对于e l 心， 运用u k f 进行神经网络训练的精度更高，而计算复杂度相当，且不需要求导计算 雅可比矩阵，同时可以避免学习陷入局部极小i l 五1 4 】。 2 第一章引苦 1 3 论文的研究内容和创新之处 本文首先详细介绍了人工神经网络，然后研究了卡尔曼滤波用于训练神经网 络，重点研究了e k f 和u k f 两种算法，并进行了仿真实验，结果证实了u l 汀用于 训练神经网络的可行性。其后，本文针对当前通用学习网络洲练算法的缺点，提 出了利用u k f 训练通用学习网络( u l n ) 的算法，并进行仿真实验。仿真结果表明， 该算法在训练精度和运算速度方面优于通用学习网络的其他算法。最后，本文对 研究生期间所做的实际项目一空调远程监控系统的开发工作做了详细阐述。 本文的创新之处在于，在研究了几种通用学习网络训练算法的基础上，总结 了当前通用学习网络训练算法的缺点，提出使用无轨卡尔曼滤波来训练通用学习 网络的算法，并给出详细的仿真程序，仿真结果表明，u k f 用于训练通用学习网 络具有良好的效果，在精度和速度方面改善了通用学习网络的训练算法。 全文共分两部分，第一部分对所做课题进行了详细阐述，共分为五章，各章 内容安排如下： 第一章为引言，简要介绍了课题研究的目的与意义、相关领域研究现状及论 文的研究内容及创新之处； 第二章详细介绍了神经网络的特点和通用学习网络的发展及其常见算法； 第三章重点研究了l 心，e k f ，u 髓并将其用于前向神经网络的训练，验证 了u l 用于训练神经网络的可实施性； 第四章提出了将u k f 用于训练通用学习网络，同时进行了大量的仿真实验， 把各种算法进行比较； 第五章对各种训练算法进行了总结。 第二部分是实践部分，简单介绍了本人在研究生期间开发的实际项目一空调 远程监控系统。 第二牵人t 神经网络概述 2 1 神经网络概述 第二章人工神经网络概述 2 1 1 人工神经网络简介 人工神经网络是基于对人脑的组织结构、活动机制的初步认识提出的一种新 型信息处理体系【l 引。通过模仿脑神经系统的组织结构以及某些活动机理，人工神 经网络可呈现出入脑的许多特征，并具有人脑的一些基本功能。 人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决 定着人工神经网络具有高速信息处理的能力。人脑的每个神经元大约有1 0 3 1 0 4 个树突及相应的突触，一个人的大脑总计约形成1 0 1 4 1 0 1 5 个突触。用神经网络 的术语来说，即是人脑具有1 0 1 4 1 0 1 5 个互相连接的存储潜力。虽然每个神经元 的运算功能十分简单，且信号传输速率也较低( 大约1 0 0 次秒) ，但由于各神经 元之间的极度并行互连功能，最终使得一个普通人的大脑在约1 秒内就能完成 现行计算机至少需要数1 0 亿次处理步骤才能完成的任务。 人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现 为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元 及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。 只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。 由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使 得它具有很强的不确定性信息处理能力【l6 】。即使输入信息不完全、不准确或模糊 不清，神经网络仍然能够联想存在于其记忆中的事物的完整图像。只要输入的模 式接近于训练样本，系统就能给出正确的推理结论。正是因为人工神经网络的结 构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专 家系统等具有另一个显著的优点：健壮性。生物神经网络不会因为个别神经元的 损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受 轻微损伤之后，并不会失去原有事物的全部记忆。人工神经网络也有类似的情况。 因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效， 整个网络仍然能继续工作。 人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经 5 北京化t 人学硕 ：学位论文 元对所有的输入信号的综合处理结果超过某一限值后才输出一个信号。因此神经 网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以 线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟 人脑智能行为能力的一大飞跃【1 7 1 。 2 1 2 神经网络结构 组成人工神经网络的每一个神经元模型可以表示为图2 1 ： 该模型具有多个输入和一个输出，模型的内部状态由输入信号的加权和给 出。神经元的输出可以表达成式( 2 - 1 ) ： y ( f ) = ( t ( f ) 一目) j = l ( 2 1 ) 式中，p 是神经元的阀值，刀是输入的数目，f 是时间，权系数w 表示连结 的强度，厂( x ) 为输出函数，可以取l 和o 、或l 和1 的阀值函数、双曲正切函数， 以及s i 舯o i d 函数和高斯函数等【1 引。 2 1 3 神经网络的学习 图2 1 神经元模型 f i g 2 - ln e r v ec e l lm o d e l y 神经网络的工作分为两个阶段：工作阶段和学习阶段。在工作阶段，神经网 6 第二章人丁神经网络慨述 络连接的方式和连接权值都是已知且保持不变的，对应f 输入，所有神经元的激 活值进行迭代并产生输出。在学习阶段，神经网络的权值和阀值都根据一定的学 习规则进行迭代，即要求得到一组连接权和阀值的组合，使得基于输入训练模式 集合的特定测度函数取最优值。模仿人的学习方式，人们提出了多种神经网络的 学习方法，其中主要有三种形式：有教师学习，无教师学习和强化学习【i 圳。 1 ) 有教师学习( 监督学习) 有教师学习是在有“教师 指导和考察的情况下进行学习的方式，如图2 2 所示。这种学习方式，“教师”给出了与所有输入模式p 对应的输出模式的“正 确答案，即期望输出t ( 目标) ，用于学习过程的输入输出模式的集合称为训练 样本集；神经网络学习系统根据一定的学习规则进行学习，每一次学习过程完成 后，“教师”都要考虑学习的结果，即实际输出a 与期望输出t 的差别( 误差e ) ， 以此决定网络是否需要再次学习，并根据误差信号调整学习的进程，使网络实际 输出和期望输出的误差随着学习的反复进行而逐渐减小，直至达到要求的性能指 标为止。 p 输入 期望输出 a 际输出 图2 - 2 有教师学习 f i g 2 - 2s u p e n ，i s e di 翩m i n g 2 ) 无教师学习( 无监督学习) 无教师学习不存在“教师”的指导和考察，使靠神经网络本身完成的。如图 2 3 所示。 图2 3 无教师学习 f i g 2 3u n s u p e i s e dl e 锄i n g 7 a 际输l j l 北京化工人学硕1 ：学位论文 由于没有现成的信息作为响应的校正，学习则是根据输入的信息，根据其特 有的网络结构和学习规则来调节自身的参数和结构( 这是一种自学习、自组织过 程) ，从而使网络的输出反映输入的某种固有特性( 如聚类或者某种统计上的分布 特征) 。 3 ) 强化学习( 再励学习) 强化学习介于上述两种学习方式之间，如图2 4 所示。 外部环境对学习后的输出结果只给出评价信息( 奖或惩) ，而不给出正确答 案。神经网络学习系统通过强化那些受奖励的行为来改善自身的性能。无论哪种 学习方式，其学习过程都有一定的规则，神经网络典型的学习规则有h e b b 学习 规则、误差纠正学习规则、竞争学习规则等。 p 输入 图2 _ 4 强化学习 f i g 2 - 4r e i i l 蛋嗽釉tl c 硼l i n g 2 1 4 神经网络的主要特点 a 际输出 1 ) 分布存储和容错性 神经网络存储信息的方式与传统的计算机的方式不同，一个信息不是存储在 一个地方，而是分布在不同的位置【2 0 1 。网络的某一部分也不只存储一个信息，它 的信息是分布存储的。神经网络是用大量神经元之间的连结及对各连结权值的分 布来表示特定的信息。因此，这种分布存储方式即使当局部网络受损时，仍然能 够恢复原来的信息。 2 ) 大规模并行处理 神经网络在结构上是并行的，而且网络的各个单元可以同时进行类似的处理 过程。因此，网络中的信息处理是在大量单元中平行而又有层次的进行，运算速 度高。 3 ) 自学习、自组织和自适应 学习和适应要求在时间过程中系统内部结构和联系方式有改变，神经网络是 一种变结构系统，能够完成对环境的适应和对外界事物的学习。神经元之间的连 8 第一二章人t 神经网络概述 结多种多样，各神经元间的连结强度具有一定的可塑性。这样，网络可以通过学 习和训练进行自组织以适应不同信息处理的要求。 丰富的动态特性 神经网络是大量神经元的集体行为，并不是各单元行为的简单相加，因而表 现出一般复杂非线性动态系统的特性。 对控制科学而言，神经网络的巨大吸引力在于： 神经网络本质上是非线性系统，能够充分逼近任意复杂的非线性关系； 具有高度的自适应性和自组织性，能够学习和适应严重不确定性系统的 动态特性； 系统信息分布存储在网络的各神经元及其连接权中，故有很强的鲁棒性 和容错能力； 信息的并行处理方式使得快速进行大量运算成为可能。 在下面两节中我们分别讨论两种典型的神经网络。 2 2 前馈神经网络 前馈型神经网络，又称前向网络( f e e df o 刑a r dn n ) 。如图2 - 5 所示，神经元 分层排列，有输入层、隐含层( 亦称中间层，可有若干层) 和输出层，每一层的神 经元只接受前一层神经元的输入。 图2 5 前馈型神经网络 f i g 2 5f e e df 0 州a r dn n 从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于 编程；从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单 元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的 动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一 般都强于反馈网络，典型的前馈网络有感知器网络、b p 网络等。 在监督学习的方式下训练多层前馈网络的一种典型而有效的方法是反向传 9 北京化_ 丁人学硕i ：学位论文 播算法( b a c k p r o p a g “o n ) ，简称b p 算法。b p 算法是基于误差修正学习规则的， 它使用梯度搜索技术来实现网络的实际输出与期望输出的均方误差最小化。具体 来说，反向传播学习由信号两次按不同方式经过网络而组成：一次是工作信号的 前向传递( 信号前传) ，一次是误差信号的反向传播( 误差反馈) 。在前向传递阶段， 输入样本向量传输给网络中的神经元节点，经激活函数作用后作为下一层神经元 的输入，这样一层接一层地向前传播，最后在输出层产生一个输出作为网络的实 际输出；在反向传播阶段，网络实际输出与应有输出间的差值即为误差。连接权 全部根据误差修正规则来调整，误差信号从输出层开始反向传播经过网络直至输 入层。关于b p 算法的学习公式，可参见文献【2 。 2 3 递归神经网络 前面介绍的前馈网络有很广的用途，由于它是一个静态网络，所以只能用于 处理与时间无关的对象，如文字识别，空间曲线的逼近等。工程中有许多对象是 与时间有关系的( 时间是一个自变量) ，如时间序列建模和预测、动态系统辨识、 语音识别等。处理这类信号的网络本身应是一个动态系统，为此必须在网络中引 入短时记忆功能。 可以有两种方式，一种是通过延时单元把以前的状态存在延时单元中。最简 单的方式是在通常的静态网络中加入延时单元，此时可以看作把时间信号展成空 间表示后再送给静态的前馈网络，这种网络称为时延神经网络。 另一种方式是引入反馈使网络成为一个动态系统，即递归神经网络。 递归网络( r e c l l r r e n tn e 删n 咖o r k s ，砌州) 是有一个或多个反馈回路的神经 网络。把反馈应用于神经网络有两种基本途径：包含整个网络的全局反馈，和网 络单一神经元层次上的局部反馈。 全局反馈的r n n 一般是单层的，节点之间有反馈连接。大多数情况下，节点 是完全互联的，即每一个节点都与其他节点相连，也与自身相连，如图2 6 所示。 网络中的每个节点都对状态矢量贡献一个分量。可以将任何节点的输出或全部节 点的输出作为网络的输出。而且，任何节点或全部节点都可以接受外部输入。 h o p f i e l d 网络【2 2 】就是这种类型，其他一些网络也可以看成这一结构的特例。当神 经元数目比较多时，这种网络结构就会很复杂，训练也会变得困难。 在神经网络中，结合反馈的一种简单而自然的方法是对多层感知器引入反馈 连接。这样得到的网络称为局部递归网络，其结构特点是以前传为主，同时又包 含一组反馈连接。相比全局递归网络，这科，r n n 能使网络记住最近的过去值中的 l o 第二章人f t 神经网络概述 线索，但又不致使训练过于复杂。通常，反馈连接是不变的，不可训练的，所以 容易用反向传播来训练网络。考虑到本论文主要研究的神经网络为通用学习网 络，所以，下面将详细对这种神经网络进行讨论。 输出 2 4 通用学习网络 输入 图2 6 反馈型神经网络 f i g 2 - 6r u r r tn 锄ln e t w o d ( s 2 4 1 通用学习网络的结构和基本原理 通用学习网络的结构2 3 1 如图2 7 所示。这种网络具有节点之问有多重连接( 而 传统的人工神经网络节点之间只有一个连接) ；所有节点，既任何两个节点之间 都互连，且节点之间可以加入任意函数；节点之间允许具有任意的时间延迟，延 迟时间可正可负也可以是“o 的特点。 图2 7 通用学习网络结构图 f i g 2 7u l n s 仃u c t i l r e 北京化- 丁大学硕i ：学位论文 其一般方程式如下： 啪) 2 乃( 一b ( p ) ) | f 肛( j ) ，p 她j ) ) ， ( 2 2 ) 九o ) i ，l m ( 歹) ， o ) 靠( 歹) ) ) ，( 歹了，f r ) 、。 其中， ，( f ) 代表节点在f 时刻的输出，( f ) 是f 时刻的第，1 个外部输出，丸是f 时刻第聊个参数，乃表示节点的非线性函数，岛( p ) 表示从节点f 到节点_ ，的 第p 条分支时问延迟，历( ) 是输出与节点相连的节点的集合，b ( ) 是从节点 f 到节点_ ，的分支的集合，j r ，r 是节点的集合，m m ，m 是可变参数的 下表集合，m m ，m 代表外部输入的集合，f 丁，丁表示采样时间。 系统误差表达如下： e = 毒( z ( f ) 一z ( f ) ) ，其中为z ( f ) 为网络实际输出，z ( f ) 为期望输出。 2 4 2 通用学习网络的特性分析 这种网络具有如下特点【2 4 】：( 1 ) 节点之间有多重分支。( 2 ) 所有节点互连；任 何两个节点之间都有联系。( 3 ) 节点之问可具有任意的时间延迟；延迟时间可正 可负也可以是“0 ”。 通用学习网络在离散时间的基础上进行操作，每一对节点f 和节点歹之间可 以有多重分支，也就是集合曰( f ，) 可以包括多于一个的元素，并且参数丸可以 随时间变化。控制节点操作的f 函数可以是任一连续的可微函数，例如，可以 采用s 形函数。并且在那种情况下，等式( 2 2 ) 可以明确地表示为： 姒f ) - 例嘞= 篙 a ) = 鬼。一岛( p ) ) + 够 ( 2 - 3 ) ( 2 4 ) 其中( p ) 是从节点f 到节点的p 分支的权参数；嘭是节点j 的阈值参数。因 此，通用学习网络的设置可以被认作是一种对于多数一般系统的建模的框架，在 某种意义上，在每个节点通过每个函数的处理，节点的输出信号通过带有任意时 间延迟的多重分支被传递到另一个节点，然后被另一个节点的函数再一次处理。 1 2 第二章人t 神经网络概述 2 4 3 通用学习网络的常用训练算法 1 ) 梯度下降法【2 5 】 式( 2 5 ) 是通用学习网络的标准函数，其中矗( f ) 是网络模型的输出， ( f ) 是教 师信号的输出。 e = 吾壹 j l l ( f ) 一衲】z ( 2 5 ) a e 通用学习网络u l n 的权值是通过反向传播的芴鬲调节的。与普通的神经网 络相比较，每一个节点的输出不仅和当前时刻的每一个节点的输出相联系，而且 也和前几个时刻的输出相联系。厶( f ) 通过式( 2 6 ) 进行调节。 啪) 卜啪h 意 ( 2 - 6 ) a + e 其中厂为学习系数，常被定义为一个较小的正数，丽是时序偏微分。引起 因果联系的直接和间接的途径都被考虑进来了。 梯度下降法的计算步骤如下： 初始化：置所有权值为较小的随机数； 提供训练集：给定输入向量x = ( 而，而，h ) 和期望的目标输出向量 y = ( 蜘，j ，l ，y ) ： 计算实际输出：计算中间层和输出层各神经元输出； 计算目标值和实际输出的偏差e ； 计算输出层的权值偏差； 计算中间层的权值偏差，更新权值； 返回“”重复计算，直到误差e 满足要求为止。 学习算法流程图如图2 8 所示。 北京化t 人学硕t ：学位论文 图2 - 8 梯度下降法算法流程图 f i g 2 - 81 1 1 en o wc h a no f 野l d i 铋td e s c 锄ta l g 谢l i n 2 ) 改进的网络结构及其梯度下降法【2 6 】 为了使网络结构更加紧凑，每个分支带有一个开关机构，对不必要的分支进 行削除，以达到优化结构的目的。 例如从节点f 到节点的第p 个分支上的开关机构用( p ) 表示网络结构 如图2 9 所示。 标准函数为： 图2 9 改进的通用学习网络结构图 f i g 2 - 9t l l ei m p r o v e i n e n to fu l ns 臼u c t i l r e 1 4 第二章人t 神经网络概述 开关如式( 2 8 ) 所示： = ；扣反纠2 吲p ) = 而 ( 2 - 7 ) ( 2 - 8 ) 变量成( p ) 同其他变量一样可以进行调整，从而使目标函数最小化，同时达 到使网络结构紧凑的目的。即通过对岛( p ) 进行学习，从而改变( p ) ，使其为 l 或接近于o ，决定该连接的取舍。其中矽在开始学习时，为一较小的值，随着学 习的过程而增加。 通用学习网络通过反向传播来调整权值和尾( p ) ，从而进行学习，与一般的 学习算法相比，每个节点的输入与其他节点的前几个时刻的输出有关系，而不是 只与当前时刻各节点的输出有关系。这里，选择节点的输出函数为对称的s 型函 数。 权重和开关机构的变量几( p ) 学习时按式( 2 - 9 ) 和式( 2 - l o ) 进行。 啪) 卜啪一南 ( 2 9 ) 肿) 卜帅h 蒜 ( 2 1 0 ) 时序偏微分是由w e r b o s 提出的，它是指在其它变量的值固定的情况下，由一 个变量变化而导致的评价函数的变化。时序偏微分同时考虑了直接和间接的因果 关系。 ) 通用学习网络的自适应算法f 2 7 1 神经网络的学习应该是在最短的时间内达到最佳的学习效果，通用学习网络 的自适应选择延时时间的算法可以使网络在学习调整网络权值的同时对网络的 延迟参数进行自适应的选择调整，达到选择合适网络学习参数的目的。 在辨识仿真中，特别是与输出节点相连接的分支中，分支上的时间延迟对学 习效果有影响。学习的性能与输出节点相连接的分支上的时间延迟有密切的联 系。在较少学习的时期，也可以发现比较大的时间延迟对于收敛是有益的，但是 只有适当的时间延迟设置能够帮助将学习误差减少到最小。神经网络能够很快的 北京化t 人学硕i ：学位论文 收敛，并且获得最小的学习误差。在此基础上，对于带有长时间延迟的对象模型， 对通用学习网络u l n 的算法作了以下的改进。 在训练的开始，与输出节点相连接的分支设定比较大的时间延迟值。例如， 对象模型的延迟时间值是2 0 个采样时间，与通用学习网络u l n 的输出节点相连 接的分支上的时问延迟参数可以设置为3 0 个采样时间作为初始值。当训练误差 下降的比较缓慢时，应该对时间延迟值进行调节。如果训练满足下面的条件 ( 2 1 1 ) ，我们接受时间延迟的改变并且继续减小时间延迟值，直到训练不满足条 件( 2 1 1 ) 或者时间延迟值达到最小值( 1 个采样时间) ，这时我们认为该时间延迟值 对于神经网络的学习是适当的。 e ( f ) 一般是均值为零的高斯自噪声。在卡尔曼滤波中，用 x ( 七) 表示量测到的信号矢量模型，形( 七) 表示量测时引入的误差矢量，则量测矢 量石( 足) 与状态矢量s ( 七) 之间的关系就可以写成 x ( 后) = s ( 七) + ( 七)( 3 - 3 ) 第三章卡尔曼滤波用于训练神经列络 式( 3 2 ) 是一维信号模型，将其推广可得到更普遍的多维量测方程 x ( 七) = c ( 七) s ( 七) + 矿( 七) ( 3 4 ) 式( 3 - 3 ) 中的c ( 尼) 称为量测矩阵，它的引入原因是，量测矢量x ( 后) 的维数不一定 与状态矢量s ( 七) 的维数相同，因为我们不一定能观测到所有需要的状态参数。 假如x ( 后) 是，l l 的矢量，s ( 七) 是，z l 的矢量，c ( 七) 就是聊刀的矩阵，( 尼) 是 肌l 的矢量。 2 ) 信号模型 有了状态方程s ( 尼) = 么( 足) s ( 七一1 ) + ( 后一1 ) 和量测方程 x ( 七) = c ( 后) s ( 后) + 形( 七) 后我们就能给出卡尔曼滤波的信号模型，如图3 - 2 所示。 图3 2 卡尔曼滤波的信号模型 f i g 小2t l l es i 印a lm o d e lo f 勋蛔肋f i l 缸 3 1 2 卡尔曼滤波方法 建立好了卡尔曼滤波的信号模型以及状态方程、量测方程后，要解决的问题 就是要寻找在最小均方误差下信号s ( j | ) 的估计值s ( 七) 。 1 ) 卡尔曼滤波的一步递推法模型 把状态方程和量测方程重新给出： s ( 后) = 彳( 尼) s ( 尼一1 ) + ( 后一1 )( 3 5 ) x ( 七) = c ( j | ) s ( 后) + ( 七)( 3 - 6 ) 式( 3 - 5 ) 和式( 3 - 6 ) 中彳( 后) 和c ( 七) 是已知的，x ( 尼) 是观测到的数据，也是已知的， 1 9 北京化r t 大学硕+ i ：学位论文 假设信号的上一个估计值s ( 七一1 ) 已知，现在的问题就是如何来求当前时刻的估 计值s ( 后) 。 式( 3 5 ) 和式( 3 - 6 ) 两式中如果没有彬( 七) 与形( 七) ，可以立即求得s ( 后) ，估计问 题的出现就是因为信号与噪声的叠加。假设不考虑( 七) 与( 七) ，用上两式得到 的s ( 尼) 和x ( 后) 分别用s 。( 七) 和x ( 七) 表示，得 s ( 七) = 彳( 七) s ( 七一1 )( 3 7 ) x ( 七) = c ( j | ) s ( 七) = c ( 七) 彳( 七) s ( 七一1 )( 3 8 ) 显然，观测值x ( 七) 和估计值x ( 七) 之间有误差，它们之间的差x ( 七) 称为新息 ( i m l o v l t i o l l ) ： x ( 七) = x ( 七) 一x 。( 七)( 3 9 ) 显然，新息的产生是由于我们前面忽略了( 后) 与( 七) 所引起的，也就是说新息 里面包含了( 七) 与肜( 七) 的信息成分。因而我们用新息x ( 七) 乘以一个修正矩阵 日( 七) ，用它来代替式( 3 - 4 ) 的暇( 后) 来对s ( 七) 进行估计： s ( 七) = 彳( 七) s ( 七一1 ) + 日( 七) r ( 尼) = 彳( 老) s ( | i 一1 ) + 胃( 七) 【x ( 七) 一c ( 嘉) 么( 后) s ( 露一1 ) 】( 3 一l o ) 由( 3 5 卜( 3 - l o ) 可以画出卡尔曼滤波对s ( j | ) 进行估计的递推模型，如图3 3 所示， 输入为观测值x ( 是) ，输出为估计值s ( 后) 。 7 k 7 i：l 7 l 一7 i jlj x ( | | ) r ：夏 厂翮墅二 图3 3 卡尔曼滤波的一步递推法模型 f 塘3 3o n e - s 也e p 澈盯s i v em e t i l o do fl ( a l m a nm t e r 2 0 第三章卡尔曼滤波用于训练神经网络 2 ) 卡尔曼滤波的递推公式 从图3 - 3 容易看出，要估计出s ( 后) 就必须先找到最小均方误差下的修正矩阵 何( 后) ，结合式( 3 1 0 ) 、( 3 5 ) 、( 3 6 ) 得： s ( 尼) = 彳( 尼) s ( 七一1 ) + ( 尼) 【c ( 后) s ( 后) + 形( 尼) 一c ( 七) 彳( 七) s ( 后一1 ) 】 = 彳( 是) s ( 七一1 ) + 日( 七) c ( 露) 【么( 晟) s ( 足一1 ) + 暇( 七) 】+ ( 是) 一c ( 七) 么( 炙) s ( 七一1 ) 】 = 彳( 七) s ( 后一1 ) 【，一日( 后) c ( 尼) + h ( 后) c ( 七) 么( 后) s ( 七一1 ) + 暇( 后一1 ) 】+ 日( 尼) 形( 七) ( 3 1 1 ) 根据式( 3 11 ) 来求最小均方误差下的日( 足) ，然后把求到的h ( 是) 代入式( 3 1 0 ) 则可 以得到估计值s ( 忌) 。 设真值与估计值之间的误差为：s ( 后) = s ( 七) 一s ( 后) ，误差是个矢量，因而均 方误差是一个矩阵，用占( 露)