（控制理论与控制工程专业论文）基于rpropsvr混合算法的drnn网络非线性系统辨识.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 非线性系统辨识是控制理论研究的难点和热点。利用对角递归神经网 络对复杂的非线性系统的模型进行辨识时，可通过调整内部神经元的权值 来实现非线性系统的动态映射，表现出了很强的动态映射能力，同时使得 网络权值调节的计算量很小。但是由于现有的用于训练对角递归神经网络 的学习算法存在收敛速度慢、辨识精度不够理想的缺点，因此本文针对这 一问题进行了探讨和研究。 本文首先针对在对角递归神经网络中广泛采用的d b p 算法的辨识误 差较大且收敛速度慢的缺点，分别采用了l y a p u n o v 函数算法和遗传算法 作为改进算法训练对角递归神经网络。并对d b p 算法、l y a p u n o v 函数算法 及遗传算法的辨识效果进行了比较，仿真结果表明基于l y a p u n o v 函数算 法的辨识误差和辨识精度都要优于d b p 算法和遗传算法，其辨识误差最小， 且收敛速度最快。 其次，为了避免在l y a p u n o v 函数算法中梯度大小对网络权值改变的 影响，本文首次将一种局部自适应学习算法r p r o p 算法用于训练对角递归 神经网络，该算法不受梯度大小对权值调整的影响，而只是决定网络权值 的调整方向，该算法辨识精度高，能加速收敛，并在一定程度上克服了局 部最小问题。 然后，针对神经网络隐层节点数任要靠经验选取的问题，本文提出将 r p r o p 算法与支持向量回归算法相结合的混合算法一r p r o p - s v r 算法， 用于对角递归神经网络的训练，其中利用s v r 算法自动确定网络隐层节点 数，利用r p r o p 算法训练网络权值，并将这一新算法用于非线性系统辨识， 取得了很好的辨识效果。 最后，将基于r p r o p 算法与r p r o p - s v r 混合算法的辨识效果进行了对 比，仿真结果表明，两种算法的辨识误差、辨识精度及收敛速度基本相同， 西南交通大学硕士研究生学位论文第1 i 页 这就证明了利用r p r o p - s v r 混合算法自动确定网络隐层节点数的有效性， 说明该方法可替代人工试取的方式一次性自动确定出神经网络结构，从而 可节省大量因人工试取隐层节点数而耗费的试验时间。 关键词：对角递归神经网络；遗传算法；r p r o p 算法；r p r o p - s v r 算法； 非线性系统辨识 a b s t r a c t t h ei d e n t i f i c a t i o no fn o n l i n e a rs y s t e mi sa l w a y st h ed i f f i c u l t ya n dt h e f o c u so fc o n t r o lt h e o r ys t u d y w h e ni d e n t i f y i n gt h ec o m p l e xn o n l i n e a rs y s t e m m o d e lb a s e do nt h ed i a g o n a lr e c u r r e n tn e u r a ln e t w o r k ，d y n a m i cm a p p i n gf o r n o n l i n e a rs y s t e mi sa v a i l a b l ev i aa d j u s t i n gi n t e r n a ln e u r o n sw e i g h t t h er e s u l t s s h o wt h eh i g h l yd y n a m i cm a p p i n gc a p a b i l i t ya sw e l la st h el i t t l er e g u l a t i o nf o r n e t w o r kw e i g h t b u td u et o e x i s t i n gl e a r n i n ga l g o r i t h m o f t h ed i a g o n a l r e c u r r e n tn e u r a ln e t w o r k b e i n g d e f e c t s o fs l o wc o n v e r g e n c ea n d b a d i d e n t i f i c a t i o ni n a c c u r a c y ，s ot h i sp a p e rd i s c u s s e da n dr e s e a r c h e dt h et o p i c a st h el a r g ei d e n t i f i c a t i o ne r r o r sa n dt h es l o wc o n v e r g e n c er a t ef o r d y n a m i cb a c kp r o p a g a t i o n ( d b p ) a l g o r i t h mi nt h ed i a g o n a lr e c u r r e n tn e u r a l n e t w o r k ，l y a p u n o vf u n c t i o na l g o r i t h m ( l f a ) a n dg e n e t i ca l g o r i t h m ( g a ) h e r e a r ed e v e l o p e da sa ni m p r o v e da l g o r i t h mt ot r a i nt h ed i a g o n a lr e c u r r e n tn e u r a l n e t w o r k t h ei d e n t i f i c a t i o nr e s u l t sa r ef u l l yc o m p a r e dt od e m o n s t r a t et h a tb o t h t h ei d e n t i f i c a t i o ne r r o r sa n dt h ec o n v e r g e n c er a t ef o rl f aa r eb e t t e rt h a nt h a t o fd b pa l g o r i t h ma n dg a ，t h ei d e n t i f i c a t i o nr e s i d u a li st h es m a l l e s t , a n dt h e c o n v e r g e n c er a t ei st h em o s t f a s t s e c o n d l y ，i no r d e rt oa v o i dt h eg r a d i e n ta f f e c t i o nf o rn e t w o r kw e i g h ti n l y a p u n o vf u n c t i o n ，a l o c a l a d a p t i v el e a r n i n ga l g o r i t h m ，n a m e l y r e s i l i e n t b a c k p r o p a g a t i o n ( r p r o p ) a l g o r i t h m ，i sa p p l i e dt ot r a i nt h ed i a g o n a lr e c u r r e n t n e u r a ln e t w o r k ，w h i c hc a na l m o s tn e g l e c t e dt h eg r a d i e n tv a r i a t i o nb u t d e t e r m i n et h ea d j u s t m e n td i r e c t i o nf o rt h en e t w o r kw e i g h t t h e r e f o r e ，r p r o p a l g o r i t h mh a st h ea d v a n c e dc h a r a c t e r i s t i c sa sh i g h i d e n t i f i c a t i o n p r e c i s i o n ， c o n v e r g e n c e a c c e l e r a t i o nc a p a c i t ya n da p p r o p r i a t es o l u t i o nf o rl o c a lm i n i m u m p r o b l e m a c c o r d i n gt op r o b l e mo fs e l e c t i n gt h en u m b e ro fh i d d e nn e u r a ln e t w o r k n o d e sb ye x p e r i e n c e ，ah y b r i da l g o r i t h mn a m e dr p r o p s v ri s p r o p o s e db v i n t e g r a t i n gr p r o pa l g o r i t h ma n dv e c t o rs u p p o r tr e g r e s s i o n ( s v r ) a l g o r i t t ot r a i nt h ed i a g o n a lr e c u r r e n tn e u r a l n e t w o r k d e t a i l e d l y ，t h en u m b e ro f h i d d e nn e u r a ln e t w o r kn o d e si ss e l e c t e db ys v r a l g o r i t h m ，a sw e l la st h a t n e t w o r kw e i g h ti st r a i n e d b yr p r o pa l g o r i t h m f u r t h e 咖o r e t h isn e w a l g o r i t h ms h o w st h a te x p e c t e di d e n t i f i c a t i o ne f f e c th a sb e e no b t a i n e dw i t hi t s a p p l i c a t i o ni nan o n l i n e a ri d e n t i f i c a t i o ns y s t e m f i n a l l y ，t h e i d e n t i f i c a t i o n e f f e c t sf o rr p r o p a l g o r i t h m a n d r p r o p - s v ra l g o r i t h m ，r e s p e c t i v e l y ，a r e f u l l yc o m p a r e db a s i n go nt h e s i m u l a t i o nr e s u l t st h a tt h ei d e n t i f i c a t i o ne r r o r s ，t h ei d e n t i f i c a t i o np r e c i s i o na n d t h ec o n v e r g e n c es p e e da r ea l m o s tt h es a m e t h e r e f o r e ，r p r o p s v rh y b r i d a l g o r i t h mi sd e m o n s t r a t e dt oa u t o m a t i c a l l ye f f e c t i v e l yd e t e r m i n et h en u m b e r o f h i d d e nn e u r a ln e t w o r kn o d e s i n t e r e s t i n g l y ，t h i st e c h n i q u ec a nb ea i la l t e m a t i v e w a yo fa r t i f i c i a lt e s tt oa u t o m a t i c a l l yb u i l dt h es t r u c t u r eo fan e u r a ln e 觚o r ka t at i m e ，w h i c hi m p r o v e st h ee f f i c i e n c yal o tw i t h o u ta r t i f i c i a lt e s to f t h en u m b e r o f h i d d e nn e u r a ln e t w o r kn o d e s k e yw o r d s ：t h ed i a g o n a lr e c u r r e n tn e u r a ln e t w o r k ；g e n e t i ca l g o r i t h m ； 舳r o p a l g o r i t h m ：r p r o p s v ra l g o r i t h m ；n o n l i n e a rs y s t e mi d e n t i f i c a t i o n 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇 编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密影使用本授权书。 ( 请在以上方框内打“”) 学位论文作者签名：王哓敷 日期：卫口哆乡， 指导挪签名：辨勿 日期： 知罗，力z 矿| t 。 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工 作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和 集体，均己在文中作了明确的说明。本人完全意识到本声明的法律结果由 本人承担。 本学位论文的主要创新点如下： 1 为了避免在训练算法中梯度大小对网络权值改变的影响，首次将一种 局部自适应学习算法r p r o p 算法用于训练对角递归神经网络： 2 针对神经网络隐层节点数任要靠经验选取的问题，本文提出将r p r o p 算法与支持向量回归算法相结合的混合算法r p r o p s v r 算法，用于 对角递归神经网络的训练，利用该算法自动确定网络隐层节点数，并 将这一新算法用于非线性系统的辨识。 学位论文作者签名：王蕊敷 日期：跏7 6 、f r 。 西南交通大学硕士研究生学位论文第1 页 1 1 引言 第1 章绪论 对于参数易变的非线性复杂系统的模型辨识，传统的辨识方法( 最小 二乘参数辨识、梯度校正参数辨识、极大似然法辨识) 显得无能为力，而 神经网络则可以对这类系统进行辨识【l 】，并取得了较好的辨识性能。 近年来，递归神经网络【2 】的研究有了很大发展。与前馈神经网络相比， 它是一种动态神经网络【3 ，4 】。在利用神经网络对非线性动态系统进行辨识 时，如采用前馈神经网络，则存在一些不足：首先必须要假定系统的模型 类别和模型的阶次；其次随着系统阶次的增加，网络结构迅速膨胀，使得 学习收敛速度下降【3 】。动态神经网络利用网络的内部状态反馈来描述系统 的非线性动力学特性，克服了以上缺点，因此能更直接地反映出系统的动 态特性，更适合于工业过程的建模、仿真和控制。但是，动态递归网络由 于结构复杂，且存在训练算法收敛速度慢的问题 5 1 。为此，有学者提出 了对角递归神经网络，对角递归神经网络【6 ，7 1 ( d i a g o n a lr e c u r r e n tn e u r a l n e t w o r k ，简称d r n n ) 作为一种特殊的动态神经网络具有结构简单、容易构 造训练算法的特点，正好满足了这一要求。 目前，由于训练对角递归神经网络的算法存在收敛速度慢、辨识精度 不够理想的缺点，因此本文对此进行了探讨和研究，并将其应用于非线性 系统辨识中。 1 2 神经网络概述 人工神经网络( 简称神经网络，n e u r a ln e t w o r k ) 可以概括地定义 为：由大量简单的高度互联的处理元素( 神经元) 所组成的复杂网络计算系 统。它是在现代神经科学研究成果的基础上提出来的，反映了人脑功能的 西南交通大学硕士研究生学位论文第2 页 若干基本特征，是模拟人工智能的一条重要途径。 根据神经网络运行过程中的信息流向，可将神经网络分为前馈式和反 馈式两种基本类型。前馈网络通过引入隐层以及非线性作用函数，使得网 络具有复杂的非线性映射能力。但前馈网络的输出仅由当前输入和权矩阵 决定，而与网络先前的输出状态无关。反馈网络又称递归或回归神经网络， 该网络中的每一个输入节点都有可能接受来自外部的输入和来自输出神 经元或自身反馈。这就是它与前向神经网络的不同之处，反馈或递归连接 成递归形式，从而可以达到动态效果，这种神经网络是一种反馈动力学系 统。 神经网络的研究意义非常重大，是人类当前所面临的重点科学研究任 务之一，是要揭示大脑的工作机制和人类智能的本质，制造具有人类智能 活动能力的智能机器，开发智能应用技术。神经网络是在对人脑组织结构 及活动机制初步认识的基础上提出的一种新型信息处理体系。通过模仿脑 神经系统的组织结构以及某些活动机理，神经网络可呈现出人脑的许多特 征，并具有人脑的一些基本功能。 l - 从结构、性能和能力3 个方面讲神经网络所具备的基本特点【9 】有： ( 1 ) 结构特点：信息处理的并行性、信息存储的分布性、信息处理 单元的互连性、结构的可塑性神经网络是由大量简单处理元件相互连接 构成的高度并行的非线性系统，具有大规模并行性处理特征。结构上的并 行性必然使神经网络以分布式方式存储信息，即信息不是存储在网络的某 个局部，而是分布在网络所有的连接权中。 ( 2 ) 性能特点：高度的非线性、较好的容错性和计算的非精确性神 经元的广泛互联与并行工作必然使整个网络呈现出高度的非线性特点，而 分布式存储的结构特点会使网络在两个方面表现出良好的容错性：一方 面，由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整 体性能造成影响；另一方面，当输入模糊、残缺或有变形的信息时，神经 网络能通过联想恢复完整的记忆，从而实现对不完整输入信息的正确识 西南交通大学硕士研究生学位论文第3 页 别。神经网络能够处理连续的模拟信号以及不精确的、不完全的模糊信息， 因此给出的是次优的逼近解而非精确解。 ( 3 ) 能力特征：自学习、自组织与自适应性一个系统能改变自身 的性能以适应环境变化的能力为自适应性。自学习是指当外界环境发生变 化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参 数，使得对于给定输入能产生期望的输出。而神经系统能在外部刺激下按 一定规则调整神经元间的权连接，逐渐构建起神经网络的过程称为网络的 自组织。 2 神经网络是在生物神经网络的基础上发展起来的新型智能信息处理系 统，其基本功能【9 】有五个： ( 1 ) 联想记忆。神经网络能够通过神经元之间的协同结构以及信息 处理的集体行为而实现对外界刺激信息和输入模式进行联想记忆的能力。 神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的 信息和噪声干扰中恢复原始的完整信息，这一能力使其在图像复原、图像 和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。 ( 2 ) 非线性映射。神经网络通过对系统输入输出样本对进行自动学 习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性 能使其可以作为多维非线性函数的通用数学模型。 ( 3 ) 分类与识别。神经网络对外界输入样本具有很强的识别与分类 能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分隔区 域，在每个区域内的样本属于一类。 ( 4 ) 优化计算。在已知的约束条件下，寻找一组参数组合，使由该 组合确定的目标函数达到最小值，这一过程称为优化计算。某些类型的神 经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计 为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能 量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对 目标函数求导，其结果是网络自动给出的。 西南交通大学硕士研究生学位论文 第4 页 ( 5 ) 知识处理。神经网络从对象的输入输出信息中抽取规律而获得 关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知 识抽取能力使其能在没有任何先验知识的情况下自动从输入数据中提取 特征、发现规律，并通过自组织过程构建网络，使其适合于表达所发现的 规律。 3 神经网络的应用 神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大，潜 力日趋明显，其主要应用于信息处理领域，如信号处理、模式识别、数据 压缩；自动化领域，如系统辨识、神经控制器、智能检测；工程领域，如 汽车工程、军事工程、化学工程及水利工程；医学领域，如检测数据分析、 生物活性研究、医学专家系统；经济领域，如信贷分析和市场预测。 1 3d r n n 网络非线性系统辨识的研究现状 1 3 1 递归神经网络在非线性系统辨识中的应用 系统辨识是控制理论研究中的一个重要内容，同时也是控制理论能否 成功应用于实际的关键因素之一。神经网络所具有的非线性变换特性和高 度的并行运算能力为系统辨识和控制，尤其是为非线性系统辨识和控制提 供了有效的方法【l0 1 。若直接用前馈网络作为非线性系统辨识模型，由于网 络的输出仅仅是当前输入的非线性映射，实际上也是将动态时间建模问题 变为一个静态空间建模问题。这就必然出现诸多问题，例如需要对结构模 型进行定阶，特别是随着系统阶次的增加，或阶次未知时，迅速膨胀的网 络结构将会降低网络学习的收敛速度；另外较多的输入节点也会使相应的 辨识系统对外部噪声特别敏感。而动态递归神经网络由于利用了引入的动 态环节，使其能够利用网络的内部状态反馈来描述系统的非线性动力学行 为，因此能更直接地反映系统的动态特性，能够自动记忆部分历史影响信 息，从而避免了前馈神经网络存在的一些问题，更适于非线性系统辨识。 因此，动态递归神经网络是控制系统建模、辨识和控制中极具发展潜力的 西南交通大学硕士研究生学位论文第5 页 1 9 8 7 年p i n e d a 首先提出了递归神经网络的b p ( b a c kp r o p a g a t i o n ， 简称b p ) 学习算法 1 3 1 。它作为训练递归神经网络的主要方法一直被普遍应 用。但这种以误差反传为基础的递归神经网络学习算法其缺点在于不仅收 敛速度慢，而且存在局部极小问题。近年来，人们针对其缺陷，陆续提出 了一些新的算法。比如：韦巍采用最小二乘递推算法1 1 4 1 训练递归神经网络 的权值，利用此算法的实时性和快速性来解决神经网络的学习问题，但最 d , - 乘法只有在噪声是独立同分布的高斯分布时才是有效的；g a ofr 、 李鸿儒、段慧达等利用传统的参数估计方法一一r p e ( r e c u r s i v e p r e d i c t i o ne r r o r ，简称r p e ) 算法【1 5 1 【1 7 1 训练递归神经网络的权值，该算 法是一种通过极小化预报误差来获得参数估计的方法，其收敛速度较好， 但是训练时间较长；邹高峰等提出了扩展卡尔曼滤波学习算法1 1 8 】，该算法 是一种具有快速收敛性的训练算法，大大提高了神经网络的学习收敛速 度；张丽红等提出了自适应快速b p 算法【1 9 】，该算法提高了在线学习的速 度与收敛速度：文献 2 0 2 中邹政达等利用蚁群优化算法训练递归神经网 络，并用于短期负荷的预测，仿真测试表明该算法的预测性能优于基于b p 算法的递归神经网络；文献 2 1 中杜福银等采用遗传算法在线训练递归神 经网络，并用于预测控制，大大改善了传统模糊控制器的性能；徐戎【2 2 1 提 出了一种快速收敛盲均衡算法训练递归神经网络，对于具有频率选择性衰 落的非线性信道，该算法在收敛速度和对抗码间串扰方面表现出了良好的 性能；胡云安等将退火递归神经网络与极值搜索算法1 2 3 1 相结合，改善了系 统的动态性能、简化了系统的稳定性分析，并消除了传统极值搜索算法中 控制量的频繁切换问题和输出抖动现象。 1 3 2d r n n 网络在非线性系统辨识中的应用 对角递归神经网络是具有反馈的动态网络，该网络能够更直接更生动 地反映系统的动态特性，它是在b p 网络基本结构的基础上，通过存储内 部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能 西南交通大学硕士研究生学位论文第6 页 力，d r n n 网络代表了神经网络的发展方向【2 4 1 。d r n n 网络是全连接递 归神经网络的一种简化。它与前馈网络相比，同样有输入输出和隐含单元。 不同之处是d r n n 网络的隐含单元具有自反馈。d r n n 网络的动态映射 和记忆功能正是通过隐层神经元在内部的反馈回路捕捉系统的动态特性 来实现的。相对于全连接的递归神经网络，d r n n 网络隐含层的各神经元 之间不存在相互的信息交换，使得模型获得了极大的简化，学习的快速性 得到了保证1 2 5 1 。 对于非线性系统，由于d r n n 网络具有内部的反馈和权值连接，在未 知系统的结构和阶次的情况下，仅选取上一个历史时刻的参数作为输入向 量，即可通过调整内部神经元的权值来实现非线性系统的动态映射，表现 出很强的动态映射能力，同时使得网络权值调节的计算量很小1 2 6 。动态误 差反传算法是用于训练对角递归神经网络最多的一种学习算法，但该算法 的缺点是收敛速度慢和容易陷入局部极小值，针对这一缺点后又由王振雷 等提出了局部动态误差反传算法【2 7 1 ，该算法定义了一种新的局部均方误差 函数，并为回归单元建立了一种新的学习结构，由于学习过程采用超线性 搜索，从而大大减少了循环步数和计算时间；文献 2 8 中由k uc h a o - c h e e 提出了基于l y a p u n o v 函数的权参数学习速率自适应调整算法，该算法的 学习速率较快，但辨识精度不高；在文献 1 7 和 2 9 中的段慧达等将递推 预报误差学习算法应用于神经网络权值和阈值的训练，并将由该算法训练 出的d r n ”n 网络用于非线性系统的建模，得到了良好的效果，但该算法存 在的不足是训练时间较长；在文献 3 0 的于海波等、 3 1 的d uy a nc h u n 等和 3 2 的y a nc h u nd u 等采用遗传算法来优化d r n n 神经网络辨识器的 参数，得到了很好的辨识精度，且过渡时间短、不需要目标函数的梯度、 不易陷入局部极小值，但遗传算法的缺点是收敛速度慢；文献 3 3 的l i a n g d e n g 等和 3 4 的张欣采用l m ( l e v e n b e r g - m a r q u a r d t ，简称l m ) 算法训练 d r n n 网络，这种算法具有比基于最速下降法的b p 算法收敛速度快的优点， 但其辨识精度较低；文献 3 5 的y i n gz h e n gh a n 等、 3 6 的l i y iz h a n g 等采用权值自适应调整算法训练d r n n 网络，其优点是有效地减小了均方 误差；z h e nx i o n gz h o u 等【3 7 】提出了一种改进的递推预报误差学习算法， 西南交通大学硕士研究生学位论文 第7 页 加快了权值调整速度、节约了在线训练时间，但该算法的辨识精度较低。 从已有的文献可看出基于d r n n 网络的辨识方法显示出很强的处理动 态问题的能力，无需辨别系统阶次，且辨识结构简单，但是由于现有的用 于训练对角递归神经网络的学习算法存在收敛速度慢、辨识精度不够理想 的问题，因此，有待于做更进一步的讨论和研究。 1 4 支持向量机的研究现状 统计学习理论诞生于2 0 世纪6 0 年代末，到2 0 世纪9 0 年代之前都处 在初级研究和理论准备阶段，近几年才逐渐得到重视，其本身也趋向完善， 并将这种理论付诸实现产生出有效的机器学习方法一一支持向量机 ( s u p p o r tv e c t o rm a c h i n e ，简称s ) 。虽然支持向量机发展时间较短， 但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近 几年涌现出的大量理论研究成果，更为其应用研究奠定了坚实基础。如 a n t h o n y 等人【3 8 】给出了关于硬领域支持向量机学习误差的严格理论界限； s h a w e t a y l o r 等人 3 9 1 也给出了类似的关于软领域支持向量机和回归情况 下的误差界限；w e s t o n 4 0 】和v a p n i k 等研究了支持向量机的推广性能及其 在多值分类和回归问题的拓展问题：s m o l a 和s c h o l k o p f 【4 l 】提出了支持向 量机一般意义下的损失函数数学描述；文献 4 2 中t o n gs 等研究了支持 向量机主动学习策略并将其用于文本分类：文献 4 3 中由黄启春等提出了 一种基于支持向量机的增量式学习算法，用以扩展支持向量机在大规模数 据集和成批数据领域。 由于支持向量机具有坚实的理论基础并在很多领域表现出良好的推 广性能，因此，国际上正在广泛开展对支持向量机的研究。前期的支持向 量机的应用大都集中在图像处理领域。随着其理论的发展，应用范围也不 断拓宽，除了分类、识别问题以外，还涉及到控制，预测 4 5 1 、综合评 价【4 6 1 、知识获取 4 7 1 及遥感图像分析【4 8 】【4 9 】等领域，这说明其应用范围是非 常宽广的，是一项很有发展前途的技术。 西南交通大学硕士研究生学位论文第8 页 1 5 本文的主要研究内容 对角递归神经网络是一种特殊的动态网络，它既具有一般动态网络易 于处理动态非线性问题的特点，又具有结构简单、容易构造训练算法的优 点。因此，对角递归神经网络在系统辨识与控制器的设计等方面均得到了 广泛应用2 7 】【2 8 1 。但目前，由于用于训练对角递归神经网络的学习算法存在 收敛速度慢、辨识精度不够理想的缺点，因此本文对此进行了探讨和研究， 并将d r n n 网络应用于非线性系统辨识中。 本文的主要研究工作有： 1 对d r n n 网络非线性系统辨识的研究现状进行了系统的综述，指出了现 有各算法的优缺点； 2 阐述了d r n n 网络非线性系统辨识的基本原理； 3 对d r n n 网络广泛运用的d b p ( d y n a m i cb a c kp r o p a g a t i o n ，简称d b p ) 算法【2 6 1 进行了仿真分析，并针对d b p 算法存在的缺陷分别采用了l y a p u n o v 函数算法和遗传算法训练对角递归网络，且对三种算法的辨识误差和辨识 精度做了比较分析。 4 为了避免梯度下降算法中梯度大小对权值改变的影响，本文首次将一 种局部自适应学习算法r p r o p ( r e s i1l e n tb a c k p r o p a g a ti o n ，简称r p r o p ) 算法 5 0j 1 5 1 用于训练d r n n 网络，仿真试验结果表明，该算法的计算过程简 单，辨识精度高，能加速收敛，并在一定程度上克服了局部最小问题。 5 针对神经网络隐层节点数任要靠经验选取的问题，本文提出将r p r o p 算 法与支持向量回归算法( s u p p o r tv e c t o rr e g r e s s i o n ，简称s v r ) 相结合 的混合算法叫p r o p s v r 算法，用于对角递归神经网络的训练，其中利 用s v r 算法自动确定网络隐层节点数，利用r p r o p 算法训练网络权值，并将 这一新算法用于非线性系统辨识。 西南交通大学硕士研究生学位论文第9 页 第2 章d r n n 网络辨识的基本原理 2 1 d r n n 网络的数学模型 对角递归网络是具有反馈的动态网络，是一种结构最简单的局部递归 神经网络，该网络通过存储内部状态使其具备映射动态特征的功能，从而 使系统具有适应时变特性的能力。d r n n 网络的结构如图2 - 1 【2 引所示，它是 一种3 层前向网络，即有输入层、隐含层和输出层，其中隐含层为递归层， 隐含层中每一个神经元都是带有一步自反馈的递归元，作用函数为 s i g m o i d 函数。 时延 图2 - 1 对角递归神经网络结构 d r n n 网络的数学模型为： s ，= 哕x 肜一1 ) + w ，1 ，( 七) 戈，( 七) = f ( s ，( 七) ) ( 2 - 1 ) ( 2 - 2 ) 西南交通大学硕士研究生学位论文第10 页 d ( 七) = 呼x ，( 七) ( 2 3 ) j = l 厂( ) 取为双极型s i g m o i d 激励函数：厂( 尼) ： 兰三。 l 十p d r n n 网络的输入输出关系为：设，( 七) 为k 时刻第i 个输入，s ，( k ) 为 隐层第个递归元的输入之和，x ，( k ) 为个递归元的输出；o ( k ) 为网络 的输出；缈7 、缈d 、o 分别为输入层、递归层和输出层的权值阵，有p 个输入，q 个递归元和尺个输出。 2 2d r n n 网络的学习过程 神经网络的功能特性是由神经元连接的拓扑结构和连接权值决定的， 连接权反映了神经网络对于所解决问题的知识存储。神经网络的学习过程 就是通过不断调整连接权，以使神经网络的输出不断的逼近期望的输出。 神经网络学习算法是神经网络智能特性的重要标志，通过学习算法可实现 神经网络的自适应、自组织和自学习的能力，因此有关学习算法的研究在 神经网络的研究中具有重要地位。 目前神经网络的学习算法有多种，按有无导师分类，可分为有导师学 习和无导师学习。有导师学习也称为监督学习，在学习过程中需要不断地 给网络成对的提供一个输入模式和一个网络期望输出模式( 即教师信号) ， 将神经网络的实际输出与期望输出进行比较，当网络输出与期望的教师信 号不符时，根据误差的方向和大小按一定的规则调整权值，以使下一步的 网络输出更接近期望输出。有导师指导的神经网络学习如图2 - 2 所示1 2 4 1 。 西南交通大学硕士研究生学位论文第1 1 页 图2 - 2 有导师指导的神经网络学习 无导师学习也称为无监督学习，学习过程中需要不断的给网络提供动 态输入信号，网络能根据特有的内部结构和学习算法从输入信息流中找出 任何可能存在的模式和规则，从而对网络权值进行调整，即网络的学习过 程完全是一种自我学习的过程，不存在外部示教。无导师指导的网络学习 如图2 - 3 所示1 2 4 。 图2 3 无导师指导的神经网络学习 d r n n 网络采用的是有导师学习方式。因此，需要将现场数据按时间排 列成输入、输出样本对，用于网络的学习和验证，当网络对于各种给定的 输入均能产生所期望的输出时，即认为网络已经在导师的训练下学会了训 练数据集中包含的知识和规则，可以用以应用了。 西南交通大学硕士研究生学位论文第12 页 2 3 神经网络辨识的基本原理与方法 2 3 1 神经网络辨识的基本原理 系统辨识就是按照某种原则从一组模型中选择一个模型，使之最好的 拟合实际系统的动态或静态特性。在1 9 6 2 年，l a z a d e h 给辨识下的定义 【5 2 】为“辨识就是在输入和输出数据的基础上，从一组给定的模型中，确定 个与所测系统等价的模型。 系统辨识研究的问题就是从实验观测数据 中建立能够反映系统输入、输出关系的模型。 基于神经网络的系统辨识，又称为神经网络建模，就是选择适当的神 经网络作为被辨识系统的模型或逆模型( 假定被辨识系统是可逆的) ，即用 神经网络充当辨识器来逼近实际系统或其逆。首先确定网络结构，然后网 络根据给定的被辨识系统的输入输出观测数据通过学习训练，不断地调整 网络的连接权值，使得准则函数达到最小。此时，所选神经网络模型即为 被辨识系统的一个最佳逼近。神经网络辨识原理如图2 - 4 所示。 图2 - 4 神经网络辨识原理 对被辨识系统的辨识可进行在线或离线辨识。在线辨识是在系统实际 运行的过程中完成的，辨识过程要求具有实时性。而离线辨识是在系统工 作前，就预先完成网络的学习过程，但该方法所给出的输入输出训练样本 集很难覆盖系统所有可能的工作范围，且难以适应系统在工作过程中的参 西南交通大学硕士研究生学位论文第13 页 数变化。所以，为了克服其不足，可先进行离线训练，得到网络的连接权 值，将得到的权值作为在线学习的初始权值，再进行在线学习，以便加快 在线学习过程。在被辨识系统特性变化的情况下，神经网络便可发挥其自 学习能力通过不断的调整网络权值和阈值，自适应地跟踪被辨识系统的变 化。 2 3 2 神经网络辨识的方法 基于神经网络的系统辨识的实质就是选择一个适当的神经网络模型 来逼近实际系统，设系统的输入空间为，输出空间为d ，实际系统可以 表示为一个从输入空间到输出空间的映射算子f ：j 寸d ；给定一个模型 类m ，设映射算子，m ，则辨识的目的就是确定一个模型类m 的子集 m + cm ，使其中存在f m ，且在映射算子j f l 给定的准则下，便 是映射算子f 的一个最佳逼近。映射算子f 是由给定的系统输入输出对 隐含定义的，而辨识的目的就是利用数学方法从这些输入输出数据序列 中提炼出系统f 的数学模型f + 。即确定使下式成立的系统数学模型f ： 8 y 一y 0 = l p q ) 一f ) l l s ( 2 - 4 ) 其中s 0 由辨识准则给定，i | 1 | 是输入空间，上的一范数，】，= f ) 和 】，= f ) 分别是模型和系统对于输入“的输出响应，定义误差e = 】，一】， 则辨识过程就是确定系统数学模型f ，使得 哆n i = 哼n 扩一l ，0 ( 2 5 ) 成立。其中厂是使网络模型输出和系统输出的误差p 最小的参量取值。 系统辨识的目的是建立系统模型，主要包括三个内容，即确定模型结 构、估计模型未知参数和检验模型效果。当采用神经网络模型进行系统辨 识时，这三个内容就相应变成选择神经网络的拓扑结构、训练神经网络的 权值和检验网络的泛化能力。 西南交通大学硕士研究生学位论文第1 4 页 神经网络对系统的辨识是通过直接学习系统的输入输出数据进行 的，学习的目的是通过调整网络参数，即网络权值，使误差准则函数达到 最小，从而归纳出隐含在系统输入输出数据中的关系，即映射算子f 。 与传统的系统辨识方法相比，神经网络辨识的优点就是不要求建立实际系 统的辨识格式，因为神经网络本身己作为一种辨识模型，其可调参数反映 在网络内部的权值上；且可以辨识本质非线性系统，其辨识是通过在网络 外部拟合系统的输入输出数据中的系统特性来实现的，因此这种辨识是 由神经网络本身实现的；传统的辨识算法随模型参数维数的增加而变得复 杂，而神经网络辨识的收敛速度只与神经网络本身及其训练算法有关，不 依赖于被辨识系统的维数；神经网络辨识具有很好的泛化能力和容错性； 神经网络作为系统的辨识模型，实际上也是实际系统的一个物理实现，可 以用于在线控制。 2 4 本章小结 本章阐述了d r n n 网络辨识的基本原理。首先给出了d r n n 网络的 数学模型，然后介绍了d r n n 网络的学习过程，使我们了解到网络学习的 实质是通过不断调整网络连接权值，以使网络的输出不断的逼近期望输 出；最后介绍了神经网络辨识的基本原理和方法。 西南交通大学硕士研究生学位论文第15 页 第3 章基于d r n n 网络的非线性系统辨识 3 1 基于d b p 算法的非线性系统辨识 3 1 1d b p 算法 d b p 2 6 1 ( d y n a m i cb a c kp r o p a g a t i o n ，简称d b p ) 算法即为动态误差 反向传播算法，其基本思想是使用梯度下降法，通过梯度搜索技术，使网 络输出值与系统的期望输出值的误差均方值达到最小。 d b p 算法的学习过程由正向和反向传播组成。在正向传播过程中，输 入信号经由输入层、隐层和输出层逐层处理传播，每层的神经元只受上一 层神经元状态的影响。在正向传播后，如果在输出层没得到期望的输出值， 则转至反向传播，将误差信号( 期望输出与网络输出之差) 按连接通路反 向计算，采用梯度下降法调整网络各层的连接权值，使误差信号减小。 ( 1 ) 前向传播：计算网络的实际输出。 隐层神经元的输入、输出分别为式( 2 一1 ) 、( 2 2 ) 所示，输出层神经 元的输出为式( 2 3 ) 所示，且有网络实际输出y m ) = d ) 。 网络输出与期望输出的误差为 p ( 七) = y ( k ) 一y 。( 尼) ( 3 1 ) 误差指标函数为 e = 去p ( 七) 2 ( 3 2 ) 二 ( 2 ) 反向传播：采用梯度下降法调整各层间的连接权值。 输出层与隐层的连接权值w ? 的学习算法为 西南交通大学硕士研究生学位论文第16 页 加罗2 1 茜砷州务计如h 3 ，