（计算机应用技术专业论文）基于人工神经网络的非线性时变系统辨识研究.pdf

摘要 传统的系统辨识方法大多建立在模型结构已知的基础上，需要过多的先验知识。而 现实中存在的大量非线性时变系统，其先验知识匮乏，模型结构难以确定，给辨识工作 带来了巨大的困难。本文针对难以确切描述的非线性时变系统，利用神经网络的黑箱特 性和能够以任意精度逼近非线性模型的能力，对神经网络辨识方法进行了较深入的分析 和探讨。 文章首先系统介绍了人工神经网络在系统辨识方面的发展与研究现状，分析了常用 的b p 网络、r b f 网络以及g r n n 网络的学习方法并分别给出了仿真实例。在对比仿真结 果的基础上，重点对g r n n 网络进行了较深入的分析，总结出该网络存在的两个主要问 题：一是g r n n 网络模式层节点数目与训练样本的数目成正比，训练样本量增大，则模 式层节点相应增多；二是平滑因子的取值对网络性能有重要影响，平滑因子若耿单一值， 则计算简便而精确不足，若取不同值，则结果较精确但计算复杂度高。然后，在分析以 上问题产生原因的基础上，采取了两个相应的解决方案。针对第一个问题，采用了f c m 聚类方法进行处理，以约简网络结构。并定义了输入数据的相似度指标，通过该指标与 给定阈值进行比较来决定是否进行迭代聚类操作，以此来解决迭代操作繁琐、运算效率 低下的问题。针对第二个问题，提出了一种基于每一个特征向量对网络输出的贡献率大 小，来有选择的对相应的平滑因子进行优化的改进方法。最后归纳前文内容，总结出了 基于改进的g r n n 网络的辨识策略，并在实际的天然气水合物电阻率测量系统中进行了 应用分析。实验结果表明该网络辨识模型处理速度快，辨识精度和泛化能力较高，具有 较好的实用价值。 关键词：神经网络，广义回归网络，系统辨识，非线性时变系统 r e s e a r c ho nn o n l i n e a r t i m e v a r y i n gs y s t e mi d e n t i f c a t i o n b a s e do na r t i f i c i a ln e u r a ln e t w o r k z h a n g j i n l e i ( c o m p m e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f z h ul i a n z h a n g ，a s s o c i a t ep r o f z h a os h i - j u n a b s t r a c t t h ec o n v e n t i o n a ls y s t e mi d e n t i f i c a t i o nm e t h o d sa r em o s t l ye s t a b l i s h e do nk n o w nm o d e l s t r u c t u r e s ，w h i c hd e m a n dp l e t h o r i cp r i o rk n o w l e d g e h o w e v e r , m o s to ft h ee x i s t i n gs y s t e m s a r en o n l i n e a r , t i m e - v a r y i n g ，a n dl a c ko fp r i o rk n o w l e d g e ，w h i c hm a k e si td i f f i c u l tf o r i d e n t i f i c a t i o n s on e u r a ln e t w o r km e t h o d sa r ea n a l y z e da n du s e dh e r e ，w h i c ha re a d v a n t a g e o u si nt h e b l a c kb o x c h a r a c t e r i s t i ca n da r b i t r a r yp r e c i s i o ni na p p r o x i m a t i n g t h es y s t e mi d e n t i f i c a t i o nd e v e l o p m e n ta n dr e s e a r c hs t a t u sb a s e do nn e u r a ln e t w o r k t h e o r yi ss t u d i e df i r s t l y t h ec o m m o n l y u s e db p ，r b fa n dg r n nn e t w o r kl e a r n i n gm e t h o d s a r ea n a l y z e da n ds i m u l a t e d t h eg r n nn e t w o r ki s h i g h l i g h m da n dc o m p r e h e n s i v e l y a n a l y z e d s i m u l a t i o nr e s u l t ss h o wt h a tt h ee x i s t i n gg r n nn e t w o r kh a st w od e f e c t s o n ei s t h eg r n np a t t e r nl a y e rn e u r o n sa r ep r o p o r t i o n a lt ot h en u m b e ro ft h et r a i n i n gs a m p l e s ，s o t h en e t w o r ks t r u c t u r eb e c o m e sl a r g e ra st h en u m b e ro ft h et r a i n i n gs a m p l e si n c r e a s e a n o t h e r i st h ea p p r o x i m a t i o nr e s u l tw o u l db ei n a c c u r a t ei fa l lt h ep a t t e r nl a y e rn e u r o n st a k eas a m e v a l u e ，w h i l et h ec o m p u t a t i o nw o u l db ec o m p l e xi fe v e r yn e u r o nt a k e sad i f f e r e n tv a l u e r e s p e c t i v e l y a c c o r d i n g l y ，t w os o l u t i o n sa r ep r e s e n t e d t h ef c mc l u s t e r i n ga l g o r i t h mi s a d o p t e dt os o l v et h ef i r s td e f e c t as i m i l a r i t yi n d e xo fi n p u td a t ai sd e f i n e d t h e nt h ei t e r a t i v e c l u s t e r i n go p e r a t i o nc a l lb ed e c i d e db yc o m p a r i n gt h i si n d e xw i t ht h es e t t i n gt h r e s h o l d ，w h i c h s o l v e st h ep r o b l e mo fc o m p l e xi t e r a t i o n t os o l v et h es e c o n dd e f e c t ，am e t h o dt oj u d g ee v e r y i n p u tv e c t o r sc o n t r i b u t i n gr a t i ot ot h eo u t p u ti sb r o u g h tu p ，w h i c hs e l e c t i v e l yo p t i m i z e st h e s m o o t h i n gp a r a m e t e r s i nt h ee n d ，as y s t e mi d e n t i f i c a t i o ns t r a t e g yb a s e do nt h em o d i f i e d g r n nn e t w o r ki sp r e s e n t e da n da p p l i e dt oag a sh y d r a t er e s i s t a n c es u r v e ys y s t e m t h e e x p e r i m e n tr e s u l t ss h o wt h a tt h i sn e t w o r km o d e lh a s r a p i dp r o c e s s i n gs p e e d ，h i g h i d e n t i f i c a t i o na c c u r a c ya n dg e n e r a l i z a t i o na b i l i t y s oi ti sv a l u a b l ei na p p l i c a t i o n ， k e yw o r d s ：n e u r a ln e t w o r k ，g r n n ，s y s t e mi d e n t i f i c a t i o n ，n o n l i n e a rt i m e v a r y i n g s y s t e m 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：鍪金亟日期：o 护孑年岁月衫日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷版 和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和 复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他 复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：欠堪 指导教师签名：桦 日期：3 矿。万年岁月】日 日期：孑年、- 月以日 中国石油大学( 华东) 硕七学位论文 第一章绪论 1 1 课题的研究背景及意义 随着科学技术的不断进步和社会经济的不断发展，工业控制与决策的科学性、准确 性要求越来越高，这就需要对所研究对象的各种量之间建立定量关系模型。在建模过程 中，实验数据是非常重要的依据，通过实验数据确定出一个在某种意义上代表系统或过 程特性的数学模型，是建模的一条十分重要酌途径，通常称之为系统辨识方法。系统辨 识是实施有效控制的基础，高质量的辨识结果是提高自动控制水平的前提。因此，对系 统辨识方法进行深入的探索和研究具有重要酌理论和现实意义。 在工业和社会生活的各个领域中存在大量的非线性系统，并往往带有时变特性。非 线性时变系统的数学模型既包含非线性项，又具有时变参数，是一种普遍的动力学系统。 对这些系统进行建模分析，具有广泛的应用价值。目前，对线性系统的研究已经比较透 彻，相关理论体系也比较成熟，无论在理论方法上还是实际应用中都取得了较大的成就。 然而对非线性系统，尤其时变非线性系统的研究正处于发展阶段，相关介绍也还比较少。 但在入禽j 的生产生活中，菲线性时变系统广泛存在，高效的系统辨识对于复杂系统建模 和响应控制等领域的理论分析与应用都是不可或缺的基础。同线性系统相比，非线性时 变系统的辨识难度大，缺乏描述此类系统的统一数学模型。现有的传统方法如最小二乘 法、卡尔曼滤波方法等，适用范围都比较有限，并且对初始条件要求太高，需要考虑对 象的约束和模型形式等。 神经网络可以对任意非线性函数进行映射，而且具有并行处理、自组织、自适应的 特点和很强的学习能力，因此可被用来对难以精确描述的复杂非线性对象进行辨识。使 用神经网络进行非线性系统辨识，尤其是时变非线性系统的辨识，已成为当今神经网络 研究的热点之一。因此，研究和探索基于神经网络的非线性时变系统辨识方法，有着重 要的理论意义和广泛的工程应用价值【l 】。 1 2 国内外研究现状 传统的最小二乘和卡尔曼滤波等瓣识方法，难以应用于非线性时变系统的辨识，一 般是对其进行扩展及改进，或者将其与其它方法相结合后加以应用，如王宏伟等【2 】提出 的基于正交最小二乘的模糊模型结构和参数辨识方法。但此类方法对胡始条件要求太 高，实际问题中往往达不到应用条件要求。另外常用的模型描述法，如h a m m e r s t e i n 模 第一章绪论 型【3 1 和v o l t e r r a 级数模型【4 1 等，一般是对模型进行基序列展开，将问题转化为对展开式 中的有限个参数进行辨识。但目前还没有描述一般非线性系统的通用和有效的数学模 型，而且此方法的辨识过程涉及大量参数，运算复杂。 人工神经网络重新掀起研究和应用热潮之后，借助其强大的学习能力和非线性拟合 能力，使用神经网络对非线性时变系统进行辨识已成为神经网络和系统辨识领域的研究 热点。白n a r e n d r a 和p a r t h a s a r a t h y 提出采用神经网络方法对动态时变系统进行辨识【5 1 ， 并且对该领域中的研究进展和应用状况进行综述【6 j 后，神经网络技术在该领域展现出了 广阔的应用前景。此后，相继有一批国内外学者提出针对非线性时变系统的神经网络辨 识方法。目前用于辨识的神经网络模型主要有b p 神经网络，径向基函数( r b f ) 神经 网络以及最近的研究热点广义回归神经网络( g 鼬州) 。 s i n g h a l 等1 7 j 提出用推广的卡尔曼滤波算法训练前向神经网络，分析了网络学习的全 局算法。但此算法计算繁琐，且需矩阵求逆运算，运算量很大。w a t a n a b e 等 8 】也用推广 的卡尔曼滤波算法对前向神经网络进行训练，其目的是为了改进b p 算法的学习率。具 体做法是为每个权值建立动态方程，并以神经元的输出作为观测值，建立观测方程，然 后利用推广的卡尔曼滤波算法进行学习。但是该文仅验证了算法性能，没能把算法推广 应用到辨识领域，而且此方法还需借助于误差反向传播，计算比较繁琐。顾成奎等【9 l 提出了一种基于前向神经网络的非线性时变系统辨识方法，用局部化的扩展k a l m a n 滤 波算法训练网络。该算法与全局的扩展k a l m a n 滤波算法相比，不需要矩阵求逆运算， 具有更高的收敛速度和较小的存储要求。h u t c h i n s l l o 】研究了基于b p 算法的前向神经网 络拓扑结构，并结合进化编程对b p 算法进行改进，将改进后的神经网络分别用于线性 系统、二次系统、非线性系统和混沌系统的辨识分析，结果显示对线性系统和二次系统 建模效果良好，但对非线性系统和混沌系统的测试数据，泛化能力不足，预测效果较差。 l h o n g n a n 等j 提出了一种辨识多输入多输出动态系统的多分支b p 神经网络模型，在 此模型中，将影响系统结构动态的主要因素，如结构状态变量和输入数据，分别作为模 型的分支来进行训练，以提高预测精度。但对b p 网络进行多分枝处理，相应的增加了 网络的复杂性和实现的困难度。 l y i n g w e i 等【1 2 j 提出了一种最小r b f 网络的连续学习算法，该算法根据r b f 网络 的每个隐含层神经元对整个网络输出的贡献大小，来对r b f 网络结构进行剪枝处理， 以达到计算量小、响应时间短、适于时变系统应用要求的目的。但该文中隐层神经元对 网络输出贡献的评价标准缺少机理分析支持，很难用于实际对象中。s i m o n 等【1 3 1 提出了 2 中国石油大学( 华东) 硕l ：学位论文 种使用扩展的卡尔曼滤波对r b f 网络原型和权值优化的学习方法，当用户确定网络 的原型数目后，卡尔曼滤波器同时对原型向量和权值矩阵进行处理。实验结果表明改进 的r b f 网络比传统的r b f 网络学习效果好。该算法虽比梯度下降法学习速度稍快，但 计算复杂度仍然较大。a p o s t o l i k a s 等1 1 4 】研究了r b f 网络的动态辨识和非线性时变系统 的快速跟踪，通过自适应的调整过程，在旧样本被新样本大量替代后，算法仍能够保持 对训练样本的准确性，并具有很强的学习能力。在文献【1 5 】中，a p o s t o l i k a s 进一步提出 了系统辨识的自适应r b f 神经网络模型，可以跟踪快速变化的时变非线性系统。但该 方法的辨识准确度和计算速度二者之间相互制约，很难获得一个计算代价小，又切实可 行的折中结果。宋宜斌等【l6 】分析了r b f 神经网络的机理，对r b f 的中心采用自组织学 习的选取方法。将训练后的网络用于对非线性对象模型进行拟合与辨识，显示出较快的 学习速度和较好的学习性能。但当样本量很大时，网络结构变得复杂，学习效率下降。 姬晓飞等【l 对r b f 网络的拓扑结构作了改进，将线性子网络和正规r b f 网络并联，线 性子网络对系统的局部线性化特性进行建模，r b f 网络主要对系统非线性特性进行建 模。改进后的r b f 网络的特点是将线性化技术与神经网络技术结合起来，既保证了线性 模型参数学习快、模型简单的优点，又具有神经网络对非线性对象的逼近能力，但该方 法的精确性尚有待进一步提高。 f r o s t 等f l8 j 在一个典型的铝的冶炼控制应用中，分别使用了b p 网络和g r n n 网络 来进行建模，并比较了两种模型的建模效果。实验结果表明g r n n 网络比b p 网络具有 更高的预测精度，可以作为b p 网络的替代网络，在可获得较优的网络结构的同时不影 响网络的预测精度，并且能显著的减少计算时间。k u l k a r n i 等【l9 】为克服偏最小方差( p l s ) 方法不能对非线性系统的输入输出关系进行预测的不足，提出了将主成份分析( p c a ) 和g r n n 网络相结合的混合方法，并将此方法用于两个实际的生物工程系统，实验结 果证明了该方法的有效性。c i g i z o g l u 等【z 0 l 将b p 网络和g r n n 网络用于河流悬浮沉淀 物的预测，并将两种方法的结果进行对比分析。相比于b p 网络的诸多缺点，如对随机 分配的初始权值敏感，需要反复迭代以达到性能指标等，g r n n 网络所表现的性能更为 优异。c e l i k o g l u 等1 2 l 】将g r n n 网络用于旅行选择模式的建模，并与b p 网络和r b f 网 络等方法进行对比分析。与b p 网络相比，r b f 网络和g r n n 网络具有更好的逼近能 力，更快的学习速度和更高的鲁棒性，而且g r n n 网络比r b f 网络在小样本情况下仍 具有很高的泛化精度。国内对g r n n 网络的研究和应用始于2 0 0 3 年，冯志鹏等在文献 瞄2 j 中介绍了广义回归神经网络，提出了应用b i c 准则确定输入神经元的数目。将其应 3 第一章绪论 用于大型旋转机械的振动状态的时间序列预测，与传统的b p 神经网络的预测结果对比， g r n n 网络的预测性能优于b p 网络，即使样本数据稀少，仍能够获得满意的预测结果。 石喜光等2 3 1 采用g r n n 网络建立了煤灰软化温度模型，以煤灰软化温度作为目标函数， 采用遗传算法寻优，获得当煤灰软化温度最高和最低时煤灰中氧化物的组成。结果表明 g r n n 网络所需样本量少、预测误差小。但使用遗传算法进行寻优需多重迭代，计算效 率低，降低了g r n n 网络辨识速度快的优点。以上对g r n n 网络的应用研究都没有涉 及到其模式层节点数量约简和平滑因子的优化等问题。 综上所述，现今神经网络理论用于非线性时变系统辨识取得了较大的发展和进步， 但是如何更进一步的研究神经网络的结构和参数优化技术，使其在系统辨识领域获得更 好的应用，仍然具有广阔的发展前景和重要的现实意义。 1 3 论文研究内容 本课题研究的主要内容，是对基于人工神经网络的非线性时变系统辨识技术进行较 深入的分析与应用。在对基础理论进行了简单介绍之后，分析了常用的b p 网络、r b f 网络以及g r n n 网络的学习方法。着重对g r n n 网络的理论基础以及网络结构等进行 了介绍，并对其存在的问题进行了深入的总结，在分析其问题原因的基础上，给出了相 应的解决方法。一是针对g r n n 网络模式层节点数目与训练样本的数目成正比，训练 样本量增大，则模式层节点相应增多的问题，采用了模糊c 均值聚类( f c m ) 方法进 行处理，以减小样本规模，约简网络结构，使g r n n 网络适于大样本量情况下的辨识 应用。为减少迭代操作，提高运算效率，定义了输入数据的相似度指标，通过将该指标 与给定阈值比较，以决定是否进行迭代聚类操作，并给出了算法的仿真实例分析。由于 平滑因子值对g r n n 网络的性能有重要影响，因此本文对平滑因子的取值及其优化方 法进行了较深入的探讨。在阅读并分析大量优化方法的文献的基础上，针对模式层节点 平滑因子取单一值计算简便而精确度不足，取不同值结果较精确但计算复杂度高的问 题，提出了一种基于每一个特征向量对网络输出的贡献率大小，来有选择的对相应的平 滑因子进行优化的方法，并给出了此方法的仿真实例及性能分析。最后，总结出了基于 改进的g r n n 网络的辨识策略，并在实际的天然气水合物电阻率测量系统中进行了应 用分析。 1 4 论文组织结构 本论文共包含六部分内容，具体的章节安排如下： 4 中国石油人学( 华东) 硕士学位论文 第1 章主要介绍了本课题的研究背景及意义、国内外研究现状，并对本论文的主要 研究工作和论文组织结构进行了说明。 第2 章对本课题所涉及的基础理论进行了简要介绍，包括系统辨识基础，非线性时 变系统的特点分析，传统的系统辨识方法以及人工神经网络基础等内容。 第3 章介绍了人工神经网络的系统辨识方法。结合一个具体的系统模型，对b p 网 络、r b f 网络和g 对州网络进行了仿真对比分析。 第4 章分析了使用f c m 聚类对g r n n 网络进行处理。定义了输入数据的相似度指 标，通过该指标与给定阈值比较来决定是否进行迭代聚类操作，并给出了算法的仿真实 例分析。 第5 章对g r n n 网络平滑因子的计算及其优化方法进行了较深入的探讨，提出了 一种基于每一个特征向量对网络输出的贡献率大小，有选择的对相应的平滑因子进行优 化的改进方法，归纳出了基于改进的g r n n 网络的辨识策略，并在实际的天然气水合 物电阻率测量系统中进行了应用分析。 最后，对本课题所做的工作进行了全面的总结，并指出了今后进一步的工作方向。 5 第二章系统辨识及神经网络理论基础 第二章系统辨识及神经网络理论基础 2 1 系统辨识概述 2 1 1 系统辨识概念 系统辨识( s y s t e mi d e n t i f i c a t i o n ) 是现代控制理论中一个很重要的组成部分。现今 控制理论的应用日益广泛，控制过程的复杂性日益提高，但它的实际应用仍不能脱离被 控对象的数学模型。在多数情况下，被控对象的数学模型是不知道的，或在j 下常运行期 间模型的参数可能发生变化。因此利用控制理论去解决实际问题时，首先要建立被控对 象的具体模型，充分掌握被研究对象的变化规律。在表征系统对象的相互关系时，确定 对应的数学模型，是控制理论能否成功地应用于实际的关键之一，辨识正是适应这一需 要而形成的一门学科。 所谓辨识，就是通过测取研究对象在输入作用下的输出响应、或在正常运行时的输 入输出数据记录，对其加以必要的数据处理和数学计算，来估计出对象的数学模型。 z a d e h 最先给辨识下过这样的定义【2 4 】：辨识就是在输入和输出数据的基础上，从一组给 定的模型类( m o d e ls e t ) 中，确定一个与所测系统等价的模型。这个定义明确了辨识 的三要素：输入输出数据，模型类，等价准则。其中，数掘是辨识的基础，准则 是优化的辨识目标，模型类是寻找模型的范围。按照z a d e h 的定义，寻找一个与实际过 程完全等价的模型无疑是非常困难的。从实用观点出发，对模型的要求并非如此苛刻， 为此对辨识又有了l j u n g t 2 5 1 的普遍意义下的定义：辨识有三要素，数据，模型类和准则。 辨识就是按照一个准则在一组模型类中选择一个与数据拟合的最好的模型。从根本上 讲，系统辨识是利用观测数据，在一类系统范围内确定一个与实验系统等价的系统，这 个等价系统即可作为被识系统的数学模型。在此，系统是广义的，凡是具有特定功能， 按照某些规律结合起来，相互作用、相互依存的事物总体，都纳入系统范畴。概括起来， 辨识的实质就是从一组模型类中选择一个模型，按照某种准则，使之能最好的拟合所关 心的实际过程的动态特征。 2 1 2 非线性时变系统 所谓非线性系统，是指系统的输入输出关系不符合叠加原理的性质。与线性系统相 比，非线性系统响应多个信号的输出量，并不等于每个信号的加权求和量【2 6 1 。非线性系 统广泛存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和 非线性系统被研究者们认识并关注。在实际应用中，许多模型被当作线性模型来对待， 6 中国石油人学( 华东) 硕士学位论文 原因是线性系统辨识理论已经趋于成熟，线性模型更易于分析和处理。但往往线性模型 实际上是某些非线性特征被忽略，或用线性关系来代替而得到的对真实系统的近似数学 描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高， 具有复杂非线性的系统不能用线性模型来近似替代，所以研究非线性系统辨识理论有着 很重要的实际意义。 建立描述非线性现象和系统的模型是研究非线性问题的基础。对于非线性系统参数 模型的辨识问题，人们最早涉及的是某些特殊类型的非线性模型，如双线性系统模型、 h a m m e r s t e i n 模型、w i e n e r 模型、非线性时间序列模型、输出仿射模型等。针对每一类 特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。目前关于非线性系统的 理论研究正处于发展阶段，随着人们的研究日益深入，非线性系统辨识问题在各个方面 都取得了一定的进步。 有效的获取时间与系统之间的动态特性是系统辨识的重要内容，一种特殊但又普遍 存在的情况是系统的特性随时间变化。在工业生产、社会生活、生态系统和经济军事等 领域中的很多应用都涉及到时变系统方面的问题。特别是在有些情况下，时不变的假设 与现实的差别太大，因此对时变系统进行深入分析是很有必要的。时变系统的特点主要 有【2 7 】： ( 1 ) 时变系统以自身特性随时间变化为前提，在任何激励信号作用下，不可能出现 稳定的输出。 ( 2 ) 具有不完全的输入测量。在有些情况下，由于不允许自由选择输入信号，或由 于测量手段不完善而只能测量部分输出特性，均会出现不完全测量现象。系统 很难用常数线性模型描述，只能作为时变系统来处理。 ( 3 ) 系统输出响应无法用量化形式表达，而非量化响应又会反馈到系统输入端，通 过变换可以把这种非量化因素变成一种可观测量。 ( 4 ) 具有等效的非平稳过程特性。当过程具有明显的非平稳性时，就应该采用时变 的理论来分析。 ( 5 ) 具有等效的线性过程特性。用时变参数模型来描述非线性过程，可使模型结构 和参数估计过程大大简化。 对实际系统的时变特性进行描述，以如下的时变系统为例： y ( t ，臼) = 矽。( f ) 秒( f )( 2 1 ) 7 第二章系统辨识及神经网络理论娃础 其中，y ( ，) 是系统的输出预测，护( ，) 是时变的参数向量，9 ( f ) 是线性回归向量。通 常情况下，妒( f ) 由系统的输入、输出以及他们的滞后组成： 矽7 1 ( f ) = 【y ( t 一1 ) ，y ( t 一行) ，u ( t 一1 ) ，“( ，一，”) 】( 2 - 2 ) 假设： o ( t ) = f ( o ( t 1 ) ，f ，w ( ，) ，孝( f ) )( 2 3 ) 其中， w ( t ) ) 是一个随机向量序列，( f ( ，) ) 是一个影响系统的标志变量序列，这时 只需讨论o ( t ) 是如何随时间变化的即可。 由于被辨识的系统特性是随时间而变化的，所以历史数据不能完全反映被辨识系统 的当前特性，真正能够反映当前特性的是较新的观测数据。因此为提高辨识效果，需强 调新信息对模型参数的作用，即通过新的观测数据不断提取新的系统信息，更新参数， 从而实时反映时变系统的当前特性。时变参数模型对参数的记忆长度很敏感，由此产生 了对观测数据的多种处理方法，如增长记忆法、渐消记忆法和限定记忆法等。 2 2 传统系统辨识方法 2 2 1 参数辨识方法 系统辨识方法因模型集的性质所提供的数据信息和预期目标的不同而相异。从信号 数据的获取和处理角度看，系统辨识可分为离线辨识和在线( 自适应) 辨识；就欲获取 的模型形式而言，可分为非参数辨识和参数辨识。 非参数辨识方法作为一种经典方法，采用连续时间输入激励，使被辨识系统产生响 应，通过测定系统输出响应，求得以时间或频率为自变量的系统非参数模型。非参数辨 识的方法主要有阶跃响应法、脉冲响应法、频率响应法和频谱分析法等。参数辨识主要 是针对模型参数的辨识，即模型的参数估计方法。参数辨识方法主要包括最d , - 乘法 ( l s m ，l e a s ts q u a r e sm e t h o d ) 、极大似然估计法、随机逼近法、预报误差法等。其中 最小二乘法应用最为普遍，研究也最为深入。但最小二乘估计是有偏差且非一致的，为 此发展了许多改进算法，形成了一大类以最小二乘为基础的辨识方法【2 7 】，如加权最小二 乘法、递推最小二乘法、广义最小二乘法和增广最小二乘法等等。 下面对最小二乘法的基础理论作一简单介绍。考虑如下多元回归模型： 8 中国石油大学( 华东) 硕十学位论文 z ( f ) = 一w ( ，一1 ) + s 9 ) = 缈r o ) 以，一1 ) 托( ，) ( 2 4 ) k l 其中，z ( ，) 是系统的输出，w 7 ( f 一1 ) = ( w l ( ，一1 ) ，w n ( f 1 ) ) 是疗维的参数向量， 矿) - ( x 。( 咄，x n ( f ) ) 为系统的输入，s ( f ) 一般为正态分布的白噪声。 妒( ，) ，z ( f ) ) 表示 一对建模样本，以y ( t ) 表示无噪声的输出，则f 时刻的误差为： ( f ) = z ( f ) 一y ( t ) = z ( ，) 一妒r ( ，) w o 一1 ) ( 2 - 5 ) 考虑时变环境，则最优解是与时间有关的向量w ( t ) ，目标是从观测值妒( f ) 和z ( f ) 来 估计以，) 。 如果系统模型由状态方程来描述，且状态变量及输出变量均含有干扰噪声，则其参 数估计可以采用卡尔曼滤波( k a l m a nf i l t e r ) 解决。卡尔曼滤波算法是一种较常使用的 非线性时变系统辨识方法，其优点是计算简单、快速，所需存储量少，主要缺点是递推 过程需要使用参数方差值，而这些方差值通常很难得到。 2 2 2 模型描述法 建立非线性现象的模型是描述非线性问题的基础。从错综复杂的外部现象中所抽取 的本质规律，通常可归结为一个或多个数学方程，在系统工程领域称这些数学方程为模 型。有了适当的模型，才能展开有关的分析、预测与仿真等研究工作。迄今为止对非线 性模型没有公认的分类，此处仅讨论几种常见的描述方法。 ( 1 ) v o l t e r r a 级数 v o l t e r r a 级数【4 1 可对一类广泛的非线性过程给出一般的非参数表达式，其形式可以表 示为： y ( r ) = 喜( ，吒，乙) 冉肌一一) 如= 喜( r ) ( 2 6 ) 其中，( ，) ；f t ly ( t ) 分别是模型的输入和输出，函数( 一，吒，乙) 是多维v o l t e r r a 核。 从模型辨识的角度看，v o l t e r r a 级数有一个明显的缺点，就是需要相当多的被估计参数 才能取得满意的精度。尽管v o l t e r r a 级数对非线性系统理论与辨识方法的发展有着非常 重要的推进作用，但普遍认为它很难用于工业过程建模。 ( 2 ) h a m m e r s t e i n 模型 9 第二审系统辨识及神经网络理论蔡础 阶h a m m e r s t e i n 时变系统模型【3 ln - i 表示如下： l ，( f ) = g l ( f ，川) 矽。( 彳( f 一掰) ) + + g ( ，所) 矽 ，( x ( ，一册) ) ( 2 7 ) 其中，x ( t ) 和r ( t ) 是输入输出信号( t = 0 ，t - 1 ) ，g n ( t ，m ) 是n 阶广义的时变 h a m m e r s t e i n 核( m m ，m ) ，力( x ) 是基函数( x r ，拧= 1 ，2 ，n ) 。 ( 3 ) n a r m a x 模型 l e o m a r i t i s 和b i l l i n g s 提出了非线性自回归滑动平均模型( n a r m a x ，n o n l i n e a r a u t o r e g r e s s i v em o v i n ga v e r a g e w i t he x o g e n o u si n p u t s ) ，该模型可以表示为： y ( k ) = f ( y ( 七一1 ) ，y ( k - b ) ，“( 七一1 ) ，“( 七一，屯) ， ( 2 8 ) e ( k 1 ) ，e ( k r l e ) ) + p ( 七) 、7 上式中f ( ) 是一个非线性函数，u ( k ) 和y ( k ) 分别是模型的输入和输出，e ( k ) 是一个 不可观测的零均值和有限方差的独立噪声，k 是离散时间标量。 n a r m a x 模型提供了一个统一的、有限可实现的非线性系统表达式。这个模型的 优点是逼近精度高、收敛速度快，一般只用较少的几项经过几次迭代就可以达到较满意 的精度，缺点是对非线性参数的子集模型辨识有较大困难。 2 3 人工神经网络理论基础 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 是指用大量的简单计算单元构成的非线 性系统，其基本处理单位是神经元( n e u r a lu n i t ) 。它在一定程度和层次上模拟了人脑 神经系统的存储、检索及信息处理能力，因而具有学习、记忆和计算等智能处理功能。 人工神经网络具有如下一些显著的特点： ( 1 ) 非线性特性：神经网络具有逼近任意非线性函数的能力，为非线性系统提供了 一个通用的辨识方法，可以用来实现非线性系统控制。 ( 2 ) 并行分布处理：在神经网络中，信息是分布存储和并行处理的，这使其具有很 强的容错性和很快的处理速度。 ( 3 ) 自学习能力；神经网络在训练时能够从输入输出数据中提取出规律性的知识， 记忆在网络的权值中，并具有泛化能力。 ( 4 ) 数据融合能力：神经网络可以同时处理定量信息和定性信息，可以综合应用传 统的工程技术和人工智能技术。 l o 中困石油大学( 华东) 硕上学位论文 2 3 1 人工神经元模型 人工神经元是对生物神经元的一种模拟与简化，它是神经网络的基本处理单元。图 2 1 表示了一种简化的人工神经元结构，它是一个多输入、单输出的非线性元件。 x = ( _ ，x 2 9 e e 9 _ ) 。为神经元的输入，w = ( w l ，1 4 2 9e 9 w o ) 。为可调的输入权值，秒为偏移信 号，用作建模神经元的兴奋阈值。( ) 和厂( ) 分别为神经元的基函数和激活函数。基函 数( ) 是一个多输入单输出的函数，激活函数的作用是对基函数的输出进行挤压，即通 过非线性函数( ) 将( ) 变换到指定的范围内。 图2 - 1人工神经元模型 f i 9 2 - 1 a r t i f i c i a ln e u r a lu n i tm o d e l 基函数的类型主要有：线性函数、距离函数、椭圆基函数等。激活函数类型主要有： 硬极限函数、线性函数、饱和线性函数、s i g m o i d 函数、高斯函数等。其中较常用的基 函数为线性函数，较常用的激活函数为s i g m o i d 函数。在图2 - 1 的神经元模型中，基函 数采用线性函数、激活函数采用s i g m o i d 函数的模型输入输出关系可描述为： k t = w 薯- 8 = x r w - o ( 2 - 9 ) i = l 1 y 。f ( u ) 2 专( 2 - 1 0 ) 其中允称为s i g m o i d 函数的增益，其值决定了函数非饱和段的斜率，a 越大，曲线 越陡。 2 。3 2 人工神经网络结构 网络拓扑结构是神经网络的一个重要特征。根据结构来划分，神经网络可以分为前 馈型神经网络和反馈型神经网络两种。 第二章系统辨识及神经网络理论基础 ( 1 ) 前馈型神经网络( f e e df o r w a r dn e u r a ln e t w o r k ) ：其网络结构如图2 - 2 ( a ) 所示。 神经元节点分为输入单元和计算单元，各神经元接收前一层的输入，并输出给下一层， 没有反馈。前馈网络是一种强有力的学习网络，其结构简单易于编程。从系统的观点来 看，前馈网络是一类静态的非线性映射，通过大量的简单处理单元的复合，达到处理复 杂非线性系统的效果。典型的前馈网络有感知器网络、b p 网络等。 ( 2 ) 反馈型神经网络( f e e d b a c kn e u r a ln e t w o r k ) ：网络结构如图2 - 2 ( b ) 所示。其所 有的神经元节点都是计算单元，它们之间可以互相连接，可接收输入，也可向外界输出。 反馈型网络实质上是一种反馈动力学系统，它需要工作一段时间才能达到稳定的网络输 出状态。典型的反馈网络有h o p f i e l d 网络等。 ( a ) 前馈神经网络结构( b ) 反馈神经网络结构 图2 - 2 神经网络拓扑结构 ( a ) f e e df o r w a r dn e t w o r ks t r u c t u r e( b ) f e e d b a c kn e t w o r ks t r u c t u r e f i 9 2 - 2 n e u r a ln e t w o r kt o p o l o g ys t r u c t u r e 2 3 - 3 人工神经网络学习方法 学习方法是体现人工神经网络智能特性的主要标志，学习能力也是其最为重要的特 征。神经网络的学习有两种方式，分别为有导师学习和无导师学习。有导师学习也称为 有监督学习，其训练样本是输入输出对；无导师学习也称为无监督学习或自组织学习， 它不提供教师信号，只规定学习的方式或某些规则，系统可以自动发现环境特征和规律。 具体的学习规则主要有下面两种f 2 8 】： ( 1 ) h e b b 学习规则 h e b b 学习是一种无导师学习算法，由神经心理学家h e b b 提出，可归结为“当某一 突触( 连接) 两端神经元的激活同步，即同为激活或同为抑制，则该连接的强度应增强， 反之应减弱”。用数学公式可描述为 ( ，2 ) = f ( y k ( n ) ，( 疗) ) ( 2 - 1 1 ) 其中y k ( n ) ，x j ( n ) 分别为屹两端神经元的状态，其中最常用的一种情况为： 1 2 中国石油大学( 华东) 硕上学位论文 ( 行) = f l y k ( n ) x j ( n ) ( 2 1 2 ) ( 2 ) 万学习规则 万学习规则也称梯度下降法或最速下降法，是最常用的一种神经网络学习算法，它 是一种有导师学习算法。 定义误差准则函数： e = 丢圭( 巧一乃) z ：窆e ，( 2 - 1 3 ) 其中，吐为期望输出，y i = f ( w x ) 为网络的实际输出。艿学习规则的目的是调整权 值w 使误差函数e 最小，对此一般采用梯度下降法来求解，沿着的负梯度方向不断修 正w 值，直至e 达到最小，即： 眺：7 7 ( 一罢)( 2 1 4 ) a 则网络权重w 的修j 下规则为 a w , = 7 7 ( z - y , ) f ( m ) 薯 ( 2 1 5 ) 上式称作万学习规则( 误差修正规则) 。万规则可以使网络输出误差按梯度下降， 因此误差函数能随着训练次数的增加而达到最小。 2 4 本章小结 本章对系统辨识和人工神经网络的理论基础进行了介绍。首先给出了系统辨识的概 念和非线性时变系统的特点。然后介绍了传统的系统辨识方法，包括最小二乘法、卡尔 曼滤波法，以及v o l t e r r a 级数、h a m m e r s t e i n 模型等。最后介绍了神经网络的基础理论 以及常用的学习方法等内容。本章内容为后续章节的分析探讨提供了理论基础。 1 3 第三章人丁神经网络系统辨识方法 第三章人工神经网络系统辨识方法 3 1 概述 自人工神经网络重新掀起研究和应用热潮，