（系统工程专业论文）基于遗传算法的模型辨识方法研究.pdf

东北大学硕士学位论文 摘要 基于遗传算法的模型辨识方法研究 摘要 在信息社会中，无论是工程、物理、生物学、还是社会科学的实际工作者 和研究人员，经常要对一系列的观察数据( 或者样本数据) 进行处理和分析。 获得样本数据的数学模型，然后应用于实际工作，作为指导人们工作的依据， 因此对样本数据进行模型辨识已经成为各研究领域重点之一。 来源于实际的样本数据有其自身的复杂性，比如：各因素对系统的输出起 什么样的作用、作用大小如何，各因素之间是什么样的关系，样本数据的数学 模型是线性的还是非线性的，样本的数学模型是由单一的典型模型组成还是由 几个典型模型以某种形式组合而成等。现在对这类样本数据模型辨识问题求解 的思路一般是对其进行线性回归分析、非线性回归分析和模糊优化、利用神经 网络等，它们大多是基于某个系统的模型辨识或某种典型模型问题的辨识。也 就是说，到目前为止，没有形成一套规范的、通用的模型辨识方法。 本文在论述基于样本数据的模型辨识方法的基础上，通过对样本数据模型 的形式分析，提出以典型数学模型组合相加的方法辨识样本数据模型。在总结 变量在不同函数形式下对系统输出的影响及系统的数学模型后，得出样本数据 模型的一般形式。根据模型的特点，提出了基于遗传算法辨识样本数据模型的 求解方法，设计了解决问题的编码、交叉、变异、选择和算法实现过程等方面 的不同方案。然后根据辨识模型的目的和样本数据模型的要求，选择了多个典 型的数学模型作为基本模型，并综合遗传算法搜索解的特点和问题的实际意 义，对每个子模型给出了模型参数的上下限参考范围。 采用面向对象的程序设计语言c + + 实现了本文所研究的基于遗传算法辨 识样本数据模型问题的系统。对可以应用本系统的几种不同问题形式进行了仿 真，得出了无论是对已知模型结构的参数辨识问题还是对未知模型的结构与参 数辨识问题，都会取得比较满意结果的结论。检验了本文提出算法的可行性， 证明其具有实际的应用价值。 关键词：遗传算法模型辨识参数估计仿真 一i i 东北大学硕士学位论文 a b s t r a e t r e s e a r c h0 1 1m o d e li d e n t i f i c a t i o nm e t h o d b a s e do ng e n e t i ca l g o r i t h m s a b s t r a c t i nt h ei n f o r m a t i o ns o c i e t y , m a n yr e s e a r c h e r si nv a r i o u sf i e l d s ，s u c ha s e n g i n e e r i n g ，p h y s i c s ，b i o l o g y ，s o c i a ls c i e n c ee t c ，o f t e nc o n f r o n tt o d e a lw i t ho r a n a l y z eas e r i e so fo b s e r v e dd a t a ( o rs a m p l ed a t a ) i no r d e rt o o b t a i nt h e i r m a t h e m a t i c a lm o d e l s ，t h e na p p l yi tt ot h er e a lw o r ka g a i n ，a st h eb a s i so f i n s t r u c t i n gp e o p l ei nf u r t h e rw o r k s t h e r e f o r et h er e s e a r c ho nm o d e l i d e n t i f i c a t i o n m e t h o dh a sa l r e a d yb e e no n eo ft h ee m p h a s e si nv a r i o u sr e s e a r c hf i e l d s h o w e v e rm a n ys a m p l ed a t ai nn a t u r ea r ev e r yc o m p l e x ，f o re x a m p l e ：i ti s d i m c u l tt oc o n f i r mt h ef u n c t i o na n de f f e c to fe a c he l e m e n ta n dr e l a t i o n s h f p b e t w e e nt h e m a n dw h e t h e ri t sm a t h e m a t i c a lm o d e l i sl i n e a ro rn o t ，w h e t h e rt h e m o d e li sac l a s s i c a lo n eo rac o m b i n a t i o no fs o m ec l a s s i c a lm o d e l si ns o m ef 0 1 t n g e n e r a l l y , c o n v e n t i o n a lt e c h n i q u e s ，s u c ha sl i n e a rr e g r e s s i o na n a l y s i s ，n o n l i n e a r r e g r e s s i o na n a l y s i s ，f u z z yo p t i m i z a t i o na n dn e r v en e t w o r kc a nd e l i v e rr e s u l t sf o r t h eg i v e nm o d e l ，h o w e v e rt h e ya r em o s t l yb a s e du p o nas i n g l es y s t e mm o d e lo ra c e r t a i nt y p i c a lm o d e lp r o b l e m t h a tm e a n s ，u n t i ln o w , t h e r ei sn o ta s e to f n o r m a t i v em e t h o dt oi d e n t i f ym o d e l i nt h i st h e s i s ，w ed i s c u s sm o d e li d e n t i f i c a t i o nm e t h o db a s e do ns a m p l ed a t a a n da n a l y z et h ef o r mo fs a m p l ed a t am o d e la tf i r s t ，a n dt h e np r e s e n tam e t h o do f i d e n t i f y i n gs a m p l ed a t am e t h o du s i n gc l a s s i c a lm a t h e m a t i cm o d e l t h eg e n e r a l f o r mo fs a m p l ed a t am o d e li so b t a i n e da f t e ra n a l y z i n gm a t h e m a t i cm o d e la n de f f e c t o fv a r i a b l et od i f f e r e n tf u n c t i o n t h em e t h o do fi d e n t i l y i n gs a m p l ed a t am o d e l b a s e do ng a ( g e n e t i ca l g o r i t h m s ) i sp r e s e n t e da c c o r d i n gt ot h ec h a r a c t e r i s t i co f m o d e la n dv a r i o u sp r o j e c t sa r ed e s i g n e df o rt h ee n c o d i n g ，c r o s s o v e r , m u t a t i o n ， s e l e c t i o na n da l g o r i t h m t h e ns e l e c t i n gaf e wt y p i c a lm a t h e m a t i c a lm o d e l sa ss u b m o d e l sa c c o r d i n gt ot h es t r u c t u r eo fs a m p l ed a t am o d e l ，a n dl i m i t i n gt h eu p p e ra n d l o w e rr a n g eo ft h em o d e lp a r a m e t e rc o r r e s p o n d i n gt ot h ec h r o m o s o m eg e n ef o r e a c hs u bm o d e ls y n t h e s i z i n gt h ec h a r a c t e ro ft h em e t h o do fg a ( g e n e t i ca l g o r i t h m s ) i i i 东北大学硕士学位论文 a b s t r a c t a n dt h ep r a c t i c a b l em e a n i n go ft h ep r o b l e m 0 0 ( o b j e c to r i e n t e d ) p r o g r a m m i n gl a n g u a g ec + + i sa d o p t e dt or e a l i z et h e p u r p o s eo nt h eb a s i so fg e n e t i ca l g o r i t h mm e t h o d h a v i n gc a r r i e do ns i m u l a t i o nt o s e v e r a lk i n d so fd i f f e r e n tp r o b l e m su s i n gt h i ss y s t e m ，w ec a l ls e et h a tw h e t h e r a p p l y i n gt ok n o w n o ru n k n o w ns t r u c t u r e sa n dp a r a m e t e r s ，t h er e s u l ti sp r o m i s i n g t h ef e a s i b i l i t yo f t h ea l g o r i t h mh a sp r o v e dt h a ti th a st h ev a l u eo f a p p l i c a t i o ni nt h e r e a lp r a c t i c i n g k e yw o r d s ：g e n e t i ca l g o r i t h m ，m o d e li d e n t i f i c a t i o n ，p a r a m e t e re s t i m a t i o n ， s i m u l a t i o n 一i v 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取 得的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或 撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名：召4 日 期：曩、z 2 ， 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学 位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学 位论文的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名： 签字日期： 导师签名： 签字日期： 东北大学硕士学位论文第1 章绪论 1 1引言 第1 章绪论 随着科学技术对研究对象的日益精确化、定量化和数学化，随着电子计算 机技术的广泛应用，数学模型已成为处理科学技术领域中各种实际问题的重要 工具，并在自然科学、工程技术科学与社会科学的各个领域中得到广泛应用。 例如经济、管理、工农业、甚至社会学等都提出了各自的建模需要。 正如美国科学、工程和公共事务政策委员会在一份报告中指出的“今天， 在技术科学中最有用的数学研究领域是数值分析和数学建模”【l 】。由此可见， 数学模型已经不仅仅是理论上的研究，更重要的是数学模型的科学应用。也就 是说，建立数学模型的目的，就是在于给出实际问题的一个较为精确的数学结 构，并对实际中需要解决的或迫切关心的目标做出决策。 由于实际应用问题的复杂性，人们往往很难( 或不能) 从基本的定律出发 直接推导出系统的数学模型，这就需要利用系统提供的数据来构造模型并进行 模型参数估计。因为模型参数的估计有很多成熟的方法，所以关键的问题是选 择适合系统运行规律的模型结构。这样，对于一个复杂的问题( 或系统) 建立 合适的模型已经成为现代社会各领域迫切需要解决的问题，即模型辨识问题。 实际应用中不可能辨识到一个与实际系统完全等价的模型，因此从实际的 观点看，辨识就是利用得到的样本数据的输入和输出数据，根据事先选定的准 则，从一组模型中选择一个模型，使之最佳地拟合被辨识系统的动态或静态特 性。l a z a d e h 曾给辨识下了一个定义“辨识就是在输入和输出数据的基础上， 从一组给定的模型中，确定一个与所测系统等价的模型”f 2 j 。这个定义明确了 辨识的三要素： ( 1 ) 输入输出数据 指能够测量的被辨识系统的输入输出数据。 ( 2 ) 模型类 模型类指所考虑的系统的模型结构，也就是指在哪一类模型中可以找到能 恰当地描述系统输入输出关系的模型。它包含了对模型类的选择、模型结构的 东北大学硕士学位论文第l 章绪论 确定和模型参数化问题。 ( 3 ) 等价原则 等价原则指辨识的优化和检验目标。辨识的优化是指采用什么样的辨识方 法和参数估计方法来进行系统辨识的问题：检验目标是指如何评价一个模型 “最佳”地拟合了给定系统的样本数据的问题，而这个评价的标准也就是目标 函数。 1 2数学模型的分类及模型辨识的目的和任务 1 2 1 模型的分类 按不同的分类方法数学模型可以划分为不同的种类。 ( 1 1 按时间变化对模型的影响划分 如果模型的各变量问的相互关系不依赖于时间，则称其为时不变模型 或定常的模型； 如果模型的各变量问的相互关系依赖于时间，称其为时变模型； 此外还有静态与动态模型等。 ( 2 ) 按变量情况划分 如果自变量是连续变化的，则称其为连续模型； 如果自变量是离散的，则称其为离散模型； 如果模型中含有随机变量，则称其为概率模型或随机模型； 此外还有确定性模型。 ( 3 ) 按照模型的辨识过程划分 离线模型。在离线辨识情况下，允许积累大量的输入输出数掘，然后 成批地处理这些数据，从而得到满意的离线模型。 在线实时模型。在线辨识模型，因为不必存储大量的输入输出数据， 当然也不可能存储大量的数据，所以应用递推算法而放弃成批处理方 法，利用每次采样的新信息来修正上一时刻的模型参数的估计值。计 算时问必须在一个采样周期内完成。 f 4 ) 按实际系统与周围环境间的相互关系划分 自治模型； 非自治模型。 非自治模型。 东北大学硕士学位论文第1 章绪论 ( 5 ) 按研究方法和对象的数学特征划分 优化模型； 逻辑模型； 稳定模型； 扩散模型等。 ( 6 ) 按研究对象的实际领域划分 人口模型； 交通模型； 生态模型； 经济模型： 社会模型等。 一个问题可以利用不同的方法建立不同的模型，因此，以上对模型的分类 也并不是绝对的。在实际的领域中数学模型又可以化分成若干类。 1 2 2 模型辨识的目的和任务 无论从任何意义上来说，辨识的目的都是掌握事物的规律，认识事物，运 用辨识的结果对实际问题进行应用1 2 】。 模型辨识的任务是根据样本的输入输出数据，按一定的目标函数，从一类 数学模型中选择一个数学模型的结构并估计模型的参数1 2 】【3 1 。换句话讲，模型 辨识的任务是根据样本数据信息来寻找确定函数或确定系统来逼近一个与样 本数据系统等价的数学模型并进行参数估计。 1 3模型辨识的发展及应用 近年来随着计算机技术的飞速发展，基于各种问题( 或系统) 原型的模型 辨识技术在社会的各个领域都取得了不小的进展。 在自动控制领域，辨识和参数估计是自动控制理论的一个分支。2 0 世纪 9 0 年代，线性辨识理论趋于成熟，而非线性系统的辨识仍处于发展阶段。近 i o 年来，辨识领域有3 个热点研究方向： 基于鲁棒控制的数学模型要求的鲁棒辨识； 基于特殊信号驱动下的辨识【4 】； 基于智能信息处理的非线性辨识酬引。 一3 一 东北大学硕士学位论文第l 章绪论 模型辨识在自控领域中有很多重要的应用，如：建立基于动态b p 网络的 串并联和并联模型，适用于非线性动态系统的模型辨识f 7 1 、分析输入信号建立 的挠性结构振动主动控制的数学模型f 8 1 。 在工程领域，如水利工程领域唧、生物工程领域等都有重要的应用，如： 利用模型辨识方法建立i g c c 电站数学模型【1 1 】、为废水处理厂建立废水处理过 程数学模型i l ”。 在非工程领域，如经济领域1 1 3 】、环境领域等也有重要的应用，并各自建立 了经济模型、生态模型等数学模型。 从自控领域及工程、非工程领域应用中可以看出辨识问题的特点如下： 在应用的同时，逐渐形成了专业化的特点，如在机器人、航空航天1 1 4 】、 社会经济、农业和生物等不同领域其辨识方法都有明显特色： 辨识的内涵已经拓宽，它已不仅仅是利用数据来辨识模型参数和模型 结构，对于那些模型已经建立，并能正常运行，但在环境改变下，某 些特征的辨识，也是辨识研究的课题。 1 4 本文的主要研究内容及章节安排 对于给定的样本数据( 甚至在样本数据不多的情况下) ，需要一个合适的 模型来描述它的变化规律。在对样本数据来源的系统不十分清楚的情况下，采 用机理分析和辨识相结合的方法来辨识模型，并借助任何可以利用的经验来辅 助辨识模型。本文以此为指导思想，研究基于遗传算法进行样本数据的模型辨 识问题，实现一种可解决单输入变量、多输入变量情况下样本数据韵模型辨识。 通过对多个基本模型元素的组合优化及模型参数辨识寻求一个最能反映样本 数据变化规律的模型。 章节安排如下： 笫1 章对模型辨识问题、按不同分类方法定义的数学模型、模型辨识的 目的及任务和模型辨识问题的发展及应用等作了比较详尽的阐述。 第2 章总结了机理建模和辨识建模的方法以及这两种建模方法的区别与 联系。提出以建模方法为依据的样本数据模型辨识问题的任务为模型结构辨 识、参数估计和模型检验。总结了当前对样本数据的模型辨识问题采取的方法， 分析了这些方法解决样本数据模型辨识问题的优缺点。 第3 章提出本文要解决的辨识问题的样本数据形式，分析了各因素之间 一d 一 东北大学硕士学位论文第1 章绪论 的相互关系特征、各因素对系统的影响情况。提出了一种通用性很强的辨识模 型的方法一基于遗传算法的样本数据模型辨识方法。根据样本数据模型的结构 形式和特点，设计了相应的遗传算法。根据样本数据模型的特点，提出了将模 型结构辨识和参数辨识分为上下两层的分层遗传算法解决方案。 第4 章根据构成样本数据模型结构的形式和特点，选择了典型常用的数 学模型作为本系统实现过程中的子模型，并总结了这些数学模型的特点、应用 范围，结合遗传算法运行过程中搜索解的方式，根据数学模型参数的实际意义 给出了模型参数设置的参考范围。 。 第5 章采用面向对象的程序设计语言c + + 实现了基于遗传算方法的样本 数据模型辨识系统，运用c + + 的类、继承和封装的概念将算法设计为完成不同 功能的类，实现了样本数据的模型结构与参数的辨识。 第6 章通过对已知模型的样本数据进行参数辨识、模型辨识，对具有扰 动的样本数据的模型辨识，以及单变量样本数据、多变量样本数据的实际问题 的模拟仿真，验证了本文所提算法的有效性及可行性。 一5 一 东北大学硕士学位论文 第2 章基于样本数据的模型辨识方法 第2 章基于样本数据的模型辨识方法 2 1 建模方法 了解建模，必须首先知道什么是模型。简而言之，模型是一种结构，它是 由对原型的形象化或模拟与抽象而来、对原型的一个不失真的近似反映。而数 学模型，是一种符号模型，在应用数学中，称反映特定的具体实际内在规律性 的数学结构为数学模型1 15 1 。数学模型因问题不同而异，建立数学模型也没有固 定的格式和标准，甚至对同一个问题，从不同的角度、不同的要求出发，可以 建立不同的数学模型。但无论如何，建立数学模型的方法到目前的研究为止， 在整体上分为两种：机理分析和辨识。 ( 1 ) 机理分析的方法 机理分析建模方法是指将被控对象分解为若干子系统或环节，分别根据物 理和化学定律、能量守恒和质量守恒等规律、生物学以及其它有关基础学科的 定律、公式等考虑各环节相互之间的关系，根据数学关系式推导出被控对象的 数学模型。采用这种方法建立的数学模型能充分地描述系统的输入变量与输出 变量间的关系以及系统内部的联系和运行规律。 ( 2 1 辨识的方法 辨识是将研究对象看作一个“黑箱”，即对于系统内部机理并不清楚，根 据系统在运行过程中获得的样本数据建立一个与系统等价的数学模型。这个数 学模型可复现系统的输入输出运行数据。采用辨识方法建立的数学模型是与系 统等价的模型，但不是唯一的模型。它只能反映输入与输出之间的关系，不能 充分地反映系统内在的联系及信息。 机理分析与辨识既有区别又有联系。机理分析法是建立数学模型的重要手 段，一般来说，采用机理分析法建模能够准确地描述问题的本质和内在关系， 但是机理分析建模需要对问题细致的描述和准确的公式，否则机理分析法建模 是无法进行的。对于大多数的系统，过程是很复杂的，用机理分析法很难建立 确切的数学模型，或者推导出的数学模型过于复杂，在这种情况下尤其适合用 辨识方法来建立模型。辨识建模的要求是大量的样本数据( 采样数据) 。与机 6 一 东北大学硕士学位论文第2 章基于样本数据的模型辩识方法 理分析建模相比，显得有些笨重，但它确实在过去很长时间里发挥了重要的作 用。 客观上，辨识是机理分析法建模的基础。因为从古至今的任何基本定律建 立，都是科学家经过反复的试验和观测，甚至是几代人的努力建立起来的。因 而辨识方法在建立数学模型中的作用是显而易见的。反过来经过实践证明与实 际系统拟合准确的模型或近似拟合的摸型，我们又可以反用于模型辨识。 鉴于机理建模与辨识建模的特点，比较理想的数学模型的建立方法是将机 理分析建模方法与辨识建模方法相结合，取长补短、相互补充来建立数学模型， 因此，实际应用中常常将机理分析和辨识两种方法结合起来。首先利用机理分 析确定模型的结构，也可以指出部分参数的大小或可能的取值范围，然后根据 获得的系统运行数据，用辨识的方法来估计或改善模型中的参数，使其精确化。 显然，这是一个能充分利用全部可利用信息的最有效的建模方法。这也是我们 在实际建模中常用的方法，也称作“灰箱”建模。 2 2样本数据的模型辨识方法 样本数据就是实际系统的观测数据，通过分析这些数据建立系统的模型， 来了解系统、控制系统。所建立的模型应真实地反映系统，因此为保证模型的 有效性和稳定性，在利用样本数据建模时应处理样本中的异常数据。所谓异常 数据是指因为系统的运行条件、测试仪器的突然失常或观测人员的疏忽大意等 原因造成的少量异常样本值。对于样本中的异常值常常采取剔除措施。 建模的方法有机理建模和辨识建模，所以基于样本数据的模型辨识也分为 两大类： 基于机理建模的模型辨识； 不依赖于机理建模的模型辨识。 建模过程中，唯一的依据是取得的输入输出的样本数据和对系统的模型结 构、参数含义以及系统的运行条件等的了解。由此可见，基于样本数据的模型 辨识的任务是： ( 1 ) 模型结构辨识 系统的模型结构确定是辨识的难点，在模型辨识过程中有着不言而喻的重 要地位。对于获得的样本数据，当对系统的运行机理了解清晰的情况下，根据 系统内部各运行环节间的关系，运用机理建模型的方法推导出系统的数学模 7 一 东北大学硕士学位论文 第2 章基于样本数据的模型辨识方法 型，从而确定模型的结构。当对于系统的运行机理了解不全面的情况下，要利 用一切已知的系统运行机理、输入和输出数据的关系粗略地推断系统的模型结 构，这样有助于通过样本数据选择模型的结构。当对系统的运行机理完全不了 解的情况下，就无法准确地或近似地确定模型的结构。这时就只能根据样本数 据和其它方法粗略地选择模型的结构，然后，对模型的结构进行辨识。 ( 2 ) 模型参数辨识 模型的参数估计是继模型结构辨识后立刻呈现出的问题，它是模型辨识的 任务之一。模型参数辨识就是利用样本数据，对模型参数不断地优化，确定模 型的最优参数组合。 ( 3 ) 模型检验 通过对样本数据辨识得到的模型是否符合系统的输入与输出的运行规律， 必须进行适当的检验。根据一定的评价标准检验证实模型符合要求时，模型辨 识过程结束；否则，就应修正模型结构甚至重新进行方法设计，直到模型很好 地拟合了样本数据后，模型辨识才算完毕。 辨识中常用的评价准则是误差准则，也称为等价准则，用它来衡量模型接 近实际系统的标准。误差可以理解为模型与实际系统的误差，也可以理解为输 出误差和输入误差，也可以为广义误差。因此误差准则包含： 输出误差准则； 输入误差准则； 广义误差准则。 此外，应用数理统计的方法可以检验模型参数的有效性，如z 2 检验，f 检验等。 由于基于机理建模的模型辨识，仅涉及到参数的辨识部分，它与不依赖于 机理建模的样本数据模型辨识的参数估计部分的内容是一样的，因此本文主要 阐述系统模型结构未知的样本数据的数学模型辨识方法。 设y 是一个可以观测的随机变量，它受m 个因素t ，x 2 ，x 。的影响，共有 疗组样本数据； y j ，x ，工2 ，x ，z m f ( 2 1 ) 式中： 并。一表示样本中第i 组的第，个因素值，- ，= 1 , 2 ，m ，f - 1 , 2 ，n 。 y ，一表示第f 个样本值，f = 1 , 2 ，栉。 当系统运行机理未知时，对上述样本数据的模型辨识问题，就是对“黑箱” 一8 一 东北大学硕士学位论文 第2 章基于样本数据的模型辨识方法 模型进行辨识。辨识“黑箱”模型常用的方法是回归分析。回归分析有线性回 归分析及非线性回归分析。 2 2 1 线性回归分析 线性回归分析是目前很多实际问题中最常用的方法。线性回归分析可划分 为： 一元线性回归分析； 多元线性回归分析。 一元线性回归是处理两个变量之间关系的最简单的数学模型。这个方法通 常是利用散点图法估计变量之间的关系。所谓散点图法就是将样本数据标在坐 标系中，根据其数据的变化趋势选择合适的数学模型的方法。这种方法的优点 是直观、简单、方便，缺点是主观因素多，说服力差。 当散点图呈现较明显的线性关系时，在假设误差e 遵循正态分布( 即 e n ( 0 ，盯2 ) ，若误差口的期望为非零的常数时，可以做变量代换，进行平移处 理) 的条件下，利用一元线性回归模型来拟合曲线，根据残差平方和最小的原 则来确定线性回归模型的参数。线性回归模型参数辨识问题根据参数类型的表 述分为两大类： 线性参数表述的参数辨识问题，该问题可用较为成熟的线性回归模型 参数辨识方法进行求解，且可证明参数辨识在一定条件下一致收敛； 非线性参数表述的参数辨识问题，对于此类问题，一般采用参数变换 法、线性近似法、非线性优化方法等进行求解，但是有可能导致非线 性参数辨识非一致收敛。 当对模型的精度要求较高时，来源于散点图的线性观察可能是不正确的， 这时在利用上述方法确定回归模型后，对两变量之间的线性关系须要进行检 验。检验的方法可采用f 检验。 当散点图呈现明显的非线性趋势，或经检验，两变量之间没有明显的线性 关系时，可采用2 2 2 节的非线性回归方法。 对于多元线性回归，若协方差c o v p 。，占，) 仃2 1 ，而是c o v ( 占，g ，) = q ，q 对 应的矩阵为非奇异对称阵时，可采用广义最小二乘法( g l s ) 。在多元情况下， 若变量之间有相关关系，即对于多重共线性问题，采用岭回归方法或进行其他 处理【”j 。 线性回归中的另外一种情况是用曲线拟合或函数逼近的方法来辨识样本 一9 一 东北大学硕士学位论文 第2 章基于样本数据的模型辨识方法 数据的模型。这种方法针对线性回归模型的形式如： 土 y = c 。中，( x ) ( 2 2 ) f 。l 其中，m ， ) ，f _ 1 , 2 胛是一组线性无关的函数，它们一般是x 的非线性函数， q ，f = 1 , 2 聆是回归系数。将式( 2 2 ) 的模型也称为线性模型，是针对模型的 回归系数而言的。对这种线性回归模型进行曲线拟合时，最常用的方法是半线 性逼近函数类方法。常用的半线性逼近函数类有： y = a + b e 一“ ( 2 3 ) y = a e o s ( b x 十c ) 或y = 口c 0 8 9 x + b s i n i x ( 2 4 ) y = 口+ b x + c e 。 ( 2 5 ) y = ( 口+ b x ) e 一群 ( 2 , 6 ) 如上是几种常见的半线性逼近函数类。应用这种方法进行曲线逼近常用的有插 值法和最小二乘法。 2 2 2 非线性回归分析 用机理分析或根据经验或依据检验后，证实样本数据对应的模型属于非线 性的模型时，可采用非线性回归方法来辨识样本数据的模型。当然，针对实际 的某个问题应用时，视具体情况的不同应做相应地灵活调整和运用。 在问题精度要求不高的情况下，有时可采用目估法对样本的模型进行辨 识。所谓目估法，就是将样本数据做出散点图，根据散点图的变化趋势选择合 适的数学模型。在问题要求的精度较高的情况下，可采用残差平方和最小的数 学辨识方法。所谓残差平方和最小方法，就是通过散点图或机理分析，选择和 样本数据特征比较相近的几种非线性模型，例如：幂函数、指数函数、双曲函 数、对数函数、s 型曲线函数等，利用所有的样本数据计算残差平方和，选择 残差平方和最小的函数作为所要选取的数学模型。残差平方和最小方法的优点 是对选定的模型，利用这种方法一般会得到与样本数据的拟合较好的模型曲 线，缺点是计算复杂。 在非线性模型中，有些模型可以通过变量代换转化成线性模型，对这类模 型进行辨识会比较简单。但是，由于使用了变量代换，因而计算出的回归方程 不能保证残差平方和最小，甚至偏差很大，参数的性质可能也不再具有无偏性 等。 在非线性模型中，不是所有的非线性模型都可以通过变量代换化为线性模 一1 0 一 东北大学硕士学位论文 第2 章基于样本数据的模型辨识方法 型。对于这类不能转换为线性模型的非线性模型，称其为纯非线性模型。对于 这类模型仍然假定样本随机误差e 遵循正态分布( 即e n ( 0 ，盯2 ) ) 的条件下， 估计模型的参数。采用逐次线性化方法或变尺度方法等来求解。 非线性模型的最小二乘估计方法有：高斯牛顿方法及其改良方法( 文献 1 6 1 中提出了对高斯牛顿方法的一种改进算法) 、m a r q u a r d l 法及序贯法【1 7 】等。文 献【1 8 】中提出了一种利用序贯法思想的正交实验方法。文献 1 9 】中提出一种参 数估计的直接方法。此外，还可以利用智能算法、最速下降法等辨识非线性回 归模型。 2 2 3 其它建模方法 除了在上节阐述的模型辨识方法外，还有模糊优化建模、神经网络建模等 辨识模型的方法。 对于一个复杂的大系统有时用机理建模方法和辨识方法很难建立其数学 模型。这时可根据人们对于系统的定性认识，变量间的大致关系来建立其数学 模型，也就是利用一些客观的但不确切的关系来建立数学模型，把它叫做模糊 优化建模方法【2 0 1 。 由模糊优化建模的定义可以看出，此方法是非线性系统辨识的一种途径。 采用这种方法辨识系统的模型时，只有在对获得样本数据的系统有一定的了解 和明确变量之间大致关系的情况下，才能确定数学模型的结构形式及利用样本 数据估计模型参数。否则无法根据样本数据辨识系统的数学模型。 针对不同的问题利用模糊优化建模方法曾提出过许多不同的解决方案，如： 改进t s 模型的在线辨识【2 ，它考虑了广义样本距离和样本可线性化程度两方面 因素，定义综合聚类标准来划分输入模糊空间、引入结构自适应的思想定义聚类 点的置信度，以一定的规则对聚类点进行增减；以系统局部线性化为出发点，建 立结构简单、逼近能力强的特点的t 召模型【2 ”，这篇文献中提出t s 模型已 成为模糊辨识中的常用模型；利用模糊似然函数对样本数据进行聚类，从而实 现系统的模型辨识【2 3 1 ，这个辨识样本数据模型的方法是采用了t s 模型为模 糊模型后，根据选定的模糊规则，将样本分为若干个聚类，以与聚类点中心的 距离最小为原则对样本数据进行聚类。此外，还有以简化的模糊规则及相应的 模糊推理代替t a k a g i s u g e n o 模型的一种改进方案【2 4 1 ，但是该辨识方法必须预 先设定规则的数目，因而限制了它的应用范围。 神经网络也经常用于非线性系统的模型辨识，可以模拟复杂的、但又是确 东北大学硕士学位论文第2 章基于样本数据的模型辩识方法 定的非线性函数关系。人工神经网络是由若干个神经元以不同的连接方式组成 的非线性系统，利用输入输出数据通过某种学习算法对网络连接权及结点阈值 进行调整，使得网络的输出和实际输出相吻合，从而得到系统的数学模型。神 经网络辨识模型有如下特点： 可以对本质非线性系统进行辨识； 辨识的收敛速度不依赖于待辨识系统的维数，只与神经网络本身及所 采用的学习算法有关； 目前用来调整网络连接权及结点阈值的算法多是从确定的网络拓扑结 构开始的，这些拓扑结构是凭借以往的知识和经验事先确定的，通常 是不适当的，而网络的拓扑结构决定了网络的性能，因此最终训练出 的神经网络的性能很难达到最优； 由于非线性模型的特性多种多样，神经网络对某一系统进行辨识时， 对网络的选择、网络结构的确定，没有确定的标准等。 文献 2 5 1 中采用神经网络辨识线性和非线性系统的模型，从函数逼近观点 研究建立线性和非线性系统的模型辨识问题，导出神经网络学习方程。用神经 网络建立的数学模型得到的是某个特定输入的特定的模型，当有新的输入时， 该模型就可能得不到正确的系统的输入输出行为。 文献【2 6 忡总结了将非线性系统表示成v o l t e r r a 级数的形式，对于很多非 线性系统都是有效的，并在自适应滤波器理论的基础上，提出了一种利用自适 应v o l t e r r a 滤波器对非线性系统进行辨识的方法。v o l t e r r a 级数模型的非线性系 统辨识问题就是利用对未知非线性系统的输入输出数据的样本值，在某种辨识 准则下，使用在线递推方法辨识出系统的各阶v o l t e r r a 核，从而确定非线性系 统。 一1 2 东北大学硕士学位论文第3 章模型辨识问题的遗传算法设计 第3 章模型辨识问题的遗传算法设计 3 1模型辨识问题描述 本论文要解决的问题是根据系统的输入输出观测数据构成的样本数据，辨 识出与其拟合比较好的数学模型。然后根据数学模型分辨各因素对系统运行的 影响、影响系统运行的程度大小以及各因素之间的相互关系，从而达到深入她 了解系统内部运行规律的目的。 对于一个未知的系统，设y 是一个可以观测的系统输出变量，有m 个输入 变量_ ，x ：，x 。可能对其产生影响，从系统获得的行组输入输出样本数据可描 述如下： ( ”，z l f ，屯，x j i ，x ) ( 3 1 ) 式中： x 。一表示样本中第i 组的第，个因素值，= 1 , 2 ，m ，i = 1 , 2 ， 。 y 一表示样本中第i 值的输出值，i = 1 , 2 ，n 。 式( 3 1 ) 所示的样本中的m 个输入变量而言，变量之间可能是相关的也 可能是不相关的：各变量可能对系统的输出产生影响也可能对系统的输出没有 任何影响。对于这样的样本数据，通过对其进行模型辨识，找出输入变量问、 输入与输出变量间的内在关系，从而认识和掌握系统运行规律。 为描述问题方便起见，令由样本数据所获得的模型为样本数据模型。并进 一步假设样本数据模型是由一些典型的数学模型( 或称其为子模型、基本模型 元素) 按一定的规则组合而成，在此仅考虑样本数据模型由基本模型以相加的 形式构成。 假设变量工，以如下函数的形式，对系统输出产生影响， ( x 。) ( 3 2 ) 式中： 以( t ) 一第k 个基本模型元素，表示单一变量对系统输出的影响。例如： z ( 一) = 口8 蝇，表示基本模型元素为指数函数，输出变量与x 1 之间 一1 3 东北大学硕士学位论文第3 章模型辨识问题的遗传算法设计 具有指数增长的关系。其中，a ，b 为基本模型的参数。 假设基本模型元素的个数为1 ，考虑各输入变薰可能以各种模型的形式对 输出变量产生影响，则此时样本数据模型可描述为： n 1 y = p 。+ ( 一) ( 3 3 ) k - if - l 式中： p 。一常数项。 样本数据模型共由n i m 个子模型相加组合而成。 进一步假设存在变量x ，工，以如下函数的形式，对系统输出产生影响， ( x 。，x ，) x j x ， ( 3 4 ) 式中： l ( x ，x j ) 一第k 个基本模型元素，且f k ( x j ，x j ) 不可分解为五( t ) + 五( ) 的形式。表示两个变量同时作用，对系统输出产生的影响。 例如：f x ( x 。，x o = a x l b 工。，表示基本模型元素为生产函数的形 式，输出变量与葺，x 2 之间，具有生产函数的关系。其中，a ，6 ，c 为基本模型的参数。 假设上述基本模型元素的个数为m ，考虑各输入变量的各种可能组合形 式，则样本数据模型可以描述为： n l n ，m y = p o + 以( 一) + a ( x ，_ ) ( 3 5 ) k = lj = lk = ll - ij 霉l 。l 样本数据模型共由l 珊+ n 2 2 一m ) 个子模型相加组合而成。 由此可见，样本数据模型随变量个数、基本模型元素以及基本模型元素的 自变量个数的增加，其组合项个数星指数增长。 由式( 3 5 ) 可知，一旦基本模型元素确定以后，子模型以及子模型的个 数就可以确定了。令： = n 1x m + n ，2 一m ) 一表示斌( 3 5 ) 中子模型的个数； m k ( x ，p k 】- 一，) 一表示式( 3 5 ) 中第k 个子模型，k = 1 ，2 ，n ： 一模型m 。中的参数个数； ，一模型m 中的第，个参数，j = t , 2 ，m i 。 则式( 3 5 ) 可以写成如下的一般格式： 1 4 东北大学硕士学位论文第3 章模型辨识问题的遗传算法设计 y = p o - i - 艺m k ( z ，p 仇2 ，p 机) ( 3 6 ) k = l 由式( 3 6 ) 可知，样本数据模型辨识问题可以转化为子模型的选择以及 模型参数的辨识问题，亦即从众多的子模型当中选取能最佳拟合样本数据的模 型组合，并确定其参数。 由于子模型可以具有多种形式，既可以是线性的也可以是非线性的，且随 着子模型的不同，模型参数也不相同。对于这样的模型辨识问题，目前还没有 一种切实可行的规范化方法。因此，有必要寻找一种更好地解决此类问题的方 法，使辨识过程不依赖于模型的表达式特点。较好的解决方案是寻找种对组 合优化问题和大规模参数寻优问题都很适用的辨识算法。 近年来，遗传算法成功地应用于许多领域，并越来越受到人们的关注【2 ”。 遗传算法解决组合优化问题和参数寻优问题的能力为模型辨识提供了重要的 途径。因此本文将遗传算法引入到样本数据的模型辨识问题中，通过对子模型 的选择和模型参数的优化来解决模型辨识问题。根据某种评价标准，辨识出与 样本数据拟合最优或次优的数学模型。 3 2遗传算法及其发展应用 3 2 1 遗传算法的描述 遗传算法g a ( g e n e t i ca l g o r i t h m s ) 是借鉴生物界自然选择及自然遗传机 制并与计算机科学相互结合相互渗透而成的随机优化搜索算法，其本质是一种 高效并行的全局搜索方法。它能在搜索过程中自动获得和积累有关搜索空间的 知识，并自适应地控制搜索过程以求最优解。算法运行过程中，根据“适者生 存”和“优胜劣汰”的原则，应用位串编码技术产生初始种群后，对个体进行 遗传和进化操作。 遗传算法包含了两个基本的过程：进化和遗传。 生物进化的原则是“适者生存”，适值函数反映了每个个体适应环境的能 力，它是遗传算法在群体进化过程中的唯一信息。选择是遗传算法中的进化运 算，它根据选择策略从上代群体中选择次代种群。 遗传包括交叉和变异。交叉是遗传算法的重要搜索手段，是影响算法收敛 性及搜索效率的关键因素。它同时对两个染色体进行操作，依据交叉准则，组 一1 5 东北大学硕士学位论文第3 章模型辨识问题的遗传算法设计 合二者特征产生新的后代。变异是遗传算法的基本运算，是染色体自发地产生 随机地变化。根据达尔文的进化论思想，交叉使得种群中不同个体之间的信息 得到交换，所产生的后代能够继承父代的优良性质，新一代种群对环境的平均 适值要优于父代。但是交叉只能对现有的基因进行排列组合，不能产生新的基 因。随着搜索的进一步进行，种群中的