（控制理论与控制工程专业论文）迭代学习控制理论的算法研究.pdf

摘要 摘要 迭代学习控制是一种新型控制算法，它不依赖于动态系统的精确数学模型， 是一种以迭代产生优化输入信号，通过重复执行同一任务来减少误差，使系统 输出尽可能逼近理想值的方法。它的研究对那些有着非线性、复杂性、难以建 模以及高精度轨迹控制问题有着非常重要的意义。 本文首先介绍了迭代学习控制的一些基本知识，包括提出的历史，数学描 述以及一些常用迭代学习控制律。其次分别讨论了开环、闭环和开闭环迭代学 习律的收敛性，并给出各种不同迭代学习律的仿真实例加以对比。而后采用一 种通过神经网络对迭代控制器参数进行约束和优化求解来优化迭代学习律，形 成优化的迭代学习的综合控制方案。由于固定增益的学习律将使得算法的学习 速度降低，迭代的次数增加；而神经网络能克服最小二乘法拟合存在的计算量 大且收敛速度慢的缺点，更好的实现系统的最佳控制，所以本文采用神经网络 来优化控制器参数。此方法不仅提高了系统的抗干扰性能和初始鲁棒性，而且 充分发挥了迭代学习控制不需要建立精确数学模型的智能化优点。 本文将该方法应用于非线性系统中，并对固定增益的迭代过程和用神经网 络优化的迭代过程的输出跟踪曲线进行了仿真比较。仿真结果表明，应用本文 采用的控制方法使系统收敛速度更快、跟踪效果更好，且保证了在较少的迭代 次数下，被控系统的输出轨迹能精确地收敛到期望轨迹。 。 关键词：迭代学习控制收敛性神经网络参数优化 7 a b s t r a c t a b s t r a c t i t e r a t i v el e a r n i n gc o n t r o l ( t o oi san o v e lc o n t r o la r i t h m e t i c ，w h i c hd o e s n t d e p e n do nt h ep r e c i s em o d e l i tc a ng e n e r a t ei n p u ts i g n a la n dr e d u c ee r r o rt h r o u g h r e p e a t i n gl e a r n i n gs ot h a tt h eo u t p u to f t h es y s t e mc a na p p r o x i m a t e t ot h ee x p e c t a t i o n t h er e s e a r c ho fi l ci sm o l es i g n i f i c a n tf o rs o l v i n gc o n t r o lp r e c i s i o np r o b l e mw i t h h i g l l l yn o n l i n e a r , c o m p l e x i t ya n dd i f f i c u l t yi nm o d e l i n g i nt h i sd i s s e r t a t i o n , f i r s t l yb a s i ck n o w l e d g ea b o u ti t e r a t i v el e a r n i n gc o n t r o li s i n t r o d u c e d ，i n c l u d i n g i t s h i s t o r y , m a t h e m a t i cd e s c r i p t i o na n ds o m ec o m m o ni l c s c h e m e se t c a n dt h ec o n v e r g e n c ec o n d i t i o n sf o ro p e n - l o o p , c l o s e d - l o o pa n d o p e n c l o s e d - l o o pi l cs c h e m e sa r ed i s c u s s e ds e p a r a t e l y e s p e c i a l l y , t h ea u t h o rg i v e s s o m es i m u l a t i o ne x a m p l e sb e t w e e nd i f f e r e n ti l cs c h e m e s f i n a l l y , t h ei n t e g r a t e d c o n t r o lm e t h o di su s e di nt h i sp a p e r , w h i c ht h ep a r a m e t e r so fi t e r a t i v ec o n t r o l l e ra r e o p t i m i z e db yn e u r a ln e t w o r k0 ，s ot h ei t e r a t i v ec o n t r o ll a wc a nb eo p t i m i z e d a c c o r d i n g l y f i x e dl e a r n i n gg a i nw i l lm a k et h el e a r n i n gs p e e ds l o w e ra n dt h ei t e r a t i v e t i m e sm o r e n e u r a ln e t w o r kc a nr e d u c et h eh u g ec o m p u t i n gb u r d e na n df a s t e nt h e c o n v e r g e n tr a t eo ff i g h tv a l u el a r g e l yc o m p a r e dw i t hl e a s ts q u a r em e t h o d s ot h e a l g o r i t h mt h a tt h ep a r a m e t e r so fc o n t r o l l e ra r eo p t i m i z e db yn ni sa d o p t e di nt h i s p a p e r t h i sm e t h o dn o to n l yi m p r o v e sd i s t u r b a n c ea n dr o b u s t n e s so ft h ec o n t r o l l e d s y s t e m ，b u ta l s of u l l ye x e r t st h ei n t e l l e c t u a l i z e dv i r t u eo f i l cw i t h o u tp r e c i s em o d e l t h eo p t i m i z e dc o n t r o lm e t h o di sa p p l i e dn o n l i n e a rs y s t e m t h es i m u l a t i o nt e s u r i n d i c a t e s ，c o m p a r e di l cp r o c e s sw i t ht h ef i xl e a r n i n gg a i n , t h em e t h o du s e di nt h i s p a p e ri sb e t t e rw i t hl e s si t e r a t i v ed o u b l e - q u i c k e rc o n v e r g e n c ea n dm o r eh i g ht r a c k i n g p r e c i s i o n ，a n di ta s s e t st h a tt h eo u t p u tt r a j e c t o r yc a nt r a c kt h ea n t i c i p a n tt r a j e e t o f y p r e c i s e l yw i t hl e s si t e r a t i v et i m e s k e yw o r d s ：i t e r a t i v el e a r n i n gc o n t r o l ；c o n v e r g e n c e ；n e u r a ln e t w o r k ； p a r a m e t e ro p t i m i z a t i o n 论文原创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。文 中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意 义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论 文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书； 2 学校可在相关媒体上对作者本人的行为进行通报； 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉； 4 本人负责因论文成果不实产生的法律纠纷。 论文作者签名：盈塑查望日期：丝 年生月卫日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属东北电力 大学。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。 本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名 单位仍然为东北电力大学。 论文作者签名：题叁堡日期：兰竺z 年立月丑日 导师签名： 第1 章绪论 第1 章绪论 1 1 课题提出的背景及意义 从根本上看，控制系统设计中的问题可以归纳为两大类：调节问题和跟踪 问题。而调节问题也可以看成是跟踪问题的特殊情况。尽管对于跟踪问题，控 制理论已提供了各种设计方法，并取得了良好的效果，但绝大多数控制技术都 是渐近地实现跟踪任务的。如果希望实现被控系统的输出零误差地完全跟踪期 望轨迹，无疑是一个具有挑战性的控制任务。迭代学习控制技术就是针对这种 控制任务提出来的，它从不同的角度构造控制律，能够克服一些传统控制方法 难以逾越的困难。 。 控制工程师们一直探索研究具有学习能力的控制器。早在2 0 世纪6 0 年代 就有学者对此问题进行研究【l 3 1 ，7 0 年代初f u 4 , 5 总结了早期在自适应控制领域 里的学习控制问题，提出了学习控制的概念，并从发展学习控制的角度首次正 式提出智能控制这一新兴的学科领域，从此对学习控制的研究一直很活跃。在 此后的十几年间，学习控制技术随着与其相关的学科( 如：计算机技术、人工智 能及神经网络) 和它的应用领域( 如机器人等) 的发展而发展，如今，智能控制已 经在控制界占有相当重要的地位。 在工业机器人控制需要的推动下，近年来在控制技术与理论中发展了迭代 学习控制这一新的研究方向。尽管目前已经取得研究成果的技术和理论在应用 范围上还有局限性，与人工智能意义的“学习控制”也还有一定距离，但是， 它仍以其学习规则的简单可行，在一定范围内对于非线性系统具有良好的鲁棒 性以及实现预期轨迹的跟踪等独特的特点，吸引了众多自动控制领域内专家学 者的关注。 1 9 7 8 年，日本学者u c h i y a m a 6 1 提出一个控制高速运动机械手思想：不断重 复一个轨线的控制尝试，并以此来修正控制律，能达到较好的控制效果。由于 这篇文章用日语书写，其思想并未引起广泛的关注。g a r d e n l 7 的一项美国专利“执 第1 章绪论 行机构的学习控制在控制系统中的应用”( 1 9 6 7 年完成，1 9 7 1 年获准为专利) 加 深了大家对迭代思想的认识。在这项专利中g a r d e n 提出在计算机的存储器中存 入命令信号，通过执行器的期望信号与实际响应之间的差值来更新命令信号。 从学术观点来看，直到1 9 8 4 年，学习控制才发展为一个被广泛研究的领域。 a r i m o t o 等人提出对系统的重复操作可补偿系统的建模误差嗍，于1 9 8 4 年正式提 出了迭代学习控制( i t e r a t i v el e a r n i n gc o n t r o l ，简称i l c ) ，建立了实用的算法，从 理论上证明了这种算法的可行性而成为更正规的迭代学习控制理论，并以英文 发表了他们的研究成果，迭代学习控制才逐渐成为令人关注的课题。 迭代学习控制的适用对象是诸如工业机器人那样的具有重复运动性质的被 控系统，它的目标是实现有限时间区间上的完全跟踪任务。迭代学习控制采用 “在重复中学习”的学习策略，具有记忆和修正机制。它通过对被控系统进行 控制尝试，以输出轨迹与给定轨迹的偏差修正不理想的控制信号，产生新的控 制信号，使得系统的跟踪性能得以提高。迭代学习控制的研究对具有较强的非 线性耦合，较高的位置重复精度，难以建模和高精度轨迹跟踪控制要求的动力 学系统有着非常重要的意义 9 1 。 1 2迭代学习控制的基本描述 迭代学习过程对于具有可重复性的被控对象，即被控系统的向量函数在每 一次重复运行时所表示的函数关系不变，利用控制系统先前的控制经验，根据 测量系统的实际输出信号和期望信号，来寻找一个理想的输入特性曲线，使被 控对象产生期望运动。“寻找”过程是对被控制对象作反复训练的过程【l o l 。这一 过程的数学描述为：在有限的时间t ( o ，乃内，己知被控对象的期望响应，( f ) ， t ( 0 ，丁) 和相应的期望初态勤( o ) ，求解某种给定的( f ) ，t ( 0 ，d ，使其响应 在某种意义上比y 。( f ) ，t ( 0 ，乃有所改善，其中k 为迭代次数。 通过举例可以让大家对迭代学习控制的概念有更好的理解。假设，( r ) 是有限 时间内的一个期望输入信号。通过多次学习可以准确地跟踪这个期望输入信号。 迭代学习的典型应用是机械手。考虑期望输入信号和图中描述的系统。假设期 望输入信号是机器人的关节位置，系统e 可以看成是单输入单输出离散时间系 统，机器人关节和控制器采用闭环模式。关节从起点开始运动，假设每个时间 第1 章绪论 i 段从这一运动从同一初始状态重复( 如相同的初始位置，速度等) 。假设存在初 始输入值u o ( f ) 对应的输出信号为： y o ( t ) = g 。( g ) 砜( f ) ( 1 1 ) 其中，g 是时变算子。跟踪误差定义为： e o ( t ) = ，( f ) 一y o ( 0( 1 2 ) 图中y 。，g k 的下标k 表示迭代学习的次数。 u 图1 - 1i l c 控制系统的举例 我们在下面将介绍i l c 的算法【1 1 】。假设： 1 初始条件在每次学习时都重新设定。 2 e 是时不变的。 为简单起见，假设系统不存在干扰，我们要找到系统的最佳输入 甜= g ，( g ) ，o ) 。一个可能的方法是更新系统的输入控制； ( f ) = ( f ) + l ( q ) e o ( f ) ( 1 3 ) 其中，( 是线性离散时间过滤器。这一公式是i l c 中最常见的，式( 1 1 ) ，式 ( 1 - 2 ) 和式( 1 3 ) 的结果可概括为： e k ( t ) = ，一y i ( f )( 1 4 ) y i o ) = g 。( q ) 越i ( f ) ( 1 5 ) u k + l ( f ) = 蜥( f ) + 4 9 ) e l t ( 力 ( 1 - 6 ) 这是一个二维的时间和迭代问题，后者被引入因为迭代时存在耦合作用。 图中，i l c 算法控制器以巩和e k 作为输入。u k + l o ) 作为输出，输出u k + l 与( 力 和e k ( i ) 有关。f t ，由( 1 - 4 ) ，( 1 5 ) 和( 1 - 6 ) 知： + l ( f ) = ( 1 一g 。( q ) 上( q ) ) 咯( f ) ( 1 - 7 ) 使误差减小的条件为： 第1 章绪论 l l q ( p 。) 三( p 。 - 3 的方框图如图1 - 2 、图1 3 所示。 由式( 1 1 2 ) 和式( 1 一1 3 ) 比较得知：开环迭代学习只利用了系统前次运行的信 息，而闭环迭代学习则在利用系统当前运行信息改善控制性能的同时，舍弃了 系统前次运行的信息。因此总的说来，闭环迭代学习控制的性能要优于开环迭 代学习。 图l - 2 开环p i d 迭代学习控制的方框图 图1 - 3 闭环p i d 迭代学习控制的方框图 第1 章绪论 1 3 神经网络概述 8 0 年代中期以来，人工神经网络以其独特的优点引起了人们的极大关注。 其基本思想是从仿生学的角度对人脑的神经系统进行模拟，使机器具有人脑那 样的感知、学习和推理等智能。 现代意义上对神经网络的研究一般认为从1 9 4 3 年美国芝加哥大学的生理学 家w s m c c u l l o c h 和w a p i t t s 提出的m p 神经元模型开始【1 3 】，1 9 4 9 年h e b b 提出一种调整神经元连接权的规则，称为“h c b b 学习规则”，基本思想是当两个 神经元同时兴奋或同时抑制时，它们之间的连接强度增加；2 0 世纪8 0 年代初， j j h o p f i e l d 的工作和d r u m e l h a r t 等人的p d p ( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 报告显示出神经网络的巨大潜力【，使该领域的研究进入繁荣期。美国物理家 h o p f i e l d 在1 9 8 2 和1 9 8 4 年发表了两篇神经网络的文章【1 5 , 1 6 ，提出一种反馈互联 网，并定义了一个神经元的状态和连接权的函数，利用该网络可以求解联想记 忆和优化计算等问题；后来，该网络被称为h o p f i e l d 网络；接着，在1 9 8 6 年 d r u m e l h a r t 等提出多层网络的递推学习算法【l n ( b a c kp r o p a g a t i o nb p ) ，该算法 从后向前修正各层间的权值，有很强的运算能力，成为当前应用最为广泛的网 络之一。 到目前为止，对神经网络的研究方兴未艾，提出了多种神经网络模型，如 b p 网络、r b f 网络、自适应共振理论( a r t 网络) 及小脑模型关节控制器( c m a c ) 等。 神经网络具有以下明显的特点： ( 1 ) 能够充分逼近任意复杂的非线性关系； ( 2 ) 能够学习、适应不确定性系统的动态特性； ( 3 ) 所有定量或定性的信息都分布存储于网络内的各个神经元，所以有很强的 鲁棒性和容错性； ( 4 ) 采用并行分布处理方法，使快速进行大量运算成为可能。 这些特点显示了神经网络在求解非线性和不确定性系统控制方面的巨大潜 力，使得它在具有挑战性的非线性控制系统领域，如系统辨识、系统建模、系 统优化等方面得到了广泛的应用【。将神经网络引入控制系统是控制学科发展 第1 章绪论 的必然趋势，它的引入必将给这一领域的发展带来生机。 1 4迭代学习控制与神经网络的结合 迭代学习控制能实现对未知被控对象以任意精度跟踪一个给定的期望轨 迹，控制算法的学习速率是衡量该算法能否有实际应用价值的重要指标，而学 习速率的快慢与控制器参数的变化紧密相关。神经网络具有对任意非线性映射 的理想逼近能力，并能学习和适应未知不确定系统的动态特性，使其在不必充 分了解系统结构的情况下学习优化控制器参数，使采用神经网络的控制系统具 有更强的适应性和鲁棒性。随着对神经网络研究的兴起，将神经网络应用于学 习控制系统的研究越来越引起人们的重视，它们的结合成为一个引人注目的研 究领域。 近年来，迭代学习控制与神经网络相结合的控制方法作为一种新的控制方 法在各个控制领域得以广泛、深入的研究。姚仲舒等人针对一类非线性系统的 跟踪控制问题【嘲，首先提出了一种遗忘因子迭代学习控制算法，在利用历史控 制经验的基础上，为了提高系统的学习速度，利用神经网络学习算法来估计系 统的期望输入，作为迭代学习控制算法的初始控制输入，再由迭代学习律逐步 改善控制输入，使系统的实际输出只需较少的迭代次数就能达到较高的控制精 度；邵诚等人对机器人的控制提出基于神经网络的鲁棒迭代学习控制方法【2 0 】， 利用前馈神经网络作为系统辨识器，在线辨识非线性系统的正向模型，由网络 输出产生迭代学习控制算法的前馈作用，并与实时反馈控制相结合，实现连续 轨迹的跟踪控制；林辉等人针对把迭代学习控制应用到非线性系统q a 2 ”，使其 更好的逼近期望轨迹，提出用神经网络拟合控制器参数，由迭代学习控制理论 得到控制律，通过神经网络的拟合算法，拟合出控制器的参数，使系统在较少 的迭代次数下更好的逼近期望轨迹，也解决了对类似复杂系统的参数拟合问题。 1 5 论文的主要研究内容 本文将在介绍迭代学习控制的发展和研究现状基础上，对开环、闭环和开 闭环迭代学习控制进行较深入的探讨，并将迭代学习控制与神经网络相结合， 第1 章绪论 用神经网络优化迭代学习控制律的参数，形成优化的迭代学习控制算法。 论文的主要内容如下： ( 1 ) 介绍了迭代学习控制理论的提出和发展，叙述了迭代学习控制的数学表达形 式及其特点，然后综述了迭代学习控制理论的研究内容及现状； ( 2 ) 研究了迭代学习控制的收敛性和鲁棒性问题。总结了各种基本的迭代学习律 的收敛条件，针对开环、闭环和开闭环学习律作了收敛性和鲁棒性证明； ( 3 ) 用m a t l a b 对开环、闭环、开闭环学习律进行仿真分析，并将收敛速度进行 仿真比较； ( 4 ) 将迭代学习控制与神经网络控制相结合，利用神经网络优化迭代学习控制器 参数，并与固定增益的迭代学习控制进行了仿真比较。 - 8 一 第2 章开环迭代学习控制的研究 第2 章开环迭代学习控制的研究 开环迭代学习控制的当前输入搿( f ) 是由上一次的输入蚝( f ) 和上一次的输 出误差略组合而成，是最简单的迭代学习控制算法，本节采用的是p i d 型迭 代学习控制算法来研究的。 2 1 开环迭代学习控制的结构 开环迭代学习控制系统的一般框图如下图2 - 1 所示： 第k 次运算 ， l 一一一一一 匝丑前 ii = = ! 一奠! = ：二l 二 l l _ l l 。_ j l 1 至 蒜 j ru “u 第二1 次运算 图2 - 1 开环迭代学习控制的构成框图 对于图2 - 1 所示的开环迭代学习控制过程，第七十1 次训练的控制输入“。( f ) 为第七次控制输入( f ) 与输出误差p 。( f ) 的加权和： u k + i ( f ) = “i ( f ) + t l e , ( t )( 2 1 ) 关于学习因子的研究，日本学者a r i m o t o s 等人在1 9 7 8 年对机器人控制中， 首次提出了迭代学习控制算法的一般形式，称之为p i d 型开环迭代学习控制算 法： 第2 章开环迭代学习控制的研究 却o ) = 厂o ) ，气( f ) ，) = + ( 口+ p + y 罢卜( f ) ( 2 - 2 ) k t t ( 七+ 1 ) t ，七= o ，1 ，2 式中： r 为学习周期； 口，矩阵分别为比例、积分、微分“学习因子”矩阵； 略( ，) = 儿一几( ，) ，且气( 0 ) = 0 ； 初始输入( f ) 应使闭环系统保持稳定； ， 期望输出) ，d ( f ) ，f 【o ，r 】应满足周期为r 的不变性。 实际的p i d 型开环迭代学习控制算法的构成如图2 - 2 所示。 通过对式( 2 2 ) 中的增益阵口，y 进行适当的调整，可派生出其它形式的 开环学习控制算法，如p 型，d 型，p d 型，p i 型等陶。 图2 - 2p i d 型开环迭代学习控制算法的构成框图 2 2 收敛性分析 以下证明开环p i d 型学习控制算法用于非线性离散系统控制的收敛条件f 2 3 1 。 设非线性离散系统的模型为： 器：裴删g ( x ( 竺i 嚣u i 柚 【y o + 1 ) =+ 1 ) ，甜o + 1 ) ，+ 1 ) 、- 。7 其中：x r ”，“r ”，) ，r “分别为状态向量、输入向量和输出向量。 假定每次学习的初值x ( o ) 相同( 即被控对象可恢复到初态相同) ，第k 次运 行时的输入为( f ) ，状态和输出为： 第2 章开环迭代学习控制的研究 n o + 1 ) = f ( x t 蛾i ( o ，力( 2 - 4 ) 【y k ( i + 1 ) 2g ( x k ( i + 1 ) ，( f + 1 ) ，f + 1 ) 学习控制的目标就是要通过对控制量的多次迭代，使得输出误差 e k ( t ) = y a ( f ) 一y i ( f ) 的范数趋于零。 假定，g 关于x ，”的偏导数存在，县满足l i p s e h i t z 条件，则 吼+ 1 0 + 1 ) = y 一( f + 1 ) 一y i + 1 0 + 1 ) = e i ( f + 1 ) 一括k i “( f + 1 ) ，“i “o + 1 ) ，f + l 】一g b l q + d ，“ o + 1 ) f + 1 b = e k ( i + 1 ) 一c 陵1 ( f + 1 ) ，可“( f + 1 ) ，f + l x i + 1 ( i + 1 ) - x i ( f + 1 ) 】 一d 陵l q + d ，7 1 1 0 + 1 ) ，f + 1 1 k o + 1 ) 一“t o + 1 ) 1 ( 2 - 5 ) 式中：c 皓“f + 1 ) ，7 “f + 1 ) , i + 1 1 = 鼍i ，以下简写为c i o + 1 ) 嗽( 郴+ 1 ) ，川1 2 乱汕。，以下简写舰 且最l ( x t ，x i + 1 ) ，刁“( 甜t ，t + 1 ) 。 再将第k + l 燃j 的状态变量x 。在第k 次的状态向量( f + d 附近展开，则有： e k + l o + 1 ) = ，o + 1 ) 一g ( ) 弘瓯：( f ) ，7 t ：( o ，f j 。k m ( d 一瓢( 别+( 2 旬 日陵2 ( 力，玎t ：( d ，f 】k i + 1 ( o - u i ( o b d ( f + 1 ) 【“i + t ( f + d 一甜t ( f + 1 ) 】、7 式中：嗽：( o ，叩。：( f ) ，f 1 = 票i t 以下简写为4 ( o b 陵：，玎。：( o ，f 1 = 要i ，以下简写为盈( o 且磊2eo i ，j i + 1 ) ，7 1 2 ( 甜i ，u t + 1 ) 当迭代次数足够多时，有： 六l = 磊2 = x i ，7 i l = 刁1 2 = u i 开环p i d 型学习律可表示为： “。+ 。( o = “。( f ) + 口( o e 。( o + ( o k 。( f ) 一e 。( f ) 1 + y o ) g 。( d ( 2 7 ) 将式( 2 7 ) 代入( 2 6 ) ，得： 第2 章开环迭代学习控制的研究 e k + l o + d = e k ( i + 1 ) 一c k ( f + 1 ) 彳i ( f ) k i + l ( o x i ( f ) j c 。( f + 1 ) 岛( 力 口( d 气( f ) + p ( o e 。( d 一气一。】+ y ( f ) u ) l i - - 0 j r“1、 一d k ( f + 1 ) a ( i + d e k o4 - 1 ) 十p ( i + 嗽( i + 1 ) - e k _ , ( i + 1 ) 】+ r ( i + 1 ) e i ( f ) l i f f i 0 j = l ，一d k ( f + 1 ) 口( f + 1 ) 一d k o + 1 ) f l ( i + 1 ) 一d k ( f + 1 ) ，( f + 1 ) k o + 1 ) - c i ( f + 1 ) a k ( 0 i x “l ( d j t ( f ) j c k ( f + 1 ) b k ( 0 t a ( i ) e k ( d + ( d k l ( d e j r 。( o 】+ 门气( d l j 柚 j _ l d t ( f + 1 ) ( f + 1 ) 气( d d i o + 1 ) y o + 1 ) 略u ) 1 - 0 ( 2 - 8 ) 采用误差范数愀) 1 1 ，= s u p rf i e ( o i l ，0 ， l 。 ( 2 9 ) 对于固定的，和，f l e ( ) 札收敛即指，对于任意的0 七 ，0 “后) 0 ，都可以 控制到任意小的范围内，于是有如下结论： 采用式( 2 7 ) 对式( 2 3 ) 进行开环迭代学习控制，使得输出y ( o 以任意精度跟踪 y 。( d 的充分条件为： a = 1 1 i 一见( f + 1 ) k ( f + 1 ) + ( f + 1 ) + ，o + 1 ) l ( 2 1 0 ) 文献 2 4 1 j 置过对式( 2 - 8 ) 两端同时乘以，再两端取范数，对上述结论进行 了证明，由于证明过程较复杂，这里略去。 2 3算法实现与仿真分析 在开环迭代学习控制系统中，算法的收敛性依赖于加权因子的确定，即口， ，y 矩阵的值( 对于多输入多输出系统) ，控制作用的学习是通过对以往经验 ( 控制作用与当前误差的加权和) 的记忆实现的。 2 3 1 仿真分析实例一 选取一阶线性对象g ( s ) 2 石：三应用开环迭代学习算法，取期望轨迹为 y d = 3 t ，t 【o ，1 0 ，取“o ( f ) = 0 ，迭代学习律中口= 1 ，= o ，= 0 ，学习律 为开环p 型学习律，跟踪曲线如下图， t i m e ( s ) 图2 - 3 开环迭代学习控制跟踪曲线( 一) 图纠迭代次数七【o ，3 5 】时，8 气( t ) l l ：的变化曲线 _ n d _ ；o x罂_-ofn 第2 章开环迭代学习拧制的研究 经过迭代可以看出，系统的输出向着期望轨迹靠拢，在图2 - 4 中，可以看到 经过3 0 次迭代，系统输出在t 【0 ，1 0 】上已经实现了对期望轨迹) ，j ( o = 3 t 的良好 跟踪。 通过修改迭代学习律中的口，y 的值，可以调整系统的跟踪性能，以达 到在给定区间上对期望轨迹完全跟踪的目的，还可以提高收敛速率，以使系统 功能更加完善。图2 5 显示了经过3 5 次迭代学习所得到的输出已经跟踪了期望 轨迹。 图2 - 5 开环迭代结果) ，与期望轨迹_ ) ，d 的对比 2 3 2 仿真分析实例二 在前面所述的一阶线性系统中引入一个死区( d e a dz o n e ) 环节( 死区区间 【- 6 ，6 】) ，使其成为非线性系统，按照实例一的方法进行仿真，取期望轨迹 y a ( f ) - - 3 t ，f 【o ，l o ，取( f ) = o ，迭代学习律中口= 1 ，= 0 ，= 0 ，学习 律为开环p 型学习律，跟踪曲线如下图： 图2 - 6 开环迭代学习控制跟踪曲线( 二) 图2 - 7 迭代次数量【o ，6 0 时，l i e k ( t ) l ：的变化曲线 1 5 _ n d _ ，o opl心c一右罕n 第2 章开环迭代学习拧制的研究 从图2 - 6 可以看出，随着迭代次数的增加，输出逐渐达到期望曲线。经过 6 0 次迭代过程后，系统输出在f 【o ，l o 】上已经实现对期望轨迹y 。( f ) = 3 t 的良好 跟踪 2 4 本章小结 学习控制强调记忆，而且记忆的是控制作用表示为运行状态的函数的经验 信息。因此，学习控制对于那些单纯依赖于运行状态的对象特性变化具有较快 反应，而这种情况典型地表现为非线性特性，学习控制系统的核心是“系统的 不变性假设以及基于记忆单元的间断的重复训练过程”，所以，从智能控制的观 点看，学习控制适合用于建模不良的非线性系统的控制。 在相同的迭代学习律下，学习律参数大，迭代学习收敛速度快，但过大会 导致收敛失败，学习律参数小，收敛速度慢，但学习收敛条件较宽，对控制系 统参数变化较不敏感。为加速学习收敛速度，又保证收敛稳定性，可利用自校 正思想，在迭代过程中调节学习律参数，或采用闭环或者开闭环学习控制算法， 利用系统前次运行和当前运行的信息，进一步改善控制性能。 第3 章闭环迭代学习控制的研究 第3 章闭环迭代学习控制的研究 在上一章中我们讲到的开环迭代学习算法，它的当前输a u 。仅仅是上一 次的输a u 。( d 和上一次的输出误差吼组合而成，而并没有适用当前的输出误 差e 。( f ) ，加载曲线表明，系统的抗干扰能力较差。虽然系统本身可能有闭环负 反馈，但从控制算法上看，这相当于一种开环控制，或者说是一种离线控制。 而我们知道闭环控制能够提高系统的抗干扰能力，抑制系统内部的不确定性和 非线性。所以，使用当前输出误差的“新的”信息8 。o ) 构成的闭环迭代学习控 制算法，较之由“旧的”信息吼( f ) 构成的开环学习算法，是否能够提高系统这 方面的性能呢? 这正是闭环迭代学习控制算法所要回答的问题。 3 1闭环迭代学习控制的结构 闭环迭代学习控制算法口习使用当前的输出误差e k 。( f ) 来构成当前的输入 k + l o ) ，所以可将式( 2 1 ) 改为： u k + l ( f ) = ( f ) + 瓦气+ l ( 3 一1 ) 式( 2 - 2 ) 则改为： g k + l ( o = f ( u i ( f ) ，+ l ( f ) ，) 剐舶+ 卜+ 卢p + y 丢h o ) ( 3 2 ) k t t s ( 七+ 1 ) r ，k = 0 ，1 ，2 式中： r 为学习周期： 口，矩阵分别为比例、积分、微分“学习因子”矩阵； 略+ i ( 0 = y d ( f ) 一y ( f ) ，。( o ) = 0 ； 初始输a u 。( f ) 应使闭环系统保持稳定； 期望输出y s ( f ) ，t 【o ，r 】应满足周期为t 的不变性。 式( 3 - 2 ) 1 i 1 为闭环p i d 型迭代学习控制算法。算法的构成如图3 - 1 所示。 u 卜i ( t ) i 瑚1 心芦p u h l ( o 图3 一l 闭环迭代学习控制算法的构成框图 3 2 收敛性分析 设非线性离散系统的模型为 2 6 - 2 9 ： l z ( f + 1 ) = 厂( z ( 功+ b ( o u ( o，。 i y ( d = c ( i ) x ( o 、 其中：x r ”，1 , 1 r 4 ，y r ”分别为状态向量、输入向量和输出向量；f 为矩 阵函数；b 、c 为具有适当维数的矩阵。 第k 次运行时系统的状态和输出可以写为如下形式： j o + 1 ) 。 以( 功+ b ( o u t ( f ) ( 3 - 4 ) 【y i = c ( d 以( d 、 其中， ( o 是系统在i 时刻第后次运行时的状态值，( d 是系统在i 时刻第k 次 运行时的控制值，) ，。( f ) 是系统在i 时刻第k 次运行时的输出值。 针对上述系统，我们可以提出如下的闭环p 型迭代学习控制算法： “i + l ( 力= “i ( f ) + ，( 0 + t ( f + 1 ) ( 3 - 5 ) 其中，e 为系统输出与期望输出之间的误差。 以下为证明该闭环迭代学习律的收敛性，提出如下假设： 对上述式( 3 3 ) ，( 3 - 4 ) 描述的系统在i 【o ，t 】内满足： 假设1 ：，连续，且占( d ，c ( o ，c ( f + 1 ) 有界； 假设2 ：对所有的f 【o ，r 】有且仅有一个蚴( d 使系统状态和输出分别为劫( o 一 洋一 和y d ( o ； 假设3 ：! 啦以( o ) = ( o ) ； 假设4 ；矩阵口+ ，( o c ( f + 1 ) 占( 硝是可逆的。 选取式( 3 - 5 ) 给定的迭代学习律，对于任意给定的初始控制( 力及每次运行 的初始状态以( o ) ，该系统收敛的充分条件为： p 0 7 + ，( d c ( f + 1 ) 曰( o r l ) i ，v i 【o ，t 】 ( 3 - 6 ) 必要条件为： p + 厂( o ) c ( 1 ) b ( o ) r 1 ) l ( 3 - 7 ) 其中，反) 表示谱半径。 为证明该定理，给出如下引理： 引理l 例：设一是，矩阵，且4 的谱半径p ( 爿) l ，若序列 z 。 。， ) 。满 足： 1 1 坚略= 0 ，z t + l = a z k + 以 ( 3 8 ) 则l i n i 互= 0 。 收敛定理证明如下： 证明：首先我们定义一些符号 8 x i ( 力= x d ( 力一工t ( 0 8 u i ( d = u d ( o - u i ( 力 ( 3 9 ) 【艿) ，t ( o = _ y d ( 力一y 。( 力 证明充分性： 由式( 3 - 4 ) ，( 3 5 ) ，( 3 - 9 ) 可得； 5 l o + d = x d o + 1 ) 一工i ( f + 1 ) = f ( i , x d ( f ) ) 一f ( i , x i ( f ) ) + b ( o s u i ( 力( 3 - l o ) 6 y i ( d = y d ( o y k ( i ) = c ( 0 8 x ( 0 ( 3 - 1 1 ) 8 u “1 ( o = u d ( i ) - u h 1 ( o = “d ( 力一0 i ( d + 厂( 力( ) ，d o + 1 ) 一) ，i + i ( f + 1 ) ) ) = 甜d ( f ) 一q 。( o + 厂( f ) c ( f + 1 ) s x 。( d ) = 8 u t ( d 一厂( f ) c ( f + 1 ) u ( x d ( f ) ) 一f ( i , x i + l ( f ) ) ) 一厂( d c ( f + 1 ) b ( i ) s u “( f ) ( 3 1 2 ) 整理上式，并根据假设4 可得： 占i + 1 ( 0 = u + ，( d c o + 1 ) b ( d ) 8 u i ( o 一( ，+ 广( 力c ( f + o b ( o ) - 1 f ( o c ( i + 1 ) c f ( i ，石d ( 0 ) 一f ( i , x “l ( 功) ( 3 - 1 3 ) 第3 章闭环迭代学习拧制的研究 引入如下的辅助函数： ( f ，曲= f ( i , x d ( 功一f ( i ，勤( 力一曲 由假设1 有：l i m a ( i ：) = 0 将式( 3 1 4 ) 代入( 3 1 0 ) ，( 3 - 1 1 ) ，( 3 - 1 2 ) 有： 8 x i o + 1 ) = z ( f ，8 x ( 功+ b ( o s u i ( 0 占”“l ( o = u 十r ( f ) c ( f + 1 ) 占( 0 ) 8 u i ( d 一( f + r ( o c ( i + 1 ) b ( f ) ) - 1 r ( i ) c ( i4 - 1 ) a ( f ，5 x i + 1 ( f ) ) 以下用归纳法证明： 船帆( d 2 。l i m j u t ( d 21 鳃万y t ( d = 0 ，v i e 【o ，州 当i = o 时，有假设3 有：雠l 占( o ) = 0 由式( 3 1 1 ) 有：l i i i l8 y i ( o ) = 0 由引理1 及式( 3 - 1 2 ) 和式( 3 1 5 ) 可得：；i i i l j u i ( 0 ) = 0 即 。l i m 舐i ( o ) 。 受占( o ) 21 i r a 8 y t ( o ) 2 0 设当f = m 时有! 骢艿以( 聊) 2 炮8 u t ( 所) 2 熙j ) ，t ( 呐= 0 则当i = m + 1 时，由式( 3 1 6 ) 可得 j z ( m + 1 ) = a ( m ，8 x t ( 朋) ) + b ( m ) s u i ( ，”) 由假设1 可知a ( o 有界，且由式( 3 - 1 5 ) 有! i l i l 8 x k ( m + 1 ) = 0 再由假设1 和式( 3 一1 1 ) ，( 3 - 2 5 ) 可得! i i n 8 y k ( m + 1 ) = 0 由式( 3 1 5 ) 和式( 3 - 2 5 ) 可知l 硫a ( m + 1 ，8 x k + 。( 加+ 1 ) ) = 0 结合假设1 、式( 3 1 7 ) 、( 3 - 2 7 ) 可得l 缸艿伽+ 1 ) = 0 即 t l i m 。8 x i + 1 ) 2 l h n 8 u l + 1 ) 2 i l i m 8 y t ( 埘+ 1 ) 2 0 综上所述，式( 3 1 8 ) 成立，收敛的充分条件得证。 其次，证明必要性。采用反证法，假设该迭代学习律不收敛，式( - 3 - 6 ) 和式( 3 - 7 ) 不成立，则有： ， ! 鳃瓴o ) = 。l i r a 8 u t ( 力2l 觋s y , ( o = 0 ，v f 【o ，州( 3 - 2 9 ) p + 厂( 力c ( f + 1 ) b ( 力r 1j 1 ( 3 3 0 ) 由假设2