（运筹学与控制论专业论文）多变量系统的自适应对偶控制.pdf

摘 要 自 适应对偶控制是一个十分活跃的研究领域，特别是利用对偶控制可以改善 自 适应控制系统的动态性能 这使对偶控制引起了各领域、各学科的研究人员的 高度重视并取得了显著成绩。 本文在简述了自 适应控制和对偶控制的发展历史及基本理论后，针对系统在 具有不确定结构的情况下，从随机控制的角度出发，把单变量的自 适应对偶控制 扩展到多变量的自 适应对偶控制: 按照极点配置的算法，提出了一种多变量自 适应极点配置的对偶控制器， 并对系统进行了稳定性分析。 该算法有效地防止了自 适应控制系统的“ 关断” 、 “ 终 止”和 “ 碎发”等现象. 针对 m i m o的a r m a系统提出的对偶控制器.在许多情况中，谨慎控制器是 关断的，收敛也很慢，而对偶控制器由分子和分母的修正项修正了谨慎控制的设 计，避免了关断和慢收敛现象。 对两种多变量的自 适应对偶控制算法进行了比较研究，分析了它们的优缺 点。 关键词自 适应控制对偶控制极点配置对偶性质 ab s t r a c t a d a p t i v e d u a l c o n t r o l i s a v e ry a c t i v e r e s e a r c h f i e l d , e s p e c i a l l y t h e d y n a m i c p e r f o r m a n c e o f a d a p t i v e c o n t r o l s y s t e m c a n b e i m p r o v e d b y u s i n g d u a l c o n t r o l .t h e r e f o r e d u a l c o n t r o l h a s a r o u s e d t h e h i g h l y a tt e n t i o n o f r e s e a r c h e r s in v a r i o u s f i e ld s a n d s u b j e c t s a n d r e s u lt e d i n n o t a b l e a c h i e v e m e n t s . a ft e r a b r i e f d e s c r ip t i o n o f t h e h i s t o ry o f a d a p t i v e c o n t r o l a n d a d a p t i v e d u a l c o n t r o l a n d t h e b a s i c t h e o r e t i c a l o f a d a p t i v e c o n t r o l a n d d u a l c o n t r o l , t h i s p a p e r e x p a n d s a d a p t i v e d u a l c o n t r o l fr o m s i n g l e v a r i a b l e s y s t e m i n t o m u l t i v a r i a n t s y s t e m f r o m t h e p o i n t o f v i e w o f t h e s t o c h a s t i c c o n t r o l , w h e n t h e s y s t e m p o s s e s s e s u n c e rt a i n s t r u c t u r e . a d u a l p o l e - p l a c e m e n t c o n t r o l l e r w i t h a d a p t a t i o n f o r m u l t i v a r i a b l e s y s t e m i s p r e s e n t e d a c c o r d i n g t o p o l e - p l a c e m e n t a l g o r i t h m . t h e s t a b i l i t y o f t h e c l o s e d - l o o p s y s t e m i s a n a l y z e d i n t h i s p a p e r . t h e p h e n o m e n a o f t u r n o ff , w i n d u p a n d b u r s t i n g f o r a d a p t i v e c o n t r o l s y s t e m a r e e l i m i n a t e d s u c c e s s f u l l y . a n a d a p t i v e d u a l c o n t r o l l e r i s p r e s e n t e d f o r a m u lt i i n p u t m u l t i o u t p u t a u t o r e g r e s s i v e m o v i n g a v e r a g e s y s t e m . i n m a n y i n s t a n c e s , t h e c a u t i o u s c o n t r o l l e r i s s e e n t o t u r n o ff a n d t h e c o n v e r g e n c e i s v e ry s l o w . t h e d u a l c o n t r o l l e r m o d i f i e s t h e c a u t i o u s c o n t r o l d e s i g n b y n u m e r a t o r a n d d e n o m i n a t o r c o r r e c t i o n t e r m s a n d a v o i d s t h e t u m - o ff a n d s l o w c o n v e r g e n c e . c o m p a r i s o n o f t w o k i n d s o f m u l t i v a r i a n t a d a p t i v e d u a l c o n t r o l i s a l s o s t u d ie d , a n d t h e i r p r o p e rt i e s a r e p o i n t e d o u t . k e y w o r d s : a d a p t i v e c o n t r o d u a l c o n t r o p o l e - p l a c e m e n td u a l p r o p e rt y 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人己经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己 在论文中做了明 确的说明并表示了谢意。 申请学位论文与资料若不实之处，本人承担一切相关责任。 本人签名: 日 期 ， o a r - i 关于论文使用授权的说明 本人完全了解西安电 子科技大学有关保留和使用学位论文的规定， 即: 研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文;学校可以公布论文中的全 部或部分内容，可以允许采用影印、 缩印或其它复制手段保存论文。 ( 保密的论 文在解密后遵守此规定) 本人签名: 导师签名: 4 平 闷壕读必 一一 日 期-叼 - i 日 期 w o 3_ 第一章绪论 第一章绪论 本章第一节主要介绍自 适应对偶控制理论的发展状况，研究的内容、方法以 及自 适应对偶控制目 前的 研究状况:第二节给出了本文中常用的一些数学记号及 其意义。 . 引言 众所周知，由于普遍存在着不同程度的系统不确定性，大部分实际工业生产 过程和社会、 经济等领域中的多步决策问题都不能用简单的确定性模型加以描述， 而必须采用随机系统的理论和方法加以分析和处理1 ,z 1 。六十年代初，f e l d b a u m 连续发表四篇论文3 1 ，从估计和控制两个方面揭示了随机最优控制策略具有对偶 i t 质的内在本质。 为了分析和求解具有对偶性质的最优控制策略，通常在假设最优解存在的前 提下， 运用动态规划原理导出一个含有容许控制策略的目 标泛函方程( b e l l m a n方 程) 。 然而， 即 使是最简单的 情况， b e l l m a n 方程也得不到解析解4 ,5 1 : 另外， 由 于 数值求解 b e l l m a n 方程所引起的 “ 维数灾”和多局部极小问题所带来的困难，使 具有对偶性质的最优控制策略通常仅有理论分析意义p s - 9 1 . 为此，研究者们转而投入极大精力去研究既保持对偶性质又能加以实现的次 优随机控制策略5 - 7 ,1 0 1 ， 这种牺牲最优性以 换取可实现性的指导思想导致了三十年 来随机控制理论的巨大发展，形成了称为自 适应对偶控制的研究领域。 f e l d b a u m 指出14 1 ， 对具有参数不确定性的随机系统， 通过优化一个受约束的、 包含不确定性度量的 性能指标泛函 来实现的随机最优策略具有双重功能: 一方面， 控制信号的作用能使得对于某一控制目标实现最优跟踪 ( 称为对系统的控制作 用) ， 这通常表现为系统的状态误差或输出误差最小; 另一方面， 控制信号的作用 还有助于减小系统参数的不确定性 ( 称为对参数不确定性的学习作用或估计作 用) ， 这通常表现为某种关于参数不确定性的度量最小。 研究者们将随机最优控制 策略的这一性质称为对偶性质1 z - 4 ,13 1 。 显然， 由于控制目 标往往要求控制信号的变 化趋于平缓，而对参数不确定性的学习则要求维持一定幅度的激励信号，因此控 制目 标的要求和估计目 标的要求在控制律的实 现中是矛盾的16 ,14 1 。随机最优控制 策略实现了 “ 好的”控制与 “ 好的”估计之间的最佳平衡6 ,15 1 ，但这并非断言， 仅仅随机最优控制策略才具有对偶性质。事实上，正是那些具有对偶性质的次优 多变量系统的自 适应对偶控制 随机控制策略在随机控制的发展和应用中重担当着一个主要角色1 2 6 ,7 ,10 ,16 1 从信号分解的角度分析， 对偶性质表现了两种不同的作用趋势x3 ,15 ,1 7 ,1 8 1 : 一方面， 由于参数估计的不确定性影响， 控制作用较参数己知时的情况更为“ 保守” ， 以免 带来更大的控制误差，称为控制信号的谨慎性质;另一方面，为了尽可能快地降 低参数不确定性的影响，控制策略又能主动地引入激励信号，以丰富控制信号频 谱，激发各种不确定性模态，便于提高参数估计或系统辨识的精度，称控制律具 有探测作用或主动学习作用。如果不考虑对参数不确定性的学习，那么控制信号 仅极小化控制目标:反之则控制律将一部分能量用于改善参数估计精度，得到的 是控制和估计的综合最优。所以，对偶性质在某一控制目 标下调整其学习作用， 是一种主动学习策略。在系统不确定性较为严重的场合，由于控制信号的过分谨 慎性质引起的“ 关断” 现象6 ,15 ,1 9 和由于缺乏充分激励信号而发生的“ 终止” 和“ 碎 发” 现象6 ,4 ,1 5 ,19 已 经引起了极大重视。 下面介绍一下自 适应对偶控制的研究方法与现状。 考虑到控制器的可实现性， 随机控制问题的一种最简单的次优方案是确定性等价控制，自 校正控制思想便是 这一方法的典型例子，并得到了广泛的应用。 就研究方法而言，采用随机次优性能指标泛函将导致次优控制策略。迄今为 止，在己发表的文献中，研究者们所提出的自 适应对偶控制算法根据其对性能指 标泛函的不同处理大致可分为两类:第一类为隐式对偶自 适应控制策略，第二类 为显式对偶自 适应控制策略。这将在第三章中作详细介绍。 除此而外， 研究者们还提出了多种参数估计不确定性的度量方法。 一种基于 灵敏度函数的方法由p a d i l l a 和c r u z 提出1 3 2 1 ，他们的目标函数中除了包含标准 的控制要求外，还含有一项反映参数灵敏度的函数项，由此来得到良好的参数估 计效果。 后来， m o l u s i s等人将类似的思想和方法引入到基于状态空间 模型的问 题中， 得到了 一些结果13 3 1 。在文献111 ,3 4 ,3 5 ,5 11 中， 研究者们通过引入条件信息嫡度 量和相关信息度量来反映不确定性学习效果， 提高了 参数估计的精度.存在有界 外扰和模型误差时， v e r e s提出了一种同时包含跟踪误差和辨识误差最大容许范 围的混合性能准则 5 3 ,5 4 1 : j= s u p m ax y ( k + i ) 一 y r ( k + i ) i 19 0 。 。 * ， e ( k + i ) l 8 , i = 0 , - - . .m 并 在 对 象 真 参数 属于 参 数空 间的 某凸 域。 * 的 约束 条 件下 给出了 简 化 逼近 解。 在闭 环随机控制的每一步， c h e n 和l o p a r o 把性能指标分解为表达对偶性质的部 分和表达确定性等价的部分，前者与未来的不确定性有关 5 4 1 文5 5 ,5 6 1 同 时 极小 化一步超前 和两步超前 输出 误差方差， 提出了 如下随 机最 优 控制性能指标: 第一章绪论 ， 二 粤 : ( ， (* * 1) 一 ， ， (、 十 1) ， 十 (夕 (、 十 2 ) 一 ， ， (k + 2 ) ) 2 iy k 乙. 其中y k = y ( k ) , y ( k 一 i ) , , y ( 0 ) , u ( k 一 1 ) , u ( k 一 2 ) ， . . . , u ( 0 ) i 该方法最大的困 难在于需要未来输出y ( k + 2 ) 。 为此， 作者首先利用k a l m a n 滤波 器估计未知随机参数， 然后在均值意义下构造了一个未来输出估计器，并以 估计 值y ( k 十 2 ) 取代y ( k + 2 ) 。 仿真结果表明， 基于两步超前优化的自 适应对偶控制器 不仅优于基于一步超前优化的谨慎类控制器，而且优于文 2 9 ,5 7 1 主动次优方案。 众所周知， k a l m a n 滤波器的新息序列l l 从输入输出观测信息的角度表达了 参 数估计的效果。 1 9 8 2 年， m i l i t o 等人根据这一事实以 新息序列的方差作为参数估 计( 不确定性的学习) 精度的度量，提出了一类颇具代表性的自适应对偶控制算法 ( i d c ) 3 6 1 ， 其性能指标泛函为: j m e k ,u ( k ) 一 e y ( k + i) 一 ， , ( k + ，)， 一 “ (k + 1) v 2 (k + i)iy i ,u 一 ， v ( k + 1 ) = y ( k + 1 ) 一 v t ( k ) b ( k ) ，k = 0 ,1 , . . . , n 一 1 ,0 d ( k + 1 ) 1 其中y k = y ( k ) , . . . , y ( k 一 n + 1 ) , u 0 = u ( k 一 1 ) , - . . , u ( k 一 m + 1 ) o 侧 k ) 和9 ( k ) 分 别 为 数 据 回 归 向 量 和 参 数 估 计 向 盘 ， v ( k ) 为 参 数 估 计 过 程 的 新息序列， a .( k 十 1 ) 是关于参数估计不确定性的学习权因子，反应了 控制作用与 学习作用的折衷. 从以上的表达式中可以得到:a ) 性能指标泛函中新息方差的出现，为改善参 数估计效果提供了 额外的信息，并且由此而提高了闭环控制性能;b ) 由 于扩展项 的 加入， 强迫控制器增加了 馈入参数估计器的信息， 通过改变学习因 子创k ) 的大 小， 可以提高或降低新数据在对偶控制作用中所占用的比例。 另外， 文献 3 6 1 还指 出，在此之前所得到的关于对偶自 适应控制的结果大部分都是特例，包括确定性 等价控制器 6 ) 谨慎控制器6 ,15 ,1 , ) 、 w i t t e n m a r k控制器2 9 1 和目标泛函方程 ( a a c ) 3 11 等等。然而，尽管 工 d c算法保持了对偶性质且计算量较小，但仍然至少 存在以下两方面的缺陷:第一，工 d c不能适用于具有任意时滞或非最小相位的系 统; 第二，工 d c 只能处理定常的未知参数或参数慢时变的情况， 不能适用于未知 参数随机变化或快时变的系统。针对前一个缺陷， c h a n 和z a r r o p 通过在工 d c 的 性能指标泛函中引入加权多项式，结合广义最小方差控制的思想，推导了一类适 用性更强的广义对偶自 适应控制算法( g d c ) l ie s j a ( k ) = e y a (k + d ) 一 “ ( k ) v 2 (k + d )i y , u 一， v ( k + d ) = y o ( k + d ) 一 9p t ( k ) - 乡 ( k ) 多变量系统的自适应对偶控制 y , ( k ) = p ( z 一 ， ) y ( k ) + q ( z - ) u ( k 一 d ) 一 r ( z 一 ， ) y . ( k 一 d ) 式中p ( - - , ) , q ( : 一 ， ) 和r ( z - ) 分别是相应于输出y ( k ) ，输入u ( k ) 和目 标轨迹 y , ( k ) 的 加 权多 项式， 而y o ( k ) 称为 辅助输出 变量。 在经济和工程系统中，经常碰到参数快时变或随机变化的情况，例如含有如 下的白噪声扰动: b , ( k ) = 叽+ w , ( k ) b 和、 ( k ) 分 别 是 参数的 未知 定 常 部 分 和白 噪声 扰 动部 分. 此时，6 , ( k ) 由 b ; 的 估计 值和、 ( k ) 的 预报值构成。 正是由 于、 ; ( k ) 的 影响， 使这里的问 题复杂的多。 工 s h i h a r a 等人采用与i d c 相同的性能指标表达对这一情况进行了研究， 得到了进 一步的结果3 7 1 在随机系统的参数不确定性较为严重的情况下，确定性等价类控制或谨慎控 制器会引起 “ 关断”现象，导致控制系统的失稳。研究者们为了避免这一现象的 发生，己 经采取了若干措施/5 ,6 ,1 2 ,3 0 ，其中最直接也是最有效的方法之一是增强系 统的激励信号，以提高系统对参数不确定性的主动学习能力，因为 “ 关断”现象 一般是由系统缺乏充分激励引起的。 c h e n ( 陈翰馥) 和g u o ( 郭雷) ， l a i 和w e i 等人 在这一方面作了极为杰出的工作13 7 - 4 3 ) ， 他们在控制信号或目 标参考轨迹中加入一 个外部激励信号( 通常为高斯白噪声序列) ，以达到激发过程各种模态、降低参数 不确定性的目的。进一步地，如果加入的是指数收敛的衰减激励信号，还能使系 统参数收敛到真值，并减小由于激励信号所带来的探测损失。 迄今为止，源于自 适应对偶控制的理论和方法在以下应用领域进行了研究: ( 1 ) 经济系统1 7 2 3 : b a r s h a l o m 和w a l l 以 美国国民 经济系统为研究对象， 在 不同的假设条件下根据最小二乘方法和极大似然方法建立了两个模型，并运用自 适应对偶控制进行了经济决策和宏观调控。 ( 2 ) 飞行器控制问题17 ,2 4 ,2 5 :t s e 和b a r s h a l o m 等人考察了一个具有6 个未知 随机参数的 三阶线性飞行器模型( 如导弹) ， 采用广义自 适应对偶控制18 1 和确定性 等 价 控 制 两 种 方 案 进 行 噪 声 环 境 下 的 导 航 和 拦 截 研 究 。 数 据 比 较 结 果 表 喝 ， 前 者 无论是在参数估计精度还是控制目 标的实现上均约1 0 倍优于后者， 且控制能量增 加不多。 ( 3 ) 机 器人控制5 9 :n i l s s o n 和w e r n e r s s o n 采用7 一个五步 对偶控制律来 控制机器人在具有较大位置不确定性的情况下正确抓取目 标物体，典型方案是第 一步将机器人趋向最佳取物方向，而最后一步使其与取物姿态偏差最小。 自 适应对偶控制是一个十分活跃的研究领域。经过三十年的发展，己经在对 偶性质分析、线性化处理、次优目 标泛函描述、参数估计的不确定性度量、充分 激励问题和品质刻划等方面有了丰富的理论和应用成果，并至少在以下几方面达 第一章绪论 成共识: ( 1 ) 由于b e l l m a n 方程求解的复杂性， 随机最优控制策略的出路在于研究既保 持对偶性质、实现又较简单的次优算法。 ( 2 ) 不论是最优还是次优对偶控制策略， 在控制性能上都大大优于基于确定性 等价原理设计的控制器。 ( 3 ) 仅有极少数算法能给出理论品质分析结果，且适用范围仍不够宽。 综上所述，自 适应对偶控制理论的研究和实践方兴未艾，但大多数研究者们 仅局限于对单变量自 适应对偶控制的研究， 而对多变量自 适应对偶控制的研究涉 及甚少，本文中作者将单变量的自 适应对偶控制扩展到多变量，并针对以极点配 置为基础的对偶控制器进行了系统的稳定性分析。 本文是这样安排的:第二章介绍了自 适应对偶控制的预备知识:最小二乘参 数估计和闭环极点配置的自 适应算法，为第四、五章的推导做基础;第三章给出 了自 适应对偶控制系统的定义、类型以及显式对偶控制和隐式对偶控制，指出了 各种控制器的优缺点。第四章针对多变量不确定系统提出了以极点配置为基础的 对偶控制器， 分析了 它的稳定性。 第五章基于多阶t a y l o r 展开法给出了 一种m 工 m o 的a r m a 系统的对偶控制器， 并与上一章中的对偶控制器进行了比较研究， 分析了 它们的优缺点。 1 . 2 一些数学符号及其意义 引 入后移算子q - 1 ， 如果y ( k ) 表示 序列 y ( k ) ) 在时 刻k 的 值，k e 0 ,1 , . . .) ， 则 q - y ( k ) 表示序列在k 一 1 时刻的值，即 。 一 ，y ( k ) 少 ( k 一 1 ) ， t 1 ， 。 一 ，y ( 0 ) a o 从 而 有。 一 y ( k ) y ( k 一 i) ， t ? 0 ， 。 一 y ( 0 ) 0 0 , 0 _ t ( 0 ) =y (t ) 一 ， 。 一 i) t 8 t * 一，y (t ) 一 ， (t 一 1 ) t o l + 鲁 (。 一 8 (, ) t p 0 (。 一 0 1 ) ( 2 . 2 ) 使( 2 .2 ) 式达到极小的9 值可用下面的多变量递推最小二乘算法来计算: 8 ( t ) =8 ( t 一 1 ) + p ( t 一 2 ) 0 ( t 一 1 ) i + ( t一 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) x y t ( t ) 一 8 ( t 一 1 ) t o ( t 一 1 ) 7 , t ? i ( 2 . 3 ) p ( t 一 i ) 二 p ( t 一 2 ) 一 p ( t 一 2 ) 0 ( t 一 i ) o ( t 一 i ) t p ( t 一 2 ) 初 始 估 计8 ( q ) 是 给定 的 ， 1 + o ( t 一 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) p ( - i ) 为 任一正定 矩阵几。 ( 2 .4 ) 引理2 . 1 15 8 ( 矩阵求逆引理)若 p ( t 一 1 ) 一 ， 二 p ( t 一 2 ) 一 ， + ry ( t 一 1 ) o ( t 一 i ) t a ( t 一 1 ) ( 2 . s ) 其中 标 量a ( t - 1 ) 0 ， 则p ( t - 1 ) 可由p ( t 一 2 ) 通 过下式 表示: p ( t 一 1 ) = p ( t 一 2 ) 一 p ( t 一 2 ) 0 ( t 一 1 ) y ( t 一 i ) t p ( t 一 2 ) a ( t 一 1 ) 1 却( t - 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) a ( t 一 i ) ( 2 . 6 ) 证明 可以直接验证. 引 理2 .2 1 5 8 1算法( 2 .3 ) - ( 2 . 4 ) 使目 标函 数 ( 2 .2 ) 达 到极小。 引 理2 .3 158 1对 于 模 型 ( 2 . 1 ) ， 算法 ( 2 .3 ) 和 ( 2 .4 ) 有以 下的 基 本 性质: (i) 一8 (t) - 0 ,ii2 : k , j8 (0 ) 一 0 iz t : ， k , = f p ( 一 1 ) 一 的 条 件 数 d a _ p ( - 1 ) 一 ， 弋i. p ( - 1 ) 一 ， 其 中 记 -ifl i-i!定 义 如 下 : iim j a tr (m t m ) _ 拜m # m ,ii ; 1;) 、 w玉一耳一 e(t)t e(t)(ii) lim 7-a,_,=i 1 + o+(t - i)t p(t - 2)0(t -1)“ 从以上的基本性质还可推出: 第二章自 适应对偶控制的预备知识 ( a ) l i m e ; ( t ) 1 + k z o ( t 一 1 ) t o ( t 一 1 ) v 2 = 0 :i 二l - 二 ， m 其中 k ， 二 x . p ( - 1 ) ( .1 表 示 最 大 特征 值) 。 b ， 忽n(6 ) limn -am ,., ( ) 忽 nlimn - ,.i o ( t 一 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) e ( t ) t e ( t ) 1 + a t 一 1 ) t p ( t - 2 ) 0 ( t 一 1 ) , 一、 (，) 一 。 (， 一 1)一 。 (d ) jim y- iib (t) - 6 (t - k )iin -roo i=k m 然后，根据确定性等价原理，就得出了下述的间接自 适应极点配置算法。 o ( t ) = b ( t 一 1 ) + p ( t 一 2 ) 护 ( t 一 1 ) 1 + o ( t 一 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) x y t ( t ) 一 o ( t 一 1 ) t 9 ( t 一 1 ) ( 2 . 1 4 ) p ( t 一 1 ) = p ( t 一 2 ) 一 p ( t 一 2 ) ( t 一 1 ) ( t 一 1 ) t p ( t 一 2 ) 1 + ( t 一 1 ) t p ( t 一 2 ) 0 ( t 一 1 ) ( 2 . 1 5 ) 取p ( 0 ) = a l ， 二 0 ，其中: 乡 ( t ) t =i - a , ( t ) , . . . ,- a , ( t ) , b 1 ( t ) , . . . , b , ( t ) ( 2 . 1 6 ) a ( t , q一 ， ) = b ( t , 。 一 ， ) = 1 + a , ( t ) q 一 ， 户 1 ( t ) 。 一 ， + 二 + + a , ( 1 ) q - + 凡( t ) q 一 ， ( 2 . 1 7 ) 在每一个时刻解极点配置方程: a ( t , q ) l ( t , q一 ， ) + b ( t , 。 一 ， ) 户 ( t , 。 一 ， ) = a 。 一 ， )( 2 . 1 8 ) 然 后 利 用 解出 的众 t ， q - , ) 及入 t ， q - , ) 代 入 如 下的 反 馈 控 制 律: u ( t ) = p ( t , q一 ， ) l - ( t , 。 一 ， ) y ( t ) 一 y ( t ) ( 2 . 1 9 ) 就 可 以 确 定 控 制 输 入 。 ( t ) ， 其 中 l ( t , q - ) 与 入 t , q - 1 ) 是 ; - 1 阶 的 ， 且 l ( t , 。 一 ， ) = l , + l ,。 一 ， + p ( t , q一 ) = p n + p q - 十 艺 - 1 q - c- o . . . + 在上 述算法中， a ( 9 - , ) 是任意一个2 ， 一 1 阶的稳定的首项为单位矩阵的多项式 第二章自 适应对偶控制的预备知识 阵。 在文 5 8 , 7 6 中利用关键性引理给出了自 适应控制算法的收敛性。 定理2 . 4 在a ( q - ) 和b ( q - ) 互 质，r = m a x ( m , n ) 已 知的 情况下， 若对 参数估 计 值 进行 投影 修正， 保 证 修 正 后救 t , q - ) , 次 t ， q - 1 ) 是相 对 左 互 质的 ， 则 算 法 ( 2 . 1 4 卜 ( 2 . 1 9 ) 具有如下性质 ( i ) 对所有t _ 0 ， ( i i )对所有t _ 0 ， . ( t ) 有 界 ; 伽 ( t ) 有 界 ; ( ii i ) 输出 渐 近 跟 踪参 考 输 入， 即l im y ( t ) 一 y * ( t ) = 0 0 注2 . 1 :定理2 .4 只给出了一个局部收敛性结果。实际上已 经有很多学者研究 了 这 种自 适 应系 统的 收 敛性 7 2 - 7 5 1 ， 给出了 全局收 敛性结果。 文 7 7 中 通 过引 入持 续 激 励 信号 保 证 估 计 参 数 指 数收 敛 于 它的 真 值0 0 . 自 适应极点配置的对偶控制器在设计上附加了一个最优激励信号，这样在一 个 有 限 的 时 间 之 后 参 数 估 计 9 ( t ) 足 够 接 近 于 真 值 0 0 ， 以 致 不 出 现 零 极 相 消 ， 也 就 解决了定理2 .4 的局部收敛性的缺陷。 此外， 对偶控制可以提高控制性能 并且可 以改善自 适应系统的动态性能ti n 互 2 . 4 本章小结 本章第一节主要针对自 适应控制系统，介绍了自 适应控制系统的定义、 基本 特征、类型及其理论问题;第二、三节主要论述递推最小二乘估计算法和自 适应 极点配置算法，指出了自 适应极点配置算法的缺陷，阐述了利用对偶控制来解决 此问题的可能性和途径。 对于单变量自 适应极点配置的对偶控制， f i l a t o v 等人作 了许多研究6 7 .7 0 ，而多变量的对偶控制器的设计却少有人问津， 本文第四章就在 此基础上把单变量自 适应极点配置的对偶控制扩展到多变量。 多变量系统的自 适应对偶控制 第三章自适应对偶控制系统 上一章我们给出了自 适应对偶控制系统的一些预备知识，在本章将对自 适应 对偶控制系统加以描述，并在第一节中与自 适应控制系统作了一个比较研究。 3 . 1 自 适应对偶控制系统的基本问题 本节主要给出自 适应控制系统的定义、系统模型以及自 适应对偶控制的品质 分析。 定义3 . 1自 适应对偶控制系统 6 0 年代f e l d b a u m 在文献3 1 中提出随机最优 控制策略具有双重功能，一方面，施加到系统上的控制把过程状态纳入到预定轨 迹:另一方面，又具有学习作用，减小系统参数的不确定性，提高估计精度。有 着这两种性能的自 适应控制系统被称为自 适应对偶控制系统，这些性质称为对偶 性质。 前面一章己 经了解了自 适应控制器的分类以 及现阶段研究的自 适应控制系统， 为了总结对偶控制系统的性质，一个典型的自 适应控制系统和一个自适应对偶控 制系统的模型由图3 . 1 描绘出来。 控 制 器 设 计 偏 一 一 o f o it估计 自 适应控制摇系统 恻+ ( a ) 典 型的自 适应 控 制系 统 第三幸自 适应对偶控制系统 奋欲沽汁 n s fa a h 陈t s s 蔬在 下 习 -蔬在 下 习i 叫 j一一一 一_ 一止 ( b )自 适应 对调控制系统 圈 3 . l两种控制系统模型比较图 从图3 . 1 可知， 这两种系统结构的不同 之处在于自 适应对偶控制系统中 有一 个由估计到控制器设计算法参数估计正确性的传输。对一个自 适应对偶控制器来 说，在控制器设计过程中估计的正确性的使用可以产生最优激励和谨慎控制信号。 这样， 控制性能便能得到极大的提高。 根据自 适应对偶控制系统的定义，自 适应对偶控制器的结构如图3 . 2 所示。 激 励 图3 . 2自 适应 对 俄 控 制 器 值得提及的一点是几乎所有的自 适应控制系统的性能都可以利用对偶控制方 法或用对偶控制器代替确定性等价控制器 ( 或其他的 非对偶控制器) 来得到提高。 另外，自 适应对偶控制器的参数也必须要仔细选择。 在某些自 适应对偶控制中，经常要用到确定性等价控制律。在确定性等价控 制中，控制系统的设计是基于把最新的参数估计值作为真实的系统参数。从原则 扰动 图 3 . 3确定 性等价控制律 上讲任何参数估 计算法都可以 和 任意 控制律综合方法结 合， 产生出 确定性等 价自 多变量系统的自适应对偶控制 适应控制器。其结构框图见图3 . 3 . 自 适应对偶控制的理论分析是非常重要的问题。在自 适应对偶控制策略研究 的早期，人们多致力于分析随机最优控制策略之所以具有对偶性质的原因和提出 各种能够保持对偶性质的次优控制器，而有关于控制品质和算法性质的分析则较 少涉及或仅仅通过计算机仿真结果来说明。近年来，由于研究逐渐深入，对系统 不确定性问题更加重视和理论分析工具的不断增强，这方面的理论结果，如闭环 系统的稳定性、自适应对偶控制算法的收敛性及收敛速度等等纷纷在文献中出现 3 5 ,3 8 - 4 4 ,4 8 。当然，还远未建立一个普遍使用的理论体系。 通过在目 标参考轨迹中加入一个外部激励信号 ( 以丰富回路信号的频谱分 量) ， r a d e k o v i c 改进了c h a n 和z a r r o p 的 广义自 适应对偶控制，并在一系列约束 条件下， 运用m a r t i n g a l e 收敛性理论的分析方法， 证明了闭环控制系统的全局稳 定性、参数估计算法的强一致收敛性和相应的收敛速度.除了关于模型结构、观 测噪声和性能指标加权多项式的基本条件外，保证广义自 适应对偶控制闭环系统 全局稳定最关键的条件就是与系统噪声动态特性有关的两个时变算子的正实和严 格正实性，这一性质与自 校正控制的情形相似。为了保证参数估计的强一致性， 通常必须满足回路信号的持续激励条件.在 r a d e k o v i c的广义自 适应对偶控制算 法中，由 于外部激励信号d ( k ) 的加入， 使得只要满足: * 一 lim 共 y- d ( k )w (k )w t (k ) _ ，( : ， 。 ) 咔.刀 k 司 d ( k ) = k 6 , 0 8 1 / 2 就能得到参数估计的强一致收敛结果。显然，这里的限制比一般的结果要弱5 8 1 相应的参数收敛速度为: =o (d ( k ) . ln ( k ) ) k = b ( k ) 一 b o 尽管广义自 适应对偶控制改善了闭环系统的暂态响应， 但由于m a r t i n g a l e 收 敛性理论难以 给出 暂态响应品质的分析，文献14 4 ) 并未在这一方面得到任何结果. 互 3 . 2 隐式和显式自 适应对偶控制 迄今为止，在己发表的文献中，研究者们所提出的对偶自 适应控制算法根据 其对性能指标泛函的不同处理大致可分为两类:第一类为隐式对偶自适应控制策 略，它通过对动态规划的 b e l l m a n方程进行随机逼近分析， 在某一确定性最优轨 迹附近较小范围内得到精度容许的线性随机通近方程， 大大降低了 复杂程度和计 第三章自适应对偶控制系统 算量17 ,8 ,1 1 ,17 ,2 0 - 2 5 ,2 7 1 。 然而，当系统非线性严重或噪声影响较大时， 这种基于小信号 摄动分析原理的线性化方法效果很差，往往给性能指标泛函带来较大的线性化误 差.第二类为显式对偶自 适应控制策略，它通过在优化性能指标泛函中显式地加 入反映系统参数不确定性学习效果的项来重新提出相应的优化问题，以平衡控制 作用和学习作用6 ,1 1 ,12 ,18 ,2 8 - 4 8 1 ，并越来越多地得到利用。 隐式对偶自 适应控制策略:m u r p h y首先给出了在一种特殊情形 ( 系统极点己 知但零点未知)下对偶控制律的随机逼近解 2 11 。此时，估计问题退化为线性的， 而目 标泛函的最小化问题退化为一个非线性方程的边值问题，在控制律预测状态 的线性反馈条件下通过控制轨迹和预测状态附近的线性化处理而得到次优解。 a l s p a c h则通过用正态分布的和来逼近在目 标泛函方程展开中所需要的后验概率 分布的方法简化了b e l l m a n 方程的求解2 2 。为进一步简化b e l l m a n 方程的 求解， m o r e n 。 等 人4 9 ,5 0 1 引 入块 脉冲函 数( b p f ) 将 状态变量和控制变量在 状态空间中 多 项 式展开，并按最优轨迹的具体分布进行状态空间的非均匀离散化 ( 最优轨迹附近 离散点增加以精确描述该区域的动态行为) ，计算结果表明，这一技术尤其适用于 非线性系统的随机控制问题。 t s e 和b a r - s h a l o m 等提出了 一类具有普遍适用意义、 称为“ 广义自 适应对偶 控制”的逼近方法17 ,8 ,13 ,1 7 ,2 0 ,2 3 - 2 5 ,2 7 1 .首先假设参数不确定性的学习问 题由一个扩展 的k a l m a n 滤波器来完成， 然后根据控制问 题的具体情况在状态空间中 选择一条标 称目 标运动轨迹并通过t a y l o r 级数在目 标轨迹上将泛函展开到有限阶， 此时目 标 泛函分解为表达控制要求和表达估计目 标的两个部分 ( 体现了对偶性质) ;最后利 用搜索的方法得到次优解。由于这种基于t a y l o r 级数的分析方法一般是在目 标运 动轨迹附近较小的范围内进行的，所以文献中又称为摄动分析方法。可以理解， 通过这样的处理，尽管牺牲了控制策略的最优性，却使得计算量大大减小，并且 仍能保持一定的对偶性质。 然而，从文献6 ,7 ,13 的结果分析， 尽管已 经对b e l l m a n 方程的求解作了 随机逼 近处