（控制理论与控制工程专业论文）基于m2spsa的多模型控制器.pdf

摘要 本文提出了一种以改进的自适应同时扰动随机逼近算法和多模型方法为基 础的对未建模型的工业过程对象进行控制的新方法，由于改进的自适应同时扰动 随机逼近算法具有算式结构简单，对含有噪声的数据有较好的处理能力，可以对 数学模型未知的系统进行有效处理等特点以及多模型方法对提高系统暂态响应 和具备对含有大不确定性变化的系统的有效控制的特点，使得该方法在未建模型 的对象控制中有很好的应用前景。 本文将改进的自适应同时扰动随机逼近算法与多模型方法相结合。在具体控 制过程中，首先根据系统对象的输入和输入的估计值的误差构造合适的多模型切 换指标函数，然后根据切换指标函数选择对应的控制器。系统利用多模型控制器 中的基于改进的同时扰动随机逼近算法的控制器的输出值和控制对象的输入之 差构造对应此自适应控制器参数的性能指标。对此性能指标的极小化过程中使用 了改进的自适应同时扰动随机逼近算法。同时，在选择参考输入信号的时候，本 文采用一种称为虚拟模型参考自适应的智能选取参考输入信号的方法。 多模型方法的介入提高了整个系统的快速性、鲁棒性和稳定性，可以利用多 固定模型控制器的参数对基于改进的自适应同时扰动随机逼近算法控制器进行 重新赋初值。 本文以一般工业过程为控制对象进行了计算机仿真，仿真验证了本文方法的 正确性和实用性。 关键词：改进的自适应同时扰动随机逼近算法多模型方法 模型参考自适应控制未建模对象切换控制 a b s t r a c t t h i sp a p e rp r o v i d e san e wm e t h o dt oc o n t r o lt h em o d e l f r e ei n d u s t r i a l p r o c e s s p l a n t s ，w h i c h i sb a s e do nt h em o d i f i e d a d a p t i v es i m u l t a n e o u sp e r t u r b a t i o ns t o c h a s t i c a p p r o x i m a t i o n ( m a s p s a m 2 s p s a ) a l g o r i t h ma n dt h em u l t i p l em o d e la p p r o a c h t h i sm e t h o dh a sg o o dp r o s p e c t si nt h ec o n t r o lo ft h em o d e l f r e ei n d u s t r i a l o b j e c t s b e c a u s eo ft h em 2 s p s a s s i m p l ea l g o r i t h ms t r u c t u r e ，c a p a b i l i t yi nd e a l i n gw i t hn o i s y m e a s u r e m e n t sa n de f f e c t i v em a n i p u l a t i o ni nt h ec o n t r o lo fm o d e l a n dt h i si sa l s o b e c a u s eo ft h em u l t i p l em o d e l a p p r o a c h se n h a n c e m e n to f t r a n s i e n tr e s p o n s ea n di t s e f f e c t i v ec o n t r o lo f l a r g eu n d e t e r m i n e dc h a n g ei ns y s t e m i ti sm o r ee f f e c t i v et oc o m b i n et h em 2 s p s a a l g o r i t h ma n dt h em m a i np r a c t i c e ， w ec a l lu s et h ed i f f e r e n c e so f i n p u t so fo b j e c ta n dt h ec o n t r o l l e r s o u t p u t st oc r e a t ea t a r g e t f u n c t i o n t h et a r g e tc a r ts e l e c tt h e o v i m a lc o n t r o l l e ro ft h es y s t e mi n t h e m u l t i p l ec o n t r o l l e r s t h ea d a p t i v ec o n t r o l l e rw h i c hi sb a s e do nt h em 2 s p s a c a nu s e t h ed i f f e r e n c e so f i n p u t so fo b j e c ta n d t h ec o n t r o l l e r s o u t p u t st oo b t a i na n o t h e r t a r g e t m 2 s p s aa l g o r i t h mi su s e di nt h em i m m i z i n go ft h i s t a r g e t a n dw eu s eaw i s e m e t h o dt os e l e c tt h e s y s t e m s r e f e r e n c e i n p u t s ，w h i c h i sc a l l e dv i r t u a lm o d e l r e f e r e n c e a d a p t i v e c o n t r 0 1 t h ei n t e r v e n t i o no fm u l t i p l em o d e l a p p r o a c hi m p r o v e t h ew h o l es y s t e m l s r a p i d n e s s ，r o b u s t n e s s a n ds t a b i l i t y t h e p a r a m e t e r so ft h em u l t i p l e f i x e dm o d e l c o n t r o l l e rc a r lr e i n i t i a l i z et h e a d a p t i v ec o n t r o l l e rw h i c hi s b a s e do nt h em 2 s p s a a l g o r i t h m s i m u l a t i o n e x p e r i m e n t s f o rt h e g e n e r a l i n d u s t r i a l p r o c e s s d e m o n s t r a t et h e v a l i d i t ya n dp r a c t i c a b i l i t yo f t h i sm e t h o d k e y w o r d s ： m o d i f i e da d a p t i v es i m u l t a n e o u sp e r t u r b a t i o ns t o c h a s t i ca p p r o x i m m i o na l g o r i t h m ， m u l t i p l em o d e la p p r o a c h , m o d e lr e f e r e n c e a d a p t i v e c o n t r o l ， m o d e l - f l e ec o n t r o l l e dp l a n t ， s w i t c h i n g c o n t r o l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致埘之处外沦文中不包含其他人已经发表 或撰写过的研究成果也不包含为获得墨洼盘茎或其他教育丰j l 构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：贡红巾 签字同期：a 冽年，月歹f 1 学位论文版权使用授权书 本学位论文作者完全了解叁盗盘芏有关保留、使用学位论文的规定。 特授权墨鲞苤芏可以将学位论文的全部或部分内容编入有关数据库进行检 索并采用影印、缩印或扫拙等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作行签名：方缸币 翮懈：少 签字h 期：0 一妒年 ，月ff 1 签字h 期：啪年月j 7 fi 第一章绪论 第一章绪论 1 1 随机逼近概述【1 , 2 , 3 l 自从1 9 5 1 年r o b b i n s 和m o n r o 为了解决回归函数的求根问题提出了著名的 r m 随机逼近算法和1 9 5 2 年k i e f e f 和w o l f o w i t z 为了寻找函数极值提出了k w 随机逼近算法以来。国际上很多学者都在研究基于随机逼近思想的控制系统。 1 9 5 4 年b l u m 讨论了k w 算法的高维( 即多变量) 形式。经过半个多世纪的发 展历程，随机逼近思想已经得到了不断的进步和完善。 到目前为止，随机逼近控制方法有r m 法，k w 法。其中基于k w 方法上 的变形情况有：有限微分随机逼近算法( f i n i t e d i f f e r e n c es t o c h a s t i c a p p r o x i m a t i o n ， f d s a ) 、随机方向的随机逼近算法( r a n d o m d i r e c t i o ns t o c h a s t i c a p p r o x i m a t i o n ， r d s a ) 和同时扰动随机逼近算法( s i m u l t a n e o u s p e r t u r b a t i o ns t o c h a s t i c a p p r o x i m a t i o n ，s p s a l 。它们的共同点是利用输入输出参数，建立逼近算法，设 计控制器，能够对未建模对象进行控制。但s p s a 算法不但可以只用标准k w 方 法的1 p 的数据就能得到其它方法相同精度水平的估计准确度0 是自变量维数) ， 而且理论和实践均证明此方法是上述三种方法中最好的方法。s p s a 算法最早是 由s p a l l 在1 9 8 7 年提出的【4 l ，他在1 9 9 2 年对该方法【5 | 进行了完整的讨论。1 9 9 8 年s p a l l 和c r i s t o n 6 】又把这一方法与未建模型随机系统的控制结合起来进行研 究。s p a l l t t l l 9 9 7 年讨论了单一测量值形式的同时扰动随机逼近算法，同年 s a d e g h l 8 j 研究了利用s p s a 算法解决受限最优化问题。s p s a 算法特别适用于多 维变量系统，同其他随机优化方法( 如遗传算法) 比较，更易于实现，不但适 用于连续系统也适合离散系统。近年来，好多学者已对此方法在生物医学、自 动化、过程控制、电路设计、网络、经济和国防以及交通运输等领域的应用进 行了许多研究，并取得了不俗的成绩。本文所用到的就是以同时扰动随机逼近 算法为基础发展起来的一种被称为改进的自适应同时扰动随机逼：近( a d a p t i v e s i m u l t a n e o u sp e r t u r b a t i o ns t o c h a s t i ca p p r o x i m a t i o n ，简称m a s p s a 或m 2 s p s a ) 的 算法。其具体内容将在本文的第四章加以详细研究介绍。 1 2 模型参考自适应系统( m r a s ) 简介 9 , 1 0 】 简单的讲，自适应控制器是一种能修正自己特性以适应对象和扰动的变化 的控制器。自适应控制的研究对象是具有一定程度不确定性的系统，这里所谓 的“不确定性”是指描述被控对象及其环境的数学模型不是完全确定的，其中 包含一些未知因素和随机因素。任何一个实际系统都具有一定程度的不确定性， 第一章绪论 不确定性是绝对的，确定是相对的，因为任何事物不可能一成不变。这些不确 定因素有时表现在系统内部，有时表现在系统外部。从系统内部来讲，描述被 控对象动态过程的数学模型的结构与参数设计者事先并不一定能确切知道。作 为外部环境对系统的影响可以等效的用许多扰动表示。这些扰动通常是不可 测的，它们可能是确定性的，也可能随机的。此外，还有一些量测的噪声从不 同的测量反馈回路进入系统。这些扰动和噪声常常是未知的，面对这些客观存 在的各式各样的不确定性，如何综合适当的控制作用，使得某一指定的性能指 标达到并保持最优或近似是优，这就是自适应控制所要研究解决的问题。 自适应控制系统基本上分为两种 正调节器( s t r ) 。本文采用的是前者 单的回顾。 模型参考自适应系统( m r a s ) 和自校 以下就对模型参考自适应系统作一个简 模型参考自适应系统是用来解决性能规范由参考模型规定的控制问题，这 个参考模型指明了过程输出应怎样理想的响应指令信号。这种系统最早是由美 国麻省理工学院( m i t ) 的w 1 l i t a k e r 教授提出的。这种系统的原理如图1 1 所 示，图中的参考模型与系统并联，这种调节器可设想为包含两个环路：内环和 外环。内环是由过程和调节器所组成的普通反馈回路，而调节器的参数则由外 环调整。外环调整参数的原则是使过程输出y 和模型输出y 之间的误差e 变小。 因此外环也是一个调节器回路。m r a s 的关键问题是确定调整机构，以便得到 一个使误差趋向零的系统。图1 1 所示系统引入了两个概念：一、系统的性能 由参考模型规定：二、调节器参数按参考模型与系统之问的误差进行调节。 随着科学技术，特别是微计算机的发展，自适应控制已经得到了越来越多 的应用。自适应系统将朝着大型记忆、模式识别以及各种各样的具有智能性 的高级决策功能发展。 图1 1模型参考自适应系统( m r a s ) 的框图 第一章绪论 1 3 多模型方法( m u l t i p l em o d e l a p p r o a c h ) 原理概述【1 1 ，1 2 l 任意一个好的控制系统必须具备快速，准确和稳定三大特点。但在大不确 定性的复杂系统中，例如当系统具有外部干扰，予系统的动态变化和系统参数 变化等等时用传统的控制方法，要想获得对系统快速准确稳定的控制，是一 件比较困难的事情，这对广大控制科学的研究者来说，一直是一个极大的挑战。 而使用多模型方法进行自适应控制可以利用多个模型覆盖被控对象的模型不确 定性，同时保证至少有一个模型充分接近未知的被控对象，这样子可以实现对 不确定性系统的很好控制。 下面对多模型自适应控制的基本原理作一个简单的描绘，图l 一2 是多模型 自适应控制的简单示意框图。多模型自适应控制方法的具体研究将在第三章进 行深入的叙述，这里只傲简单的介绍。 多模型自适应控制器基本上由以下3 部分组成。 ( 1 ) 根据被控对象模型参数，结构的不确定性对被控对象建立多个模型，构成 多模型集合 q t f li 一1 ，2 ，九)( 1 3 1 ) 其中，q 表示一个以模型m r 为元素的模型集，这个模型集可以理解为一个 广义的模型集，m e 可表示系统模型，也可表示不同的状态反馈矩阵、误差落在 不同的区域或一个复杂工业过程的不同操作工序。 ( 2 ) 根据模型集合q 中不同模型建立多个控制器，构成控制器集合 c t 【，j ii 一1 , 2 ，n ( 1 3 2 ) 其中，c 为基于q 设计的控制器集合，玑为基于m r 而设计的控制器。 ( 3 ) 给定切换原则，以选择能够描述当前被控对象的最佳模型，并将基于最 佳模型而设计的控制器切换为当前控制器。 u 口一，l ，u 2 ，u 一，口)( 1 - 3 3 ) 其中，为一线性或非线性函数，o 为一参数向量，不同的多模型自适应控制 器会有不同的切换函数，因此函数，可表示为不同的形式。 在多模型方法过去几十年的发展中，有效的多模型自适应的模型集的建立 方法有：移动子集法；从系统的稳定性出发设计模型集；动态优化的模 型集；利用神经网络来减少元素模型个数。 多模型自适应控制方法可以分为交互式模型方法，加权式多模型方法和切 3 第一章绪论 换式多模型方法三种。 多模型的应用范围很广，可以应用于飞行器，机器人，生物医学，工业控 制等等，其研究前景十分广泛。国内虽然研究起步比较晚，但也有了不少这方 面的理论研究和应用。 ， 图1 2多模型自适应控制框图 1 4 本文的主要研究工作及内容安排 本文提出的基于改进的自适应同时扰动随机逼近算法( 该算法简单易用) 的多模型参考控制器，力求能实现非线性系统在受到干扰下的控制问题，特别 适合维数较大的系统。如果将本方法应用在一般工业控制系统上，控制器如果 用p i d 控制器，则本方法可以很好的克服传统p i d 控制器参数调节问题，使工 程师从繁琐的参数调节工作中解脱出来，实现系统的智能控制。多模型方法的 介入可以提高系统的暂态响应，而且可以覆盖系统对象模型的不确定性，另一 方面利用m 2 s p s a 算法不需要对对象进行辨识，而是直接利用系统对象的输入 输出数据对系统控制器进行设计。 同时，本文提出的虚拟参考多模型随机逼近自适应控制器，力求能很好的 克服单自适应控制器因为系统参数初始值与最优值之间相差很大时，带来的暂 态性能下降以及系统的稳定和收敛等问题，其具体优点为： 1 ) 不需要事先给定参考信号，参考信号通过系统的输出和参考模型的逆运 算获得，具有更好的可行性： 2 ) 参数空恻采用了多模型描述，因而可通过恰当的扩充模型来细化建模， 4 第一章绪论 并通过增加自适应模型来减少最小固定模型的限制： 3 ) 利用计算机数字控制，可以通过实时的增减或变更模型来增强自适应的 变结构能力； 4 1 算法具有明显的并行结构，便于有效的并行运算； 5 ) 利用系统输入输出数据的测量值对系统的控制器进行直接设计，不需要 进行系统对象的参数辨识。 本文研究工作主要分为两部分：即随机逼近算法的研究和多模型控制方法 的研究。第二章介绍了随机逼近算法的历史，特点，研究随机逼近算法收敛性 的方法，特别对同步扰动随机逼近算法的基本理论及其发展的现状和应用前景 作了比较深入的研究。第三章主要介绍并研究了多模型方法的历史，现状，多 模型在非线性系统的应用。第四章是本文的重点，它从矩阵条件数和自适应同 时扰动随机逼近算法的关系出发，对m 2 s p s a 算法进行了研究。并对它在不同 一般工业对象上进行了仿真试验。第五章总结了本文提出的基于m 2 s p s a 算法 的虚拟参考多模型控制方法的特点，指出其理论和实际应用的意义。同时指明 了这种方法存在的问题以及需要改进的地方。 本文的主要创新之处： 1 根据h e s s i a n 矩阵在自适应同时扰动随机逼近算法中的地位，研究了 h e s s i a n 矩阵条件数和自适应同时扰动随机逼近算法的关系，并对自适 应同时扰动随机逼近算法进行了改进。 2 基于多模型方法和m 2 s p s a 算法，设计了一种基于m 2 s p s a 的虚拟参 考模型自适应多模型控制器，并对其在工业过程控制中进行了数字仿真 试验。 第二章随机逼近算法的研究 第二章随机逼近算法的研究 2 1r m 与k w 算法简介【1 3 】 随机逼近算法可以理解为利用观测值估计未知函数的极值或未知方程解的 自适应问题求解技术。它起源于2 0 世纪5 0 年代出r o b b i n s 和m o n r o 所提出的 求未知函数零点的一个递推算法( r m 算法) 以及此后k i e f e r 和w o l f o w i t z 等人 对有关未知函数极值问题的研究。随机逼近理论近几十年来得到了飞速发展， 已成为数理统计与人工智能的交叉分支，并已广泛的应用于系统辨识、自适应 控制、模式识别、自适应滤波、神经元网络等领域。 对许多实际问题和理论问题的研究，常常归结为一个非线性方程组的求根 问题，而且很久以来，人们发展了不少逐次逼近的数值解法。但是，在很多实 际问题中，人们并不知道方程中非线性函数的形式，只可以对给定的自变量值， 带随机误差的量测到其函数值。在这种情况下，怎样去求这个未知的非线性函 数的零点，是一个从实践到理论都很重要的问题。 设未知函数h ( a 1 ：r 。一r 。( 函数形式未知) ，其零点为口o ，即 h ( 0 0 ) - 0 ，( 2 - l 一1 ) 对 ( ) 可以在任意点日进行测量，但测量值带有误差。若日。为第n 次测量时取 定的自变量值，则函数的观察值为 x + 1 一| i l ( 疗。) + 。“，( 2 1 2 ) f ) 是测量误差序列，可依赖日。， ( - ) 也常称之为回归常数。用数列 口。) 和 x 。) 求回归函数的根8 0 ，这就是随机逼近问题。 1 9 5 1 年，r o b b i n s 和m o n r o 首先提出并研究了一种随机逼近算法，他们取 数列 y 。为增益系数： ”o ，y t m ，y ：c m ， ( 2 1 3 ) 对日。的第n + 1 次逼近为：吼“一日。+ y 。x ，( 2 - 1 - 4 ) 其中x 。由式( 2 1 2 ) 定义，这就是著名的r o b b i n s - - m o n r o ( r m 算法) ，当时 他们讨论了 。) 相互独立，d = l ， ( ) 严格单调的情形，并证明了 6 第二章随机逼近算法的研究 e k 一00 1 2 0 ( n 一* ) 增益系数 y 。 又称为步长因子，性质( 2 1 3 ) 对随机逼近算法和其他某些随机 递推算法都是必要的。条件y ；c * 的实质是y 必须趋于零也就是每步修正 量应越来越小，直至把量测误差的影响慢慢压制下去，使y 。一o ( n 一* ) 。但 是y t o 。又表明，y t 趋于零的速度不能太快因为若y tc * ，这时即使 f 。- 0 ， ( - ) 一致有界忙( ) 1 l tc ，那么 摹恢+ ，一吼0 5 ；r t ( 吼州s 。；r t 这表明增量归。一日。i l 之和与初值氏无关的一致有界，因而当初值口。与口。相距很 远时，吼不可能逼近口。即使有极限也不是口。，故必须有y t m 。 1 9 5 2 年k i e f e r 和w o l f o w i t z 从r m 算法出发研究求未知函数 o ) 的极值的 算法问题。如果能直接量测 ( ) 的导数 ( ) 那么问题就归结为上面的r m 算法 ( 即求| i l ) - 0 的根) 。但有时只能量测 ( ) 本身，只好利用 ( ) 的量测值的差商去 估计 ( ) 的导数值 ( ) 这就是k w 算法的基本思想。设 ( 口) 的测量结果如式 ( 2 - 1 - 2 ) 所示，则k w 的递推算法为 日_ “一日“i ；【垒5 望二二：! 1 1 掣+ 甲一+ ，c 8 n m ，】。：。， 三口v 。h ( o 。) + 1 2 妒。+ 。( 口，) 式中，+ 。( 口，甜) t。( p 。+ c 。，) 一e ( 口。一c 。，山) 口。 o ，c 0 ， v n 苫0 扣m ，雅卜。 2 2 同时扰动随机逼近( s p s a ) 算法 2 2 1 引言 第二章随机逼近算法的研究 同时扰动随机逼近算法最早是由s p a l l 在1 9 8 7 年提出的，他在1 9 9 2 年对该 方法进行了完整的讨论。它是基于标准k w 算法发展起来，为了解决标准k w 算法对高维系统的不适应性的一种算法。如绪论中所述，在标准k w 算法上发 展起来的算法有：有限微分随机逼近，随机方向随机逼近和同时扰动随机逼近 三种算法。s p s a 逼近算法是三种算法中最好的一种。三者之间的具体比较见后 文。近年来，国内外相当多的学者已对此方法在生物医学、自动化、网络、经 济，交通等领域的应用进行了许多研究，并取得了一些成绩。s p s a 算法的最大 的特点是减少优化的代价，特别是对维数很大的系统其性价比就更高。 2 2 2 同时扰动随机逼近算法 s p s a 控制算法方法是标准k w 算法的一种改进形式，它的优势是可以只 用标准k w 方法的1 p 的数据就能得到其它方法相同精度水平的估计准确度( p 是自变量维数1 。以下是对其具体方法的介绍。 考虑寻找如下微分方程的根的问题： g ( 8 ) 。业0( 2 2 1 ) a 口 其中l ：辨，一班是某一可微的能量函数，在只能观测到l 的带有噪声的数 据时，就可以使用一般的k w 或b l u m 型的随机逼近方法来解决。但如果自变量 的维数p 较大或者很大，上面的经典的k w 方法就不行了。因为这些方法在回 归过程中的每一步都要用到2 d 个带有噪声的测量值，如此庞大的数据会使计算 速度下降而丧失控制的实时性，从而失去了实际意义。而s p s a 方法在这种情况 下只需要l 的2 个测量值即可。这是因为它的回归过程是建立在“同时扰动”微 分估计的基础上的。对上述的微分方程求根问题，令反代表在第k 次回归的p 的 估计值，雪p ) 为g ( o ) 的“同时扰动”估计，同时扰动随机逼近算法的标准形式 ( i s p s a ) 如下： 吼+ ，- 吼一口雪i ( o k ) ，k 一0 ，l 2 ， ( 2 - 2 2 ) i 其中，口t 满足：口t o ，口t = o ，磊吼，乏a t 2 0 ，当k 一时，口t o ，c 。一0 ，且有： 弘，塞单2 t * ( i i ) 对讹和一些d 。，口i ，a 2 0 ，有e 2s a 。，e l ( 6 , 五t ) 2s 口l 且：s 口2 ( f 1 ，2 ，p ) 。其中五 一c i i 。 ( i i i ) 对v 七，慨0 t m 几乎处处成立。 ( ) 0 是微分方程出( r ) 出g ( 砷的一个渐进稳定解。 ( v ) 令d p ) 一协。：；墅石( f k ) - 口) 其中工( f k 。) 表示条件( ) 中微分方程 基于初始值工。的解( 或者说，d ( o ) 是引力域) ，存在一个紧集s d ( o ) 使得 对于几乎所有采样点都有无限经常的反s 。 1 0 第二二章随机逼近算法的研究 下面我们就给出反收敛的定理。 定理2 2 1 旧令( i ) 一( v ) 和引理2 2 1 的条件成立，那么，当t m 时，或一0 几乎对所有的n ，q 成立。 上面讨论了喜。) 的偏差和文的收敛性，下面再来看反的渐进性质。 利用f a b i a n ! “1 的结果，下面定理将给出文的渐进性质。该定理考虑的是标 准形式的增益口。一a k 。和c 。c k7 ，其中d ，c ，d ，y ，0 ，而且，它还依赖于如下 的条件( 1 1 ) ( ( 1 1 ) 的强化形式) ： ( i i ) ： 对于v 七和一些6 ，口。，a 2 ) 0 有k 2 r 6 墨， e 仁p 。五。1 2 ”s a 。且l 。| - 2 6s a ：( f 。1 2 ，p ) 。 其中 瓦一c a i 。 最后，令h ) 代表l p ) 的h e s s i a n 矩阵，这里还用到了【1 4 】中的一些表示方法。 定理2 2 2 1 5 l 假设引理2 2 1 和定理2 2 1 的条件成立，其中的( 1 i ) 强化为( 1 1 ) 。 令盯2 ，p 2 和亭2 可使如下几式成立：研( 一：一1 ) 2 慨】一口2 几乎处处成立；对v f ， 当女一。时有一p2 和e 0 5 2 。另外，对v k 足够大和几乎所有的， 令序列怛【( 一e ) 2 k ，五。叩】一盯2 在r l 一0 等度连续且在一些紧的、包含 否。的相关集合上的r l 中是连续的。而且，令：芦t 口一2 r ，o ，3 y - a 2 苫0 ，尸为 正交矩阵并有删p ) p 7 一口d i a g ( z t ，a ：，a 。) 成立。那么： 女4 2 ( 坑一口) 坐一( p ，p m p 7 ) ，当t 一。时 其中，m 5 d i - a2 c - 2 0 2 j d 2 d i a g ( 2 z 一声+ ) 一，( 2 a ，一芦+ ) 一1 】，这里若口1 1 则 卢+ 一卢 0 胪1 ( 口日( 臼) 一昙) 一r 3 y a 2 ，o 第二章随机逼近算法的研究 其中t 的第，个分量为：一言。c 2 亭2 l o ，+ ，考叠c 8 ，】 2 2 3 同时扰动随机逼近算法的几种变形 同时扰动随机逼近算法的关键是梯度的估计值，所以它的第一种变形就是 采用平均值形式的梯度，平均的方式可以是直接平均也可以是加权平均。采用 直接平均的同时扰动随机逼近算法可见于文献【5 1 。具体来说，就是用几个独立的 同时扰动逼近在每步迭代中的平均值来对雪。( ) 进行估计，这时( 2 2 4 ) 5 h l 约雪。( ) 就变成了如下形式： 营。p ) 叫1 妻营 n 伉) ( 2 - 2 5 ) 上式中每一个雪：n ( ) 都是根据一对与其他观测值相对独立的观测值由 ( 2 - 2 - 4 ) 式计算出来的，所以这里会用到2 q 个观测值。加权平均的同时扰动随 机逼近算法是指通过对先前时刻和当前时刻的梯度估计值的加权平均来对梯度 的估计进行修正，这种方法的详细讨论见s p a l l 和c r i s t i o n 的文献 1 5 1 。 同时扰动随机逼近算法的第二种变形也是与梯度估计值相关的变形，它只用 一个测量值来进行梯度逼近( 见文献【7 】) 。它的与( 2 2 4 ) 相对应的梯度估计如下： 豇( 反) 。盥 c ( 2 2 6 ) 其中，y 。一l ( 反+ c 。) + 。使用两个渊量值的标准的同时扰动随机逼近算法 和只用一个的测量值的同时扰动随机逼近算法各有各的特点，实际中应采用何种 方法应视具体情况而定。但总的来说，更倾向于两个测量值的标准算法，理论 和实践都证明，这种算法更有效，鲁棒性更强，而只用一个测量值的算法虽然 所需测量值少，但是它对系统内部信号产生过程的微小变化和初始值的选择比 较敏感。当系统的采样值波动很大时，一个测量值的方法有其独特的优越性， 此时，由于两个钡4 量值之间的变化很大，应用两个测量值的标准方法变得很困 难，而一个测量值的方法只基于一个瞬时值来逼近梯度，在这种情况下它更有 效。 另一种是受限问题，受限问题，顾名思义，就是对普通的随机逼近法加入 一些额外的附加条件，例如：可调参数0 的值有可能被限制在某个指定的区域中。 第二章随机逼近算法的研究 文献【8 】讨论了利用同时扰动随机逼近算法解决受限最优化问题。 2 2 4 同时扰动随机算法与其它几种方法的比划1 司 在多变量k w 形式的随机逼近算法中，依据发展顺序，主要有三种典型的 算法：有限微分随机逼近算法( f d s a ) ；随机方向的随机逼近算法( r d s a ) ：同时 扰动逼近算法( s p s a ) 。下面首先简单介绍一下有限微分随机逼近算法和随机方 向的随机逼近算法。 有限微分随机逼近算法用有限微分去逼近每一个梯度的独立分量。若用e 。 和爵( ) 分别表示有限微分随机逼近算法的参数估计值与梯度估计值，兑表示测 量值。对于一个给定的正的标量c 。，有限微分随机逼近算法的定义如下： 聪，。剖 l r 、 一， 一、i 其中：奠7 + t 三( 反+ c 。“。) + ? + ， 铿一- l 皈一c k “。) + ( 2 2 7 ) ( 2 - 2 8 ) ( 2 2 - 9 ) 其中“，是这样一个矢量，它除了第f 个分量为1 外，其它分量均为o 。表 示系统测量噪声，满足对v 七，e l “一e i - ) 阮卜0 几乎处处成立，其中的 * ( 目。，一。，1 。，一。) 。 有限微分随机逼近算法在复杂的系统中很难使用，这是因为它在每一步迭 代中都要使用两倍于维数的测量值，而实际的生产过程很难满足它所要求的这 么大量的测量值。因此，希望找到只需少数测量值就能对梯度进行逼近的算法， 随机方向的随机逼近算法和同时扰动随机逼近算法就是应这一要求发展起来 的。 随机方向的随机逼近算法在每一步迭代中，只需要两个测量值就可以进行 梯度逼近，每一个测量值都是在0 。c 。6 。的基础上得到的，这里的6 。代表随机 扰动，由满足随机方向算法要求的统计分布组成。随机方向的随机逼近算法的 梯度逼近如下式： 岳t 佤) 2 去【歹：”一一- ) 】( 2 - 2 - 1 0 ) 第二章随机逼近算法的研究 其中： 歹i 2 一l ( 瓯c 1 6 t ) + 。( 2 - 2 - 1 1 ) 这里的e p 。6 j 】一，v 七。 以上简单介绍了有限微分随机逼近算法和随机方向随机逼近算法，下面就 分别从收敛条件，相对准确性和相对有效性这几个方面对这三种k w 形式的随 机逼近算法进行比较。 首先，来看一下这三种算法的收敛条件。在一定条件下，这三种算法在l 的微分是等度连续有界的条件下都收敛。f d s a 算法在满足下述条件的情况下收 敛： c i ：v k t 如一。 一。；私，耄e ，_ m 。 c 2 ：s u p | 阮i i cm 几乎处处成立。 c 3 ：0 + 是微分方程d 譬( t ) d t 一g ( x ) 的一个渐进稳定解。 c 4 ：d ( o ) t 氏： i 粤o ( t o 。) - 口+ o ( t l o 。) 为以吼为初始条件的c 3 中的微分 方程的解。 上述四个条件也都属于r d s a 算法和s p s a 算法的收敛条件，除此之外， 这两种算法还要求它们的随机序列满足一定的条件以确保收敛。对v f ，随机方 向算法中的6 。，必须满足如下条件c 5 。 c 5 ：v k ， 6 1 6 f 】= ， ：q 2 】s a 。；e p ：夕( 玩- - c t 6 ) 2 】s 1 ) 1 ，i1 1 ，2 ，p 其中o u ，a l 0 。 对v f 同时扰动算法中的a 。必须满足如下条件c 6 。 c 6 ：v k ，e d 。2 】a 。；e 【岁( 百- - - c 。) 2 】s 口，e a g s a 2 ，f 一1 , 2 ，p 其中口o ，口1 ，口2 0 接下来看一看这三种算法的相对准确性和相对有效性。对每个算法利用相 同数目的测量值而算出的均方差的大小是衡量相对准确性的标准。f d s a ，r d s a 和s p s a 这三种随机逼近算法的最小的均方差( 见文献【1 6 】) 分别为： 3 n - 2 j ( p s t 2 ) ，3 n 邶( 话f 1 ) ，3 n - 2 3 ( p2 缸1 ) 。 1 4 第二章随机逼近算法的研究 其中p 为系统维数，p 2 、亭2 分别为s p s a 扰动分布的二阶矩和二阶逆矩 s - 6 2 i r p 藏p 1 2 e 。留墨，f ：一i 。茸i ，i 、2 c i 、矗代表r d s a 责法中蚋 对应于定理2 2 2 中的c 、m 、f 值。可以看出r 、p 和亭是由r d s a 和s p s a 中的扰动类型所定义，而t ，、t ：由损失函数决定，且除非t 比f ：大p 倍以上，否 则在相同数目的测量值下r d s a 和s p s a 算法算出的最小均方差比f d s a 的最 小均方差小。 相对有效性是指获得相同精度的条件下，所需数据的数目。如果用石，厅， 分 别代表有限微分，随机方向和同时扰动这三种算法获得相同精度条件下所需数 据的数目，则这三种算法的均方差为： 3 万一2 3 ( p s t2 ) 2 3 ，骑一珈( 1 叫1 ) 拍，3 j 耆邢( p 2 豇1 ) 班。 假设均方差相等，就可以得到这些算法测量值的数目之间的比率万：亓： 。 所以我们的结论是：与一般梯度算法相比，f d s a 算法的优点是并不要求知 道被优化的参数与被优化的目标( 回归) 函数之间详细具体的函数关系，从而 使应用范围变的更广，但注意到每一步迭代时的测量值与维数有关，当被优化 的参数维数p 很高，每次估计需要2 p 个测量值，即使在迭代次数不多的情况下， 计算机也被占很大内存，这样就使得计算无法进行到预定的目标。在通常条件 下，在维数p 较高的情况下，r d s a 要优于f d s a 算法，但对于一般较低的维数， r d s a 并不比f d s a 算法好。当具有相同数目的数据时，s p s a 算法比f d s a 和 r d s a 算法具有更小的均方差：当f d s a 算法和s p s a 算法具有相同水平的均方 差时，f d s a 算法比s p s a 算法需要更多数据。因此一般认为s p s a 算法是三种 算法中最优的一个。 2 3 自适应同时扰动随机逼近算法 自适应同时扰动随机逼近( a d a p t i v es i m u l t a n e o u s p e r t u r b a t i o ns t o c h a s t i c a p p r o x i m a t i o n ，简称a s p s a , 又称2 s p s a ) 算法是以同时扰动随机逼近算法为基 础而发展起来的一种收敛效果更好，实用意义更强的新方法。s p a l l 的文献【1 7 】对 该方法进行了详尽的讨论。 自适应同时扰动方法的思想简单，它的目的是建立两个平行的回归过程， 一个用来估计参数口，一个用来估计h e s s i a n 矩阵日) ，第一个回归过程与 n e w t o n - - r a p h s o n 算法的随机形式类似，第二个回归所产生的h e s s i a n 矩阵的估 计值又为第一个回归所用。所有参数一起改变的同时扰动的思想也被用于第二 第二章随机逼近算法的研究 个回归中产生h e s s i a n 矩阵的估计值的迭代过程的每一步。因此在k w ( 微分值 不可测) 情况下，每步迭代只需) ，( ) 的四个观测值就可估计出微分营( ) 与h e s s i a n 的矩阵h ( 8 ) 。 2 3 1 自适应同时扰动算法的基本形式( 假设系统为p 维的) 自适应同时扰动算法由两个平行的回归过程组成，这两个回归过程如下： 0 - 吼一a k h i l g i ( 以) ，h 一h i ( h t )( 2 3 - l a ) 玩一南玩_ i + 击也加。船( 2 - 3 一l b ) 其中，n 。是非负的标量增益系数，伉( 文) 是与雪。( 反) 有关的输入信息( 在 k w 条件下，就是测量值y ( ) 的微分逼近蟊随) ) ，h 。：m 一一 j y 舞f f = p x p 矩阵 是用来解决瓦为非正定问题的映射，疗。是每步迭代中对h e s s i a n 矩阵的估计。 方程( 2 3 一l a ) 是著名的确定性搜索和最优化问题的n e w t o n - - r a p h s o n 算法在随 机情况下的模拟，方程( 2 - 3 1 b ) 用来计算每步迭代中的h e s s i a n 矩阵的估计值 的采样均值。 下面就来看看每步迭代中的h e s s i a n 矩阵的估计值疗。与基本的同时扰动 随机逼近算法一样，令c i 为正的标量( 也符合1 s p s a 中的条件) ，a 。筑，。，为 由用户产生的满足一定条件的任意向量( 也与1 s p s a 相同) ，可得到h e s s i a n 矩 阵的估计值如下： 盱引采+ ( 罴) r 】 哗， 其中：c 1 3 。= g f l ( 反+ c t i ) 一g 1 ( 反一c k 。) ， 这里的g p ( 文t c 。) 定义如下： g 州。托。) = 塑芷坐d 警上监兰剑 c t ( 2 - 3 3 ) 由上式可以看出，基本的k w 型的自适应同时扰动算法每步迭代要用到四 个y ( ) 的观测值，他们分别是) ，( 反- - - - - c 。a 。) 和y ( 反- - c 。+ 瓦五。) ，这里的 五。一( 五：，五1 1 2 ，五己) 7 与a 。依据同样的统计方式产生，但它应与。相互独立，t 满足的条件也与c k 类似。在逼近微分g 。( 反) 时用到了两个观测值) ，( 反- - c 。a 。) ， 1 6 第二章随机逼近算法的研究 满足的条件也与c 。类似。在逼近微分g 。( 反) 时用到了两个观测值y ( 反t c 。a 。) 其中的定义与基本的s p s a 相同，在逼近g f ( 反t c 。) 时，上述的四个观测值 全部用到。 2 3 ，2 自适应同时扰动随机逼近算法的收敛性 对任何一种算法，其收敛性是我们关心的首要问题。如果一个算法虽然收 敛，但