（固体力学专业论文）计及执行器饱和的拟哈密顿系统的非线性随机最优控制.pdf

浙江大学博士学位论文 摘要 摘要 本论文主要研究了计及执行器饱和的拟h a m i l t o n 系统以响应最 小为目标的非线性随机最优控制。对于执行器饱和的多自由度拟不可 积与完全可积h a m i l t o n 系统，先运用随机平均法得到部分平均的i t 6 随机微分方程，然后对该方程运用随机动态规划原理建立动态规划方 程，最后求解动态规划方程确定最优有界控制力。对执行器饱和的部 分观测的非线性系统，用一部分控制力使系统满足c h a r a l a m b o u s 和 e l l i o t t 定理的条件，从而将该部分可观测系统的控制问题转化成有限 维的完全可观测线性系统的控制问题，再运用随机平均法与动态规划 原理确定最优有界控制力。对于滞迟系统，采用b o u e w e n 模型，先 将滞迟力分解为等效的非线性弹性力与非线性阻尼力两部分，用分解 后的非滞迟非线性系统代替原来的滞迟系统，然后再运用随机平均法 与动态规划原理确定滞迟系统的最优有界控制力。对上述各种情形， 通过求解f o k k e r - p l a n c k k o l m o g o r o v 方程得到了控制前后系统响应的 概率与统计量。研究结果表明，本文提出的控制策略具有较高的控制 效果和控制效率。 a b s t r a c t t h es t o c h a s t i co p t i m a lc o n t r o lf o r m i n i m i z i n gt h em s p o n s eo fq u a s i h a m i l t o n i a n s y s t e m s w i t ha c t u a t o rs a t u r a t i o ni s i n v e s t i g a t e d f o r m u l t i d e g r e e o f - f r e e d o mq u a s in o n - i n t e g r a b l ea n di n t e g r a b l eh a m i l t o n i a n s y s t e m sw i t ha c t u a t o rs a t u r a t i o n ，t h e p a r t i a l l ya v e r a g e d i t 6s t o c h a s t i c d i f f e r e n t i a l e q u a t i o n sa r ef i r s to b t a i n e db yu s i n gt h es t o c h a s t i ca v e r a g i n g m e t h o d ，t h e nt h ed y n a m i c a le q u a t i o ni se s t a b l i s h e d b yu s i n gt h es t o c h a s t i c d y n a m i c a lp r o g r a m m i n gp r i n c i p l e ，a n df i n a l l yt h eo p t i m a lb o u n d e dc o n t r o ll a w i so b t a i n e db ys o l v i n gt h ed y n a m i c a l e q u a t i o n i nt h e c a s eo fp a r t i a l l y o b s e r v a b l en o n l i n e a rs y s t e m sw i t ha c t u a t o rs a t u r a t i o n ，t h ep a r t i a l l yo b s e r v a b l e c o n t r o lp r o b l e mi s 缸s tc o n v e r t e di n t oc o m p l e t e l yo b s e r v a b l ec o n t r o lp r o b l e m o fl i n e a rs y s t e mo ff i n i t ed i m e n s i o n b yu s i n gc h a r a l a m b o u sa n de l l i o t tt h e o r e m t h eo p t i m a lc o n t r o ll a wi st h e no b t a i n e db y u s i n gs t o c h a s t i ca v e r a g i n gm e t h o d a n ds t o c h a s t i c d y n a m i c a lp r i n c i p l e f o rh y s t e r e t i cs y s t e mw i t ha c t u a t o r s a t u r a t i o n ，t h eh y s t e r e t i cf o r c ei sr e p r e s e n t e db yu s i n gb o u c w e nm o d e la n d s p l i ti n t on o n l i n e a re l a s t i cr e s t o r i n gf o r c ea n dn o n l i n e a rd a m p i n gf o r c e t h e n ， t h e o r i g i n a lh y s t e r e t i cs y s t e mi sr e p l a c e db ya e q u i v a l e n t n o n l i n e a r n o n h y s t e r e t i cs y s t e m f i n a l l y , t h eo p t i m a lc o n t r o ll a wf o rh y s t e r e t i cs y s t e m si s o b t a i n e db y u s i n gs t o c h a s t i ca v e r a g i n gm e t h o da n ds t o c h a s t i cd y n a m i c a l p r i n c i p l e f o re a c hc a s e ，t h ep r o b a b i l i t ya n ds t a t i s t i c so ft h er e s p o n s eo f u n c o n t r o l l e da n d c o n t r o l l e d s y s t e m s a r eo b t a i n e d v i a s o l v i n g t h e f o k k e r - p l a n c k k o l m o g o r o ve q u a t i o n t h e o r e t i c a lr e s u l t sa r ec o n f i g u r e db y u s i n gt h er e s u l t sf r o mm o n t ec a r l os i m u l a t i o na n db o t ht h et w or e s u l t ss h o w t h a tt h ep r o p o s e do p t i m a lc o n t r o ls t r a t e g i e sa r e v e r ye f f e c t i v ea n de f f i c i e n t 1 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者繇i 宦界彳签字日期2 0 0 7 年1 0 月3 0 日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 权迸姿态堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 虢宦啄矸 签字日期：2 0 0 7 年1 0 月3 0 日 学位论文作者毕业后去向： 工作单位： 通讯地址： e m a i l 地址 导师签名： 和 签字日期：2 0 0 7 年1 0 月3 0 日 电话： 邮编： 浙江大学博士学位论文 第一章绪论 第一章绪论 1 1 随机最优控制概论 1 1 1 引言 随机控制理论的发展是与随机过程理论的发展密切相关的。随机过程理论产 生于2 0 世纪初期，是为适应物理学、生物学、通信与控制、管理科学方面的需要 而发展起来的。最初在布朗运动、电话信息量和电子管的散粒效应噪声等问题的 研究中取得了成果。1 9 3 1 年，科尔莫戈罗夫( k o m o g o r o v ) 奠定了随机过程的数 学理论基础。1 9 5 3 年，杜布的著作随机过程论论述了随机过程的数学理论。 以后，有关随机过程理论与应用的著作大批出现，并取得了丰硕的研究成果。1 9 5 1 年，伊藤( i t 6 ) 发表了论随机微分方程一文。随后，对随机微分方程的研究 得到了广泛重视，并渗透到很多领域。随机过程的研究与发展，为随机控制的发 展提供了理论基础。 随机最优控制理论起源于维纳( w in e r ) 与科尔莫戈罗夫( k o m o g o r o v ) 发展 起来的滤波与预测理论。滤波与预测理论使从信号加噪声的观测中抽取有用信号 成为可能，是随机系统理论的一个重要部分，具有重大的理论价值。但是由于维 纳一科尔莫戈罗夫理论需要求解一种难以求解的积分方程，所以未能得到广泛应 用。1 9 5 6 年庞特里亚金( p o n t r y a g i n ) 提出的极大值原理 1 ，1 9 5 7 年贝尔曼 ( b e l l m a n ) 提出的动态规划法 2 ，以及1 9 6 0 年卡尔曼提出的滤波和预测理论使 随机控制理论有个重大突破。随着数字计算机的广泛应用加速了随机控制理论的 发展。卡尔曼与布西( b u c y ) 1 9 6 0 年提出了求解滤波与预测问题的递推算法，对 滤波与预测理论做出了特殊贡献 3 - 5 。1 9 6 8 年洪拉姆( w o n h a m ) 提出了分离定 理 6 ，根据分离定理可把线性随机控制问题化为两部分分别求解，一部分为状态 估计器，另一部分为求解最优控制策略。还可以证明，随机最优控制策略与确定 性最优控制策略是相同的，这就是确定性等价原理。目前该理论尚处于发展阶段。 随机最优控制理论主要研究扩散过程的m a r k o v 反馈控制。控制的对象模 型化为扩散过程，用i t 6 随机微分方程描述。控制器从满足约束条件的所有可能 浙江大学博士学位论文 第一章绪论 的控制中选出最优的，使控制后的系统达到预定目标的最优期望结果。随机最优 控制理论目前主要应用金融、物理、生物、工程、管理等科学领域。p o n t r y a g i n 的极大值原理与b e l l m a n 的动态规划是解决随机最优控制问题的两个基本方法。 极大值原理说，任意最优控制连同最优系统状态轨迹可通过求解增广h a m i l t o n 方程组得到，该方程组包括原受控系统方程及其初始条件，伴随方程及其终时条 件，以及h a m i l t o n 函数的极大值条件。极大值原理将无限维的最优控制问题化 为比它简单得多的函数的极大值问题。 动态规划的基本思想是，考虑具有不同初始时刻与初始条件的一组最优控制 问题，并用动态规划方程( h a m i l t o n - j a c o b i b e l l m a n 方程或简称h j b 方程) 将它 们联系起来，由该方程中相应的h a m i l t o n 函数取极小值或极大值条件确定一个 最优的反馈控制律，将此最优控制律代回动态规划方程得最后动态规划方程，再 求解最后动态规划方程得最优控制。古典的动态规划方法要求动态规划方程具有 古典解，即足够光滑的解。然而，对随机最优控制问题，当扩散矩阵奇异时，动 态规划方程都没有古典解。上世纪8 0 年代初，c r a n d a l l 与l i o n s 7 首先引入了粘 性解的概念，使动态规划方法成为解决最优控制问题的强有力工具。 极大值原理与动态规划乃分别独立地发展起来的。然而，它们是解决同一问 题的两种不同方法，极大值原理中的扩展的h a m i l t o n 方程组与动态规划中的h j b 方程组是等价的，前者之解可用所谓四步法用后者直接表示，反之，后者之解可 通过广义的f e y l m l a n k a e 公式用前者表示 8 】。 对随机最优控制问题，动态规划方法较为有效，因为目前关于h j b 方程之 解的理论 9 1 1 】与数值解法 1 2 】已有较多的研究成果，而对极大值原理中前向- 后向随机微分方程组之解的研究尚处于初始阶段。 1 1 2 随机最优控制问题的提法 随机最优控制问题的提法包括以下几个方面：受控系统运动方程，对控制所 施加的约束，性能指标及控制时间区间等。 一、受控系统运动方程 设受控系统运动方程用如下h 6 随机微分方程表示 2 浙江大学博士学位论文第一章绪论 趣叩= m ( x , u , t ) d t + 口( x u ，) 皿( ) ，7 e ，t a( 1 1 1 ) x ( t o ) = x o 式中x ( t ) 为以维矢量系统状态过程；b ( t ) 为m 维矢量标准w i e n e r 过程。 u ( r ) = u ( x ( r ) ，r ) 为，维矢量m a r k o v 反馈控制过程；f o 为初始时刻；f ，为控制终了 时刻；m 与仃分别为给定的刀维矢量函数与n x m 维矩阵值函数，满足解存在与 唯一性条件。 二、控制约束 控制常受到某种约束，其形式取决于控制器。一种约束形为 u u ，u c r 7 ( 1 1 - 2 ) 它表明所有控制过程的样本属于集合u ，可解释为对控制力大小的限制。另一类 可能的约束形为 e 咿，) l d t k ( 1 1 - 3 ) 式中y o ，u o o 为常数，e 【】为期望算子。y = l 时，( 1 1 - 3 ) 可解释为对平均 总控制动量的限制。y = 2 时，它可解释为对平均总控制能量的限制。还可有其 他形式的控制约束。凡满足控制约束的控制称为可实现控制。而使( 1 1 1 ) 有唯 一解的可实现控制称为允许控制。 三、性能指标 最优控制的目标常用一个泛函的极小或极大来表示，该泛函称为成本泛函或 性能指标。对随机最优控制，受控系统的状态与控制皆为随机过程，该泛函则为 随机变量。因此，性能指标取为该泛函的数学期望。 对固定的有限时间区间控制问题，性能指标通常形为 ，( u ) = e g 厂( x u ，沙+ g ( x ( 。) ) ( 1 1 4 ) 式中与g 为给定函数，分别称为流动成本与终时成本。厂与g 同不为零时，控 s u i 洒- j 题( 1 1 - 1 ) 与( 1 1 - 4 ) 称为b o l t z 问题；厂0 ，g = o 时称为l a g r a n g e 问题； f = o ，g o 时称为m a y e r 问题。令 浙江大学博士学位论文 第一章绪论 乏稿几r ) ( 1 1 - 5 ) 以+ l 瓴) = o 可将b o l t z 问题化为m a y e r 问题。此时，受控系统运动方程由( 1 1 1 ) 与( 1 i 5 ) 组成，维数为n + l ，而新的性能指标为 正( u ) = e g ( x ( o ) ) + 以+ 。( r ，) ( 1 1 6 ) 对半无限长时间区间上的随机最优控制问题，可考虑折扣成本泛函，此处只 考虑遍历控制。对于长时间后能达到平稳遍历状态的系统，例如，m 、仃、i l l 皆不 显含，或为f 的周期或概周期函数时，最终的稳态分布与受控系统的初始状态无关， 可考虑如下长期运行的平均性能指标 m ) = n l i r a 。1 f 椰e r f ( x ，u ，) 西 ( 1 1 7 ) 相应的控制问题称为遍历控制。 对定义在有限域d c r ”上的受控系统，性能指标中的积分上限可为系统首 次越出d 的时间 r = i n f ( t o ，x ( r ) 仨d ) ( 1 1 - 8 ) 彤表示下确界，当该值确能达到时，可代之以m i n 。相应的性能指标形为 j ( u ) = e ：厂( x ，u ，f ) 衍+ g ( x ) ) ( 1 1 - 9 ) 产1 ，g = o 时，( 1 1 9 ) 表示平均首次穿越时间 ，( u ) = e p ( x ，u ) 】 ( 1 1 1 0 ) 性能指标还可为系统停留在有限域d 中的概率，即可靠性函数 ，( u ) = p ( x o ) d ，t o f f ) ( 1 1 1 1 ) 随机最优控制问题，就是在允许控制集合中选取一个控制，在满足( 1 1 1 ) 条件下。使性能指标达到最优( 极小或极大) ，如 ，( u ) - i n f 删j ( u ) ( 1 1 - 1 2 ) 式中口称为最优控制，由最优控制产生的系统状态，即( 1 1 1 ) 之解x ( r ) ，称 为最优状态或轨迹，u 与x ( f ) 则构成最优对。 4 浙江大学博士学位论文第章绪论 1 1 3 随机动态规划方法 随机动态规划方法就是对给定的随机最优控制问题，建立与求解随机动态规 划方程，确定最优控制，然后求解最优状态。 一、值函数 值函数，或最优成本泛函是指作为初始时刻与初始状态的函数的性能指标的 极小值或极大值，它是用动态规划方法分析最优控制问题的一个工具。对不同的 控制问题，它有着不同的含义。 考虑具有不同初始时刻与不同初始状态的一族随机最优控制问题，包括受控 系统运动方程 登0 ) = m ( x ，v ) 西+ 盯( x ，) 谣( s ( 1 1 1 3 ) x ( f ) = x 与性能指标 ，( u ) = e i i f ( x , ) 出+ g ( x ( 伽 ( 1 1 - 1 4 ) 以x 扛( u ，s ) 记在初始状态x 住( u ，f ) = x 下由反馈控制u - u ( x ，s ) 产生的方程 ( 1 1 1 3 ) 之解。在控制约束( 1 1 2 ) 下，值函数定义为 y ( x ，f ) = 赌e f ，厂( x 趣，u ，s ) 幽+ g ( x 压( ，) ) ( 1 1 - 1 5 ) 式中i n f 表示对u 内所有允许控制取极小值，期望算子e 应理解为如下条件期望 算子& ： 丘【f ( y ) 】= l f ( y ) p ( y ，s l x ，t ) d y ( 1 1 - 1 6 ) 其中p ( y ，s i x ，f ) 是扩散过程x 擅( u ，s ) 的转移概率密度。在控制终了时刻，值函数 之值为 v ( x ，o ) = g ( x 红竹) ) ( 1 1 - 1 7 ) ( 1 1 1 5 ) 与( 1 1 1 7 ) 中k 常简记为x 。 对其他随机最优控制问题，可类似定义值函数。例如，对受控系统( 1 1 1 ) ， 浙江大学博士学位论文第一章绪论 在控制约束( 1 1 - 2 ) 下，最大平均首次超越时间( 1 1 1 0 ) 的最优控制问题，值 函数定义为 v ( x ，f ) = s u p e k ( k ，u ) 】 ( 1 1 1 8 ) l i e u 二、随机动态规划方程的建立 随机动态规划方程表示随机最优控制的必要条件，它由动态规划原理导出。 对随机最优控制问题( 1 1 1 ) 、( 1 1 2 ) 、( 1 i - 4 ) ，相应动态规划方程的形式推导 如下。 根据动态规划原理，若u 是某个最优控制问题在整个时间区间p ，0 】上的最 优反馈控制，则u 。具有如下性质：不管时刻，+ 办【，0 】与时间区间【r ，f + 办】上的允 许控制口怎么取，u 必然是同一最优控制问题在时间区间p + 矗，0 】上关于由 f ，f + 厅】上控制口产生的状态x n ( u ，+ 的最优控制。 对随机最优控制问题( 1 1 1 ) 、( 1 1 2 ) 、( 1 1 4 ) ，按值函数定义( 1 1 1 5 ) ， 以v ( x ，f ) 记整个区间【r ，t a 上值函数，以v ( x ( 什j i l ) ，什办) 记区间p + 办，t a 上 值函数。根据上述动态规划原理，有 m ，f ) = 潞e f ，( x ，那) 凼+ g ( x ( 。) ) = 珏e 旷厂( x , u , s ) 凼+ ! ：l 似川出+ g ( x 哆) ) = 臀吐广f ( x ，u ，渺h 如咖删 e f + 厂( x ，u ，s ) 出 + 矿( x ( f + 办) ，f + 厅) ( 1 1 1 9 ) 即 y ( x ( m ) ，+ 办) 卅x 力+ e f + f ( x ， ) 凼 0 ( 1 - l - 2 0 ) 上式除以h ，并取矗哼o + 的极限，有 卅t i m l 矗e t l j 。似，”迹 = 体，町) ( 1 1 - 2 1 ) 假定矿( x ，f ) 对f 一次可微，对工二次可微，注意到值函数是形如( 1 1 1 6 ) 的条 6 浙江大学博士学位论文第一章绪论 件期望，期望括号内是墨f 的函数，而x 满足n 6 方程( 1 1 1 ) 。应用i t 6 微分公 式( 见式( 1 2 - 4 3 ) ) ，可导得 式中 h l - i n l + o + ! h 少( x ( f + 蛳+ 办) 一矿( x ，) = l f i mf 柏降邯c 剐卜 = 一o v + t 矿：d v ( x , t ) o t 1 d t ( 1 1 2 2 ) 驴三勺器+ 鸭鼍 由( 1 1 - 2 0 ) ( 1 1 2 2 ) 得 竺+lxv+厂(x，u，)oot 。、77 另一方面，若在时间区间【，+ 办】也取最优控制u 。，则有 竺+厶矿+厂(x，u。，f)：oot 1 。、77 组合( 1 1 2 4 ) 与( 1 1 2 5 ) 给出 詈一i r r f v 。l = v 坝x ，u 力 ：_ 4 吖( x ，u 力 式中4 是炉砧。时之厶。按( 1 i 1 7 ) ，( 1 1 2 6 ) 须满足终值条件 v ( x ，t ) = g ( x ( t ) ) ( 1 1 2 6 ) 还常写成 一o v fpg(一吃，一vx,x,u,sud ut ) ：0 - - - _ r 一 一 一y 一一 1 2 研 _ 彬 “7， 式中 g ( 一吃，一t ，x ，u ，f ) = 一l = v f ( x ，1 1 , 1 1 ，f ) ( 1 1 2 3 ) ( 1 1 - 2 4 ) ( 1 1 2 5 ) ( 1 1 2 6 ) ( 1 1 2 7 ) ( 1 1 2 8 ) ( 1 1 2 9 ) s u p 表示上确界，当该值确能达到时，可以m a x 代之。( 1 1 2 0 ) 是有限形式随机 动态规划方程，( 1 1 2 6 ) 或( 1 1 2 8 ) 则为微分形式随机动态规划方程，( 1 1 2 8 ) 常称为h a m i l t o n - j a c o b i b e l l m a n 方程( 或简称h j b 方程) 。( 1 1 2 9 ) 中g 称为广 7 浙江大学博士学位论文第一章绪论 义h a m i l t o n 函数。随机动态规划方程( 1 1 - 2 6 ) 或( 1 1 2 8 ) 是一个非齐次的二 阶非线性抛物型偏微分方程。 对自治受控系统，m 、仃、掰均不显含t ，( 1 1 2 8 ) 化为 s u p o ( - v , ，一k ，x ，u ) - - o ( i i 一3 0 ) 它是非齐次的二阶非线性椭圆型偏微分方程。 设( 1 1 1 ) 中m 、盯为t 的周期或概周期函数，( 1 1 1 ) 存在唯一的周期或概 周期的稳态解。考虑遍历控制( 1 1 1 ) 、( 1 1 2 ) 、( 1 1 7 ) ，令值函数 瞰力= 嗡d r ( 厂( x ，町) 一，( u ) ) 出 ( 1 1 - 3 1 ) 由动态规划原理经类似推导得动态规划方程 警一i n f f 。l x w ( x ，吖h ( u ) = _ 。y 一厂( x ，u ，) + 厂 ( 1 1 3 2 ) 式中 厂= ，l i m l 。r f ( x , u , t ) d t ( 1 1 - 3 3 ) 为最优平均成本。当( 1 1 1 ) 为自治系统，m 、仃、f 不显含f 时，y 也不显含， 动态规划方程( 1 1 3 2 ) 化为 i n f 。- l , v + 厂( x ，u ) = 4 y + ( x ，u ) = ， ( 1 1 - 3 4 ) 设q 是( 1 1 1 ) 的安全域，g ( y ，s i x ，f ) 是条件转移概率密度( 从f 到j 始终 保持在q 内的样本函数的转移概率密度) ，则条件可靠性函数为 尺( s 旧) = g ( ”i x ，t ) a y ( 1 1 - 13 5 ) 对系统( 1 1 1 ) 在控制约束( 1 1 2 ) 下的可靠度最大的控制问题，值函数可由 ( 1 1 1 5 ) 中令产0 ，g = l ，i n f 岭s 印，( 1 1 1 6 ) 中p ( y ，s i x ，f ) 代之以g ( y ，j i x ，f ) 得 到，即 y ( x ，) = s u p a q y ，s i x ，) d y , t t i l l 2 ( 1 1 4 3 ) 9 浙江大学博士学位论文 第一章绪论 式中气= ，即二次型吩正定，则称它们为均匀抛物型的，否则，就称 它们为退化抛物型的。对动态规划方程( 1 1 3 0 ) 、( 1 1 3 4 ) 、( 1 1 - 4 1 ) ，若满足 条件 毛( x ，u ) q 哆c l a 2 ( 1 1 - 4 4 ) 则称它们为均匀椭圆型的，否则，就称为退化椭圆型的。对均匀抛物型与均匀椭 圆型动态规划方程，在适度条件下，存在唯一的古典解。对退化抛物型与椭圆型 动态规划方程，只能有粘性解。 一个连续函数v ( x ，) ，称为随机动态规划方程( 1 1 2 8 ) 在终值条件( 1 1 2 7 ) 下的粘性亚解，若 矿( x ，o ) g ( x ( o ) ) ( 1 1 4 5 ) 且对任一个对t 一次连续可微、对x 二次连续可微的函数伊( x ，f ) ，一旦v - q , 在某 点上达到局部极大值，就有 一譬卜s u p g ( 一，一纯，x ，u ，r ) o ( 1 1 4 6 ) 忧 “ 若( 1 1 4 5 ) 、( 1 1 4 6 ) 中的不等号改成“，“局部极大 改成“局部极小 ， 则称v ( x ，r ) 为在终值条件( 1 1 2 7 ) 下( 1 1 2 8 ) 的粘性超解。若v ( x ，f ) 同为粘性 亚解与粘性超解，则称它为粘性解。粘性解还可等价地用所谓亚微分与超微分代 替随机动态规划方程中的微分来定义 1 0 l 。若值函数对t 一次连续可微，对x 二 次连续可微，则只有当它为随机动态规划方程的古典解时，它才能是粘性解。可 见，粘性解是随机动态规划方程的一种广义解，在适度条件下，它也是唯一的 1 0 ， 1 3 】。对机械与结构系统的随机最优控制问题，条件( 1 1 4 3 ) 与( 1 1 - 4 4 ) 常常 不能满足，因此，相应的随机动态规划方程只能有粘性解。 1 1 4 随机最优控制的研究现状 随机最优控制具有广阔的应用前景，但也是具有相当挑战性的课题。经过几 十年，随机最优控制已经有了长足的发展，有了很多重要的研究成果 【2 l ，2 5 ，1 4 9 1 5 0 l 。在工程中，应用最广泛的随机最优控制是线性二次g a u s s ( l q g ) l o 浙江大学博士学位论文 第一章绪论 控f l ；l j 1 3 。然而实际应用中绝大部分系统是非线性的，因此越来越多的专家学者 开始了对非线性系统的随机最优控制的研究。对非线性系统的随机最优控制，一 种方法是先用统计线性化法化为等效线性系统再应用l q g 控制策略 1 4 1 6 】。 s a d d i s 和w a n g 1 7 运用广义h j b 方程研究了非线性随机系统的次最优控制， j u m a r e 1 8 适用更高阶的t a y l o r 展开对该控制策略进行了改进；w e s t m a n 和 h a n s o n 1 9 用动态规划原理方法得到非线性随机系统的最优控制；k r i s h m a n 2 0 】 等用神经网络设计了非线性系统的主动控制策略；c r e s p o 和s u n 2 1 2 2 1 禾u 用广义 胞变换法求解了非线性系统的随机最优控制问题。c r e s p o 和s u n 还提出了另一 种非线性控制方法，采用这种方法，无论系统初始状态如何，系统响应最终都可 到达一个预先设计好的概率密度函数，这实际是一种概率密度函数的稳定化 2 1 ，2 3 。 ， 一个求解非线性随机最优控制问题的强有力的方法是结合随机平均法与动 态规划原理，将原来的随机系统用平均系统代替，再对该平均系统应用动态规划 原理。已经证明，平均系统的最优控制力对原系统来说是准最优的 2 4 】。近几年 中，朱等 2 5 4 5 提出了基于随机平均法 4 6 4 8 和随机动态规划原理的拟h a m i l t o n 系统非线性随机最优控制策略。应用随机平均法可以降低动态规划方程的维数， 并且使系统具有古典解。这些策略已经被应用到响应最小为目标的拟h a m i l t o n 系统反馈控制 4 l - 4 3 】、部分观测线性和非线性系统 2 9 ，4 4 、非线性系统半主动控 锘l j 3 1 3 4 、滞迟系统 2 6 ，3 4 ，4 5 、以稳定度最大为目标的拟h a m i l t o n 系统反馈稳 定化 3 5 3 7 、可靠度最大或首次穿越时间最长为目标的首次穿越最优控匍j 3 8 - 4 0 】 等问题中。该策略一般包含如下步骤：首先应用拟h a m i l t o n 系统随机平均法， 对系统进行部分平均，保持包含控制力的项不变，得出关于系统首次积分的玢 微分方程；再对平均后的i t 6 微分方程应用随机动态规划原理，确定最优控制力； 最后对系统首次积分的i t 6 微分方程中包含最优控制力的项进行平均，可得系统 首次积分完全平均的i t 6 微分方程，求解与此i t 6 微分方程相对应的简化f p k 方 程，可得首次积分的稳态概率密度，最终可以得出最优控制系统响应的统计量。 拟h a m i l t o n 系统随机最优控制策略具有许多优点，随机平均的应用使得动态规 划方程简化、维数降低，使原来退化的动态规划方程变成非退化，从而有古典解。 浙江大学博士学位论文第一章绪论 在文献 2 6 3 2 e ? ，控制力是无界的。然而在工程应用中，执行器在设计的时 候有一定的控制界限，而地震激励和风载荷是随机的，系统所需要的控制力极有 可能超出执行器的控制界限，这就产生了计及执行器的饱和的问题。计及执行器 的饱和会极大影响执行器对系统执行控制的控制效果，因此，越来越多的专家和 学者开始研究计及执行器饱和的系统的随机最优控制问题，并且取得了一些成 果，然而绝大部分是针对线性系统 5 0 5 2 。对于计及执行器饱和的非线性系统的 随机最优控制问题，常用的一种方法是b a n g b a n g 控n 5 3 - 5 9 1 。然而b a n g - b a n g 控制策略具有控制效率较低和产生颤振等缺点。对这些缺点，曾提出一些用来消 除或者减轻颤振的技术1 6 0 6 2 ，h u 和c h i t o u r 提出了执行器饱和的线性系统的线 性反馈控制策略1 6 3 6 4 。近来，应和朱提出了计及执行器饱和的单自由度非线性 拟h a m i l t o n 系统的非线性随机最优控制策略【6 5 】。该策略中最优控制力由两部分 组成：当所需控制力小于执行器界限时，控制力为最优无界控制形式；当所需控 制力大于执行器界限时，控制力为b a n g - b a n g 控制形式。因此，该策略结合了最 优无界控制和最优b a n g b a n g 控制的优点，既满足了控制力有界的要求又提高了 控制效率并降低了颤振。 1 2 受控系统的随机动力学 1 2 。1 受控系统的随机响应 随机最优控制的发展与随机动力学的发展是密切相关的，在利用随机最优控 制理论确定出系统的最优控制力之后，接下来的主要任务就是研究受控系统的随 机动力学特性。随机动力学起源于上世纪初e i n s t e i n 等人对布朗运动的研究 6 6 。其后，因各种工程应用之需要，范围逐渐扩大，包括通讯、航空航天、航 海、土木、机械工程等领域。到上个世纪7 0 年代，线性系统的随机动力学已趋于 成熟。自上世纪中叶开始研究非线性系统的随机动力学。经历了几十年的发展， 已有长足进展，但离科学与工程的实际需求尚有很大距离。 系统随机响应的研究是随机动力学研究的一个中心课题。研究系统随机响应 的一个有效方法是扩散过程理论方法，主要是福克一普朗克一柯尔莫洛夫( 简称 f p k ) 方程法。一个线性或者非线性系统对高斯白噪声激励的响应是一个扩散的 1 2 浙江大学博士学位论文 第一章绪论 马尔柯夫矢量过程( 简称扩散过程) ，其转移概率密度满足f p k 支配。通常，f p k 方程的精确瞬态解很难得到，目前已有的精确瞬态解仅限于线性时不变系统以及 很少量的非线性系统 6 7 。因此，更多的研究集中在寻求f p k 方程的稳态解。 k r a m e r 最先得到一个具有线性阻尼、g a u s s 白噪声外激下的非线性系统的精确稳 态解 6 8 。c a u g h e y 6 9 、c a u g h e y m a 7 0 一7 1 将精确稳态解扩展到具有非线 性阻尼的系统，但仍限于随机外激。y o n g l i n 7 2 、l i n c a i 7 3 、c a i l i n 7 4 找到了一大类具有精确平稳解的系统，这类系统具有广义平稳势，可同时受随机 参激和( 或) 随机外激。朱 7 5 、黄和朱 7 6 、王 7 7 - 7 8 分别求出了一类系统 的精确平稳解。 从2 0 世纪3 0 年代至9 0 年代初所得到的非线性随机动力学系统的精确平稳解 都属于能量等分解。朱将非线性随机动力学系统表示成随机激励的耗散的 h a m i l t o n 系统，并引入可积性与共振性后，得到了五类精确平稳解，其中一类 是能量等分解，四类是能量非等分解，使线性随机动力学系统的精确平稳解与线 性随机动力学系统的g a u s s 解一致起来 2 5 ，7 9 8 4 。 对于实际中大多数的非线性系统，高阶f p k 方程的求解非常困难，难以得到精 确解。克服上述困难的一个有效方法是随机平均法。随机平均法是一种近似方法， 用经过平均后的系统代替原非线性系统，求解平均后的f p k 方程就可得到原系统 响应的近似统计量。经过随机平均后，f p k 方程得到较大的简化，对自治系统以 及非共振情形的非自治系统，平均后的f p k 方程维数能减少至原运动方程的一半， 这就减少了求解f p k 的难度。经典的随机平均法包括：标准随机平均法和能量包 线随机平均法，相关内容参见文献 8 5 9 1 。近年来，朱提出与发展了拟h a m i l t o n 系统的随机平均法 4 6 - 4 8 。按拟h a m i l t o n 系统的可积性与共振性，拟h a m i l t o n 系统可分为：完全不可积、完全可积非共振、安全可积共振、部分可积非共振及 部分可积共振等五类，朱给出了这五类拟h a m i l t o n 系统的平均方程的形式，平 均方程系数的公式，以及求平均方程精确平稳解的方法。该法的优点是可以降维， 在研究多自由度强非线性系统的响应、随机稳定性、可靠性以及随机最优控制等 方面取得了良好的效果，并已经推广到非高斯白噪声激励的情形 9 2 - 9 3 及时滞反 馈控制的情形 9 4 。 1 3 浙江大学博士学位论文 第一章绪论 另外还有一些研究随机系统响应的数值或近似方法，包括数值模拟方法、摄 动法、等效线性化方法( 统计线性化方法) 、等效非线性化方法以及矩函数微分方 程法等。 数值模拟方法是研究非线性随机振动的重要方法之一，其基本思想是从大量 响应样本中获取系统响应的统计特性，该方法适用于任何系统与任何激励，它是 检验各种近似方法的适用性与精度的有效工具，但是用该方法研究一个问题所需 成本太高，计算结果的精度带有随机性。 摄动法首先是由c r a n d a l l 应用到随机系统中 9 5 ，其思想是将系统的响应表 示成小参数占的无穷级数形式，再将解代入到原非线性系统，令同幂次的s 的系 数相等，得到无穷多个线性方程组成的方程组，逐步求解此方程组可得到原非线 性系统的响应。一般来说，响应中阶次越高，计算量就越大，在实际应用中往往 取占的一次项。因此，摄动法只适用于弱非线性系统，对强非线性系统，摄动法 将不适用。 等效线性化方法是工程中应用最广泛的预测非线性系统随机响应的近似解析 法。该方法的基本思想是用一个具有精确解的线性系统代替给定非线性系统，使 两方程之差在某种统计意义上为最小。该法最早由克雷洛夫和博戈留博夫提出， b o o t o n 9 6 、k a z a k o v 9 7 与c a u g h e y 9 8 将其推广到随机振动中。1 w a n 与他的合 作者们 9 9 - 1 0 3 将这一方法推广到多自由度系统与非平稳响应。a t a l i k 与 u t k u 1 0 4 又推广到包含非线性惯性的情形，并在激励为高斯过程时，给出最优等 效线性系统参数的封闭形式的表达式。近年，基于信息理论的随机动力学分析方 法 1 0 5 1 1 4 引起了众多的关注，其思想是利用最大熵原理来分析随机动力学系统 的平稳与非平稳响应。在此基础上，c h a n g r j 提出一种信息截断的等效线性化 法 1 1 5 ，可以得到响应的最大熵与概率密度函数。等效线性化法由于方法简单， 适用范围广，被广泛应用于工程结构系统的随机响应预测中。但是由于该法中用 来代替原非线性方程的线性方程不可能发生本质非线性现象，所以该法不适用于 存在本质非线性现象( 跳跃、极限环、参激振动等) 的非线性系统，也不适用于 随机激励系统。 克服等效线性法的上述缺点的一个办法是引入等效非线性系统法。该法的基 1 4 浙江大学博士学位论文 第一章绪论 本思想是以某个具有精确平稳解的等效非线性系统代替原非线性系统，使得两系 统之差在某种统计意义上最小。最早应用等效非线性系统法的是l u t e s 1 1 6 。作 为一般方法，该法乃由c a u g h e y 首先提出，此后，该法在适用的系统范围于等效 原则上得到推广，然而仍限于单自由度非线性随机动力学系统。最近几年中，朱 将高斯白噪声激励下的多自由度耗散非线性系统的研究从传统的l a g r a n g e 体系 转到h a m i l t o n 体系，根据h a m i l t o n 系统的可积与共振性，将系统分为完全不可 积、完全可积非共振、完全可积共振、部分可积非共振及部分可积共振等五类， 对每一类系统，发展了高斯白噪声激励下的耗散的h a m i l t o n 系统等效非线性法 1 1 7 - 1 2 2 。这些方法适用于多自由度强非线性系统，也适用于单自由度非线性随 机动力系统。 矩函数微分方程法也是处理非线性动力学问题的有效方法。如果一个非线性 随机系统的非线性是解析的，可用多项式或者幂级数表示，那么可通过求解矩函 数所满足的微分方程或者代数方程得到响应矩。然而对于非线性或者窄带随机激 励的系统，不同阶的矩方程形成无穷的链锁，为求解矩方程，必须将矩方程截断。 所谓截断就是根据一定假设将矩方程中高于某阶的矩用低于或者等于某阶的矩表 示出来，从而形成近似的封闭的矩方程。常用的截断方案有：高斯阶段、累积量 截断以及非高斯截断三种。 除了以上介绍的七种求受控非线性系统的随机响应的方法外，近几年中，还 发展了许多其他