（运筹学与控制论专业论文）离散时间随机系统lq最优控制问题的一些结果.pdf

东大学硕士学位论文 e ( 一。o ) n n t z 。 z t r 附 c c 竹 l r 一“ s n a 0 ( 0 ) a b ( b ) a a 1 a t r a n k ( a ) k e r ( a ) i n f e 【l a 8 口 a r e g a r e g d r e g l e g l i l m i 符号和缩写词的约定 自然对数的底，e 2 7 1 8 2 8 正无穷( 负无穷) 自然数集合 o ，1 ，2 ，t ) 正整数集合 ，0 ，1 ，2 ，丁 实空间 n 维欧几里德空间 复空间 n 维复数空间 单位矩阵 ，n n 维实矩阵 n n 维对称矩阵 矩阵a 正定( 半正定) 矩阵4 一曰正定( 半正定) 矩阵a 的转置矩阵 矩阵a 的逆矩阵 矩阵a 的m o o r e 。p e n r o s e 广义逆矩阵，它与矩阵a 7 同维，使得a a t 和a 为对称矩阵，与此同时，它 满足a a t a = a 和4 t a a t = a t 矩阵a 的秩 矩阵a 的右零空间 下确界 数学期望 几乎必然 证毕 代数r i c c a t i 方程 广义代数r i c c a t i 方程 广义差分r i c c a t i 方程 广义l y a p u n o v 方程 广义l y a p u n o v 不等式 线性矩阵不等式 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 所取得的成果除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的科研成果对本文的研究作出重要贡献的个人和集体， 均已在本文中以明确方式标明本声明的法律责任由本人承担 论文作者签名：赘当 日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向 国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本 人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或其他手段保存论文和汇编本学位论文 ( 保密论文在解密后应遵守此规定) 论文作者签名：主醍 导师签名： 山东大学硕士学位论文 离散时间随机系统l q 最优控制问题的一些结果 祁军军 山东大学数学学院，济南2 5 0 1 0 0 摘要 对于正常状态空间系统的二次型指标最优控制问题( 也就是正常系统的l q 问题) 的研 究，起初的先驱者之一是k a l m a n 在现代控制理论的发展过程中，涌现出了大量关于l q 问 题的研究成果，它们不仅从纵向深入了对l q 问题的探讨，而且也从横向拓展了l q 问题的 应用范围 由于l q 问题作为一个基本的控制问题在理论上具有普遍的重要性，近年来，无论是i t 5 随机系统的l q 问题还是离散时间随机系统的l q 问题都得到了控制理论界许多专家学者 的高度重视，在这方面出现了大量的研究成果与此同时，该项研究发现正常系统的l q 问题 与随机系统的l q 问题之间存在着一些本质的差别：在i t 5 随机系统中，当指标泛函的控制 权矩阵不定号时，相应的l q 问题仍然可以是良定的在此之后，数理金融界的专家学者们进 一步给出了与这一发现相对应的经济学解释与此同时，这些非常有意义的工作使得人们对 于数理金融学中的均值方差投资组合理论有了更深层次的认识 t 尽管l q 问题在正常状态空间系统情形与在随机系统情形之间存在着某些本质的差异， 然而，不可否认的是，即使是在随机系统中，一些原本在确定性系统中常用的研究方法依然是 行之有效的基于这样的认识，在本文中，我们就准备分别从渐近分析以及数值计算这两个 角度来关注两类无限时区离散时间随机l q 问题 值得提及的是，在本文讨论的过程中，我们将仿照i t 5 随机系统的情形，为带有量测输出 的离散时间随机系统的精确能观性这一概念建立p o p o v - b e l e v i t h - h a u t u s 判据与此同时，我 们还将定义该系统精确能检性的概念，并在此基础上讨论它与系统精确能观性的关系以及它 所具有的一些性质 为了使所呈现的一系列理论结果得到验证，我们在本文的每一节中都安排了数值算例这 些例子也同时表明了我们所推得的结果的有效性 关键词：均方能稳性，精确能观性，精确能检性，广义l y a p u n o v 不等式，广义l y a p u n o v 方程，广义代数r i c c a t i 方程。 山东大学硕士学位论文 s o m er e s u l t sa r i s i n gf r o md i s c r e t e - t i m es t o c h a s t i cl qo p t i m a l c o n t r o lp r o b l e m q ij u n j u s s c h o o lo fm a t h e m a t i c s ，s h a n d o n gu n i v e r s i t y , j i n a n2 5 0 1 0 0 a b s t r a c t t h e s t u d yo nt h et o p i co fl i n e a rq u a d r a t i co p t i m a lc o n t r o lp r o b l e mf o rd e t e r m i n i s t i cl i n e a r s t a t es p a c es y s t e m s ( l qp r o b l e mf o rs h o r t ) w a si n i t i a t e db yal o to fr e s e a r c h e r s ，a n dw a s s t e p p e di n t oan e we r ad u et ot h ew o r ko fk a l m a n w i t ht h ed e v e l o p m e n to fm o d e r nc o n t r o l t h e o r y , s c i e n t i s t sh a v eb e e nt r y i n gt oa p p r o a c ht h el qp r o b l e mf r o md i f f e r e n tp e r s p e c t i v e s t h ec o n d u c t e dr e s e a r c ho nt h el qp r o b l e md o e sn o to n l yd e e p e np e o p l e su n d e r s t a n d i n g c o n c e r n i n gi t ，b u tw i d e nt h ef i e l dt ow h i c ht h el qt h e o r yi sa p p l i c a b l e i nr e c e n td e c a d e s ，b o t ht h el qp r o b l e mf o ri t 6s t o c h a s t i cs y s t e m sa n dt h el qp r o b l e mf o r d i s c r e t e - t i m es t o c h a s t i cs y s t e m sh a v e b e e ne x t e n s i v e l yi n v e s t i g a t e db yr e s e a r c h e r s m o r e o v e r ， t h es t u d yr e v e a l e dt h a tf o ri t 5s t o c h a s t i cs y s t e m s e v e ni ft h ec o n t r o lw e i g h t i n gm a t r i xi s i n d e f i n i t e ，t h ec o r r e s p o n d i n gp r o b l e mc a ns t i l lb eg u a r a n t e e dt ob ew e l l - p o s e d i tw a sa l s o j u s t i f i e di nm a t h e m a t i c a lf i n a n c et h a tt h e s et h e o r e t i c a lr e s u l t se n a b l eu st oh a v ead e e p e r u n d e r s t a n d i n go ft h em e a n - v a r i a n c ep o r t f o l i ot h e o r y a l t h o u g ht h e r ea r es o m ef u n d a m e n t a ld i f f e r e n c e sb e t w e e nt h el qp r o b l e mf o rd e t e r m i n i s t i c s t a t es p a c es y s t e m sa n dt h el qp r o b l e mf o rs t o c h a s t i cs y s t e m s ，w eh a v et oa d m i to n ep o i n t ， i e ，s o m ee x i s t e dm e t h o d sw h i c hw e r em a d eu s eo ft os t u d yt h ed e t e r m i n i s t i cp r o b l e mc a l l a l s ob ea p p f i e dt ot h es t o c h a s t i cc a s e o nt h eb a s i so ft h i si d e a ，w ec o m b i n ei nt h i sp a p e rt h e a s y m p t o t i ca n a l y s i sm e t h o dw i t ht h en u m e r i c a li n t e g r a t i o nt e c h n i q u et oc o n c e n t r a t eo nt h e i n i i n i t eh o r i z o nd i s c r e t e - t i m es t o c h a s t i cl qp r o b l e m s i ti sw o r t hm e n t i o n i n gt h a td u r i n go u rd i s c u s s i o n ，w ew i l lp r o v e ，b yf o l l o w i n gt h ew a y w h i c ha p p e a r e di ni t 6s t o c h a s t i cc o n t r o lt h e o r y , t h ep o p o v - b e l e v i t h - h a u t n sc r i t e r i o nf o rt h e d i s c r e t e - t i m es t o c h a s t i cs y s t e m sa f f i l i a t e dw i t ham e a s u r e m e n to u t p u tt ob ee x a c t l yo b s e r v a b l e m o r e o v e r ，w ew i l li n t r o d u c et h en o t i o no fe x a c td e t e c t a b i l i t y , a n dd i s c u s si t sr e l a t i o n s h i pw i t h e x a c to b s e r v a b i l i t yc o u p l e dw i t hi t sp r o p e r t i e s l a s tb u tn o tl e a s t ，w ew i l lp r o v i d ei ne a c hs e c t i o ns o m en u m e r i c a le x a m p l e st oj n s t i f yt h e d e v e l o p e dt h e o r e t i c a lr e s u l t s k e y w o r d s ：m e a n - s q u a r es t a b i l i z a b i l i t y , e x a c to b s e r v a b i l i t y , e x a c td e c t e c t a b i l i t y , g e n - e r a l i z e dl y a p u n o vi n e q u a l i t y , g e n e r a l i z e dl y a p u n o ve q u a t i o n ，g e n e r a l i z e da l g e b r a i cr i c c a t i e q u a t i o n 2 山东大学硕士学位论文 第一节无限时区离散时间随机系统不定号l q 最优控制问题 1 1引言 对于正常状态空间系统的二次型指标最优控制问题( 以下简称为l q 问题) 的研究，起 初的先驱者之一是k a l m a nf 1 6 1 在现代控制理论的发展过程中，涌现出了大量关于l q 问题 的研究成果，它们不仅从纵向深入了对l q 问题的探讨，而且也从横向拓展了l q 问题的应 用范围例如，专著【4 】系统地介绍了l q 问题的理论，而文【3 3 】则讨论了广义系统的奇异 l q 问题当我们将所有的这一切成果综合起来考虑时，就不难认识到l q 问题作为一个基本 控制问题在理论中所具有的重要地位 在最近几十年中i t 5 随机系统的l q 问题和离散时间随机系统的l q 问题都得到了控制 理论界众多专家学者的关注，例如在【2 5 ，1 7 ，1 8 ，2 3 ，2 4 ，1 1 ，7 ，1 ，2 6 ，3 0 ，3 1 ，2 ，1 5 】中均有与 之相关的论述起初，人们意识到现实生活中的控制系统在运转的过程中会不可避免地受到 各式各样随机干扰的影响，因而，从这一观点来看，进行随机系统相应控制问题的研究与探讨 是非常有必要的随着这一方向的研究不断深入，人们发现：对于i t 5 随机系统，当指标泛函 中的控制权矩阵不定号时，相应的l q 问题依然可以是良定的与此同时，这项发现的实际应 用也取得了非常深远的影响文【3 2 ，1 9 】的作者们就运用随机l q 问题的理论框架处理了数 理经济学之中著名的均值方差投资组合模型，这从另一个的角度深化了人们对于l q 问题 的理解 尽管l q 问题在确定性系统中与在随机系统中所呈现的形式存在着一些本质的差异，然 而，当我们从所采用的数学处理手段的角度来看时，就不难发现：即使对于随机l q 问题，在 很多时候，人们也都是沿用确定性l q 问题基于r i c c a t i 方程的研究方法来得到解答的就 正常状态空间系统的l q 问题而言，介绍这种处理方法的书籍很多，例如【4 ，9 】而对于i t 5 随机系统的l q 问题，文【1 】通过考察广义微分r i c c a t i 方程和广义代数r i c c a t i 方程之间的 关系得出了无限时区不定号随机l q 问题的值函数与最优控制的表达式广义差分r i c c a t i 方程( 以下简称为g d r e ) 则由文【2 1 推出，与此同时，它也被用来得出了有限时区离散时 间不定号随机l q 问题的值函数与最优控制 在最近的一篇文章【1 5 】中，作者们基于有限时区离散时间随机l q 问题的结论得出了无 限时区离散时间随机l q 问题的解答然而，该文中所进行的讨论是建立在控制权矩阵正定 这样一个前提条件之下的 事实上，很多实际问题还需要我们考虑在控制权矩阵并不正定时的随机l q 问题因此， 放宽文【1 5 】中所提出的那一前提条件就是个很有意义的尝试基于这样的想法，在本节中， 我们将运用渐近分析的方法来考察与有限时区不定号随机l q 问题有着密切联系的g d r e 的解的极限性质，我们的目的是想希望借此来得出无限时区不定号随机l q 问题的解答 本节内容的以下部分是这样安排的：在第- - 4 , 节中，我们给出了有限时区不定号随机l q 问题的描述，列出了关于这个问题已有的一些结论；在第- - , j , 节中，我们引入了系统均方能稳 3 i i i 东大学硕士学位论文 性的概念，它既保证了所要考察的无限时区不定号随机l q 问题的良定性，也为我们在讨论 g d r e 解的极限性质的过程中提供了一些理论上的支撑；第四小节的前一部分将会来关注无 限时区离散时间不定号随机l q 问题，而后一部分则要来进一步讨论g d r e 解的收敛性质； 我们在第五小节呈现了一些例题来检验在前面所得出的一系列理论结果；第六小节是本节内 容的总结语 1 2 问题的描述 在这一节，我们所考虑的系统描述如下 z ( 。+ 1 ) = a ( ) z ( 。) + b ( ) 让( ) 】+ 【c ( ) z ( ) + d ( 2 ) t 正( 。) 】t t ， ) ， ( 1 ) i x ( t o ) = z 0 ，( t o ，x 0 ) n t lx ， 一 其中z ( t ) 是状态变量，u ( ) r p 是控制输入，w ( t ) r 是系统噪声，时间变量 t = t o ，t o - i - 1 ，t 一1 过程【叫( t ) ，t = t o ，t o - i - 1 ，t 一1 ) 是定义在概率空间( f z ，p ) 上的一个二阶平 稳随机变量序列不失一般性，假设该过程的均值函数和协方差函数满足：e ( t ) 】= 0 ，e 【( s ) 叫( t ) 】= 以t ，其中以t 是k r o n e c k e r 函数，8 ，t t o ，t o + 1 ，r 一1 ) 与系统( 1 ) 相关联的指标泛函的定义为 j ( t o ，x o ；u ( ) ，u ( t o + 1 ) ，t ( r 一1 ) ) = e t - 1 ( 剐7 ( 粥剐( 主仲岬， ， 2 ) 其中的权因子( 2 锡r l ( ( t t ；) ，t 【+ i , - - - , t - 1 ) 和m 均为对称矩阵本节的讨论 中，我们并不对这些权重矩阵强加上任何定号的要求 基于上面指标泛函，我们定义不定号随机l q 问题的值函数为 y ( ，x o ) = 。( 埘，u + i n lj i f ，乜【r 1 ) j ( t o ，- t o ；t 正( 2 。) ，t 正( 幻+ 1 ) ，u ( t 一1 ) ) 。 ( 3 ) 定义1 2 1 不定号随机l q 问题( 1 ) 一( 3 ) 是良定的，如果对任意的( t o ，z o ) n t lxr “，均 有 v ( t o ，x o ) 一 ( 4 ) 定义1 2 2 不定号随机l q 问题( 1 ) 一( 3 ) 是能达的，如果对任意的( t o ，x 0 ) n t 一1x 舯，存 在控制序列 t ( t ) ，t = t o ，t o - t - 1 ，r 一1 ，使得有 v ( t o ，z o ) = j ( t o ，x o ；t ( t o ) ，u ( t o + 1 ) ，u ( t 一1 ) ) 在此情形之中，我们称序列 u ( ) ，t = t o ，t o + 1 ，t 一1 ) 为该问题的一个最优控制 4 山东大学硕士学位论文 为了方便以下各个小节的讨论，在此，先列出关于问题( 1 ) - ( 3 ) 的一些结论，它们的证明可 以参考【2 】： 引理1 2 1 以下各个说法之间相互等价： ( i ) 不定号随机l q 问题( 1 ) 一( 3 ) 良定 ( i i ) 不定号随机l q 问题( 1 ) 一( 3 ) 具有唯一的最优控制序列 ( i i i ) 存在唯一的解序列 p ( t ) ) 满足g d r e p ( t ) = a 7 ( t ) p 0 + 1 ) a ( t ) + ) p ( + 1 ) c ( t ) + q c t ) 一h ( t ) g 一1 ) 日( ) ， h ( t ) = l ( t ) + a 7 ( ) p o + 1 ) b ( t ) + ) p + 1 ) d ( ) ， g ( t ) = n ( t ) + b ( t ) p ( t + 1 ) b ( t ) + d 7 ( ) p + 1 ) d ( t ) 0 ，( 6 ) p ( t ) = m ， t = t o ，t o + 1 ，t 一1 ( i v ) 如下的线性矩阵不等式( 以下简称为l m i ) 是可行的，也就是说0 ，其中 ：= 叫d , t - t o , t o ，ri ( 粥粼) 狐 ( t ) = - p ( t ) + a ( t ) p + 1 ) a ( t ) + ( t ) p 0 + 1 ) c ( t ) + q ( t ) ， h ( t ) = l ( t ) + a ( t ) p + 1 ) b ( t ) + 0 ) p o + 1 ) d ( t ) ， g ( t ) = n ( t ) + ) p ( t + 1 ) b ( t ) + d 7 ( t ) p 0 + 1 ) d ( t ) 0 ， 、 p ( t ) m 与此同时，问题的值函数由 v ( t o ，t , 0 ) = z ：p ( t o ) x o( 7 ) 给出，问题的最优控制序列则可以由 u ( t ) = - r ( t ) + b 7 ( t ) p ( + 1 ) b ( t ) + d ( t ) p + 1 ) d ( t ) 】- 1 ， 、 x 【l ( t ) + b 7 0 ) p + 1 ) a ( t ) + d 7 ( t ) p ( + 1 ) c ( t ) 】z ) 一 i x l 表示 引理1 2 2 ( 比较定理) 如果【p l ( ) 与 b ( t ) ) 分别是g d r e ( 6 ) 在终值满足 p l ( t ) b ( ( 9 ) 时的解，那么就一定有 p 1 ( t ) p 2 c t ) ， ( 1 0 ) 其中t = t o ，t o + l ，t 一1 5 山东大学硕士学位论文 1 3g a r e 的可解性 由于下面讨论的重点在于无限时区不定号随机l q 问题，这里，为了方便，我们假设系统 ( 1 ) 中的参数矩阵a ，b ，gd 以及指标泛函( 2 ) 中的权重矩阵厶q ，r 均是定常的，并且， 我们还引入p ( ，t ) 来表示g d l 誓e ( 6 ) 在终止时刻为t 时的解 对于无限时区的随机l q 问题，值函数v ( t o ，z o ) 的取值可能是4 - 0 0 ，而这也就导致了该 问题的不良定情形因此，为了克服这一困难，我们在此引入系统( 1 ) 均方能稳性的概念 定义1 3 1 ( 均方能稳性) 系统( 1 ) 是均方能稳的，如果存在一个状态反馈控制律u ( ) = k x ( t ) ，k r p 加，使得闭环系统 jz + 1 ) = ( a _ 卜b 鼍z o ) + ( c + d k z o ) 叫 ) ( 1 1 ) 【x ( t o ) = x o ，( t o ，x o ) nx 附 的状态变量满足 1 i me x ( t ) z ( ) 】- 0 ( 1 2 ) 在这种情况下，我们称( a + b k ，c + d k ) 是均方稳定的，并且同时称t ( t ) = k x ( t ) 为系 统( 1 ) 的一个均方镇定控制 注1 3 1 系统( 1 ) 是均方能稳的也就等价于存在一个矩阵k r p 黼，使得在状态反馈控制 律u ( ) = k x ( t ) 的作用下，闭环系统( 1 1 ) 的状态变量满足 e 【一( t ) z ( t ) 】 0 和阢使得l m i f pa p + b uc p + d u i p a + u 7 b 一p o i 0 。r + b ，二：+ 。，p 。 。) 7 ( 1 6 定理1 3 1 假设吼，口月d ，则对任意的户凡，口r 兄，带有终值户的g d r e ( 6 ) 的解 0 的一个解，其中 冗( 尸，厶q ，r ) ：= 一尸+ a p a + c p c + q 一( l + a 7 p b + c p d ) ( r + b 7 尸b + d 7 p d ) 一1 ( + b 7 p a + d p 回 证明假设 z p ( t ) ) 满足如下的g d r e ( 1 7 ) 邵( ) = a 7 z 鼻 + 1 ) a + c 7 z p ( t + 1 ) c + q ( 户) 一h ( t ) g 一1 ) 日( t ) ， h ( t ) = l ( 户) + a 7 z r , ( t + 1 ) b + 邵( t + 1 ) d ， g ( t ) = r ( 户) + b 邵( t + 1 ) b + d 邵 + 1 ) d 0 ，0 8 ) 邵( r ) = 0 ， t = t o ，t o + 1 ，t 一1 ， 兵中 fl ( p ) = l + a p b + c 7 p d ， q ( p ) = 一户+ a 户a + c 户c + q ， ( 1 9 ) i - r ( p ) = r + b 7 户b + d p d 从引理1 2 1 可以得知，与方程( 1 8 ) 相对应的是系统( 1 ) 的随机l q 问题，其中的指标泛 函是 j ( t o ，x o ；u ( t o ) ，u ( t o + 1 ) ，u ( t 一1 ) ) = t - ie 雌；) ，( 踽( 剐 2 。) 因此，问题的值函数由 y ( 岛，x o ) = z ：邵( t o ，r ) z | 0 ( 2 1 ) 表示又因为指标泛函中的权因子半正定，从而由方程( 1 8 ) 解z j 6 , c t ) 的时不变性质可以推得 当t l t 2 ，t l ，t 2 z t 时，有 邵( t 2 ，t ) 邵( t l ，t ) ( 2 2 ) 7 山东大学硕士学位论文 通过选取一个均方镇定控制u ( t ) = k x ( t ) ，我们得到对任意的t z t ，有 x o z 卢( t ，t ) x o = x o z p ( 0 ，t t ) x o ， 三t - te ( 蹴) ( 踽嘏) ( 蹴) 】 a 一( ( 三) ( 踽r “( p 氚) k 、z 霎眦磁纠， t o ，运用配方法可以得知 e x 7 l i c ) q z ) + 2 x ( t ) l u ) + u 7 ( t ) r u ( t ) 】 一i 乏二e x 7 ( t ) q z ) + 2 x ( ) 眈( ) + u ( t ) r u ( ) 】+ e 陋7 ( t + 1 ) p z + 1 ) 一一 ) 尸z ( ) 】+ x o p x o e x 7 ( t ) p z ( t ) 】， = x o p x o e x 7 ( t ) p z ( t ) 】+ e 【( 钍( t ) 一k z ( t ) ) 7 ( r + b 7 p b + d p d ) x ( u ( t ) 一k z ( t ) ) 】， 其中k = 一( 冗+ b 7 p b + d 7 p d ) 一1 ( + b 7 p a + d 7 p c ) 由于 土me x 7 ( t ) p z ( t ) 】- 0 ， ( 2 3 ) 因而，令r _ 0 0 就可得 x o p x o + e 【( t ( t ) 一k z ( t ) ) 7 ( r + b p b + d 7 p d ) ( t i ( ) 一k z ( ) ) 】= x o p x o 与以上类似，我们也可得知对任意的跏i t ，有x o p x o 晶p 叫。z o 成立因此，就有 p = r 。成立 1 3 以下，我们列出一些充分条件，它们保证了g a r e ( 1 7 ) 反馈镇定解和最大解是存在的 定理1 3 3 假设集合凡，a r 有非空的内部，也就是说，存在元素户凡。口r ，满足 n ( p ，l ，q ，r ) 0 和r + b 7 p b + d p d 0 ，则g a r e ( 1 7 ) 有反馈镇定解 证明假设 2 | ( t ) ) 满足g d r e ( 1 8 ) ，根据定理1 3 1 ，当t 递减地趋于一0 0 时，邵( t ) 递增 地趋于牙卢令p = 户+ z 卢，则p 满足g a r e ( 1 7 ) ，并且有等式 j r ( p ) + b 7 z p b + d 昂d 】- 1 【印) + 廓从d z , p c ( 2 4 1 = ( r + b 7 p b + d 7 p d ) 一1 ( l + b 7 p a + d 7 p c ) 下面，我们就来证明t ( t ) = 一【r ( 户) + b 廓b + d 7 昂d 1 1 【( 户) + b 7 昂a + d 昂q z ( t ) 是系统( 1 ) 的一个均方镇定控制对任意的( s ，x o ) n t 一1 ( i p 【o ) ) ，由 z 0 2 户x o z ；邵( s ) z o ， = 篓e 雌；) ，( 踽编) ( 剐 0 可知廓 0 又因为郎：= 【r ( 户) + b 7 昂b + d 7 昂d 】_ 1 【( 户) + b 昂a + d 7 昂q 满足 g l i 一廓+ ( a + b 酢) 7 廓( a + b 郎) + ( c + d 砟) 7 邵( c + d 砟) ( 2 5 ) = 一q ( 户) 一( 户) 郎一砟( 户) 一k p r ( p ) k p 0 ， 冗( 马，l 2 ，q 2 ，r 2 ) = 0 ，岛+ b 7 p 2 b + d 7 b d 0 ， ( 2 6 ) lp l p 2 ， 与此同时，r 和岛分别是与它们相对应的g a r e 的最大解 迂职假设p 满足冗( 只l l ，q l ，r 1 ) 0 与冗1 + j 5 1 7 p b + d 7 p d 0 ，通过验证可以得知p 也满足冗( 只l 2 ，q 2 ，r 2 ) 0 与飓+ 口7 p b + d 7 p d 0 从而根据定理1 3 2 和1 3 3 ，存 在矩阵p 1 ，马，它们分别是相对应的g a r e 的最大解与此同时，冗( 只，l 2 ，q 2 ，r 2 ) 0 与 兄+ b p 1 b + d p l d 0 保证了p 1 ，q ：，r 2 ，由定义1 3 2 可知结论成立 口 定理1 3 4 如果矩阵厶q = q 7 和r = r 7 使得凡，q ，只0 成立，那么g a r e ( 1 7 ) 有最 大解 证明从集合吼，口，r 中选取一个元素户，则对任意的e 0 ，均有n ( p ，l ，q + e i ，r ) 0 对于任意一个单调递减且满足q _ 0g _ ) 的序列，通过运用推论1 3 2 可知对任意的 t n ，存在一个递减序列匕只，r j 6 ，并且有冗( 。，l ，q + e i i ，r ) = 0 和 冗+ b r i b + d 只。d 0 成立因而，由单调有界定理，可知l i 盐r 存在，我们将它记为 p 这样p 满足冗( p ，l ，q ，r ) = 0 ，r + b 7 p b + d 7 p * d 0 又由于我们在p l 。g r 中选 取元素户的方式是任意的，从而不难得知尸就是所要找的最大解 口 在这- - d , 节最后，我们陈列定理1 3 4 的一个副产品 推论1 3 3 如果吼。，口。r 。d 和 ( 是兄l 。1 ) ( q 岛2 岛l 2 ) 成立，那么一定会存在矩阵p 1 和岛满足 r 冗( p 1 ，l l ，q l ，r 1 ) = 0 ，r i + b p l b + d 7 p 1 d 0 ， m ( p 2 ，l 2 ，q 2 ，r 2 ) = 0 ，r 2 + b p 2 b + d 7 b d 0 ， ( 2 7 ) l 只 2 与此同时，r 和岛分别是与它们相对应的g a r e 的最大解 证孵事实上，p l 。q 。，r 。9 以及吼。，q 。r 。q 。，磁蕴含了，q ：，磁谚根据定理 1 3 4 ，可得结论 口 1 0 山东大学硕士学位论文 1 4 不定号随机l q 问题 在这一小节，我们运用在前几部分中推出的一系列结论来求解无限时区离散时间不定号 随机l q 问题 定理1 4 1 假设凡，q ，r 0 ，则随机l q 问题良定，并且问题的值函数可以被表示为 v ( t o ，z o ) = z ：z o ( 2 8 ) 证明类似于定理1 3 2 ，我们可以得知l q 问题是良定的，- 而i zv ( t o ，x o ) z ：r 懿z o 成立 选取p 吼，q ，r ，则对任意的e 0 ，有冗( 只l ，q + e l ，r ) 0 ，r + b p b + d p d 0 成 立通过运用定理1 3 2 和1 3 3 可知只是g a r e 冗( 只，l ，q + e i ，r ) = 0 ，r + b 7 只口+ d 7 p , d 0 ( 2 9 ) 的最大解，而且u ( t ) = - ( r + b 7 卫b + d 7 只d ) - 1 ( + b 7 p , a + d 7 只c ) z ( t ) 是系统( 1 ) 的一个均 方镇定控制再一次进行配方，可得v ( t o ，x o ) z ；p , x o 由定理1 3 4 可知瓯- + o 只= 只。， 这也蕴涵了v ( t o ，z o ) z ；p 雎跏因此，v ( t o ，x o ) = z ：p 删。z o 口 定理1 4 2 假设凡口r 0 ，并且存在随机l q 问题的一组最优状态- 控制对，则最优控制 必定是唯一的，并且可以被表示成为 u ( t ) = - ( r + b 曰+ d 7 d ) _ l ( 三+ 且a + d c ) z ) ( 3 0 ) 证明令( z 。( ) ，u ( ) ) 是问题的一组最优的状态一控制对因为u ( ) 是系统的一个均方镇定 控制，所以有l i i n t 啪e 陋：( t ) p 毗z 。( t ) 1 = 0 通过配方，可得 v ( t o , z o ) = z ；勒+ e 【( t 。( t ) 一z ( t ) ) 7 ( r + b 7 p 眦b + d d ) t = t o ( u 。( t ) 一k 一孔( ) ) 】， 其中= - ( r + b p 眦b + d 7 p 嗽d ) - 1 ( f + b 7 a + d 7 p 眦c ) 因此由定理1 4 1 ，我 们就得到了最后的结论口 通过定理1 4 1 和定理1 4 2 可以推得 推论1 4 1 假设g a r e ( 1 7 ) 存在反馈镇定解p 由定理1 3 2 可知p = r 懿，其中r 啦 是方程( 1 7 ) 的最大解，则随机l q 问题的值函数 v ( t o ，t , o ) = z ：r 似x o 与此同时，唯一的最优控制可以被表示为 u ( t ) = - ( r + b 7 b + d p 呲d ) 一1 ( l + b p 眦a + d 7 c ) z ( t ) 山东大学硕士学位论文 运用定理1 3 3 和推论1 4 1 ，我们在这里列出系统( 1 ) 均方能稳的一个必要条件在本文 的第三节中将看到这个结论的具体应用 命题1 4 1 如果系统( 1 ) 均方能稳，那么g a r e 冗( 只o ，j ，i ) = 0 ，i + b p b + p d 0( 3 1 ) 至少有一个正定解p 其中 冗( 只0 ，i ，i ) = 一p + a p a + c p c + i 一( a p b + c 7 p d ) ( i + b 7 p 8 + d p d ) 一1 ( b 7 p a + d 7 p c ) 证明由于冗( 0 ，0 ，i ，i ) 0 ，因而，通过定理1 3 3 可知g a r e ( 3 1 ) 存在反馈镇定解只再由 推论1 4 1 ，就得到p 0 口 以上，我们得出了无限时区离散时间不定号随机l q 问题值函数和最优控制的表达式，从 这些表达式之中，我们不难发现它们均依赖于g a r e ( 1 7 ) 的最大解这一事实给我们提出了 一个值得进一步探讨的新问题：怎样才能找到适当的条件以保证g d r e 的解随着时间递减 地趋于一而收敛到g a r e ( 1 7 ) 的最大解? 在本小节的最后，我们将结合这个问题推证一 些相关的结果 引理1 4 1 如果g d r e ( 6 ) 存在解序列 p ( t ) ) t z t ，并且有一个矿n r 使得p ( t ) p ( t 一1 ) ( 或者p ( t ) p ( t 一1 ) ) 成立，那么，当t 在z t 中递减时，p ( t ) 是单调减的( 或 者是单调增的) 证明这里我们假设p ( t ) p ( t 一1 ) ，另一种情形- - i p a 仿照着证明令 最1 ) ( ) ) 和 最2 ) ( ) 分别满足如下的两个g d r e 最1 ) ( t ) = a p o ) ( t + 1 ) a + c p c , ( t + 1 ) c + q 一甄1 ) ( ) g ( - - 1 1 ) l j 仃( t 1 ) ( ) ， 日( 1 ) ) = l + a p o ) ( t + 1 ) b + c p o ) c t + 1 ) d ， g ( 1 ) ( 幻= r + b 只1 ) ( 亡+ 1 ) b + d ，只1 ) + 1 ) d 0 ， ( 3 2 ) p o ) ( t 。) = p ( t + ) ， 亡= 0 ，1 ，t 一1 ， ，只2 ) ( ) = a p c 2 ) ( t + 1 ) a 十最2 ) + 1 ) c + q 一甄2 ) ) g 茜( t ) 日i 2 ) ( t ) ， i 甄2 ) ( t ) = + p 【2 ) ( t + x ) b + p ( 2 ) ( t + 1 ) d ， g ( 2 ) ( t ) = r + b 7 最2 ) ( t + 1 ) b + d 7 最2 ) + 1 ) d 0 ， ( 3 3 ) ip ( 2 ) ( ) = p ( 扩一1 ) ， 【扣o ，1 ，扩一1 由引理1 2 。2 ，当t n t 时，最1 ) ( ) 昂) ( t ) ，这也就相当于在t n 1 时，有p ( t ) p ( t 一1 ) 由 p ( t ) ) t z t 的时不变性质就可以得证 口 1 2 山东大学硕士学位论文 引理1 4 2 假设m 是任意一个满足冗+ b 7 m b + d 7 m d 0 的矩阵，则存在一个数o t 0 ， 使得g a r e 冗( 尸l ，q + 口，r ) = 0 ， r + b 7 p b + d 7 p d 0 ( 3 4 ) 有解r ，并且它满足只m 证明选取一个充分大的数q 0 ，使得冗( m ，厶q + a i ，r ) 0 成立，由定理1 3 4 可知， g