（概率论与数理统计专业论文）一类带有随机跳跃干扰的线性二次最优控制问题.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明弓l 用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：墓氢 日期： 协啦s - f 窘 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 一；趣名：肆日期： ) 舢牛f f 雪 山东k 学硕t 学位论文 一类带有随机跳跃千扰的线性二次最优控制问题 吴霜 数学与系统科学学院 ( 山东大学，济南2 5 q 1 0 0 ) 中文摘要 众所周知，线性二次最优控制问题是现代控制理论中的一类重要问题。不仅 因其本身可模拟现实世界中的很多现象，而且一些复杂的问题可以用线性二次最 优控制问题来近似。另一方面，由于其结构相对简单，处理方便，因而构成最优 控制问题中的重要一类。有关这方面的结果很多，最初从确定性的情形开始，已 有很多经典的结果，成为现代控制方面的教材中不可或确的部分。 有关随机线性二次最优控制问题的研究始于w o n h a m ，可参考 1 ，随后由 b e r i s o u s s a r l ( 2 ，p g n g 【3 】，c h e n ，l ia n dz h o u ( 4 等作了许多的推广工作。而带有 随机跳跃的随机线性二次最优控制问题的研究始于b o e la n dv a r a i y a 5 】。在这种 情形下，控制系统受到随机跳跃的干扰，最优解是非连续的随机过程。这种形式 的最优控制问题在工程和金融领域中都有实际的应用背景。w uz h e na n dw a n g x i a n g r o n g 【6 考虑了以下的带有随机跳跃的线性二最优控制问题： d x ，= ( 拭+ b y t ) 出+ ( 呱+ d r , ) d b ，+ l ( 鲋，一+ f v ，) n ( d z d t ) 【x o = o 指标函数为： d ( v ( ”= i 1e 【f ( + ) d r + ( 姒，x ， 】 他们用正倒向随机微分方程的办法得到了最优控制，并结合广义黎卡堤方程 得到最优控制的反馈形式。但此文中的控制权阵是正定的。并且以上矩阵是 定常的。 山东太学碍! 士学位论文 本文考虑以下的控制系统： d x ，= ( 心，+ 价，) d t + ( c x ，+ d 1 ，) 拈，+ l ( 删- + ，) n ( d z d t ) l 【托= a 指标函数为： j ( v ( ) ) = 告叮【 + 2 + 批 + ) 但此处的控制权阵r 可以为不定。本文采用传统的配方法褥到控制系统的黎卡堤 方程，从相关的证明中可以看出，控制权阵r 不一定非得正定，只要相应的黎卡 堤方程有解。文章的证明思想源于 4 ，可以视为是对 4 】中结果的一个推广。 本文的组织如下： 第一节：给出带有随机跳跃干扰的线性二次最优控制系统( 1 1 ) 以及指标函 数，并给出问题的假设条件( h i ) ，( 1 2 ) 和相关的定义。 第二节：研究了问题的可解性的问题，并得到问题可解的一个充分必要条件 ( 定理2 6 ) 。本节采用寻找对偶有界线性算子的办法用控制来表示指标函数，以 研究最优控制的性质。这种方法的思想源于 7 1 。 第三节：利用传统的配方法得到控制系统的黎卡堤方程( 3 1 ) ，并证明了只要 此黎卡堤方程是可解的，则相应的控制系统即是可解的。 第四节：在一些附加的条件下，主要利用迭代的方法讨论了黎卡堤方程( 3 1 ) 的解的存在唯一性问题。并给出迭代收敛速度。 第五节：将第一节的系统加以扩展，把系统的系数由确定性的函数推广到 随机情形，得到相应的随机黎卡堤方程。 关键词：线性二次最优控制，泊松过程，黎卡堤方程。 山东大学硕士学位论文 ak i n do fl i n e a rq u a d r a t i co p t i m a l c o n t r o ip r o b i e m dis t u r b e db yr a n d o mj u m p w u s h u a n g ( s c h o o l o f m a t h e m a t i c sa n d s y s t e ms c i e n c e ) ( s h a n d o n gu n i v e r s i t y , j i n a n2 5 0 0 0 ) a b s t r a c t i ti sw e l lk n o w nt h a tt h el i n e a rq u a d r a t i co p t i m a lc o n t r o lp r o b l e m sc o n s t i t u t ea l l e x t r e m e l yi m p o r t a n tc l a s so fo p t i m a lc o n t r o lp r o b l e m s ，s i n c et h e yc a i lm o d e lm a n y p r o b l e m si na p p h c a t i o u s ，a n dm o r ei m p o r t a n t l y , m a n yn o n l i n e a rc o n t r o lp r o b l e m sc a n b er e a s o n a b l ya p p r o x i m a t e db yt h el i n e a r q u a d r a t i cp r o b l e m s o nt h eo t h e rh a n d ， s o l u t i o n so fl i n e a rq u a d r a t i cp r o b l e m se x h i b i te l e g a n tp r o p e r t i e sd u et ot h e i rs i m p l e a n dn i c es t r u c t u r e s m a n yc l a s s i c a lr e s u l t sh a v eb e e ng e tf r o md e t e r m i n i s t i cc a s et o t h es t o c h a s t i cc a s ea n dw r i t t e nt ot h eb o o k sa b o u tm o d e mc o n t r o lt h c o r y ： s t o c h a s t i cl i n e a rq u a d r a t i co p t i m a lp m b l e r n sh a v eb e e nf i r s ts t u d i e db yw o n h a m 【1 ，a n dt h e nd e v e l o p e db yb e n s o u s s a n 2 ，p e n g 3 ，c h e n ，l ia n dz h o u 4 a n d s oo n t h eo p t i m a lc o n t r o lp r o b l e mw i t hr a n d o mj u m pw a sf i r s tc o n s i d e r e db yb o e la n d v a r a i y a 【5 i nt h i sc a s e ，t h ec o n t r o ls y s t e mi sd i s t u r b e db yr a n d o mj u m pa n dt h e o p t i m a ls o l u t i o ni sad i s c o n t i n u o u ss t o c h a s t i cp r o c e s s t h i sk i n do fo p t i m a lc o n t r o l p r o b l e mh a sap r a c t i c a lb a c k g r o u n di ne n g i n e e r i n ga n df i n a n c i a lm a r k e t i n2 0 0 3 ，w u z h e na n dw a n g x i a n gr o n g 【6 】c o n s i d e r e da k i n do fl i n e a rq u a d r a t i co p t i m a lc o n t r o l p r o b l e mw i t hr a n d o mj u m pa sf o l l o w s ： d x ，= ( a x ，+ b y t ) d r + ( c x ，+ d v 。) 搬，+ l ( 删+ f v ，) 齑( 出出) 【x o = 口 t h ec o s tf u n c t i o ni sa sf b l l o w s ： 3 生蔓查兰堡主兰竺笙塞 帅( ) ) = 丢研r ( + c n v t ，v t ) 出“掣r t h e yg o to p t i m a lf e e d b a c k c o n t r o lb yi n t r o d u c i n gaf b s d ea n dc o n t a c t i n gi t w i t h g e n e r a l i z e dr i c e a t ie q u a t i o n b u ti nt h i sp a p e r , a , b ，c ，d ，e ，f ，r ，n ，q a r ec 锄。s 乜t m a 匝c e sa n dt h ec o n 乜 o lw e i 出c o s tm a t r i x ni s p o s i t i v e s y m r f t e t r i c b o u n d e d m a t r i x ， 。 ， i nm y p a p e r , c o i l s i d e r t h ef o l l o w i n gc o n t r o ls y s t e m ： f 趔，= ( 一( f ) x ，+ b ( t ) v ，) a t + ( c o ) x 。+ d o ) v ，) 始t + l ( e ( f ，：) z + ，( f ，：) v r ) 费( 出出) 【x o = 8 t h ec o s tf u n c t i o ni sa sf o l l o w s ： 帅( 沪扣r 【 + 2 + 拙 + h e r et h ew e i g h tc o s tm a t r i xm a y b ea l l o w e dt ob ei n d e f i n i t e i nt h i sp a p e r , t h e r i c c a t ie q u a t i o ni so b t a i n e db yu s i n gs q u a r ec o m p l e t i o nt e c h n i q u e a n df x o mt h e r e l a t e dp r o o f , w ec a nf i n dt h mw e i g h tc o s tm a t r i x rc a r lb ei n d e f i n i t eo n l yt h e r e l a t e dr i c c a t ie q u a t i o nh a ss o l u t i o n t h ei d e a i sf r o mp a p e r 【4 】，a n dt h er e s u l tc a n b e l o o k e da sae x t e n s i o n t h e p a p e r i so r g a n i z e da sf o l l o w s ： i ns e c t i o n1 ，w eg i v et h el i n e a rq u a d r a t i cc o n t r o ls y s t e m w i t hr a n d o m j u m p ，c o s t f u n c t i o n ，a s s u m p t i o nf f l l ) ，口2 ) a n d t h er e l a t e dd e f i n i t i o n i ns e c t i o n2 ，w es t u d yt h ep r o b l e mo fs o l v a b i l i t y , a n do b t a i nas u f f i c i e n ta n d n e c e s s a r yc o n d i t i o n ( t h e o r e m2 6 1 t h em e t h o d i nt h i ss e c t i o no r i g i n a t ef r o m 7 i ns e c t i o n3 ，w eg e tt h er i c c a t ie q u a t i o nb yu s i n gs q u a r ec o m p l e t i o nt e c h n i q u e a n d p r o v eo n l y t h i se q u a t i o ni ss o v a b l e ，t h ec o n t r o ls y s t e mi ss o v a b l e i ns e c t i o n4 w ec o n s i d e rt h eu n i q u e n e s sa n de x i s t e n c eo fa k i n do fr i c c a t i e q u a t i o na n dg i v et h ec o n v e r g e n c es p e e d 4 山东大学硕i 学位论文 i ns e c t i o n5 、ec o n s i d e rt h es t o c h a s t i ck i c c a t i e q u a t i o n a n dt h e o p t i m a l f e e d b a c kc o n t r 0 1 i nt h ec a s eo fs t o c h a s t i cc o e 伍c i e n t s k e y w o r d s ：l i n e a r q u a d r a t i co p t i m a lc o n t r o l ，p o i s s o np r o c e s s ，r i c c a t ie q u a t i o n 5 山东火学砸十学位论史 第一节问题的提出 令( q ，f f ) 。，p ) 是一个装备信息流以 。的完备的概率空间，并且 f = n 。f + ；= f ，t 0 我们假定 。由以下两个完全独立的过程生成 1 一个d 一维的标准布朗运动 b ，k 。 2 一个r + x z 上的泊阿松随机测度，其中z c r 是非空开集，它的b o r e l 域 记作b ( z ) ，n 的特征测度记为 ，并且有： ( z ) + m ，n 的补偿子记为 对( 出，a t ) = 2 ( d z ) d t ，对所有a 占( z ) ，丙( 4 o ，f ) = ( 一对) ( 爿“o ，】) 。 是一个鞅 本文考虑下面的带有随机跳跃干扰的随机控制系统： d d x ，= 【爿( f ) ，1 - b ( f ) 1 ，( r ) 出+ 【c ，( f ) 五，+ d ，( f ) v ( f ) 拈。( r ) + i m l f e ( t ，z ) 爿，+ ，( f ，z 抄( t ) n ( d z d t ) ( 1 ，1 ) x o = y 其中假定：饵1 ) f 爿，c f r ( o ，t ；r ) b ，d i r ( o ，t ；r “) ( i 1 y r n ，v ( ) 工；，( o ，丁：r r ) 其中耳( o ，t ；r ) 表示所有取值于五。，：一适应的，且满足e r lv ( f ) 1 2 出 2 称s l p q 问题在y 处是可解的，如果存在最优控制“辟，( o ，t ；r ) ，使得 ，( j ；“( ) ) = y ( y ) 相应于“( - ) 方程的解x ( - ) 称为最优的状态过程 山东大学母1 1 学位论义 第二节s l p q 问题的可解性 在这一部分中，为了简化起见，我们仅考虑布朗运动是一维的情形，对于多 维的情形，与一维的情形没有本质区别，可以推出类似的结果首先，我们来研究 s l p q 问题的最优控制的存在性问题 引理2 1 假定对任意的( r ，= ) 【o ，t z ，i + e ( t ，：) 有逆阵且 ，+ e ( t ，：) 】- l 一 致有界。观察下面的两个n ”维的矩阵方程： f d m o ) = 4 ( ，) 中( f ) d t + c o ) 中( f ) 船，+e ( t ，：) 中( f ) k ( a z a t ) l 中( o ) = i 以及 c p j o ) = 、壬，( r ) ( 一( f ) + c o ) 2 ) a t w ( t ) c ( t ) d b ， 一l 、y ( r ) ( f ，2 ) 【，+ e ( t ，：) 】g ( a z a t ) 一甲( f ) e ( r ，2 ) 【，+ e ( t ，。) 】- l e ( t ，z ) a ( a z ) a t w ( o ) = 1 一 则碉： m ( f ) 甲( f ) = i 口j v t 【0 ，t 以及： x ，= 。( f ) ) ，+ 由( r ) f 甲o ) 占o ) 一c o ) d o ) v o ) a s + 中( f ) l 甲o ) d ( s ) v o ) 曲， 一m f ) il 甲o ) e o ，：) ，+ e ( 岛：) 一， f ( 5 ，：) 、，o ) ( 出d i ) 一t d o ) i 【、壬，o ) ( 瓦：) ，+ o ，：) 】- 1 ，o ，：) 、，o ) z ( d z d s ) 证明：对钡幻甲( r ) 傲i t o 公式得： p p ( t ) 中( f ) = w ( t x 一o ) + c o ) 2 ) o ( t ) d t w ( t ) c ( t ) o ( t ) d b 。+ 甲( f ) 4 ( f ) 0 0 ) d t + w ( t ) c ( t ) o ( t ) d b ，- w ( t ) c ( t ) 2 0 ( t ) d t + 掣( f ) e ( r ，：) o ( r ) 霄( 出出) 一l 甲( r ，) e ( f ，z ) l ，+ e ( f ，：) 】e ( t ，：) m ( ，一) 贾( d 三西) 一l 、 ，( f ，) ( f ，2 ) ，+ e o ，：) 】。t 矾f ) g ( a z a t ) 一i 甲( f ) e ( f ，z ) 【e ( f ，z ) 】- i e ( t ，：) o ( z ) z ( d z ) d z 山东k 学砺i - j 。学位论文 + l 甲( ，) ( f ，：) ，+ ( f ，：) 】e ( t ，：) 中( f ) 五( 出) 出 = 0 这说明： 甲( f ) 中( f ) = ，疗s v f o ，t 再对w ( t ) x ( t ) 做n o 公式，可得： a w ( t ) x ( t ) = 一w ( t ) a ( t ) x ( t ) d t + 甲o ) c ( f ) ：x ( t ) d t w ( t ) c ( t ) x ( t ) d b ， + w ( t ) a ( t ) x ( t ) d t + w ( t ) b ( t ) v ( t ) d t + q j ( t ) c ( t ) x ( t ) d b ，+ 甲( f ) d ( r ) “t ) x ( t ) d b , 一掣( f ) c 0 ) 2x ( t ) d t 一”p ( t ) c ( t ) d ( t ) v ( t ) d t 一【甲( f 一) e 8 ，：) ，+ 昱( f ，：) “。r g 一) n ( d z d t ) + l w ( t 一) e ( f ，z ) x ( t 一) + f ( r ，z ) v ( t ) n ( d z d t ) 一l 掣( ，一) ( r ，= ) ，+ ( f ，：) 】。 e ( f ，：) x ( r 一) + f ( t ，z ) v ( t ) n ( d z d t ) 一【w ( t ) e ( t ，= ) ，+ e ( t ，：) 】“ o ，：) x o ) + f ( t ，：) v ( f ) 】 ( 出) 研 + l _ 掣( f ) e ( f ，z m + e ( f ，z ) “e ( f ，z ) x ( t ) ：。( d z d t ) = q a ( t ) b ( t ) 一c ( t ) d ( t ) v ( t ) d t + w ( t ) d ( t ) v ( t ) d b 。+ 【甲( f 一) f ( f ，：) h f ) 】( 出出) 一【w ( t 一汪( f ，z ) c x + e ( t ，z ) 1 1f ( t ，z ) v ( t ) n ( d z d t ) 一【甲( f 一) e ( f ，z ) 【，+ e ( t ，z ) 1f ( f ，z ) v ( t ) 2 ( d z d t ) 所以，我们有： x ，= 。( ”j + 。( f ) i 、| ，o ) 占( s ) 一c o ) d o ) 】v o ) 出+ m ( f ) j 甲o ) d o ) v ( s ) 如， 一d o ( t ) jl 甲( s 一) 忙( s ，：) 【，+ e ( s ，：) 】_ l d ，( s ，= ) v o ) 齑( 栅) 一巾( f ) j l 壬，o ) e ( s ，= ) 【，+ e ( l = ) r 1 f ( s ，z ) v o ) 2 ( d z d s ) 引理证毕口 接下来，我们定义以下的算子： ( 三，( + ) ) ( ) = o ( p o ) 【占o ) 一c o ) d ( s ) 1 吣) 出+ p o ) d ( s p o ) 媳 一i 、壬，( s 一) f e ( s ，z ) 【，+ e ( s ，z ) 】- 1 一，) ，( 最z ) “s ) 费( 如凼) 一i 掣如) o ，：) 【，+ o ，z ) 】- 1 f o ，：) v ( s ) 2 ( 匕出) l v ( t ) 兰( 三v ( ) ) ( r ) ，v v ( - ) p ，( o ，t ；r ) ( r ) ，) ( ) 兰o ( ) y ，知三( 砂) ( r )的，且”，v ( ) 耳p ( o ，t ；r ) 山东大学硕士学位论文 上述算于的定义域和值域如f ： | ：；p ( o ，t ；r ) 耳( o ，；r ”) ，三：上；p ( o ，丁：月) 。乓( q ；r ”) i 厂：r “_ + l r o ，；矗“) ，f ：r ”_ 口( q ；月”) l 在定义了以上的算子后，对于任意的j ，r “以及v ( ) p ，( o ，t ；r 。) 相应 的状态过程x ( ) 和它的终端值x ( t ) 可由下式确定： f x ( ) = ( n ，) ( ) + ( 、，( ) ) ( ) l x ( ，) = 1 - 3 ，+ l v ( - ) 引理2 2以上定义的算子厶三，i _ ，f 都是有界线性算子 证明：由算子l 的定义可知，2 ( 0 = ( l v ( ) ) ( 吼其中戈( - ) 是下面方程的解 d x ，= a ( t ) x ，+ b ( t ) v ( t ) d t + 【c ( t ) x ，+ d ( t ) v ( t ) d b ( t ) + 瞰，z ) 舅，一+ ，( 啦) v ( t ) g ( a z d t ) x o = 0 上的线性性是显然的，f 面只证明它的有界性只颓证明存在一个k ，便得对 v v ( ) ep ( o ，t ；r ) ，都有： e r l 2 ( f ) 2d t - k e f l v ( r ) l ：d t 对l 戈( f ) 1 2 用i t o 公式，两边取期望后用g r o w n w a l l 不等式得： e l 舅( 圳：= 2 e f d s + e f i c ( s ) 贾( 5 ) + d o ) v o ) i ：d s + e fl l ( 5 ，z ) 牙o ) + f ( 以z ) “5 ) 1 2d s 碰i ) 1 2 d s 进而有： s u p e i x ( t ) 1 2 k e f 1 2 d t 这说明上是有界的，从而三也是有界的 同理由方程： 山东大学碗士学位论文 d o ( r ) pa ( t ) o ( t ) v d t + c ( t ) o ( t ) y d b ，+ l e ( t ：) 中( f 一) y n ( d z d t ) 【中( 0 1 = y 可以推知r ，f 也是有界的它们的线性性是显然的证毕口 下面我们要根据控制v 来写出值函数。我们先来寻找有界线性算子： f r ：毋( o ，t ；r ”) 呻球( o ，t ；r 5 ) ，i ：耳( n ；r ”) - g ( o ，t ；r ”) l f ：三；( o ，t ；r ”) 斗r ”，f ：耳( q ；r “) 一寸r ” 这里，e ( q ；r “) 表示所有取值于胄”，可测，平方可积的随机变量的集合 它们要满足下面的等式： 以及： e r d t = e f d t ， e f d t = e ( 2 1 ) v v ( ) 工；( o ，t ；r “) ，善( ) 三；( o ，t ；r ”) ，y r 4 e = e f d t ， e = e ， ( 2 2 ) v v ( ，) e ( o ，t ；r ) ，y r “，r 毋( q ；r ”) 为了找到以上的几个算予，我们引入以下的带跳的倒向随机微分方程 印( f ) = 一 a o ) 7 p o ) + c o ) 7 9 0 ) + e ( t ，：) r r ( t ，= ) 五( d = ) 矾+ 手( f ) 】出+ q ( t ) d b ， + “啦) n ( d z d t ) ( 2 3 ) p ( 丁) = ，7 上；( q ；凡“) 引理2 , 3 对于以上的方程，我们有如下的结论： ( i ) 对任意的告( ) 砟( o ，t ；r ”) ，令( p 。( ) ，q 。( ) ，t o ( - ，) 毋( o ，t ；r ”) x0 ( o ，t ；r ”) 巧( o ，t ；r “) 是方程( 2 3 ) 在r l = 0 处的解其中，巧( o ，t ；r “) 表示定义在 0 ，刀z q 取值于胄”可料过程的集合，每一个元素，( ，) 要满足： e f l 厂o ，：) i 2z ( 出) 出 ) ：1 + 2 + m ( y ) ) 这里，内积的意义如： _ 0 时，s l p q 问题在y 处是可解的 证明：必要性。由带随机跳跃的随机最大值原理【见8 】，( 2 1 1 ) 立得。由定理2 5 ( i ) 及( 2 9 ) 式，可知( 2 1 2 ) 式成立。 充分性。根据引理2 6 ，( 2 1 2 ) 式等价于n 0 。令( z ( ) ，p ( ) ，g ( i ) ，r ( - , - ) ) 是方程( 2 1 0 ) 的适应解，并满足( 2 1 1 ) 式。由引理2 6 ，可知( 2 1 1 ) 式意味着定理2 5 中的( 2 6 ) 式成立，由定理2 5 中的( i i ) ，s l q 问题在y 处是可解的。 山东太学砍1 + 学位论z 第三节最优控制和黎卡提方程 上一节中我们讨论了s l p q 问题的可解性，这一节我们将通过黎卡提方程来 得到s l p q 问题的最优控制的的反馈表达形式 假定s l p q 问题在y r “处是可解的，那么，则相应的系统( 2 1 0 ) 有唯一的适 应解( ( ) ，p ( ) ，口( - ) ，r ( - ，- ) ) ，并且满足： r ( 咖( f ) + s ( t ) x ( t 一) 一b ( f ) 7 p ( f 一) 一d ( f ) 7 一l f ( z ，t ) r r ( 卅a ( 出) = 0 ， 口e ， a s 上式是由最大值原理得出的系统具有最优控制的必要条件，传统上r 假设为正 定，但现在没有这种假设，因此，不能由上式得到最优反馈控制，我们弓l 入与系 统相关的黎卡堤方程来考虑这个问题。口 我们引入如下的黎卡堤方程，为了简化起见，省略了t ，z ： p + 剐+ a 7 p + c 7 p c + f 三7 蹦( 出) + q 一( p b + s 7 + c 7 p d + l e 7 p f 2 ( d z ) ) ( r + d 7 p d + f 7 p f a ( d z ) ) 一( p b + s 7 + c 7 p d + + 矽腑( 出) ) r ( 31 )0 = p ( 丁) = g r + d 7 p d + l f 7 p 以( 出) 0 定理3 1 假设( h 1 ) ，(