（概率论与数理统计专业论文）时滞随机系统的最优控制问题及应用.pdf

露： 时滞随机系统的最优控制问题及应用 o p t i m a lc o n t r o lp r o b l e mf o rs t o c h a s t i c s y s t e m sa n da p p l i c a t i o n s t h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o r t h ed e g r e eo f d o c t o ro fp h i l o s o p h y ( p r o b a b i l i t ya n dm a t h e m a t i c a ls t a t i s t i c s ) a tt h e s h a n d o n gu n i v e r s i t y b y l ic h e n s u p e r v i s o r ：p r o f z h e nw u a n d p r o f z e n g j i n gc h e n r p 以蘑秒 一 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写过的科研成果对本论文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律责任由本人承担。 论文作者签名：煞：区垒日期： o ) , o l o 、s 1 s 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留 或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅；本人授权山东大学可以将本学位论文全部或部分内容编入有关数据 牡 库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论 文。 ( 保密的论文在解密后应遵守此规定) 论文作者签名：憋：西导师签名： 日期：美丝奠巧 中文摘要 英文摘要 第一章 1 1 1 2 1 3 1 4 1 5 第二章 2 1 2 2 2 3 第三章 3 1 3 2 3 3 3 4 第四章 4 1 4 2 4 3 目录 引言 时滞随机最优控制问题的最大值原理及应用 一类推广的正倒向随机微分方程及应用 时滞系统随机递归最优控制问题的动态规划原理 广告模型中的应用 记号 时滞随机最优控制问题的最大值原理及应用 预备知识 时滞随机最优控制问题的最大值原理 2 2 1 最大值原理 2 2 2 应用。 随机时滞递归最优控制问题的最大值原理一 一类推广的f b s d e 及其应用 一类推广的f b s d e 时滞系统的线性二次问题 3 2 1 状态延迟的系统 3 2 2 状态、控制都延迟的系统 控制延迟的系统的最优反馈控制一， 3 3 1f b s d e 方法给出最优反馈控制 3 3 2 值函数方法给出最优反馈控制 时滞l q 非零和随机微分对策问题 时滞系统随机递归最优控制问题的动态规划原理 s f d e 的预备知识 问题的阐述及动态规划原理 h a m i l t o n - j a c o b i - b e l l m a n 方程 4 3 1 记号与定义 3 i v i i i 1 1 2 4 5 5 6 6 9 9 1 6 1 9 3 2 3 2 3 9 3 9 4 1 4 3 4 3 4 5 4 9 5 4 5 4 5 6 6 5 6 6 4 3 2 值函数的性质 4 3 3h j b 方程 4 3 4 h j b 方程的粘性解 第五章广告模型中的应用 5 1 广告模型及其在h i l b e r t 空间中的重新表述 5 2 更一般的情形 5 3 广告模型问题的解 b i b l i o g r a p h y 盯够孔 仡猖趴跳 舳 近些年来，人们逐渐认识到现实世界中的一些问题的发展不仅依赖于当前的状态， 而且还依赖于其过去的历史这类问题应该用状态对过去有依赖的系统方程来刻画，我 们称之为随机微分延迟方程( 简记为s d d e ) 由于其在工程、生命科学及金融等领域 的广泛应用( 可参见【3 ；1 1 ；4 3 ；4 4 ；4 7 ；3 3 】等) ，s d d e 成为现代研究的热点问题本文 将致力于在金融及其他领域中常见的受控的延迟系统的研究 对于一个系统而言，当观测与调控之间有时间差或者控制有滞后性时就会出现系 统延迟，我们称之为时滞系统2 0 0 0 年，o k s e n d a l 和s u l e mf 4 7 研究了一类财富方程 为s d d e 的最优控制问题在他们的模型中，不仅当前值x ( t ) 而且x ( t 一5 ) 及过去 值在某种意义下的平均值都会影响t 时刻财富的增长由于所选模型的特殊性，他们 能够将无穷维问题化为有限维问题来处理，得到了问题的最大值原理，并将结果应用 于金融中的相关问题但是他们的条件，相对来说，是比较强的 在实际当中，观测过去的数据可能是离散的有限个点，因此我们首先考虑当前发 展依赖于以往有限个点的系统，而且控制也具有延迟性，这些延迟还可以是时变的 我们研究一类时滞系统的最优控制问题，其中状态及控制变量都有延迟在相对 比较一般的条件下，我们得到了这类受控的时滞系统的最大值原理作为应用，我们用 得到的结果处理了经济当中一类带有时滞的生产消费选择问题，并得到了问题的显示 解借助于数值计算，我们给出了不同的延迟时间对结果的影响情况我们的主要创新 在于引入新型的倒向随机微分方程( 简称b s d e ) 一超前b s d e ( 参见p e n g ，y a n g 5 5 】) 作为伴随方程来处理时滞最优控制问题。据我们所知，这是首次采用这种方法来研究 时滞控制系统的最优控制问题 我们也考虑了具有时变延迟的正倒向系统，即用递归效用函数代替一般的效用函 数且延迟6 不在是常数，而是时间t 的函数这部分结果推广了1 9 9 5 年x u 6 5 】中的 结论 h u ，p e n g 2 9 ，p e n g ，w u 【5 4 和y o n g 6 9 】等相继研究了完全耦合的正倒向随机微 分方程( 简称f b s d e ) 在处理线性二次( l q ) 问题( 参见 6 2 ；6 7 】) 和金融中的大户投 资问题( 参见c v i t a n i c 和m a 1 5 1 ) 时都会遇到这类方程而我们在探索时滞系统的最 大值原理问题时遇到了一类新型的f b s d e ，其正向方程为时滞随机微分方程，倒向方 程为超前倒向随机微分方程我们称其为推广的f b s d e ，并给出了这类新型f b s d e 解的存在唯一性条件 山东大学博士学位论文 早在1 9 7 3 年k o l m a n o v s k i ia n dm a i z e n b e r g 就讨论了时滞随机系统的l q 问题 我们在此基础上考虑状态与控制都有延迟的l q 问题，并且用f b s d e 和值函数两种 方法来寻找最优反馈控制另外，我们也将关于推广的f b s d e 的结果应用于时滞线 性二次非零和随机微分对策问题 考虑一般情况，我们处理一类由随机泛函微分方程( 简称s f d e ) 刻画的时滞系 统的递归最优控制问题，其中系统及递归效用函数的变动都依赖于过去的一段状态而 不仅仅是有限个点对此类问题，我们证明了其值函数仍满足b e l l m a n 型的动态规划 原理由于对过去状态依赖形式的复杂性，完整形式的i t o 公式和d y n k i n 公式都很难 得到，故想进一步得到值函数满足的h a m i l t o n j a c o b i b e l l m a n 方程并不是件容易的事 情为此我们引入m o h a m m e d 4 4 】中提到的弱无穷小生成元及f u h r m a n 等【2 4 】中用 到的联合二次变差作为工具，得到了上述问题值函数对应的一个无穷维的h j b 方程 而且我们也证明了值函数就是这个无穷维偏微分方程的粘性解 最后，作为理论的应用，我们考虑一类具有延迟效用的广告问题即广告费用支出 与产生效果之间会有一定的时间差g o z z i 和m a r i n e l l i 在 2 6 】中用动态规划原理的方 法讨论过这类问题我们采用与他们不同的方法一无穷维最大值原理来处理这类问题， 这种方法是由h u 和p e n g 2 8 】首次提出的这部分结果也是我们论文2 3 部分在无穷 维空间中的一个推广 本论文由5 章内容组成，下面我们将列出主要结果 第1 章：介绍第2 章- 第5 章所要研究的问题 第2 章：我们研究状态方程为如下形式的时滞系统的最优控制问题： fd x ( t ) = b ( t ，x ( t ) ，x ( t 一6 ) ，u ( ) ，v ( t 一5 ) ) d t + 盯( ，x ( ) ，x ( t 一6 ) ， ( ) ，u ( 一j ) ) d b ( ) ，t 【0 ，卅， 【x ( t ) = ( ) ，v ( t ) = 叩( ) ，t 【- 5 ，o 】 首先我们给出此类s d d e 解的存在唯性接着我们考虑控制域为凸集时的情形，得 到了如下的最大值原理 定理2 2 6 令乱( ) 为时滞随机最优控制问题偿圳一偿纠的最优控制，x ( ) 为其相应 的最优轨线则我们有如下论断： 0 ，v 口e ，0 s ， 其中心全协( ，x ( ) ，x ( t 一6 ) ，乱( ) ，u ( t 一6 ) ，p ( ) ，z ( ) ) ，= u ，v 5 ，对任意0 t t h a m i l t o n 函数 h ： 0 ，卅r n 妒r 七r 知己多( o ，丁+ 5 ；r n ) l 2 y ( o ，t + j ；r “d ) _ r i i 一 山东大学博士学位论文 定义为： h ( t ，x ( ) ，x ( t 一6 ) ，u ( ) ，v ( t 一6 ) ，p ( ) ，z ( ) ) = + + l ( t ，x ( ) ，u ( ) ，v ( t j ) ) 0 ( ) ，z ( ) ) 为如下超前b s d e 的解 d p ( t ) = ( 鹾) r p ( ) + ( ) 7 。z ( t ) + e 五【( 鹾。k + 6 ) 7 p ( t + + l z ( ，x ( ) ，乱( ) ，u ( t 一6 ) ) ) d t z ( t ) d b ( t ) ， p ( t ) = 吒( x ( 丁) ) ，p ( t ) = 0 ，t ( t ，t + 卅， z ( t ) = 0 ，t 【t ，t + 卅 + ( 0 ；u 。h ) 下z ( t + 6 ) 】 【0 ，t 】， 更进一步，我们可以得到如下的控制最优的充分条件 定理2 2 8 假设“( ) a ，令x ( ) 为其相应的轨线，p ( t ) 和名( ) 为伴随方程偿j 矽的 解如果( h 2 5 ) 一( h 2 6 ) 及( 2 1 3 ) ( 氯( 2 1 6 ) ) 或i 。烈u 为畸滞控黼阚题( 2 3 ) 一( 2 5 ) 的最优解 利用得到的最大值原理，我们研究了一类时滞的生产消费选择最优化问题生产 资本x ( t ) 满足如下方程： id z ( t ) = 【k a x ( t 一6 ) 一c ( t ) d t + 仃( z ( t 一6 ) ) d b ( ) ，t 【0 ，t 】， i z ( ) = ( ) ，t 【- 5 ，o 】 问题是如何选取消费率c ( ) 最大化代价泛函 坼) - e z te 州半删 下面的命题给出了最有控制问题的显示解，而且从f i g u r e1 和f i g u r e2 中我们可 以看出不同的时间延迟对结果的影响情况 命题2 2 9 对生产消费选择问题俾! 砂俾f 纠，最优消费率为c + ( ) = 一r 领万万，其 中p ( t ) 如式俚2 0 ) 中的形式 接着，我们考虑了控制域非凸时的递归最优控制问题假设延迟是时变的，且扩散 项盯不含控制，即系统由如下的时滞正倒向方程来描述： d 0 山东大学博士学位论文 d x ( t ) = ( t ，z ( z ) ，x ( t j ( ) ) ，u ( ) ，v ( t 一 ( ) ) ) d + 盯( ，z ( z ) ，x ( t 一6 ( ) ) ) d 日( ) ，t 【0 ，卅 d y ( t ) = g ( t ，z ( ) ，x ( t 一6 ( ) ) ，秒( ) ，z ( ) ，v ( t ) ) d t + z ( t ) d b ( t ) ，t 0 ，卅 x ( t ) = ( ) ，v ( t ) = 叩( ) ，t 【- k ，o l ， y ( t ) = ( z ( 丁) ) 定理2 3 6 假设u ( ) 为最优控制，( z ( ) ，可( ) ，z ( ) ) 为其相应的最优轨线则对所有 0 t t ，我们有 h ( t ，z ( z ) ，z ( t 一6 ( ) ) ，可( ) ，z ( ) ，u ( ) ，u ( t 一( ( ) ) ， p ( ) ，q ( ) ，七( ) ) + e 【日( r ，z ( r ) ，x ( r 一6 ( r ) ) ，可( r ) ， z ( r ) ，乱( r ) ，u ( r 一( ( r ) ) ，p ( r ) ，g ( 7 ) ，尼( r ) ) l ，；。( t ) k 7 ( ) 】 = r a ，i ，n ，h ( t ，z ( ) ，x ( t 一6 ( ) ) ，可( ) ，z ( ) ，口，乱( 一 ) 我们有： 定理4 3 1 1 如心圳式定义的乱( s ，妒) 为h j b 方程似3 剀的一个粘性解 第5 章：在最后一章，我们研究一类广告模型中的时滞随机控制问题作为我们理 论的应用这类时滞的广告模型可以重新定义于h i l b e r t 空间我们利用无穷维的最大 值原理处理该类问题： 定理5 3 1 l e t ( 乱( ) ，x ( ) ，y ( ) ，z ( ) ) 为问题5 j 的最优控制及相应的轨线贝1 1 t , , t 1 0 最大值原理成立： h ( t ，x ( t ) ，y ( ) ，z ( ) ，u ( t ) ，p ( ) ，q ( ) ，七( ) ) = m a xh ( t ，x ( ) ，y ( ) ，z ( ) ，u ，p ( ) ，q ( ) ，七( ) ) ，口e ，n s ， 其中p ( ) ，q ( ) ，七( ) ) 为如下伴随方程的解 p ( ) = m 九( x ( t ) ) q ( t ) + 少_ m ( s ，x ( s ) ，y ( 5 ) ，z ( s ) ，u ( s ) ) g ( s ) 】d s 一e ( s - t m k ( s ) d b ( s ) ， g ( ) = 一锄( y ( o ) ) 一咖8 ，x ( s ) ，y ( s ) ，z ( s ) ，u ( s ) ) q ( s ) d s ，0 一矽：( s ，x ( s ) ，y ( s ) ，z ( s ) ，缸( s ) ) g ( s ) d b ( s ) 这里a 是一个强连续半群的无穷小算子，a 。为它的伴随算子若给定某些效用函 数我们可以给出最优控制的显示形式 关键词：时滞系统；随机微分延迟方程；时滞随机最优控制；最大值原理；正倒向随 机微分方程；时滞随机l o 问题；动态规划原理；时滞生产消费最优选择问题；广告模 型 v i i 山东大学博士学位论文 o p t i m a lc o n t r o lp r o b l e m f o rs t o c h a s t i cd e l a y e d s y s t e m sa n da p p l i c a t i o n s a b s t r a c t i th a sb e e nr e c o g n i z e di nr e c e n ty e a r st h a tt h ed e s c r i p t i o no fm a n yr e a lw o r l dp r o b - l e m ss h o u l db em o d e l l e db ys t o c h a s t i cd y n a m i c a ls y s t e m sw h o s ee v o l u t i o nd e p e n do n t h ep a s th i s t o r yo ft h es t a t e s u c hm o d e l sa r eo f t e nr e f e r r e dt oa ss t o c h a s t i cd i f f e r e n t i a l d e l a ye q u a t i o n s ( s d d e sf o rs h o r t ) d u et ot h e i rw i d ea p p l i c a t i o n si ne n g i n e e r i n g ，l i f e s c i e n c ea n df i n a n c e ( s e ee g 【3 ；11 ；4 3 ；4 4 ；3 3 】) ，s d d e sb e c o m eap o p u l a rt o p i ci n m o d e r nr e s e a r c h t h i st h e s i si sd e d i c a t e dt os t u d yt h ec o n t r o l l e ds y s t e m sw i t hd e l a y w h i c ha r i s i n gi nf i n a n c ea n do t h e ra r e a s ad e l a yt e r mm a ya r i s ei nac o n t r o lp r o b l e mw h e nt h e r ei sat i m el a gb e t w e e n o b s e r v a t i o na n dr e g u l a t i o no rt h ea f t e r e f f e c to fc o n t r 0 1 i n2 0 0 0 ，o k s e n d a la n ds u l e m 4 7 i n v e s t i g a t e dac l a s so fp r o b l e m sw h e r et h ew e a l t hx ( t ) a tt i m et i sg i v e nb ya s d d e i nt h e i rm o d e l ，n o to n l yt h ep r e s e n tv a l u ex ( t ) b u ta l s ox ( t 一6 ) a n ds o m e s l i d i n ga v e r a g eo fp r e v i o u sv a l u e sa f f e c tt h eg r o w t ha tt i m et b e c a u s eo ft h es p e c i f i c s t r u c t u r eo ft h ed e p e n d e n c eo ft h ep a s tt h a tt h e yc o n s i d e r e d ，t h e ya r ea b l et or e d u c e t h ep r o b l e mt of i n i t ed i m e n s i o n t h e yp r o v e dm a x i m u mp r i n c i p l e sf o rs u c hm o d e l sa n d a p p l i e dt h e mt os o l i n gs o m ep r o b l e m sr e l a t e dt of i n a n c e b u tt h ea s s u m p t i o n st h e y n e e di sr e l a t i v e l ys t r o n g e r i np r a c t i c e ，t h eo b s e r v a t i o nf o rt h eh i s t o r yo ft h es t a t em a yb ef i n i t ep o i n t s s o ，a t f i r s t ，w ec o n s i d e rt h es y s t e mi n v o l v i n gf i n i t ed e l a y e dp o i n t s m o r e o v e r ，t h ed e l a yp o i n t s c a nb et i m e - v a r y i n g w ep a ya t t e n t i o nt ot h es y s t e m si n v o l v i n gb o t hd e l a y si ns t a t ev a r i a b l ea n di n c o n t r o lv a r i a b l e w ed e r i v et h em a x i m u mp r i n c i p l ef o rt h i sk i n do fc o n t r o l l e ds y s t e m s w i t hd e l a yu n d e rm o r eg e n e r a lc o n d i t i o n s a sa na p p l i c a t i o n ，w ea p p l yo u rr e s u l tt o ap r o d u c ea n dc o n s u m p t i o nc h o i c ep r o b l e mw i t hd e l a yi ne c o n o m i c sa n dt h ee x p l i c i t s o l u t i o no ft h ep r o b l e mi sg i v e n m o r e o v e r ，b yt h en u m e r i c a lr e s u l t s ，w es h o wt h e e f f e c t so fd i f f e r e n tt i m ed e l a y s t h em a i nn o v e l t yo fo u rm e t h o di sw ei n t r o d u c ean e w t y p eb a c k w a r ds t o c h a s t i cd i f f e r e n t i a le q u a t i o n s ( b s d e sf o rs h o r t ) a n t i c i p a t e db s d e ( s e ep e n ga n dy a n g 【5 5 】) a so u ra d j o i n te q u a t i o n t oo u rb e s tk n o w l e d g e ，i ti st h ef i r s t a t t e m p tt os t u d ys t o c h a s t i co p t i m a lc o n t r o lp r o b l e mw i t hd e l a yi nt h i sw a y i i 山东大学博士学位论文 w ea l s oc o n s i d e rt h ef o r w a r d b a c k w a r ds y s t e m sw i t ht i m e - v a r y i n gd e l a yi e t h e s t o c h a s t i cd e l a y e ds y s t e m sw i t hr e c u r s i v eu t i l i t ya n dt h ed e l a y6i saf u n c t i o no ft i m e t t h i sr e s u l te x t e n d st h a to f 6 5 f u l l yc o u p l e df o r w a r d - b a c k w a r ds t o c h a s t i cd i f f e r e n t i a le q u a t i o n ( f b s d ef o rs h o r t ) w a ss t u d i e di nh u ，p e n g 2 9 ，p e n g ，w u 【5 4 】a n dy o n g 6 9 】e t c i tc a nb ee n c o u n t e r e d i nl i n e a r - q u a d r a t i c ( l q ) p r o b l e m ( s e e 6 2 ；6 7 ) a n dm a t h e m a t i cf i n a n c ew h e nw ec o n s i d e r l a r g ei n v e s t o r ( s e ec v i t a n i ca n dm a i l 5 ) an e wt y p eo ff o r w a r d - b a c k w a r ds t o c h a s t i c d i f f e r e n t i a le q u a t i o n sw i t hi t 5s t o c h a s t i cd e l a ye q u a t i o n sa sf o r w a r de q u a t i o n sa n d a n t i c i p a t e db s d e sa sb a c k w a r de q u a t i o n sc a m eo u td u r i n go u rs t u d y i n gt h em a x i m u m p r i n c i p l ef o rt h es y s t e m sw i t hd e l a y w eo b t a i nt h ee x i s t e n c ea n du n i q u e n e s sr e s u l t so f t h eg e n e r a lf b s d e su n d e rs o m es u i t a b l ec o n d i t i o n s t h el qr e g u l a t o r yp r o b l e mi n v o l v i n gs t o c h a s t i cd e l a ye q u a t i o n sw a ss t u d i e di n k o l m a n o v s k i ia n dm a i z e n b e r g 3 4 w ec o n s i d e rt h el qp r o b l e mw i t hd e l a y si ns t a t e a n dc o n t r o l ，a n df i n dt h ef e e d b a c kr e g u l a t o rb yf b s d em e t h o da n dv a l u ef u n c t i o n m e t h o di n d e p e n d e n t l y a l s ow ea p p l yo u rr e s u l t so nt h eg e n e r a lf b s d e st od e a lw i t h t h el qn o n z e r os u ms t o c h a s t i cd i f f e r e n t i a lg a m ep r o b l e mw i t hd e l a y i ng e n e r a lc a s e ，w et r e a tas t o c h a s t i cr e c u r s i v eo p t i m a lc o n t r o lp r o b l e mi nw h i c h b o t ht h ec o n t r o l l e ds t a t ed y n a m i c sa n dt h er e c u r s i v eu t i l i t ym a yd e p e n do ns e g m e n to f t h eh i s t o r y , n o to n l ys e v e r a lp o i n t s ，i e t h es y s t e mi sd e s c r i b e db ys t o c h a s t i cf u n c t i o n a l d i f f e r e n t i a le q u a t i o n ( s f d ef o rs h o r t ) f o rs u c hp r o b l e m sw ep r o v et h a tt h ev a l u e f u n c t i o ns a t i s f i e sab e l l m a n - t y p ed y n a m i cp r o g r a m m i n gp r i n c i p l e b e c a u s eo fv a r i o u s f o r m so fp a t hd e p e n d e n c y t h ec l o s e df o r mo fi t o sf o r m u l ao rd y n k i nf o r m u l aa x e g e n e r a l l yh a r dt oo b t a i n e d ，s ot h ew o r kt od e r i v et h eh a m i l t o n - j a c o b i b e l l m a ne q u a t i o n i sn o te a s y u s i n gt h ew e a ki n f i n i t e s i m a lg e n e r a t o ri n t r o d u c e di nm o h a m m e d 【4 4 】a n d t h ej o i n tq u a d r a t i cv a r i a t i o n si nf u h r m a ne t c 2 4 ，w eo b t a i na ni n f i n i t e - d i m e n s i o n a l h j be q u a t i o n i ti ss h o w nt h a tt h ev a l u ef u n c t i o ni sav i s c o s i t ys o l u t i o no ft h eh j b e q u a t i o n f i n a l l y , a sa na p p l i c a t i o no fo u rr e s u l t s ，w ec o n s i d e rac l a s so fd y n a m i ca d v e r t i s i n g p r o b l e m su n d e ru n c e r t a i n t yi n t h ep r e s e n c eo fc a r r y o v e ra n dd i s t r i b u t e df o r g e t t i n g e f f e c t s ，w h i c hi sa l s od i s c u s s e di ng o z z ia n dm a r i n e u i 2 6 w ed e a lw i t ht h ep r o b l e m u s i n gm a x i m u mp r i n c i p l ei ni n f i n i t ed i m e n s i o n a lw h i c hi sam e t h o dd i f f e r e n tf r o mt h e i r s a nt h i sm e t h o dw a si n t r o d u c e df i r s t l yi nh ua n dp e n g 2 8 t h i ss e c t i