（运筹学与控制论专业论文）线性随机系统的二次指标混合最优控制问题.pdf

霪星盔堂亟圭堂丝丝塞 i 摘要 本文研究带停时和二次指标的线性随机系统的混合最优控制闯题利 用h a m i l t o n 系统及对应的r i c c a t i 方程的解和对偶方法，研究最优控制和最 优停时以及值函数的性质全文分为四章： 第一章介绍了线性随机最优控制问题和最优停时问题的研究历史现状， 和本文所讨论的问题 第二章我们讨论带任意停时的线性随机控制问题，给出了利 用h a m i l t o n 系统和对应的p d c c a t i 方程进行研究的方法，并给出一般结论 第三章利用对偶方法研究了具有金融市场背景模型，给出最优解和值 函数的一些重要性质 第四章我们给出了特殊情形下的解及其一些重要性质 关键词：线性随机控制系统，风险最小化，最优停时，h j b 系统，对偶方 法 复星盔堂亟主堂焦丝 i i a b s t r a c t t h i sp a p e ri sc o n c e r n e dw i t ht h es t o c h a s t i cl q ( t h ea b b r e v i a t i o no f ”l i n e a rq u a d r a t i c ”) p r o b l e mw i t hd i s c r e t i o n a r ys t o p p i n g w eu s eh a m i l t o n s y s t e m ，t h ea s s o c i a t e dr i c c a t ie q u a t i o na n dt h ed u a l i t yt h e o r yt os t u d yt h e p r o b l e m t h i sp a p e ri n c l u d e sf o u rc h a p t e r s t h ef i r s tc h a p t e ri n t r o d u c e st h eh i s t o r i c a ls t u d ya n dc u r r e n td e v e l o p m e n t so i ll qo p t i m a lc o n t r o lp r o b l e ma n do p t i m a ls t o p p i n gp r o b l e mf o r c o n t i n u o u s - p a r a m e t e rp r o c e s s e s ，a n dt h ep r o b l e mw es h a l ld i s c u s si nt h i s p a p e r t h es e c o n dc h a p t e rg i v e sam o d e lo fl i n e a rs t o c h a s t i cs y s t e m sw i t hd i s - c r e t i o n a r ys t o p p i n gt i m e ，a n ds o m eg e n e r a lc o n c l u s i o n sb yu s i n gh j bs y s - t e r n sa n dr e l a t e dr i c c a t ie q u a t i o n s i nt h et h i r dc h a p t e r ，w eu s et h ed u a l i t ym e t h o dt od i s c u s st h ep r o b l e m w i t haf i n a n c i a lb a c k g r o u n d ，t of i n da no p t i m a lp a i ro fc o n t r o la n ds t o p p i n g t i m e ，a n dt og i v es o m ei m p o r t a n tp r o p e r t i e so fv a l u ef u n c t i o n i nt h ef o u r t hc h a p t e r w es h a l ls t u d yt h es p e c i a lc 嘲o fc o n s t a n tc o e f - f i c i e n t s g i v et h eo p t i m a lp a i ra n di t sp r o p e r t i e s k e y w o r d s ：s t o c h a s t i cc o n t r o l ，m i n i m i z a t i o n ，o p t i m a ls t o p p i n g ，h j b s y s t e m s ，d u a i i t y 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果论文中 除了特别加以标注和致谢的地方外不包含其他入威其它机构巳经发表或撰写 过的研究成果其他同志对本研究的启发和所做的贡献均已在论文中作了明确 的声明并表示了诲噫 与 作者签名：盔日期：之丛：! 三：壁 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的觌定即：学校有权保 留送交论文的复印件。允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容可以采用影印、缩印或其它复制手段保存论文保密的论文在解密后 遵守此规定 作者签名 第一章 己i 吉 jl 口 最优控制理论的发展已经有一段历史了，它是现代控制理论的一个重 要分支，前苏联数学家庞特里亚金在1 9 5 8 年提出的极大值原理和美国科学 家贝尔曼于1 9 5 6 年提出的动态规划是研究发展最优控制理论的主要方法 线性系统在二次型性能指标下的最优控制问题则是卡尔曼在6 0 年代初提出 和解决的 最优停时问题一直是随机最优控制理论中的重要的研究课题之一本 文研究的带停时的最优控制问题就是从这个方向出发，将停时问题和最优 控制问题相结合，得出最优控制和最优停时及其性质 在文章【8 l 中，k a r a t z a sa n dz a m f i r e s c u 运用鞅逼近的方法，对带任意停 时的连续时间的随机控制问题进行了讨论，精确刻画了最优控制策略的充 要条件采用的模型为x ( t ) = z + l g f ( 8 ，x ，“。) d e + f j a ( s ，x ) d w ? ，0 t t ，即控制只出现在漂移项这与本文在第三章所讨论的模型不相同文 章f 8 的充要条件为：一个允许控制缸甜使得v ( o ) = s u p j - ( o ) ，当且仅当以 下的条件满足： ( 1 ) 过程 尼( tat o ) ，0st 墨t ) 是一个p 鞅 ( 2 ) 等价性：v 0 e 1 ，眇( t t ) = 1 如果这两个条件都满足，则 对v o se 。，c ， 效用函数为 e z 7 s 邓t 似t ) ) d t4 - e - 口t 巩( x “n 。( ，) ) ，。sts r ( 1 2 ) 由于以金融市场为研究背景，所以对x ( r ) 加以x ( t ) 0 ，v o 曼t t 的 限制，但本文对x 的取值不加限制， 本文的第二章先对给定一个停时的情况进行研究，将f o ，丁1 区间上的状 态方程延拓到f o ，t l 上，利用固定区间上动态规划方法来求解第三章中利 用h j b 方程和对偶方法，在金融市场背景下求解最优控制和最优停时，给出 了值函数和最优对的表达式，并研究了值函数的一些重要性质第四章中我 们给出了一类特殊情况即，常系数系统的最优解，并对解的性质进行了研究 第二章 混合最优控制问题及一般结论 2 1 问题的提出 考虑一个带域流的完备的概率空间( q ，p j 五，0sts 丁) ) 和定义 在它上面的d 维标准的布朗运动 ( ) = ( h ，1 ( t ) ，w 么( t ) ) 7 ，0 tst ) ， 五，0 s t t 是由w 生成的，五包含所有p 零集的自然盯域流。我们考虑 线性随机控制系统 f 哪) = f 郇删恻咖阱萎d 俐即) + d 舢m 纠删巩 10 t e 【x ( o ) = z r “，缸( t ) r ” ( 2 1 ) 假定 ( a 1 ) a ，b ，g ，b ，i = 1 ，2 ，d 是定义在q 【0 ，纠上又五，0st t ) 循 序可测的且有界的矩阵过程维数分别为礼n ，nxm ，札n ，nxm ( a 2 ) 存在一个正的实数6 ，使得d ：d 。26 k 。，o s ，v t 【o ，t 】 假设控制属于h i l b e r t 空间c ( o ，t ；r ”) 记为。缸，由随机微分方程理论， ( a 1 ) 成立时系统( 2 1 ) 对于任意u 玩d 存在唯一强解( 参考g a l c h u k 3 ) 我 们用x 一( ) 来表示系统( 2 1 ) 的强解，简记为x 一 3 复星盔兰亟圭堂丝遨 4 所谓l q 问题是求“u o d 使下列目标函数达到最小 j ( z ， ) ：= 妄e + j e z 1 ( 十 ) 出( 2 2 ) 这里 表示向量内积假设 ( a 3 ) n ，q 是对称半正定的，关于( ，叫) 一致有界， 五，0st t 循序可 测的矩阵过程，维数分别为mx m ，nx 佗，佗死 ( a 4 ) 控制加权过程是一致正定的：存在某个正的常数d l ，使得n j 1 k x m ( a 5 ) 终端状态加权矩阵m 是正定对称的：存在某个正的常数如，使 得m 如厶。 ( a 6 ) 随机变量s 2 ( q ，五，p ；辩) 一般的l q 问题是对任意的。r ，找到一个位( ) 阮d 满2 = y ( z ，砬) = i n fj ( x ，“) 定义停时集合岛，t ：= p ：n 一 o ，t ，r 为，停时) ，将l q 问题 u t “8 d 的终端时刻改为停时r ，此时目标泛函为 ，( 删，r ) ：= ；e + 互1 e z 7 ( + ) 出，( 2 3 ) 混合最优控制问题是决策者自由选择控制u 玩d 和停时丁，使得相应的目标 泛f i i ( 2 3 ) 达到最小 值函数 v ( x ) = ， i n i t ，( z ；u ，r ) ( ，r ) e ( u “x a o r ) 容易验证在( a 1 ) ，( a 3 ) 一( a 6 ) 假设成立时 0 y ( z ) o o ，v z r - 复星丕堂亟主芏焦丝塞 5 由于在混合优化问题中存在一对可同时变化的变量( 札，r ) ，直接研 究十分困难固定扎，求r 使j ( 。；也，r ) 最小是一个最优停时问题固 定，岛，t ，求扎使t ，( o ；缸，7 - ) 最小是一个最优控制问题下面我们讨论固定控 制或停时隋况下问题的解及其性质 复旦丕堂亟圭堂鱼丝塞 6 2 2 终端时刻为停时的l q f a 题 固定一个停时r , 9 0 t ，考虑终端时刻为停时r 的l q i n 题，求u 阮d 使j ( z ；u ，r ) 达到最小，我们将该问题记为( l q l ) 注0 1 如栗于为最优停肘，即i n fl ，( 。；u ，亍) = y ( z ) ，则最优控制存在 u 司由本节的结果得到 对于【o ，7 1 上的函数，( ) 定义 厂( t ) = x 【。，j ( t ) f ( t ) 其中地( t ) 为特征函数 删= r 川t e a 。, ：二蔓：! 。) + 三二：+ 喜 凹。) + 研。m ：篓 ( z ；让) ：= i 1 e + ；e z r ( + ) 出( 2 r 5 ) 考虑最优控制问题求阮d 使鼻( z ；u ) 达到最小，记为( l q 2 ) ，这是一个 标准的l q f , 题值函数 w ( z ) = 。i n 地f d ( z ；) ( 2 6 ) 星星盔堂亟圭堂垡鲨塞 7 定理2 1 n ( ) 是阻q j ，最优当且仅当吐( - ) x l ( ) 是阻q 剀最优且值函 数相同， 0 s t st ( w ) 7 - ( u ) t s t 是( l q 2 ) 最优，且显然诈( z ) = ( z ；0 ) = ，( z ；矗，r ) = y ( z ；r ) 反之，也( ) 是( l q 2 ) 最优，则 鼻( z ；缸) = 二1 e + ；ez 2 ( + ) 出 = ；e 十互1e 上r 出 + ；e z t 班， 非负，且v u 6 么，鼻( 士；砬) s 矗( z ；“) ，所以也( t ) = o ，a e ，v t ( 7 ，刀因此 ( z ；砬) = 。1 _ e + 2 1 e z 7 ( + ( t ) ) 吲岭) 出 = ，( 。；缸，r ) 那么由第l 部分的证明可得也是( l q l ) 最优 口 下面我q j 对v d x ) 进行讨论先介绍标准l q 问题的解 镪2 2 假设( a 1 ) a 2 1 ( a 3 ) ( a 5 1 ，和( a 6 ) 成立刚阀题( l q 2 ) 存在 难一的最优控制n c ( o ，t ；r ”) 证明引用b i s m u t 1 ，2 的结果 复星丕堂亟圭堂堡垒塞 8 j 己理2 3 假设( a i ) ( a 2 1 。( a 3 ) 。( a 5 ) 。和( a 6 ) 成立则电吣，t ；r “) 是仁q 剀的最优控祝当且仅当存在一对过程( ，z ：= ( z ，。d ) ) 满足下 面的锄向随机徽分方程： 螂卜卜啪饥卅喜c 删w 叫蚺壹i = l 刑哪， 【y ( t ) = m ( x ( t ) 一s ) ， ( 2 7 ) 其中戈：= x z ；f i r ， 掣c 多( o ，r ；r ”) nc 2 ( q ，j ，p ；g ( o ，刁；r “) ) ，z ( c ( o ，t ；p ) ) 4 且有 d ( b 7 ( ) ) 7 ( t ) + ( d ；( t ) ) ( t ) + ( t ) 砬( t ) t = l 由k o h l m a n na n dt a n g 9 l ：垦的定理3 4 这样，我们得到了( i i ) 对应的h a m i l t o n 系统 d x ( t ) = 【4 7 0 ) x ( t ) + b 7 ( t ) 札( t ) 】d t + 乏二【c ，( t ) x ( t ) + d j ( f ) 乱( ) 】d i 亿o ) ， 0 t z 蚶，= - n ( t ) - 1h 啪坝；dc 删彤 ，唧s z札( t ) p ( t ) ) 7 9 ( ) + ( 彤( ) ) i ，o s t s z l扛=lj r d 1 d d y ( t ) = 一i ( ( ) ) 7 9 ( ) + ( 凹( t ) ) 盏( t ) + 旷( t ) 贾( t ) f 如+ 五( t ) d 眦( f ) l i = l j t = 1 x ( o ) = o r “， ，( t ) = m ( x ( t ) 一s ) ， z = ( z ”，施) ( 2 9 ) 所以，当给定一个停时r 时，能找到一个对应的最优控制 矗e 。= - n ( t ) 一1 c b 7 c t ，台c 站+ 喜c 巧c ，7 z e t ， ，0 stse c 。z 。，矗= 。1 i ( b 7 ( ) ) 7 ( ) + ( 巧( ) l ，s s e ( 2 1 0 ) lt = ij 复里苤堂亟主堂丝丝塞 9 这时，对应的目标泛函为 鼻( 叫n ) = e + ；ez r ( + ) 出( 2 1 1 ) 所以，此时最优值函数 w ( o ) = ( z ；砬) ( 2 1 2 ) 又因为诈( z ) = 以z ；r ) ，所以我们得到( l q 2 ) 问题的最优控制和僮函数 i e 时借助( l q 2 ) f 司题与( l q l ) 问题的关系，我们可立得( l q l ) 问题的解 定理2 4 假设( a i ) ( a 2 ) ( a 3 ) ( a 5 ) ，和( a 6 ) 成立? 鼬( l q i ) 同题存在 最优控制矗7 c 至- ( o ，t ；r “) ，且n 7 ( t ) = 砬( t ) ，a e ，v t 0 ，r ，且搿o ，叫睢 定l 理2 5 假设( a i ) ( a 2 1 。( a 3 ) ( a 5 ) 。和( a 6 1 成立刚钌譬岭，t ；r ”) 是最优控制，当且仅当存在对过程( ，z ：= ( z ”，翱) ) 满足下面的倒 向随机微分方程： ia v c 印= 一 c 4 c ，7 ”c + 喜c gc 力，7 聋c 力+ q c 戈c t ， 咖+ 童1 = 1 麓c ”d c 功 【9 ( r ) ：m ( 戈( 7 - ) 一s ) ， ( 2 1 3 ) 其中戈：= x o 矿， 掣c 争( o ，t ；r “) n c 2 ( q ，乃，p ；g ( o ，刀；r ”) ) ，z ( 多( o ，t ；r “) ) 4 且有 ( b ( t ) ) 7 ( t ) 十( d 。( ) ) _ ( t ) + n ( t ) f i 7 ( t ) = 0 ， o so e ( 2 1 4 ) 复旦丕堂亟兰堂丝丝 1 0 我们可直接得到( l q l ) 问题的h a i i l i l t o n 系统 d x ( t ) = f a ( ) x ( t ) + b ( ) 矿( f ) 出+ 【c ；( ) x ( 幻+ d ；( t ) 矿( ) 】d 计：( ) ， 0 t sr ， 让7 e 力= - n ( t ) - 1 - n ( t ) e 8 e 曲，箩e 莳十委c 。，c 辞，7 z e ”j 1 ，。s t - t 7 i ( 8 “莳十( n ( 辞黼) f ，o s f - l i = l r d 1 d d y ( t ) = 一m t ) ) 7 ( t ) + ( g ( t ) ) 7 麓( t ) + id t + 盈( t ) d 姒( f ) l 恒ijt = l x ( o ) = z r ”， g ( 7 ) ：m ( 戈( r ) 一s ) ， z = ( 0 1 ，施) ( 2 1 5 ) 所以，对给定的停时7 - ，对应的最优控制为 也7 c 。= - n ( t ) 一1 c b c d ，7 ”c 力+ e 4 ( d ；c 句，_ c t ， ，。t sn cz16)i=i 也7 ( t ) = 一1 i ( b ( t ) ) 7 掣( t ) +；( t ) ) _ ( t ) l ， o tsr ( 2 lj 这时，对应的目标函数为 j ( 哪7 ，7 ) = ；e + i 1 e z ( + ) d t ，( 2 1 7 ) 值函数即为 y ( z ；7 ) = j ( z ；矿，f ) ( 2 1 8 ) 这样。我们定义 y ( 茁) = ，班，k ( z ) ， ( 2 1 9 ) 则矿( z ) 为带任意停时的随机l q 问题的值函数若存在( 矿，亍) ，矿( z ) = j ( z ；铲，f ) ，则( 矿，f ) 即为混合问题的最优对为讨论最优对的存在性，我们 利用r i a t i 方程研究w ) 关于f 的连续性 复星丕堂亟堂丝丝塞 1 1 和 先给出与值函数有关的两个倒向随机微分方程( b s d e ) ： d d k ( t ) = 一 ( a 7 ( t ) ) k ( t ) + k ( t ) a ( ) + ( 凹( t ) ) 7 k ( t ) 凹( t ) + q 7 ( t ) d + ( 凹( t ) ) 7 l t ( t ) + 厶( ) 凹( ) i = l d - ( r ( t ，k ( ) ，l ( t ) ) ) ( ( t ) + ( d ；( t ) ) 7 ( t ) d ；( ) ) r ( t ，k ( t ) ，l ( t ) ) ) 出 t = 1 d + 厶( ) d 巩( f ) ， i = l k ( t ) = m ( 2 2 0 ) fd e ( t ) = - 卜纰，+ 扣啪卜扣愀l l 妒( t ) = s f ： 0 ，t 1 5 ：r n 。4 一r ”。”， r c - ，k ，l ，= 一( + 砉c 。j ，7 k 。；) 一1 ( c b 7 ，7 + 善dc 。；，7 k c 7 + 娄c 。j ，7 厶) ( 2 2 2 ) 力：= a 7 + b 7 r ( ，k ，l ) ，田：= c ? + d ；r ( ，k ，工) ( 2 2 3 ) 我们能得到以下的定理： ；e j 璧：2 6 ( ) 假设( a i ) ( a 3 ) ( a 5 ) 和( a 6 ) 成立 一吠，) 是b s d e ( 2 2 形的一个 五，0 t 研适应的 解，k 是正定的，且c 7 ( o ，t ；5 + ) n c 。( f 2 ，疗，p ；e ( o ，明；s + ) ) ，l 多( o ，丁；s ) ， 以 砂渺，毋) 是b s d e ( 2 幻，的一个 五，05tst ) 适应的解 且es u pi 妒( t ) 1 2 o o ， ( c 多( o ，t ；r ”) ) 4 ， 复旦丕堂亟堂焦鲨塞 1 2 则最优控制存在唯一的反馈形式： 矿= r ( ，k ，l ) 戈7 + 扎o ， 其中妇x 2 ；甜，h ，k 由( 2 ，2 2 定义，的定义为 u 。：= ( + 娄c d 。r ，7 k d ：1 1 c b 7 ，7 妒+ e ；i 。( d r ) i l7 a u 。：= ( j v + ( 。) 7) i ( b 7 ) 7 妒+7 a i = l = l j ( 2 2 4 ) o s t 值函数可表示为： v ，- ( z ) = 一2 + y o ( o ) ， z 舻， ( 2 2 6 ) 这里的矿o ( o ) 定义为： 比叭= 驴 一驴z ? ( ( 邮，+ 娄c 咧啪坝驴m ，) 让。，护) 幽 证明部分可参考k o h l m a n na n dt a n g 9 ，定理3 8 的证明 m b s d e ( 2 2 0 ) 和( 2 2 1 ) 得k ( 0 ) ，1 ； ，( o ) 的表达式 即，= e 蜀卜+ r ( c 删黼m 删+ 善dc 哪即俐 + 驴( ) + d ( g ，厶( 站+ 厶( ) g ( # ) 删删，删蚋讣善dc 州帅珊咖，碱删) 司 = e 凡卜z 7 ( c 删删删忡，+ 萎dc 删删哪， + q ( ) + d ( c ：( t ) ) ，厶( t ) + l ；( s ) c ：( ) 】 玳，碱酬蚋计妻e 酬础帅，懒酬) d t ， 一( r ( ，( 莳，己( t ) ) ) ( ( ) + ( 玩( 移) 7 耳( 妨毋( t ) ) r ( t ，k ( f ) ，三( t ) ) f ， 1 ；f j ( 0 ) = 驴 = e 而 s 十z t ( c 矛c 力，7 妒c + 妻c 曰c t ，7 也c t ，) 叫 s + f ( c a 。妒e t ，+ 壹i = lc a c ”，7 也c t ，) a 刁， 复皇丕堂亟圭堂堡逖 1 3 这里的a ，矛，a ，口分别为 定义 五= a + b r ( ，k ，l ) ， 量= a 7 + b 7 r ( ，k ，l ) ， g ：= a + 觑r ( ，k ，l ) ， 田：= 四+ d t r ( ，k ，l ) a ( t ，k ( t ) ，厶( ) ) ：= ( a ( t ) ) 7 k ( t ) + k ( t ) a ( ) + ( g ( t ) ) 7 ( ) c f ( t ) + q ( ) + ( g ( t ) ) 7 厶( t ) + 厶( t ) g ( t ) 一( c 即，t q t ) ，蜊c 眦，+ 喜c 删k ( t ) d 泓籼删黜，1 ， 一( ( r ( t ， ，厶( w ( ( t ) + ( 屁( t ) ) 删r ( f ) ，厶( ) ) j ， = 1 ( 2 2 8 ) 丘( t ，r ( t ) ，砂( ) ，也( f ) ) ：= ( a ( t ) ) 7 妒( t ) + ( 岛( t ) ) 7 ( t ) ， ( 2 2 9 ) 郇，獬蝴删：= ( ( 呻，+ 娄c 删酬酬) 心乱：) 巾。o ， 也：= 、 一d：c。e”，7；et，)。(be的，7妒e力+dk(t)d1 i = l c n c t 焱c t ， ， 也：= ：( d ；圳陋的) 7 蝴+ ( n ( ) ) 7 圳j ， 、 一 lj ( 2 3 1 ) 和 ，r g ( ，) ：= 一2 j 0 一a ( t ，耳( ，妒( ) ，破( ) 】出( 2 3 2 ) 这样 k ( 。) = e l - - 2 + + g ( r ) 】( 2 3 3 ) 这里介绍k a r a t z a sa n ds h r e v e 6 附录d 关于晟优停时的基本结 论考虑一个有右连续轨道的非负过程y = y ( t ) ，( t ) ；0 t t ) 和y ( t ) 瓣y ( t ) 。s 对任意停时 岛，r ，定义= r 岛，r ；r2 复旦大学硕士学位论文1 4 u o s ，若y ( - ) 有连续轨道，并满足e is u py ( t ) l o 。，那a t ) 。( o ) ：= l 1 i m d l ( o ) a 8 即为最优停时这里d 1 ( ) ：= i a f t ( ”，司；a 矛( t ) s y ( 印 at ，z o ( ) 是以) 的s n e l l 包络 但岛，丁非凸集，尽管有界但其紧性不清楚，关于上述类型w ( z ) 的最优停 时问题未见有相应的讨论我们已经知道k ( z ) 有下界，矿( z ) 有意义，所以极 小化序列 卜一定存在，但其收敛性没有可用结果因此使用这种方法讨论 最优对的存在性还有待进一步的研究我们联系金融市场的实际情况就有 了以下这一具体问题的讨论和求解 第三章 一类具有反馈控制的混合最优控制 问题 3 1 背景和模型 ：三!：p)+(b札(。t的)-rr(t，”札。”出+盯。)u艺 0 ，7 - 岛，? ，记4 = n , s o , t ，我们的问题是：求( 7 r ，) a ，使 得目标泛函达到最大值此时的值函数 y ) = ( ，s ，u ) p 。 一j 1 e ( x 2 ”p ) 一s ) 2 ，。r ( 3 4 ) 茔0 2 s k a r a t z a sa n dz 明沮r e s c u ( 2 0 0 6 ) ：硐, 这里的扩散项舍控制 注0 3 与k a r a t z a sa n dw a n g ( 2 0 0 0 ) 系统不同指标也不同 3 2g i r s a n o v 变换 ) ：= 器，吲舛 ( 3 5 ) 由假设( a 1 ) 和( a 2 ) ，驯 0 ，所以蕾( ) 是连续和严格递减的，它的反函 数 ：r r ， 弘( z ) = 1 s e ( 丽h ( r ) ) - z ( 3 2 5 ) 也是连续且严格递减的我们定义 ) ：= ，( ( 。) 日( f ) ) = s - s h ( z ) e 而( h 而( t ) ) 万- 一x h ( z ) ，( 3 2 6 ) 那么e 阻( r ) 。( 7 ) = z 这样，对于任意的”， e f ( x 2 ，丌( r ) e 旷( ) o p ) h ( r ) ) + 弘扛) e 日( r ) x ”( r ) 】 = e 户( ) o 扛) 日p ) ) + y ，扣) z ( 3 2 7 ) = e 【f ( f 。( r ) ) 所以，对于给定的7 - ，若存在4 ( ) 1 2 ，使得x 。，。r ( r ) = p ( r ) ，那 么以( ) 就是问题( 3 1 9 ) 8 9 最优解 引理3 1 对于任意厅争8 0 m 任意一一可测随机变量9 ，满足 e ( h ( t ) q ) = z ， ( 3 2 8 ) 存在h ，使得 x ”( o ) = z和x 8 ”( r ) = g ， a 8 ( 3 2 9 ) f i n , q ：我们从定义连续过程x ( t ) 出发， x ( t ) ：= 丽1 岛m ( r ) 9 l 五】，v o s t z ( 3 3 。) 复旦鑫堂亟堂焦鲨塞 2 0 其中岛表示在p 0 下的数学期望该过程满足 x ( o ) = e o p ( r ) g l 蜀】= e ( h ( r ) g ) = z ，和x ( r ) = g ( 3 3 1 ) 另一方面，对p 0 鞅 m ( - ) ：= u ( ) x ( r ) = e o p ( r ) 9 i f 】， 存在f 适应过程以满足詹妒( s ) 幽 o 。，n 羔， r 亡 m ( t ) = z + ( s ) d w o ( s ) ，0 t r 定义 丌( 。：= 五歹毒矗装万一e ( ，。t s r 易见7 r r 1 由( 3 8 ) 和( 3 3 3 ) ，在【o ，t q 上，x ( ) = x 2 4 ( ) ，a s 因此对于给定的停时r ，存在最优亓r 我们取a = 髀( z ) ，那么 w ( z ) = t ，( 3 4 ( z ) ；r ) + z 3 4 ( z ) ， v ( z ) = s u pk ( z ) 护一s 2 陋( 日( 7 - ) ) 。 2 ，器面南矿 若存在手岛 使得 m ，= 等舞掣， 那么( 稚，f ) 是最优对因为，v ( 7 r ，r ) 4 ( 卫) ， t ，( z ；7 r ，r ) ss u ps u p j ( z ；7 r ，r ) = s u pw ( o ) i e 5 0 ，t ，s u 岛p ，i n f 凇7 ) + 矧 = ，( z ；以，亍) = y ( z ) ( 3 3 2 ) ( 3 3 3 ) ( 3 3 4 ) 口 ( 3 3 5 ) ( 3 3 6 ) 复星丕堂亟堂笪丝塞 2 l 锐3 1 设系统为常系数s 是常数，b b = 0 ，a 0 初值不为。时最 优停时一定存在，且对于某些初值最优停时不唯一这是因为 亩 所以 砷) = e x 一 一z 7 舭) ( z ) = _ e ( s 丽h ( 盯r ) ) - ( 3 3 7 ) ( 3 3 8 ) y ( 。) = 8 u p 了( ( z ) ，r ) + z ( z ) ：7 一s e ea 掣) ( 3 3 9 ) r(一7 一z ) 2 、 r 7 2 ，! 鬈 - 面矿 我们分3 类情况进行讨论： ( i k 0 s s e 一舡1 则存在# ( 0 ，t ) ，使得s e a = z 取f = t 那么f 就是最优停肘， v ( z ) = 0 ( 2 ) z 2 s e 一舡或q z 曼s 则最优停晰= t ，此晰( z ) = 一( s 1 e e 赢- a j t 矿- - x ) 2 ( 3 殛 0 则最优斧日扮= 0 ，此时v ( x ) = 一z 2 但注意到在第1 种情况下最优停时是不唯一的，这是因为我们先固定一 个很小的量h 然后在连续概率空间中总能找q 使其概率满足 e e 一毹= p ( q ) e e 一 ( i - h ) + ( 1 一p ( q ) ) e e - a ( + m ， o 一 n1 这里p ( q ) = 孝而= 泰【o ，1 】定义侉时 ，、f 一h 叭2 i + h u q ， u q 。 此时停时u 也是最优的? 因此这类最优停时不曜一 复里盔堂亟圭堂焦i 垒塞 2 2 3 5 对偶最优停时问题 为了讨论最优停时f 存在性，因此我们先考虑一族单纯最优停时问题 v a r ，对偶最优问题 矿( a ) ：= s u p 歹( a ；r ) = 8 u pe ；a 2 h 2 ( r ) 一a s h ( t ) ( 3 4 0 ) m ( 3 2 2 ) 9 得 y ( 引 ，s 幽u p i n 。f j ( a ；r ) + 蛔】s 怨，；s u 岛p ， ，( 1 ；丁) + 妇】2 媸【y ( 1 地1 ： ( 3 4 1 ) 定理3 1 j i i 矿- t a r ，存在最优筹时武，使得j ( a ， ) = 矿( a ) 证明j j ( a ，r ) = e 皓卯h 2 ( r ) 一a s h ( t ) ， 对于给定的a r ，i 1 a 2 h 2 一a s 日有连续路径，并且由假设( a 1 ) 和( a 2 ) ，存在 一个正的常数c i ， 0 e ( ；入2 日2 ( 丁) 一x s h ( r ) + g ) o 。， ( 3 4 2 ) 引。蓼( i 1 a 2 日2 ( 7 - ) - a s h ( r ) ) + a o 。 ( 3 4 3 ) 定义 玩：= e s ss u p e 瞎a 2 h 2 ( 7 - ) 一a s h ( r ) + a l 兀 ，u 岛乃 ( 3 4 4 ) 其中& ：= r s o , t ；r2u ，n 矗) 由k a r a t z a sa n ds h r e v e 【6 】附录d 的定 理d 7 可得，过程 五，五；0 曼tst ) 存在一个r c l l 修正 刃，五；0 t 丁 ，i 以，对v o s t s t ，p 霉= 五 = 1 ，因此，对每个 岛，r 我们有 乙( u ) = z ( 。) ( u ) ，p n e u q 这个过程矛称为去a 2 口2 ( ) 一a s h ( ) + g 的s n e i i 包络我们定义 氏：= i n f t 【o ，明；刃= ；a 2 h 2 ( t ) 一a s h ( t ) + c a ( 3 4 5 ) 复皇丕堂亟主堂焦遨 2 3 由k a r a t z a sa n ds h r e v e 6 附录d 的定理d 1 2 可得， ，( a ，7 气) + a = s u p ( ，( a ，r ) + 以) r 黾r 那么 就是使( 3 4 1 ) 达到极大值的最优停时 口 3 6 对偶问题值函数的性质 本节我们讨论值函数矿( ) 的些重要性质 引理3 2 矿( ) 是严格凸，连续和几乎处处可微的 证明jv a l ，a 2 ：一o o a 1 a 2 o 。，v s ：0 s 1 ，记a o = s a l + ( 1 一s ) a 2 ，由定理( 3 1 ) 存在最，i = 0 ，1 ，2 ，满足矿( 九) = j ( 九，f i ) 由了( a ，r ) = e ( 去a 2 h 2 ( r ) 一a s h ( t ) ) 关于a 的严格凸性， 9 ( a o ) = ( a o ，而) 8 眠f 0 ) + ( 1 8 ) 讹f 0 ) ( 3 。4 6 ) ss j ( a 1 ，f 1 ) + ( 1 一s ) j ( a 2 ，f 2 ) = s v ( a , ) + ( 1 一s ) y ( a 2 ) 所以y ( ) 是严格凸的 i 矿( a 1 ) 一矿( a 2 ) i = is u p 了( a l ；7