（运筹学与控制论专业论文）具有随机插入时间的物流控制问题.pdf

y 5 8 6 1 4 0 声 明 本人郑重声明: 本论文的所有研究工作都是在导师指导下，由本 人独立完成，论文中所引用的已知结论均已列在参考文献中. 未经作者、 导帅同14 勿全文公布 目录 摘 要 随机最优控制是现代控制理论的一个重要分支. 近几十年来被广泛应用于 工程、 经济、 金融、生物、 管理等领域.随机最优控制模型的研究始于二 十世纪六十年代， 在随后的二十多年中 得到了 很大发展， 各种模型被相继 提出，在研究中形成了一套系统的理论. 本文研究的一类带有随 机插入时间的 奇异型随机最优控制模型于2 0 0 1 年 由r o g e r , l . c . g . 和z a n e , o在 研究 流 动物资 控 制时 提出， 后由、 v a n g , h . 解决了费用函数在特殊情形下的解. 本论文对原间题的费用函数进行了更 一般的推广， 从而扩展了其应用范围. 所用的方法是，由贝尔曼动态规划 原理得到原问题的 变分不等式， 解变分不等式， 根据原问题中出现的最优 函数构造最优控制，最后用软分析方法证明所构造的控制为最优控制. 关扭词:随机控制; 奇异控制; 动态规划; 变分不等式;随机插入时间; 局部鞍. 目录 a b s t r a c t s t o c h a s t i c o p t i ma l c o n t r o l i s a n i m p o r t a n t b r a n c h o f c o n t r o l t h e o r y . i n r e c e n t d e c a d e s , s t o c h a s t i c o p t i m a l c o n t r o l i s w i d e l y a p p l i e d i n m a n y fi e l d s s u c h a s e n g i n e e r i n g , e c o n o m i c s , fi n a n c e , b i o lo g y , m a n a g e m e n t a n d s o o n . t h e r e s e a r c h o f s t o c h a s t i c c o n t r o l m o d e l s i s c o m m e n c e d i n 1 9 6 0 s , a n d l a r g e l y d e v e l o p e d i n t w o d e c a d e s s u b s e q u e n t l y , m a n y m o d e l s a r e p u t f o r - w a r d , a n d a s e r i e s t h e o r i e s a r e f o r m e d i n r e s e a r c h . s i n g u l a r s t o c h a s t i c c o n t r o l m o d e l w i t h r a n d o m i n t e r v e n t i o n t i m e s s t u d i e d i n t h i s p a p e r i s p u t f o r w a r d玩 ， r o g e r ; l . c . g . a n d z a n e , o . i n 2 0 0 1 o n s t u d y i n g l i q u i d i t y e f f e c t s . wa n g , h . s o l v e d t h e p r o b l e m a t t h e c a s e w h e r e c o s t f u n c t i o n i s s i m p l e . t h i s p a p e r g e n e r a l i z e s t h e c o s t f u n c t i o n , s o g e n e r - a l i z e s t h e m o d e l a p p l i c a t i o n . t h e m e t h o d s u s e d i n t h i s p r o b le m a r e : d e r i v e t h e v a r i a t i o n a l i n e q u a l i t y 饰 t h e b e l l m a n d y n a m i c a l p r o g r a m m i n g p r i n c i - p l e , s o l v e t h e v a r i a t i o n a l i n e q u a l i t y , c o n s t r u c t o p t i m a l c o n t r o l 勿 o p t i m a l f u n c t i o n , fi n a l ly场 m a r t i n g a l e a n a l y t i c a l m e t h o d s d e m o n s t r a t e t h a t t h e c o n t r o l i s o p t i ma l c o n t r o l . k e y w o r d s : s t o c h a s t i c c o n t r o l ; s in g u l a r c o n t r o l ; d y n a m i c a l p r o g r a m m i n g ; v a r i a t i o n a l i n e q u a l i t y ; r a n d o m i n t e r v e n t i o n t i m e s ; l o c a l m a r t i n g a l . 第一章绪论 1 . 1 现代控制理论发展简介 现代控制理论的奠基人是美国科学家维纳.自 从二十世纪五十年代以 来，由于计算机、 航空、 航天等技术的飞速发展， 控制理论得到了广泛的 应用，同时其本身也获得了很大的发展. 它主要包括: 线性系统理论， 最 优控制，自 适应控制等. 在对实际控制间题的研究中、由于某些不确定因素的干扰， 影响控制 系统的随机因素时有发生. 于是，随机控制理论得到了应用和发展.同时 随机控制理论的发展与随机过程理论的发展是密切相关的. 随机过程论产生于 2 o 世纪初期， 是为适应物理学、生物学通信与控 制管理科学等方面的需要而逐步发展 起来的. 最初在布朗运动，电话信息 量和电 子管的散粒效应，噪声等问题的研究中取得了成果. 1 9 3 1 年，科 尔莫哥洛失奠定了随机过 程的数学理论，1 9 5 3 年杜布的著作 s t o c h a s t i c p r o c e s s 论述了随机过程的数学理论， 1 9 5 1 年伊藤发表了 o n s t o c h a s t i c d i ff e r e n t i a l e q u a t i o n ( m e m . a m e r . m a t h . s o c . 4 , 1 9 5 1 , 1 - 5 1 ) 一文， 使得 对随机微分方程的研究受到了广泛重视， 并渗透到很多领域， 为随机控制 的发展提供了理论基础. 在控制论方面，1 9 5 6 年庞德里亚金提出的极大值原理，1 9 5 7 年贝尔 曼提出的动态规划原理以及卡尔曼提出的滤波理论， 标志着现代控制理论 的产生， 这些理论与随机控制直接有关.随机控制主要包括: 最小方差控 制， 滤波，随机最优控制目前掳波向非线性方向发展，随机最优控制向 分布参数系统方向发展. 第一章 绪论 随机最优控制是求一状态反馈， 使目 标达到最优.该状态反馈称为最 优控制策略.随机最优控制的研究主要墓于贝尔曼动态规划原理r . e b e l l m a n 在其 著作d y n a m i c a l p r o g r a m m i n g ( 1 9 5 7 ) 中 把动态 规划原 理表述 如下: a n o p t i m a l p o l i c y h a s t h e p r o p e r t y t h a t w h a t e v e r t h e i n i t i a l c o n d i - t i o n s a r e , t h e r e m a i n i n g d i c i s i o n m u s t c o n s t i t u t e a n o p t i m a l p o l i c y w i t h r e g a r d t o t h e s t a t e r e s u l t i n g f r o m t h e fi r s t d e c i s i o n . 即一个最优策略具有这样的性质 不管初始状态或策略如何， 相对于初始 策略产生的状态来说， 其后的策略必须构成最优策略. 概括为，每个最优 策略只能由 最优子策略组成.由 此通常得到b e l l m a n 动态规划方程， 而这 个方程在很多情形下不可解， 一般地需要借助以下两种方法: 1 . 解变分不等式方法，由a . b e n s o u s s a n a n d j . l . l i o n s 提出， 通常 是求一个控制区间，再给出相应的最优控制策略.它常用于一维间题，侧 重于随机分析. 本文就用到这种方法. 2 . 粘性解方法，由m. g . c r a n d a l l a n d p .l . l i o n s 在研究随机控制间 题时 提出3 ， 其中 的 方法不只 对随 机 控制的 研究 起到推动作用， 也对微 分方程的研究起到巨 大的推动作用. 这种方法侧重于方程， 也适用于多维 问题，在金融数学的研究中常常用到. 1 . 2 几种常见的随机控制模型 i 奇异控制 自 八十年代初，奇异型随机控制间题开始引起人们的关注，后来的十 1 2几种常见的随机控制模型 多年发展较快，是一种比较实用的模型. 设w t 是概率空间脾， 下 ， p ) 上的标准布朗 运动， f t =u m , s g t ) . b表示.f t 一 适应的零初值左连续的有限变差过程全体， 任意 = t e 召有 正 规 分 解 = 6 + - - , t = 6 o + 6 , 为 其 全 变 差 . 犷怎 一 均 为b 中 单 调 非 降 过程.通常研究以下两种间题: 1 ， 折扣费用间题 对 a0 , x er , e8 ax , 0= 目 标费用为: e 关 一 h (二 :“ ， + de t, 其中x t =二 +琳 +6 ， h 一般为非负二次连续可导凸函数. 求最优控制 ce b， 使j ( x , 犷 ) = m i n c e s j ( 二 ， 动 . 目 前对 奇异 型 折扣费用间 题的研究 已 有 许多 工作!s ) ， 更 进一步的 结果见 刘坤会1 司 2 ， 平均期望成本问题 对x e r , e 8，目 标费 用为: ax , 动=l i m i n f e t- 弓已 f t h (x t)d t0+ “ 。 求 最优 控制# b使j ( x , v ) =m i n t r b j 二 ， f ) . 关于 这一问 题的 深入 讨论 见 刘坤会【 1 1 . 关于 奇异型随 机 控制问 题，k a r a t z a s , i 的 工作同是开创 性的， 有 重 要的理论价值. 但其决策控制是即时的和连续调节的， 这在实际中往往难 于施行， 特别是在控制时 域为无穷时. 所以 决策者选择一 列停时 t l , t 2 ， 二 和脉冲 f 6 1 , 6 2 , 对系统实施控制 ( 参见 f2 1 f 1 s 1 ) 来得到精确解. 1 1 脉冲控制 第一章 绪论 脉冲控制由 于其应用上的可操作性， 最先受到重视. 最初由b e n s o u s s a n a n d l i o n s 提出， 后来r i c h a r d 将其推广到无限 时域上 设w , 是 概率空间口， 下 ， 尸 ) 上的 标 准布朗 运动 ， t t = a ( w ; 45 约. 一 个 控制 是 指一 列 上升的 停时 7 l , t 2 ， 二 ， 及 可 测随 机 变量 列 s , , s 2 , ， 表 示为。 = ( t i ; w, i 1 ， 令v表示控制集.同 样分两种情况: 1 折扣费用间题 对于x er , v e v，目 标费用为， j (x ,v) = “ 比 e e th (x ,)dt + 艺e _ l z, b ( 0 , v x er找出控制v 二 ( , * ; c ) , i 1 使得 lim j (x , v )t - -= a = 思1兜in f j ( x , v ) , 其中x , 满 足 分 段随 机 微 分方程d x t = a ( x t ) d r ,t , t e 伙, _ 十 1 二 、 + = x 二 十 公 对脉冲控制的研究， 详细的证明见刘坤会【 1 1 1 5 孙世良!2 0 1 . i i i 控制状态无奇异项的情形 互 1 .2几种常见的随机控制模型? 设脾， 下 ， 五， 尸 ) 是 一个 概率 空间 ，u lt 为 其上的 标 准布朗 运动， 状态 过程满足随机微分方程 血: =f ( 二 ， ， u = ) d t 十。 ( 二 : ， u t ) d w t , 控制过程二 。 循序可测， 控制空间 为u，f , o满足 通常的l i p s c h i t z 条件及 多项式增长条件，目 标费用为 j (x , “ ) = e x i o c - 0 =h (x = , u = ) d t + e - l g (x t , t ) 求最优控制 。使 j ( x 卜黔j (x , u ) 现令 其中x , j (x , u , ) 二 e f e - o (， 一 jh ( x = , u =) d t + e a (r - )g (x t , t ) =x ， 则由贝尔曼动态规划原理 j ( x , s ) = m i ne u j ( x , u , s ) 满足下 面的带有边值条件的微分方程 8 j ( x , s ) 十 】 刀1 刀 口g u e u a j ( 二 ， s ) + h ( 二 ， u ) j - q j 二 ， ， ) =o , j ( x r , t ) =g ( x t , t ) . 其 中 风 。 二 f (a , 动 矗 玲 沪 (x , 时 备为 扩 散 过 程 的 最 小 生 成 元 . 这 样 随 机 控 制间题化为解该定常方程问题. 需要注惫的是这类问题不含控制成本. 值得一提的是， 这种模型在金融控制中经常用到. 投资组合问题通常 考虑一个无风险资产与多个风险资产在确定性利率下的投资 组合. 作者曾 讨论过短期利率为随机情形下债券与股票的投资组合. 第一章 绪论 假设市场是可连续交易的且无摩擦 ( 无交易成本) ， ws , w s 为一概 率空间( q , j- , y , ) , p ) 上的 标 准 布朗 运动，w b ( t ) 与w s ( t ) 独立 ， 假设市 场中有一种债券和一种股票， 满足 d b( t ) d s ( t ) b ( t ) r ( t ) d t , s ( t ) p s ( t ) d t + o s ( t ) d 畴( t ) 随机利率满足 d r ( t ) =a ( t ) d t +b ( t ) d l 4 恤 ( t ) 其中li s ( t ) , o s ( t ) , a ( t ) , b ( t ) 为确 定 性 的 连 续函 数 ， o s ( t ) a o 0 , 假 设二 卿 为t 时 刻投资 者投资 于 股 票的 资 金比 例， 则 投 资于 债 券的比 例为( 1 一 二 ( t ) ) , 设 x (t ) 为 时 刻 的 总 资 产(x (0 ) 一 、 ) 0 ) . 而豁 是 t 时 刻 单 位 债 券 的 增 量 ， 则x (t ) 二 ( t ) 鄂 是 时 刻 持 有 债 券 的 增 量 同 理x (t ) ( 1 一 二 (t ) ) 箫 为t 时刻所持股票的增量.则资产过程满足随机微分方程 d x ( t ) 二x ( t ) ( 二 ( u s ( t ) - r ( t ) ) +r ( t ) ) d t +二 。 s d ws ( t ) . 所以( x , r ) 满足: 叽屿 x 7r ( k s - r ) +月x7 r a s d t十 了r.111、 - 、.、.!声/ xt)喇 2才口ree，es、 d 问题是: 求7 r 使e ( x( 洲) ， 达到最大( 0 _ 0 e b 满足: ; 一 “ 一 ifo,e) bsd n s 其中0 = 先t _0 是只一 可料的，n二 从; t 叮是参数为a 的只泊 松过程，b是满足上述表达式的过程的全体. 假设n与w独立， 我们的 目 标是 求 常数犷 e 召 ， 和0 0 ， 使 嚓f 妾 二 丈 tim in f t e f h (x i)d t + cd c 1 = 0 in f iim in f 1 e / ( e 已 7叶印1 j o =x 十 w十 s e , 6 h (x t ) d t + 呱 ， 其中二 ， = x + 哄十 乙 , x ;二 f o ib s id n . , 。 。 . 该随机控制间题形式上是奇异型控制间题， 实质上是一个脉冲型控制 问题， 且控制是在不可控制的泊松过程的随机来到时刻上施行的，离散的 随机来到时间为0 =t o t l 7 2 .， . ， 并且 t l , t 2 一t y . 二 是独立的， 均 第一章 绪论 服从参数为 八的指数分布. 该问 题提出不久后由 h . wa n g 解决了费用函 数h ( x ) =护的情形( 参见【 2 2 ) ， 本文对费用函数进行了 较一般的推广. 本文令非负函数h ( x ) 满足 h ( 0 ) =0 , 0 k h ( 二 ) k 0 . ( 考虑 取0 : 二。 所 得函数 ) . 由b e l l m a n 动态规划原 理， 对任意的。 s t: f r s ，1 v (t , x ) 一 臀e j o (h (x t)d t + b 时 在0 =b 一 x 达到最小; 当 x b 时，v ( x + b ) + c 旧 在0 二0 的左侧单增， 且由， ) ( x + b ) +c 旧 的凸 性及在b 0 2 . 当0 0 3 . 当 b =0时， v ( x +0 ) +c 旧 卜 v ( x ) =0 定理得证.由此，我们作如下定义. 定义 2 . 1 控制函数 b 一x , o ， - x一认 xb， - b x队 x -b . r!、十 一一 、.户 人口 .j 乞 了、 l 称 - b , 司为控制槛. 引理 2 . 1令 “ (， ) = 黔v (x + 0 ) + c jo i 一 ” ( ) 则4 ( x ) 是 连续偶函数， 且一 : ( x ) g 9 ( x ) 。 互 2 . 1变分不等式的导出 证明 由定理 2 . 1 有 v ( - b ) + c ix + b 卜v ( x ) 0 x-b , 一 6 - v ( x ) . 当x b 时，由中 值定理 v ( x ) 一 。 ( b ) =2 r ( s ) ( x 一b ) c ( x 一b ) v ( b ) +c l二 一b ) 一v ( x ) 。 ， 当x- b 时，同理有 v ( - b ) 十c 二 一b 一。 ( 二 ) 。; x0时变分不等式为: v ( 0 ) = 0 ; 第二章 具有随机插入时间的随机控制问题 v ( b ) = 告 v (x ) 十 。 (二 ) 叠 二 x ) 一 ， v (x ) + h (x ) + ， ! 一 。， 一 (x + 。) -c ; 0 。 - b x。 ; j3 , x 0 ) 二 x ) + p (x ) 一 ， ex j ” e h (s )d s 2 h ( x ) r h ( x / 2 ) +h ( x ) r 2 f , / 2 h ( s ) d ., + 2 局 2 h ( s ) d s 2 f ox h ( s ) d s r劣 由于 h ( x ) 一 h ( x / 2 )= h ( ) x / 2 h ( x / 2 ) x / 2 - 3 o o ( x 一00) ， 由此 g ( x )r p ( x ) + 2 h ( x ) r 。 +2 f o h ( s ) d s p (x ) - . t 左 h ( x / 2 ) +h ( x ) cr x h ( x ) 一h ( x / 2 ) rct x 一 o o ( x 一) , 第二章 具有随机插入时间的随机控制问题 故存在b 。 取最小 正解即可 使得g ( b ) =。 ， 即 r p ( b ) +夕 ， ( 乙 ) 一 。 + 2 f a h ( s ) d s r b ( 2 . 5 ) 定理2 .2 ( 变分不等式) 存在一个非负二次连续可导凸函数v ( x ) 和正常数 b , 0使 v ( x ) =o ( x 2 ) , ( x - 士 o o ) ， 且 叫(z.v)网 v ( 0 ) 二 v ( b ) 二 告 ” (二 ) 、 h (x ) 告 二 (x ) 一 ， ? (二 ) + h (x ) + a v (b)+ c (x - b) 0xb ; x 。 . ( 2 . 9 ) c 是给定的正常数. 只 考虑x 20 的 情形， 令b 为引 理2 .3 确定的 正数( 尸=2 劝， 令 q= 。 + 2 f ob h ( s ) d s 2 b ( 2 . 1 0 ) b 一 !_20r2 一 ， (“) 一 ( 2 . 1 1 ) v (b) = 2 f b u du - 2 f 6 ( f u h (,) d ,) du .0 o a 构造函数 v ( x ) 2 f , 3 u d 。 一2 f o ( f u h ( s ) d s ) d u , b 。 一 “ + p (x ) 十 。 ( b ) 一 臀+ c ( 二 一 b ) , x b 2 解变分不等式 则b , ,o , v 幻为 满足定 理的正常数和函 数， 现证下面几点. 直接验算可知( 2 .s ) - ( 2 .s ) 成立， ( 1 ) 首先 证明。 ( : ) =o (x 2 ) ( x *00)由( 1 . 1 ) 知 k x 2 咬 h( x)又 2一、一 k x 2 ( 2 . 1 2 ) 所以p ( x ) =o ( x 2 ) ， 故。 ( x ) =o ( x 2 ) . ( 2 ) 证明。 ( x ) 的 连续 性: 由( 2 . 1 1 ) b e - 0 + p ( b ) = v ( b + ) v ( b - ) _ 。 。 一 + ， (。) 、 (。) 一 2 ,8r2 - v ( b ) 故v ( x ) 连续. ( 3 ) 证明v ( x ) 连续可导: 2 0 x 一 2 f o h ( s ) d s , - r b e - s + p ( x ) +c , 0x b . 由( 2 .5 ) ( 2 . 1 0 ) r p ( b ) 十 p i ( 的一2 o = 0 ( 2 . 1 3 ) 一 : b e - + p ! ( b ) ， (“)! + ，(“) 邓-尸 一 -一 十，( b ) 十 p ( b ) 邓一r - 一一 ( 2 . 1 4 ) 2 0第二章 具有随机插入时间的随机控制问题 v + ( b )二 l im- b + b e - + p (x ) + v ( b ) 一 臀+ c (x 一 ) 一 v ( b ) x一 b = 一 : b e r b + p ( b ) +。 =。 达( b )= li m. - b - 2 f o o u d u 一 2 f o ( f o h ( s ) d s ) d 。 一。 ( b ) x一 b 一 2 ,3。 一 2 f b h (s )d s = c0 所以v ( x ) 可导且v ( b ) =c ， 而 v ( b + ) ，- r b e b + 川b ) +c =c . v ( b - ) = 所以v ( x ) 导函数连续. 2 。 一 2 b2 f h (s )d s = c.0 ( 4 ) 证明可 劝二次连续可导， 显然只需证明v ( x ) 在6 点处二次连续 可导. 当。 二 b 时，。 ” ( 幻=b r 2 e - z + 尸( ) v + ( b ) 二恕耸 一 : b e - + 厂 ( x ) 十。 一c x 一 b = b r z e - a 十 p ( b ) 而厂( b ) =r e p 伪 ) 一 2 h 抽 ) 结合( 2 . 1 1 ) 有心( b ) =v _ ( b ) . v ( b ) =2 月 一 2 h ( b ) 2 .2解变分不等式 而 v ( b - ) =2 0 一2 h 抽 ) v ( b + ) = b r 2 e - r b + p % ( b ) 故v ( 幻在b 点二次连续可导. ( 5 ) . 证。 u ( x ) 更0 . 当0 2 刀 一2 h ( b ) 0 当 x 。 ( 二 ) b 时， p (x ) - 一几一 “ ( )“ + ex f e - - h (s)d sx 一 r le-rx f o 0 一 、 ，()“ + f. 一 ” ，“ 二 r 2 b e - s + r , p ( x ) 一 2 h ( x ) _ r e b p ( b ) 一 二 r x p ,( x ) . 。 ， 、。、 - 】 ， 、 飞 “ 一 一 一 p r x 十 r - p kx 十 印kx ) 一 “ n ( x ) j 第二章 具有随机插入时间的随机控制问 题 e r b e - r b f a m e r a h ( s ) d s + e r b f ,- e - r b h ( s ) d s e r x e x 。 一 x f x e r s h ( s ) d s + e x 罗e r s h ( s ) d 司 + ， j 00 e - rsh (s)x“ 一 ， h (x ) i 一 厂e r s h ( s ) d s + e 2 r b 犷 e - h ( s ) d s 一 e 2 r x 罗e - h ( s ) d s e r x + 2 erx jx“ e - rsh (s )d s 一 f b e l l h ( s ) d s + e 2 r b 犷e - h ( s ) d s + e 2 r x 犷e - h ( s ) d s ex 一 ， lx ) e r x e rb + e 2 r b f - e - r e h ( s ) d s + h ( x ) t e ， 2 h ( x ) e r b + r e 2 r b 犷e r s h ( s ) d s r e r x 0 上式的计算中先代入( 2 . 1 4 ) 的b , 第二等号后第一项代人p ( x ) , p ( b ) ， 方括 号中的 计算用到引 理 2 . 2 及 分部积分法， 不等式的证明 用到 h ( x ) 的单增 性. ( 6 ) . 非负性由v ( 0 ) 二0 及凸性可得. 性质2 . 1 v ( x ) , b , 口 满足: ; 二 ( ， + h (x ) + “ “ ， 一 “ ( 2 . 1 5 ) 2 .3 主要定理及 证明 引理2 .4函数 v ( x )满足 v ( x ) 兰6 1 x 2 + e 2 , lv ， ( x ) l :5 e 3 1x 十。 4 ( 2 . 1 s ) 2 .3主要定理及证明 其中。 0 , i =1 - 二 4 证明 当 0 xb 时， 。 ( 二 ) b 时， 。 ( 二 )=b e + p ( x ) +v ( b ) 一 .。 + 誓 x 2 + 。 + 2 cx +c ( x 一b ) , 当 0 x p t- 1 j d 下 面 假 设 对( e b ， 具 有e f o x 2 d t 二 ， ( 取b t 二 。 知 其 非 空 ) ， 相 应 有 x t ， 对函 数可 x t ) 应用一般半秧i t 。 引 理即d o l e n c - d a d e m e y e r 公式， 以 下 a t 表 示f o ,t 产 ， 、 ，1产 。 v kx t ) 一 v t x )= j 0 v lx t ) a x ， 十 2 j o” lx t ) a lx , x li +艺 v ( 2 , + a c t ) 一 。 ( x t ) 一 。 ( x t ) a t o t tt v ( x t ) d u r t， 、 ， ，. 1产 ， 、 。 t j v ix t ) tk0 一 z j o” tx t ) a a 叔 2 . 3主要定理及证明 2 5 +艺 iv (x t + a f t) 一 : (x t ) 一 : ( x t ) a t) o t 丁 , t i r t 儿2 v (x t ) at + j 0 u ( x t ) a v v t +艺 v (x t + , t) 一 。 (x t ) l , o 亡 (r 由于 则有 4 (x ) = 禽v (x + 0 ) + c ps 卜-(x) ( 2 .1 9 ) v ( x t + 6 ) 一。 ( x t ) +c ia f t v k x t ) 一 ” lx ) r h t0“1 o + 2 v(x t )* 十 1f 0pt 艺 v ( x : 十 6 t ) v ( x t ) d wt 一 。 ( 二 ， ) +c l, u t 0 h ( x t ) 一 a q ( x t ) j d t + j a v ( 二 ) d wt +艺 v ( x t + o f t) 一 v ( 二 : ) + c i o e t il 0 t ,d t 一 j h (x t ) d t - + l 0 ， (x t) a w t + ) d 凡 二ti l 一 t o h ( x t ) d t +i tv ( x t ) d 讯 + f t 4 (z t)d (、 一 “ ) 整理得 v ( x t ) + 儿(h (z t )d t + c _ 0 1 , + v (z ) + m t + g t ( 2 .2 1 ) 2 6第二章 具有随机插入时间的随机控制问题 其 中场 二 f 0 v ( x t ) d w t , 寿= f o q ( x t ) d n , 补 偿 泊 松 过 程 为 鞍 ， 当 然 是 局 部轶， 而二 : 可料，q ( x ) 连续， 故q ( x t ) 可料. 知z t 为局部鞍， 所以有停 时 列咭 卞 o o ( zt 、o o ) .s . 使舒= z tn 、 为 零 初 值天鞍 ， 有e 舒 且由引理 2 . 1 及前面的假设h o s t q ( x t ) d n t q ( 二 ， ) d ( n t 一入 艺 ) s q (x t)。一 “ 丈 4 (x t)d ti 8a 尸了掬了矛湘厂矛翔 一-一-一 乙 。 ( 二 : ) d t . v ( x t ) d t 忿了 户/翔了矛九 久入 。 . 由( 2 . 2 1 ) 可得 e v (x t ， 十 e j t, (h (x t)d t + c d c t)j ,b t 十 ” (x ) _ (2 = 。 ， ，2 2 ) a = t : 0 t t , e x i t = s u p t : 。 t t ; e x t 2 . 3主要定理及证明 1 若a = 0 ， 则v o - 1_ f r ,- ., e i ( h ( x t ) d t +c 一 2 . 若a :a 。 ， 当 t 时 ，e x t 譬 . 当o , 到时 ， 存 在t tt 个 t 使e x 2 一 o ( t一 t ) +)3 t + v ( x ) 一 。 ( x t , ) o t + v ( x ) 一 ( e l e x r + e 2 ) 。 ， .，、2 ,3 )3 t+v ( x ) 一。 ， 于 一。 ， 一 k 上式除以t取下极限得 lim in f 1 二 i叶的 1rt ( (x t)“ 十 cw t) ” ( 2 . 2 4 ) 第二章 具有随机插入时间的随机控制问题 2 . 证明 对于下面 构造的 可 料过程0 , ， 相 应的 i 满足 j, h (x l)d ta+ ,4 1 “ l ( x ; b ) l ( x +姚 十 9 0 ; b ) l ( 二 + w十 0 0 + 0 , , ; b ) t =0 , t ( 0 , t s , t ( t 1 , t 2 1 , l ( x +以+ 艺 。 : 。 0 , ; b ) t ( a - 1 , t . l 了.里.吸.2一 一一 劣 t n 表 示 泊 松 过 程 的 到 达 时 刻 ， 0 . 的 解 析 表 达 式 为o t = l ( x + w t + 拓 ,t ) b g d n , ; b ) , 相应 有对， 对试 对) 应 用d o l e n c - d a d e a n d m e y e r 公 式， 二 ; ) 一 ( ) 一 i t l v (x *)d tjo 2 + 芜 t0 一 (x t*)d w t +艺 扣 ( x ; + c ) 一 。 ( x , ) , o t 了 两 边 加 上a t 1i 得: , t v (x ) + j 0 ( h ( x i ) d t + c ) 一 p t + v (x ) + m + z t , ( 2 .2 5 ) 其中衅 =f lt v ( x i ) d w t , z t =f o 4 ( x t ) d r i . x = 可 料、v ( x ) 连 续， 所 以m， 为 局部鞍， 二局 部轶之和 u i=m , +z t 为局 部鞍， 有停时列 t n , r 二 ( 。 、o o ) a .s ， 使喊、为 零 初 值-f l 0 且d 0 _一 。 ( x ) 一/3 t ( 由( 2 . 2 7 ) ) ，比 一致有下界由f a t o u引理， 2 . 3主要定理及证明 对 上 述谓 ， e 琳 e 岭n , ;, = 0 . 对俘 2 5 ) 取 期 望 有 二 f t (h (x t)d t + cd e) / o t+v ( x ) 一e v ( x 于 ) o t + v ( x ) , 上式除以t后取上极限 lim su pt - - 李 e f t (h (x t)d t + 4 *) : a 结合 ( 2 . 2 4 ) 即 尹 黑 李 二 tt w t e j o (h (x i) + cd ,*) 一 ， ， 该解即是问题 1 . 1 的解. 推论 ( 具有随机擂入成本的情形) 其它条件同问题 1 . 1 ， 而目 标为 1_ f t . f t in f lim in f 于 e jh (x t)d tf e b t - o - 0+ j o (a 十 “ 10 t l) d n ti ， 即只要有随机来到， 擂入费用最底为 风 0 ) 其最优控制存在. 证明同 理可 证 其最优控 制 存在， 对应 有o m 及b ， 现 在讨 论0 1. 与0的 关 系. 明显有 凡9 ， 并且 、 (一 )d! + f t0 (一、 j )d n tl h (xt)dt + 和i dn , + p a -日防阶防l ee 1一了1一t m柏m+a inf卿inf娜 一-1一 岛 = 10+e t a . 所以 。几 一0 p a叶 户 ， 叶 a k p弓 u 夕 杯 第二章 具有随机插入时间的随机控制问题 这说明具有插入成本的情形中，目标值相对于 插入成本的改变率存在， 恰 为泊松过程的速度， 从这个意义上说最优目 标值的改变对插入成本是平稳 变化的， 这个结论与l 6 中 的不同， 在那里最优目 标的改变率为无穷大， 即小的插入成本有巨大的影响. 作为自 然的推广， 当 状态 过程为x 。 二x 十 。 w = + c : 时( 扩散系 数o o ) , h ( x ) 满足( 1 . 1 ) 时间题1 . 1 最优控制存在. 2 - 4最优控制策略分析及图示 2 . 4 最优控制策略分析及图示 从最优控制的构造知最优控制策略是 有随机来到时，若状态在控制 槛内，则不进行控制;若状态在控制槛外，则跳到距其最近的边界上. 空钾 ?a巾4 若物资量在控制槛内则不用调配; 若物资量低于控制下槛， 则将 物资添加至控制下槛. c 表示单位物资调配费用. 参考文献 1 b e n iss , v .e ., s h e