（运筹学与控制论专业论文）伴有状态矩方程的随机最优控制变分方法及其应用.pdf

at h e s i si no p e r a t i o n a lr e s e a r c ha n dc y b e r n e t i c s av a r i a t i o n a la p p r o a c ht os t o c h a s t i co p t i m a l c o n t r o lv i as t a t em o m e n t e q u a t i o n sa n d a p p l i c a t i o n b yc a il i g a n g s u p e i s o r ：p r o f e s s o rl ic h u n j i n o r t h e a s t e r nu n i v e r s i 够 j a n u a r y2 0 0 8 - 、 独创性! 声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 学位论文作者签名：荪刍日- j 日期：加口8 f fz 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师不同意网上交流，请在下方签名；否则视为同意。) 学位论文作者签名： 签字日期： 导师签名： 签字日期： 东北大学硕士学位论文摘要 伴有状态矩方程的随机最优控制变分方法及其应用 摘要 通过对随机过程中的矩方程上应用一个非常简明的变换，能够使用e u l e r - l a g r a n g e 变分方法解决一些随机最优控制问题。严格的说，e u l e r - l a 铲a i l g e 变分方法在随机最优 控制问题中并不实用，它必须借助数值函数的方法，并且在实际问题中所得到的偏微 分方程并不易解。而本文通过将矩问题引入变分方法中，使得新的状态变量是原状态 变量的普通样本，变化后的动态方程和目标函数可以通过变分方法，得到对一个常微 分方程的解，在某些实际问题中易解。本文将这个方法应用于经济中的随机需求下商 品的零售商订货策略问题，投资组合及消费选择的最优控制问题，以及再保险模型的 最优控制策略问题。 在随机需求下商品的零售商订货策略问题中，结合市场需求的随机性，考虑价格 的变动，以零售商期望利润最大化为出发点，寻求最优的订货策略。 在投资组合及消费选择的最优控制问题中，为使得消费和终值财富的期望效用最 大化，对给定时域的投资和消费给出最优解。 在再保险模型的最优控制策略问题中，通过对一类带分红过程的比例再保险模型 进行分析，采取最优控制策略。 关键词：矩；变分法：随机最优控制；投资组合；再保险。 h - _ 一一 东北大学硕士学位论文 a b s t r a c t av ，a r i a t i o n a la p p r o a c ht os t o c h a s t i co p t i m a l c o n t r o lv i as t a t em o m e n t e q u a t i o n s a n d a p p l i c a t i o n a b s t r a c t b yu s i n gav e 巧s i m p l er e m a r ko nt h em o m e n te q u a t i o n so fs t o c h a s t i cp r o c e s s e s ，o n e c a nu s et h ee u l e r - l a g r a n g ev a r i a t i o n a l 印p r o a c ht 0s o l v es o m es t o c h a s t i co p t i m a lc o n t r o l p r o b l e m s i ns t o c h a s t i co p t i m a lc o n t r o l ，s t r i c t l ys p e a k i n g ，e u l e r l a g r a n g ev a r i a t i o n a l c a l c u l u sd o e sn o t 印p l y a n do n eh a st ou s ev a l u e 如n c t i o na p p r o a c h u n f o m m a t e l y ，o nt h e p r a c t i c a ls t a n d p o i n t ，t h ep a r t i a ld i a b r e n t i a le q u a t i o ns oo b t a i n e di sn o tv e 巧m a l l a g e a b l e i n t h ea p p r o a c h ，n l en e ws t a t ev a r i a b l ei st h ed e v i a t i o nf 如mt h en o m i n a lt r 勾e c t o r y t h en e w d y n 撇i c a le q u a t i o na n dm en e wc o s t 觚c t i o n sm a yb et r a n s l a t e di n t o 也ed e t e r m i n i s t i c p r o b l e mo fad i 仃e r e m i a le q u a t i o n ，a n di t i se a s yt os o l v e 1 1 1t h et h e s i s ，t h i s 印p r o a c hi s a p p l i c a t e di nt h es t o c h a s t i ce c o r l o m i c s ，w h i c hi n c l u d et h ep r o b l e m o nt l l er e 协i l e r so r d e r i n g p o l i c yf o rc o m m o d i t i e s 、析t hs t o c h a s t i cd e m a r 】l d ，t h eo p t i m a li r e s t i n e n ta r l dc o n s u m p t i o n p r o b l e ma 1 1 dt h eo p t i m a lc o n t l o lp o l i c yo fr e i n s l l r a n c em o d e l i nt h ef i r s tp r o b l e m ，t h et h e s i ss t u m e si n v e n t o d ，m a l l a g e m e n to fc o m m o d i t i e sa c c o r d i n g t ot h er e s e a r c ho fs t o c h a s t i cd e m a j l dw i t hs e r v i c ei n c o m em a n a g e m e n to np e r i s h a b l e c o m m o d i t i e si nn e t w o r ke n v i r o i l n l e n t ，w h i c ha i m st of i n do r d e rq u a n t i t yt h a tm a x i m i z e st h e r e t a i l e r 、se x p e c t e dp r o f i tw i ms t o c h a s t i cd e m a n d i nt h es e c o n dp r o b l e m ，t ：h eo p t i m a li r e s 仃n e n ta i l dc o n s u m p t i o np r o b l e mi st o m a x i m i z et h ee x p e c t e d u t i l i t ya b o u tt h ec o n s u m p t i o na i l dt e r m i n a lw e a l t he x t r e m ei nf i x e d t i m ed o m a i l a t l a s t ，w ed i s c u s sac l a s so fp r o p o r t i o n a lr e i n s u 啪c em o d e lw i t hd i v i d e n dp r o c e s s a n da l s op r o v i d et h e i ro p t i m a lp o l i c i e s _ 时w o r d s ：m o m e m ； v a r i a t i o r 谢 印p r o a c h ； s t o c h a s t i c o p t i m a lc o n 仃0 1 ；i n v e s t m e n t ； r e i n s u r a n c e i i l _ _ _ _ - - - _ 一 东北大学硕士学位论文目录 目录 独创性声明i 中文摘要i i a b s t r a c t i i i 第l 章引言l 1 1 理论研究的背景与发展1 1 2 本文结构与主要结论4 第2 章预备知识5 2 1 变分法“5 2 1 1 变分方法的起源5 2 1 2 变分法的基本概念5 2 1 3 泛函极值的相关结论7 2 1 4 泛函极值的几个简单推广8 2 1 5 变分法求解最优控制控制问题9 2 1 6 最大( 小) 值原理一1 l 2 2 矩问题1 2 第3 章伴有状态矩方程的变分方法1 4 3 1 问题描述1 4 3 1 1 随机最优原则的数学模型1 4 3 1 2 矩方程问题l5 3 2 邻域随机最优控制的变分方法”16 3 3 几种常见类型最优控制问题”l7 3 3 1 一维线性二次问题1 7 3 3 2 一维线性四次问题2 0 第4 章经济方面的应用2 4 4 1 随机需求下商品的零售商订货策略问题2 4 东北大学硕士学位论文 目录 4 1 1 研究背景与意义2 4 4 1 2 问题描述2 4 4 1 3 最优定货策略一2 5 4 2 投资组合及消费选择的最优控制问题2 7 4 2 1 理论研究背景与发展2 7 4 2 2 随机环境下只含风险证券的最优投资组合策略的存在性2 8 4 2 3 模型的描述31 4 2 4 求解最优投资与最优消费3 2 4 3 再保险模型的最优控制策略3 4 4 3 1 研究背景与问题的提出3 4 4 3 2 模型描述3 5 4 3 3 最优控制策略的求解3 7 第5 章存在的问题与展望3 9 参考文献”4 0 致谢4 3 东北大学硕士学位论文第1 章引言 第1 章引言 1 1 理论研究的背景与发展 最优控制理论是2 0 世纪6 0 年代迅速发展起来的现代控制理论中的主要内 容之一，它研究和解决的是如何从一切可能的方案中寻找一个最优的方案。1 9 4 8 年维纳等人发表论文，提出信息反馈和控制等概念，为最优控制理论的诞生和 发展奠定了基础。我国著名学者钱学森在1 9 5 4 年编著的工程控制论直接促 进了最优控制理论的发展。美国著名学者贝尔曼的“动态规划 和原苏联著名 学者庞特里亚金的“最大值原理 是在最优控制理论的形成和发展过程中，最 具开创性的研究成果，并开辟了求解最优控制问题的新途径。此外，库恩和图 克共同推导的关于“不等式约束条件下的非线性最优必要条件( 库恩一图克定 理) 及卡尔曼的关于“随机控制系统最优滤波器等是构成最优控制理论及现 代最优化技术理论基础的代表作。 变分法的出现已有了很长一段历史，它几乎和微积分学是同时产生的。变分 法的思想就是要寻找一条曲线，使得与该曲线有关的某个函数，达到最大( 或 最小) 值。一个简单的例子是曲线长度的计算，这个长度是通过连接曲线上给 定点的许多直线段的长度的最大值得到的。 创立变分法的最初动机来源于古典力学、光学和几何学。自1 9 5 0 年以来， 变分法的许多新的应用陆续被发现，包括在航天科学、工业过程控制、经济学、 生物学及管理学等新领域中的应用。为适应这些新的应用，变分法本身也在不 断地发展，并且引入了某些被称之为控制变量的参数。于是，一个更加一般性 的理论，即最优控制理论由此而产生了。 最优控制问题主要包括以下四个方面的内容： 1 ) 一个控制函数“，“属于某个集合u 耐( 称为容许控制的集合，通常它 是某个p o l i s h 空间的紧子集) 。 、 2 ) 对于一个给定的控制函数“，被控系统的状态x 由一个已知的方程( 即 系统状态方程) 的解所给出： 尸( x ， ) = o 东北大学硕士学位论文第1 章引言 其中尸是一个将状态与控制关联起来的已知算子。在不同的情况下，状态 方程由一个差分方程，或者常微分方程( 如在一个集中系统中) ，或者偏微分方 程( 如在个分布式系统中) ，或者积分微分方程，或者定性的或随机的泛函方 程所表示。 3 ) 在输入历史已知的情况下，定义观察函数： y = 厂( x ，甜) 是有关系统状态的可用信息的指标。在一般情况下，给定观察( 函数) y 和输 入甜不可能确定出系统状态x 的值。这类问题被称之为部分可观测的控制问题。 4 ) 成本函数j ) ( 也叫做经济函数或性能指标) ，定义为观察空间中的一 个数值函数，它可以表示如下： ，( 甜) = 矽( y ) = 矽( 厂( x ，”) ) 最优控制问题的解就是寻找一个控制“母u 甜，使得 i n f ，( 甜) ：“u 引) = ( 甜枣) 随机控制理论是数学的一个相对较新的分支。对这个领域的深入研究始于 2 0 世纪5 0 年代后期和6 0 年代初期。2 0 世纪7 0 年代k u s h n e r 、b i s m u t 、b e n s o u s s a n 等人对随机控制系统的最大值原理展开研究，取得了一些结果但对一般随机控 制系统( 扩散和漂移都包括在其中的控制系统) 却始终没有得到最大值原理我 国彭实戈教授通过引进一阶和二阶变分方程，借助于摄动方法和共扼的引入，证 明了一般的随机控制问题的最大值原理【l 】，引起国内外同行的广泛关注汤善健 教授等在这一方面也作出了很好的研究工作【2 】，吴汉中教授关于随机控制的工作 也产生了好的影响【3 1 自从j e a n m i c h e lb i s m u t 于2 0 世纪7 0 年代末提出的随机最优控制问题之后， 直到2 0 世纪8 0 年代末，随机偏微分方程的最优控制问题的存在性的研究才获得 人们的重视n a g a s e 【4 考虑了一个受椭圆型算子系数约束的随机偏微分方程的柯 西问题，其极小化函数的获得只需通过求解c a u c h y 问题而无需依赖控制过 程n a g a s e 和n i s i o 5 】考虑关于受控线性随机偏微分方程状态过程的控制问题，这 个问题中，其漂移和扩散系数分别是二阶椭圆型和一阶微分算子引人注目的 是，e l k a r o u i 用了一种普通的紧化方法，证明了最优松驰控制的存在性【6 】，且证 东北大学硕士学位论文 2 j _ 霉。；j ：0 未，。；矿” 第1 章引言 明了在系数满足一定的凸性条件下，从这个最优松驰控制可得到一个最优的可 1 脚。“1 壤 p 、。，j 容许控制n i s i o 把早期的结果扩展到一个无限区域中受控于维纳过程的随机偏 微分方程控制问题上r 7 1 ，他假设控制方程的系数满足光滑性及一致椭圆性，也证 明了这个最优松弛控制的存在性，并可用b e l l m a n 原理来验证，还证明了这个值 函数是h i l b e l r t 空间中与贝尔曼方程相关的极大值解后来，在一个同样的紧控制 状态空间框架下，n i s i o 把随机微分方程的最优控制问题与由w f l e m i n g 和 w m c e n c a n e y 所提出的微分对策问题的关系扩展到随机偏微分方程【8 - 9 】 g a t a r e k 和s o b c z y k uo j 用半群方法，把上述随机偏微分方程问题方法推广到 具有无限维控制状态空间的受控扩散的h i l b e n 空间值的研究中其主要思想是 通过一种由d a p r a t o 等提出的因式分解的方法【l l 】证明可容许松驰控制策略的状 态空间的紧性文献【1 2 】研究的控制问题类似于文献【9 1 的问题但已经推广了文献【1 0 】 的结果，他们所研究的是在运行费用函数和控制状态系统的系数没有强加凸性 假设条件的情形下，如何求出最优非松驰控制的问题 随机最优控制理论主要研究扩散过程的m 批o v 反馈控制【l 引。控制的对象模 型化为扩散过程，用肺随机微分方程描述。控制器根据当时有的关于系统状态 的最新信息，从满足约束条件的所有可能的控制中选出最优的，使控制后的系 统达到预定目标的最优期望结果。随机最优控制理论目前主要应用于经济学， 特别是金融问题。 帮 继1 9 9 7 年东亚各国卷入世界经济危机后，阿根廷政府2 0 0 1 年又拒绝偿还世 界银行巨额贷款，使得国际金融形势变得很不稳定，随机最优控制在国际金融动 态预测中的应用问题变得很受金融研究学者青睐早在19 9 0 年，i b b e nm e n o n 就 开始了这个方面的开创性的研究( 可参考c o n t i n u o u st i m ef i n a i l c e ) 他的合 作者w e n d e uf l e m i n g 及其他受他影响的学者们已经完成了一些有关研究他们 在相关研究文献中使用了随机最优控制方法和动态规划法，考虑一些有趣的既 不确定又被强制约束的有关模型，这些模型往往是既难以攻克又富有现实意义 的模型美国学者j e r o m el s t e i n 总结了前人的结果后，应用随机最优控制理论和 动态规划方法模拟一个外国债务最优控制问题，证明了为什么国际债权纠纷问 题容易引起世界经济危机论文以韩国和阿根廷的经济危机为例子，指出这些金 融、经济危机都是可预测的【1 4 】 由此可见，随机最优控制问题模型是经济、金融和保险业等研究学者们很关 东北大学硕士学位论文 第l 章引言 注的问题，研究的深入程度尚处于起步阶段，还有许多待开发的模型等待着数学 家们和经济学家们的共同关注 ， 1 2 本文结构与主要结论 本文第一章引言中介绍了随机最优过程问题的历史背景及国内外发展现 状。第二章给出了本文能够用到的相关数学知识。第三章和第四章是本文的中 心内容。第三章介绍了伴有状态矩方程的随机最优控制的计算方法，并给出了 对一维线性二次问题和一维线性四次问题这两种情况的最优控制的求解。其中， 对于目标函数中状态变量与控制输入恰好为完全平方形式的情况给出了解析 解，这是本文的重要贡献。第四章中列举了三个经济方面的实例，我这里主要 用本文介绍的新方法对其进行求解。 东北大学硕士学位论文 o ：_ j 、。”0 1 最 第2 章预备知识 第：2 章预备知识 2 1 变分方法概述 2 1 1 变分方法的起源 变分法来源于微积分，后来由欧拉和拉格朗日从不同的角度把它发展成一 门独立学科，用于求解极值问题，我们称之为变分问题。而变分学起源颇富戏 剧性早在1 6 9 6 年，约翰伯努利( j o h a n nb e m o u l l i ，1 6 6 7 一1 7 4 8 ) 向全欧 洲数学家挑战，提出一个难题：“设在垂直平面内有任意两点，一个质点受地心 引力的作用，自较高点下滑至较低点，不计摩擦，问沿着什么曲线下滑，时间 最短? 这就是著名的“最速降线”问题( t h eb r a c l l i s t o c h r o n ep r o b l e m ) 。它的 难处在于和普通的极大极小值求法不同，它是要求出一个未知函数( 曲线) ，来 满足所给的条件。后来欧拉( e u l e rl o i l l l 砌，17 0 7 17 8 3 ) 和拉格朗日( l a g r a n g e ， j o s e p hl o u i s ，1 7 3 6 1 8 1 3 ) 发明了这一类问题的普遍解法，从而确立了数学的一 个新分支变分学。 2 1 2 变分法的基本概念 ( 1 ) 泛函的概念 设s 为一函数集合，若对于每一个函数x ( ，) s 有一个实数，与之对应，则 称，是定义在s 上的泛函，记作，( x ( r ) ) 。s 称为，的容许函数集。 我们称如下形式的泛函为最简泛函 7 ，( x ( f ) ) = l 7 f ( f ，x ( f ) ，文( f ) ) 衍 ( 2 1 ) 被积函数f 包含自变量，未知函数x ( t ) 及导数量( t ) 。上述曲线长度泛函即为 一最简泛函。 ( 2 ) 泛函的极值 考虑曲线长度泛函，我们可以提出下面问题： 在所有连接定点彳( ，y 。) 和b ( x 。，j ，。) 的平面曲线中，试求长度最小的曲线。 即，求y ( x ) ( x ) l j ，( 力c 1 ，x ，】，y ( ) = y 。，y ( x 。) = y 。 ，使 东北大学硕士学位论文第2 章预备知识 m ( x ) ) = 历 取最小值。此即为泛函极值问题的一个例子。 以极小值为例，一般的泛函极值问题可表述为：如果对于任意一个与x 。( ，) 接 近的x ( ，) s ，都有，( x ( f ) ) ，( x 。( ，) ) ，则称泛函，( x ( ，) ) 在x 。( ，) s 取得极小值。 所谓接近，可以用距离d ( x ( ，) ，x 。( f ) ) k 表示毛+ 七2 + + 吒 k 。则x ( f ) 的矩聊i ( f ) 为数学期望 ，聊t ( f ) = e 勋。( x ) ) 对于上述记号有下列矩方程【1 5 】： 历以) = 工。p ( x ，f m ( x ，) 出，怍l ( 3 4 ) 喇= 胁c 善脚，毒+ 丢莩薯c g 吼去咖m 圳3 渤 上式中p ( x ，r ) 为一维随机过程 x ( ，) ) 的概率密度函数。 在( 3 3 ) 式中，当厂，g ，w 与x 相应的多项式形式有关时，这个带有白噪声 东北大学硕士学位论文第3 章伴有状态矩方程的变分方法 的随机微分方程形式就可以通过上述矩方程，转化成不带有噪声干扰的微分方 程形式。这恰好是确定性邻域最优控制问题的例子，接下来就可以应用变分方 法在一个确定的目标函数下，对最优控制问题进行求解。 例如，一维随机微分方程形式为下式 戈= 厂o ) x + c o ) 万w 其中e w ( f ) = o ，e w 2 ( f ) ) = 仃2 ( f ) 。则与之对应的关于x 的一阶矩方程的形式 为： 嘲( f ) = ( ，) 聊，( f ) 而相应的二阶矩方程形式为： 廊2 ( f ) = 2 厂( f ) 聊2 ( f ) + c 2 ( f ) 仃2 ( f ) 聊2 ( f ) 同理，依次可得，z 阶的矩方程： 历押( f ) = 矽( r ) 聊。( f ) + 雩c z ( f ) 仃2 ( f ) 聊一( f ) 二 3 2 邻域随机最优控制的变分方法 针对邻域随机最优控制问题的变分方法可总结为下列几步： ( 1 ) 没有噪声干扰的确定性最优控制问题可被看作随机邻域最优问题的一 个样本，应用上节定义的矩方程，将随机微分方程形式问题转化为不带有干扰 项的形式。 ( 2 ) 对定义的目标函数中，关于状态变量的函数如果是多项式形式，则可直 接进行下一步。如果不是则通过应用t a y l o r 公式，将其展开成多项式的形式。 这个展开可以是任意阶的，这主要取决于在实际问题中要求的精确度，同时还 要注意时间的变化范围。 ( 3 ) 对于动态微分方程中也会出现关于状态变量的非多项式形式，同样也可 以在限定的范围内对其进行泰勒展开，这个展开也是任意阶了，但具体的阶数 要与上面( 2 ) 中定义的阶数相互一致。 ( 4 ) 在数学期望表达式中，数学期望值将涉及到任意阶的状态矩。这里对于 不同阶的状态矩，我们只需要考虑与之相对应的同阶状态矩方程，将这个状态 矩方程看作目标函数的约束条件。 o ；。_ 冀n 专：。 东北大学硕士学位论文第3 章伴有状态矩方程的变分方法 ( 5 ) 通过应用e u l e r l a g r 趾g e 变分方法，求出最优控制的解。这个问题是由 目标函数的期望和矩方程条件所确定的。其中，要用拉格朗日乘子法，将有约 束的变分求极值问题转化为无约束的变分求极值问题。这部分的求解过程在第 二章的基础知识中已经有了详细的介绍。 + ( 6 ) 在实问题中，闭环控制形式是由下式得到的，即 万= o 皿( x ) ( 3 6 ) 七 而在许多实例中，上述控制“( ，) 一般通过以下代换得到： 由 e 国( x ) 卜缈( x ) 得 “( r ) = “。o 切。( x ) ( 3 7 ) 七 3 3 几种常见类型最优控制问题 3 3 1 一维线性二次问题 对于线性系统动态方程 戈( ，) = 厂o ) x o ) + g ( ，) “o ) + c ( ，) w ( ，) x ( o ) = ( 3 8 ) 移 其中厂，g 和c 是关于时间f 的函数，甜是控制输入，w ( ，) 是高斯白噪声，即 e w o ) ) = 0 ，e w 29 ) ) = 仃2o ) 设目标函数为： ：寻e k z ( mr ( 孵z + 2 肘”渺 为使目标函数( 3 9 ) 取得最小值，找到最优控制”( f ) 。( 6 为常数) 设闭环配置形式为 “( ，) = v ( ，) x ( ，) 将其代入( 3 8 ) 中可得 ( 3 9 ) ( 3 1 0 ) 东北大学硕士学位论文一 一一 笙! 主堡查鲨查丝查堡塑奎坌查鎏 _ _ - _ - _ - _ _ 一 戈( f ) = ( f ) x o ) + g u ) v ( r ) x u ) + c u ) w ( f ) 应用( 3 4 ) 和( 3 5 ) 式，可分别得到一阶和二阶矩方程： 历l = ( 厂+ ) 朋l ( 3 1 1 ) 砌2 = 2 ( + ) 聊2 + c 2 盯2 ( 3 1 2 ) 再将( 3 1 0 ) 代入( 3 9 ) 中可得 ，= 争慨( 丁) + r ( q + 2 ，v 埘2 ) m ：衍】 ( 3 1 3 ) 由于( 3 1 3 ) 中不含朋l ，故可以不考虑( 3 1 1 ) 式。下面求目标函数( 3 1 3 ) 在( 3 1 2 ) 条件下的最优控制。其中6 聊：( 丁) 为常数，只需考虑吾f ( g + 2 w + s v 2 ) 聊：衍的极 值。 首先列出h 锄i l t o n 函数： 日：昙( g + 2 w + s v 2 ) m 2 + 允【2 ( 厂+ ) 聊2 + c 2 仃2 】 ( 3 1 4 ) 其中旯( f ) 是拉格朗日参数，它满足方程 ： a h 几= 一一 a m 2 、：一2 破厂+ ) 一委( g + 2 n ，+ s ，2 ) ( 3 1 5 ) 再由罢i ：o 求出 o vl 口矿 ，宰：一三( r + 2 佑) ( 3 1 6 ) 将其代入( 3 1 5 ) 中可得关于见的黎卡笛方程 拙等肌2 ( 等钔兄+ 三( 等- g ) ( 3 1 7 ) ss 三s 五( o ) = 厶 其中( 3 1 7 ) 是可以求解的。将求出的兄水代入到( 3 1 6 ) 中即可确定v 水。再将v 乖代 到( 3 1 1 ) 中即可确定聊奉，再由( 3 6 ) 与( 3 7 ) 给出的肌聿与x 幸的对应关系，就可确 定最优控制“木。再由( 3 1 2 ) 式求出聊：幸，这样就可以确定出目标函数的极大( 或 i 0 ，。r ；：o ：毫二” 东北大学硕士学位论文 第3 章伴有状态矩方程的变分方法 下面对于目标函数中的二次式如果恰好是完牟平方的形式，即 歹毛二k 2 ( 聃r ( 弘耐衍 的情况给出解析解。 首先由闭环配置形式 甜( ，) = v ( f ) x ( f ) 可得关于x 的一阶矩方程、二阶矩方程和目标函数分别为： 历l = ( 厂+ ) 聊l 如= 2 u + 纠鸭+ c 2 盯2 ，= 丢6 m ：( r ) + 三r ( g + s v ) 2 朋：衍 相应的h 锄i l t o n 函数： 日= 三( g + 叫所：州2 ( 厂+ g v ) 珑z 胡 拉格朗日参数名满足方程： 五：一旦 锄2 = 一2 a ( 厂+ g v ) 一圭( g + 州2 再由祟i ：o 求出 d vi 。一 。 v 木：一鸳一里 将1 ，木代入( 3 1 7 ) 可得到关于兄的伯努力方程： 五：珲矛+ 2 ( 盟一厂) 五 这个方程更容易求解，下面对其进行求解。 令，( f ) = 等，p ( f ) = 2 詈一厂，则上式关于五的伯努力方程变为： j l = r 凳+ p 丸 再令z ： ，代入( 3 2 6 ) 中得 ( 3 1 8 ) ( 3 1 0 ) ( 3 1 9 ) ( 3 2 0 ) ( 3 2 1 ) ( 3 2 2 ) ( 3 2 3 ) ( 3 2 4 ) ( 3 2 5 ) ( 3 2 6 ) 查! ! 垄堂壁主堂堡垒查 一 第3 章伴有状态矩方程的变分方法 二二：一：= ：= ：二：= ：= 三+ 弘= 一， ( 3 2 7 ) 此为一阶线性方程，解得 矿= p 如胁( z 。一f ，( f ) p 胁膀d f ) ( 3 2 8 ) 故 。j ：p ( r 胁 舻2 f 蒜 。2 9 ) ( j 一j 尸( f ) p r 尸( f ) 彬d f ) 。j 。7 求出z 事后再代入到( 3 2 4 ) 中，得 v k 一孕一詈 ( 3 3 0 ) s s 同时，再将( 3 3 0 ) 的1 ，幸代到( 3 1 9 ) 中，得关于聊。的微分方程： 砌l = ( 厂+ 半) ( 3 3 1 ) 这是一个变量分离方程，解得 聊木= e x p j 【厂( f ) + g ( f ) v 木( r ) 胁) ( 3 3 2 ) 再由( 3 6 ) 与( 3 7 ) 给出的聊，木与x 木的对应关系，得最优控制 甜母= v 书e x p f 厂( r ) + g ( f ) v 书( f ) 】出) ( 3 3 3 ) 在实际问题中，人们不仅要得到最优控制，有时还要看看目标函数的极是 多少，因此还需要对( 3 2 0 ) 中的历：进行求解，即解 琬2 = 2 ( + 枣) m 2 + c 2 盯2 ( 3 3 4 ) 得 聊：拳= 少胁 珑：( o ) + f 6 ( f ) p 一舯西办】 ( 3 3 5 ) 其中口p ) = 2 厂( ，) + g ) v 宰o ) 】，6 ) = c 2 0 ) 仃2 0 ) ，m ：( 0 ) = e x 。 。 再将( 3 3 5 ) 和( 3 3 0 ) 代到( 3 2 1 ) 中，得目标函数的极值： = 丢慨v ) + 如( g + 叫2 朋：枣衍 ( 3 3 6 ) 对于现实中与此数学模型相同的问题可直接应用此结论求解。 3 3 2 一维线性四次问题 。 ! j 脚章i 。，。f 。t 东北大学硕士学位论文 0 铒膏m 秒1 + 第3 章伴有状态矩方程的变分方法 对于一维线性四次的问题中，我们先来考虑下面的目标函数： 篙“；衍j ( 3 3 7 ) ，= e u ( x 4 + 衍j ( 3 3 7 ) 而系统状态微分方程设为： 文o ) = 厂o ) + w o ) 】x o ) + g o ) “o )( 3 3 8 ) x ( o ) = x o 其中厂和g 是关于时间f 的函数，“是控制输入，w ( f ) 是高斯白噪声，即 e w o ) = 0 ，e w 2o ) ) = 仃2 ( f ) 由闭环配置形式： 甜( f ) = 1 ，( f ) x ( f )( 3 3 9 ) 将( 3 3 9 ) 代入到( 3 3 8 ) 中，可得到状态方程： 戈= ( + 川x + 胖( 3 4 0 ) 由于目标函数中出现的次数为四次。故对于已知的状态方程( 3 3 8 ) ，应用( 3 4 ) 和 ( 3 5 ) 分别求出一阶、二阶、三阶和四阶矩方程： 晓= ( 厂+ g v ) 聊1 ( 3 4 1 ) 砌2 = 2 ( 厂+ g v ) 聊2 + 仃2 聊2 砌3 = 3 ( + ) 聊3 + 3 盯2 聊3 历4 = 4 ( 厂+ ) m 4 + 6 盯2 聊4 ( 3 4 2 ) 再将( 3 3 9 ) 代入到( 3 3 7 ) 中，并用矩的形式可得到一个新的目标函数： ，= f ( 1 + 1 ，4 ) m 。西 ( 3 4 3 ) 由( 3 4 3 ) 中只含有聊4 ，故只需要考虑条件( 3 4 2 ) 式。列出h 锄i l t o n 函数： = ( 1 + v 4 ) 彬4 + 元 4 ( + g v ) 所4 + 6 盯2 ，胛4 】 拉格朗日参数兄满足方程： ；8 h l = 一一 咖4 = 一1 1 ，4 一五( 4 + 4 + 6 盯2 ) ( 3 4 4 ) 东北大学硕士学位论文 第3 章伴有状态矩方程的变分方法 再由罢i ：o 求出 d 1 ，j v ；矿 v 木= 一船 ( 3 4 5 ) 将1 ，宰代入到( 3 4 4 ) 中，得关于力的微分方程： 五= 3 五3 93 一旯( 4 + 6 盯2 ) 一1 ( 3 4 6 ) 对上方程求解后，可得力木，将其代入到( 3 4 5 ) 中得到，牛。接下来同一维二次的 情形相同，先由( 3 4 1 ) 求坍。宰，可以求出最优控制甜木= 1 ，枣聊。木。要想得到目标函 数的极值，还要对( 3 4 2 ) 求出彤。宰。 上述形式中的特点是状态变量与控制输入的阶数相同，且不含有混合项， 对于这种情况，我们可以给它推广到玎次，则最优控制仍然可解。因此可以总结 为：对于一维线性的高次最优控制解的问题，如果目标函数中状态变量与控制 输入的阶数相同，且不含有混合项的情况，可用带有矩方程的变分方法求解。 而对于目标函数中，如果状态变量与控制输入的次数不同，这里设成如下 形式： ，：e u ( x 4 + 一以 ( 3 4 7 ) 又状态方程仍设为( 3 3 8 ) 式。由闭环配置形式( 3 3 9 ) ，将状态方程转化为 戈= ( + w ) x + 舭 ( 3 4 0 ) 由目标函数中只含有状态变量的二次和四次的形式，故只需应用( 3 4 ) 和( 3 5 ) 分别 求出二阶和四阶矩方程： 历2 = 2 ( 厂+ g v ) 肌2 + 盯2 肌2 ( 3 4 8 ) 晓= 4 ( 厂+ ) + 6 盯2 掰4 ( 3 4 2 ) 原( 3 4 7 ) 式可转化为新的目标函数： = f ( 脚。+ v 2 聊2 ) 沈 ( 3 4 9 ) 要求在条件( 3 4 8 ) 和( 3 4 2 ) 下，目标函数( 3 4 9 ) 的极值。由于这里涉及到两个 状态方程，则h a m i h o n 函数设为 日= 所4 + v 2 脚2 + 【2 ( 厂+ ) 彤2 + 仃2 ，z 2 】+ 如 4 ( + ) 朋4 + 6 仃2 加4 】 一 东北大学硕士学位论文第3 章伴有状态矩方程的变分方法 其中拉格朗日参数满足： 一罢：互：叫：一2 ( + g v ) + 仃z 】 叩1 2 一罢：毛：一l 一4 如【( 厂+ g v ) + 6 仃z 】 u i l l t 再由 掣：2 堋2 + 2 肼2 + 4 如册。：o 解得 1 ，宰：一坐坠塑 ( 3 5 0 ) 朋2 将( 3 4 6 ) 与( 3 4 9 ) 、( 3 4 7 ) 和在一起，可以得到微分方程组 i 历4 = 4 ( 厂+ 幸) m 4 + 6 仃2 聊4 ， v 奎：一当婴! 丝婴! 叶 【廊2 = 2 ( + ) 所2 + 盯2 所2 通过对上式的解v 奉，代入到拉格朗同参数的表达式中： 互= 一，2 2 ( 厂+ g v 母) + 盯2 】 t ：一1 4 五【( 厂+ 毒) + 6 仃2 】 努。： 从而能分别求得 枣和如宰。相应可求出最优控制“木和最优状态函数x 宰。 通过目标函数的略微改动，可发现计算量有很大的变化，显然第二种情况 要比第一种情况复杂很多，而且微分方程组不一定可解。这也是此方法还需要 进一步研究的地方。但在实际问题中所常见的模型一般为只与控制输入相关， 或者所含的状态变量与控制输入次数相同。本文后面的实例中会给出相关的介 绍。 东北大学硕士学位论文第4 章经济方面的应用 第4 章经济方面的应用 4 1 随机需求下商品的零售商订货策略问题 4 1 1 研究背景与意义 随着生产力的不断进步。经济的飞速发展，人民群众的生活水平生活质量 的不断提高，消费者对于固定商品保持喜好的周期也是越来越短。同时科学技 术的不断进步，技术的不断更新换代，使得高新技术产品的改朝换代也是越来 越快，这些必将导致一些商品的生命周期也是越来越短，形成了特定的一类商 品，即易逝性商品【1 6 j 。易逝品，又称季节性产品或短生命周期产品，如：报纸杂 志、影碟、食品、药品和时装等。随着科技的进步、市场竞争的激烈，产品的 生命周期缩短，更新换代加快，越来越多的产品( 如：电子产品、个人计算机和 信息产品等) 具有易逝品的特征。超过销售期性命周期的易逝品的剩余价值将会 丧失或变得很低。对于存在一定销售期限，超限产品的价值将变为零的产品，易 逝性特征更为明显。产品的易逝性特征使得企业的决策者应在产品价值下降之 前将尽可能将产品销售出去，但是如果过多的商品以较低的价格出售出去，企 业的收入又会受到影响。这使得企业决策者需平衡产品虚耗与产品利润之间的 关系。因为易逝性商品的这一特点，要求商家必须认真研究，仔细策划，保障 供应商企业损失最小、收益最大。但是小批量、多频次的生产和送货会带来生 产成本的增加。为了能获得更多的利润，合理的安排配送时间及配送的数量将 是降低配送成本的主要手段，而合理的订货策略又是合理安排配送时间和配送 数量的前提条件。合理的订货策略是合理的配送保证。所以，对易逝品的订货 策略的研究具有非常重要的理论意义和实践价值。 但为了研究的方便，考虑以用户的库存作为研究对象，考虑零售商企业的 订货策略及相应的成本关系，以期望零售