数理经济学05-动态最优化基础

第四章 动态最优化基础4.1 动态最优化的基本问题例：最短路问题图4.1给出了从城市A到城市B的路线图（省略了距离单位标注）。现求一条从A到B的最短路线。图4.1显然，为了从A到B，必须先逐步经过C1、C2、C3、C4等诸城市。而在C1、C2、C3、C4，又都有多种选择。而关键性的困难是当前的最优选择不一定是全局的最优。这类问题也称为多阶段决策问题。 4.2 动态最优化的基本概念阶段：将全过程分为若干个有相互联系的阶段，常用字母t、k表示；状态：系统在不同阶段性态。一般来说，系统在一个阶段有多个状态。系统在某一阶段的所有可能的状态构成的集合成为状态集，记为Sk；状态变量：表示系统状态的变量，记为sk。它与阶段有关；决策：在某一阶段的某一状态下，系统由该状态演变到下一阶段某一状态的选择。在第k阶段，处于状态sk时的所有可能的决策集记为Dk（sk）；决策变量：描述决策的变量，它与阶段与系统在该阶段的状态有关。在第k阶段，处于状态sk时的决策记为dk（sk）；状态转移：从当前阶段的某一状态转移到下一阶段的某一状态。状态转移方程：描述状态转移规律的数学方程。它是当前状态变量与决策变量的函数，即；策略：从起点到终点的每一阶段的决策所构成的决策序列，称为（全局）策略。自某一阶段起，至终点的决策称为子策略，记为。指标（目标）函数：性能指标或效用指标，它用来评价决策的效果。它可分为阶段指标与全局指标两类。阶段指标是指衡量某一阶段在某一状态下的决策效果的指标。它仅依赖当前状态和当前决策。记为；全局指标是指衡量整个全过程或自某一阶段起至终点的各阶段决策的总体效果的指标。它是所有各阶段的状态和决策的函数，即动态最优化的主要问题是寻找一个策略，使全局指标最优。此策略称为动态系统的最优解。注意，最优解是各阶段状态的函数，其含义是在各个阶段，当处于不同的状态下应选择的（从全局）最优决策。动态最优化的分类离散阶段、离散状态的动态优化问题；离散阶段、连续状态的动态优化问题（如长期投资问题）；连续阶段、离散状态的动态优化问题；连续阶段、连续状态的动态优化问题（如追击问题、长期投资问题）。处理动态最优化的常用方法：1） 变分方法；2） 极大极小原理（Pontryagin原理）；3） 动态规划（Bellmen方法）。 4.3 动态规划方法对于动态规划而言，它要求过程的全局指标函数是各阶段指标的和，即动态规划最优化原理（Richard Bellman）作为整个过程的最优策略具有这样的性质：无论过去的状态和决策如何，对前面决策所形成的状态而言，余下的诸决策必须构成最优策略。该原理可以这样理解：如果在某一阶段的某一状态位于全局最优路径上，则以它为起点到终点的最优策略一定与全局最优策略重合。由基本原理，不难得到动态规划的函数基本方程（反向递归方程）：其中，表示在第k阶段的某一状态下到终点的最优指标函数。例：求前例的最短路。（反向递归）例：某商店在未来四个月里销售一种商品。它有一个最大容量为1000件的仓库。该商店每月中旬订购商品，下月初到货。经市场调查，今后四个月商品的购买价与销售价如下表所示。假定商店在1月初已有500件库存商品，在不考虑市场需求和库存费用的条件下，问如何安排每月的订购量和销售量，使6个月的总利润最大。月份购买价pk销售价qk110122993111341517解：这是一个四阶段决策问题。决策变量是每月的订购量xk，销售量yk。取状态变量为每月的库存量，记为sk；并记仓库最大容量为H=1000。显然，状态转移方程为基本函数方程为利用后向算法求解。令，解约束极值问题：显然，该优化问题的解是，此时，。令，有优化问题 这是一个线性规划问题，解之，有，。令，有优化问题其最优解为，。令，得其最优解为，。最后，注意到初始条件，对上述求出的最优解逐步回代，得到该问题的最优解：， ；， ；， ；， 。在用动态规划方法解多阶段决策问题时，除了反向递归函数方程和反向递归算法外，还有正向递归函数方程和正向递归算法。一般来说，若已知初始条件，则用反向递归算法，若已知终端条件，则用正向递归算法。最后要指出，若考虑连续阶段的动态规划问题，则上述目标函数中的求和就变成了积分。 4.4 变分方法考虑下列优化问题A：满足条件 and 。在这个问题中，是未知函数。由于目标函数中的积分是函数的函数，故常称这类函数为泛函。该问题可以认为是一个连续阶段的多阶段决策问题。其中，可以认为是决策变量，可以认为是状态变量，而目标泛函是各阶段效用函数的累积。由于变分方法是用古典微积分方法处理这类问题，所以通常要求未知泛函是连续可导的。一阶必要条件（Euler方程）若连续可导函数是问题A的解，则满足下列方程：在不同的经济问题中，问题A形式可能有所不同，主要是积分的上下限、端点条件以及被积函数F有所改变。此时，Euler方程的形式也会有一定的变化。例：（通货膨胀与失业的折衷）通货膨胀和失业都会造成社会福利损失。因此，希望找到这两者之间在时间上的组合，使社会福利损失最小。社会福利损失函数：设在理想经济中，其充分就业的收入水平为，通货膨胀率为0。实际就业率Y对的任何偏离及实际通货膨胀率p对0的任何偏离都是社会福利损失。因此，我们假设社会福利损失函数为 与p之间的折衷可假设为称为菲利普斯折衷。其中，是预期通货膨胀率。假设预期通货膨胀率的形成是自适应的： 于是有即于是有最后得到这样，政府的问题就是在时间区间0，T上，寻找的最优路径，使社会福利损失函数最小。假设初始通货膨胀率预期为，期末通货膨胀预期为0（政策目标），社会福利损失的折现率为。则政府的政策目标是 s.t. 容易算得，该问题的欧拉方程是其中，该方程是一个二阶常系数线性微分方程，其解为且显然有，。由初始条件，不难求出A1和A2为，。4.5 最优控制理论基本问题B：满足 ，自由，以及，对于所有的。在这个问题中，y称为状态变量；u称为控制（策略）；积分称为目标泛函；微分方程称为运动方程（状态方程）；U称为控制集。U通常是。若状态方程是，将其代入目标泛函，则变成了一个变分问题。令称为问题B的汉密尔顿（Hamiton）函数。（庞德理雅金）极大值原理（一阶必要条件）设是问题B的解，则一定也是下列问题的解松开的记忆，飘落的莫名的尘埃，像起伏的微风，拂过脑海，留下一份情愁。一条街，没有那些人，那些身影，却能来回徘徊穿梭。街，行走时，纵然漫长，漫长，有时只为听一颗流动的心的呓语。沉默，倔强，回望，忘记，记住，一切像断了的弦，有时希望生活简单就好，有时却又莫名的颓废其中。有些路，只能一个人走；有些事，只能一个人去经历。粗读加缪、萨特的存在主义，它告诉我，人就是非理性的存在。光秃秃的枝桠、清寂的清晨、流动的阳光，飘落于心，或快意，或寂寥，映照心境，然而，有时却只属于那一刻。总之，一切只是心情。人生的画面一幅幅地剪辑，最后拼凑出的是一张五彩斑斓的水彩画，有艳丽的火红色，凝重的墨黑以及一抹忧郁的天蓝色。人的记忆很奇特，那些曾经的过往，就像一幅幅的背景图，只有一个瞬间，却没有以前或以后。比如，只能记得某个瞬间的微笑，只能在记忆的痕迹寻觅某时刻骑着单车穿过路口拐角的瞬间，却都不知晓为何微笑，为何穿过街角。一切，有时荒诞得像一场莫名情景剧。然而，这就是生活。曾经的梦，曾经的痛，曾经的歌，曾经的热情相拥，曾经的璀璨星空。也许，多年以后，再也见不到的那些人，和着记忆的碎片飘荡而来，曾经伴着我们走过春华秋实。天空蔚蓝，杜鹃纷飞，飞过季节，曾经萍水相逢，欢聚一堂，蓦然回首，唯歌声飘留。让人忆起米拉波桥里的诗句：夜幕降临，钟声悠悠，时光已逝，唯我独留。人在天涯，绵绵的思绪随着微风飘浮，从布满礁石的心灵海滩上穿过千山万水，来到游荡的身躯里，刻下一篇篇笺章。而这，或许在多年以后，当再次翻动时，原以为什么都已改变，松开的记忆，飘落的莫名的尘埃，像起伏的微风，拂过脑海，留下一份情愁。一条街，没有那些人，那些身影，却能来回徘徊穿梭。街，行走时，纵然漫长，漫长，有时只为听一颗流动的心的呓语。沉默，倔强，回望，忘记，记住，一切像断了的弦，有时希望生活简单就好，有时却又莫名的颓废其中。有些路，只能一个人走；有些事，只能一个人去经历。粗读加缪、萨特的存在主义，它告诉我，人就是非理性的存在。光秃秃的枝桠、清寂的清晨、流动的阳光，飘落于心，或快意，或寂寥，映照心境，然而，有时却只属于那一刻。总之，一切只是心情。人生的画面一幅幅地剪辑，最后拼凑出的是一张五彩斑斓的水彩画，有艳丽的火红色，凝重的墨黑以及一抹忧郁的天蓝色。人的记忆很奇特，那些曾经的过往，就像一幅幅的背景图，只有一个瞬间，却没有以前或以后。比如，只能记得某个瞬间的微笑，只能在记忆的痕迹寻觅某时刻骑着单车穿过路口拐角的瞬间，却都不知晓为何微笑，为何穿过街角。一切，有时荒诞得像一场莫名情景剧。然而，这就是生活。曾经的梦，曾经的痛，曾经的歌，曾经的热情相拥，曾经的璀璨星空。也许，多年以后，再也见不到的那些人，和着记忆的碎片飘荡而来，曾经伴着我们走过春华秋实。天空蔚蓝，杜鹃纷飞，飞过季节，曾经萍水相逢，欢聚一堂，蓦然回首，唯歌声飘留。让人忆起米拉波桥里的诗句：夜幕降临，钟声悠悠，时光已逝，唯我独留。人在天涯，绵绵的思绪随着微风飘浮，从布满礁石的心灵海滩上穿过千山万水，来到游荡的身躯里，刻下一篇篇笺章。而这，或许在多年以后，当再次翻动时，原以为什么都已改变，松开的记忆，飘落的莫名的尘埃，像起伏的微风，拂过脑海，留下一份情愁。一条街，没有那些人，那些身影，却能来回徘徊穿梭。街，行走时，纵然漫长，漫长，有时只为听一颗流动的心的呓语。沉默，倔强，回望，忘记，记住，一切像断了的弦，有时希望生活简单就好，有时却又莫名的颓废其中。有些路，只能一个人走；有些事，只能一个人去经历。粗读加缪、萨特的存在主义，它告诉我，人就是非理性的存在。光秃秃的枝桠、清寂的清晨、流动的阳光，飘落于心，或快意，或寂寥，映照心境，然而，有时却只属于那一刻。总之，一切只是心情。人生的画面一幅幅地剪辑，最后拼凑出的是一张五彩斑斓的水彩画，有艳丽的火红色，凝重的墨黑以及一抹忧郁的天蓝色。人的记忆很奇特，那些曾经的过往，就像一幅幅的背景图，只有一个瞬间，却没有以前或以后。比如，只能记得某个瞬间的微笑，只能在记忆的痕迹寻觅某时刻骑着单车穿过路口拐角的瞬间，却都不知晓为何微笑，为何穿过街角。一切，有时荒诞得像一场莫名情景剧。然而，这就是生活。曾经的梦，曾经的痛，曾经的歌，曾经的热情相拥，曾经的璀璨星空。也许，多年以后，再也见不到的那些人，和着记忆的碎片飘荡而来，曾经伴着我们走过春华秋实。天空蔚蓝，杜鹃纷飞，飞过季节，曾经萍水相逢，欢聚一堂，蓦然回首，唯歌声飘留。让人忆起米拉波桥里的诗句：夜幕降临，钟声悠悠，时光已逝，唯我独留。人在天涯，绵绵的思绪随着微风飘浮，从布满礁石的心灵海滩上穿过千山万水，来到游荡的身躯里，刻下一篇篇笺章。而这，或许在多年以后，当再次翻动时，原以为什么都已改变，松开的记忆，飘落的莫名的尘埃，像起伏的微风，拂过脑海，留下一份情愁。一条街，没有那些人，那些身影，却能来回徘徊穿梭。街，行走时，纵然漫长，漫长，有时只为听一颗流动的心的呓语。沉默，倔强，回望，忘记，记住，一切像断了的弦，有时希望生活简单就好，有时却又莫名的颓废其中。有些路，只能一个人走；有些事，只能一个人去经历。粗读加缪、萨特的存在主义，它告诉我，人就是非理性的存在。光秃秃的枝桠、清寂的清晨、流动的阳光，飘落于心，或快意，或寂寥，映照心境，然而，有时却只属于那一刻。总之，一切只是心情。人生的画面一幅幅地剪辑，最后拼凑出的是一张五彩斑斓的水彩画，有艳丽的火红色，凝重的墨黑以及一抹忧郁的天蓝色。人的记忆很奇特，那些曾经的过往，就像一幅幅的背景图，只有一个瞬间，却没有以前或以后。比如，只能记得某个瞬间的微笑，只能在记忆的痕迹寻觅某时刻骑着单车穿过路口拐角的瞬间，却都不知晓为何微笑，为何穿过街角。一切，有时荒诞得像一场莫名情景剧。然而，这就是生活。曾经的梦，曾经的痛，曾经的歌，曾经的热情相拥，曾经的璀璨星空。也许，多年以后，再也见不到的那些人，和着记忆的碎片飘荡而来，曾经伴着我们走过春华秋实。天空蔚蓝，杜鹃纷飞，飞过季节，曾经萍水相逢，欢聚一堂，蓦然回首，唯歌声飘留。让人忆起米拉波桥里的诗句：夜幕降临，钟声悠悠，时光已逝，唯我独留。人在天涯，绵绵的思绪随着微风飘浮，从布满礁石的心灵海滩上穿过千山万水，来到游荡的身躯里，刻下一篇篇笺章。而这，或许在多年以后，当再次翻动时，原以为什么都已改变，若能觅得一方喜欢的山水，在空旷的风里，种上淡暖如许，清欢如许。我愿用无尘的诗句，沾染些许晨露，轻叩那些老去的时光，让曾经的你我，重走一遍依旧开满鲜花的小径。时光里的我们，不说话。只是凝望着彼此旧时的模样，任凭花落清溪，任凭日暮烟霞。陌上的时光，匆匆如流。指尖，一直贪恋着世间所有的暖香。而那些没有着落过往，早已随风而散。往事已旧，一切，终会在念与不念，忘与不忘之间，莞尔一笑，变得风轻云淡。岁月的风，就这样翩跹而过。还好，总有一些不离不弃的相伴，安暖着岁月的荣辱沧桑。然后，在玲珑的小字里尘埃落定。珍惜着，不早也不晚的缘分。愿你永远在我文字的四季，可以与那些草木葳蕤的深情一样，青青又青青。纵使某天，错过了所有，只剩下一个人忧伤，也不要怪罪时光。时光里那些牵过的手，给错的爱，都是情不由衷。开始与结束，一样美丽。我们应该，原谅时光，记住爱！那些过往里的施与舍，恩与惠，何必计较太多。我们在山水间喂养清风，在草木间描摹明月，云淡风轻一天又一天。任凭年华一去不返，依旧无怨无悔，不负岁月，不负时光。那些风花雪月的重逢与离别，终将陨落在时光深处，被过往的烟尘一一覆盖。当时光里，那些被岁月漂白的光阴，再回首时，风住尘香，缘已渺渺，我们也不必遗憾。苍茫处，风景依旧，繁华笙歌，人事无恙。那些散落在流年深处的芬芳，也是依旧静美如初，相宜静好。不如，安静着，于寂寂红尘中，为自己开一扇般若门，将一切浮云过往都放逐在红尘之外，只留一颗琉璃心，只守一池为我而开的莲荷，一粥一饭，一笔一墨，闲渡流年。未来的路，那么远。从未想过会遇见谁，也从未想过会错过谁。今朝，一壶浊酒，一扑流萤，几许明媚，几许嫣然，我依然是那个朴素的琉璃女子。不敷衍，不趋势，简单的行走，简单的生活，简单的爱与被爱。当时光里，那些被光阴漂白的过往，再回首时，风住尘香，缘已渺渺，我们也不必遗憾。苍茫处，风景依旧，繁华笙歌，人事无恙。那些散落在流年深处的芬芳，也是依旧静美如初，相宜静好。若是，光阴辞去旧年，初心不改。我依然愿意，在心里种半亩花田，在文字里养一个春天。这样，无论你来不来，在不在，我都一样安静的开落。那样，你偶尔回眸，看到的风景，都是春天般，含着香，透着暖。喜欢让心在那一刻，静如菩提明镜。那么，且许我一程走旧的岁月，温一壶经年的雨水，煮一段曾经的往事，不提花开，不说花落。就让那所有的喜怒哀乐，淡暖清欢，如茶般，氤氲出缕缕清香。而你我，亦愈来愈通透，有了茶的芬芳，即使喝到无味，亦有一股回甘，令人回味留恋。桃花酿酒，醉了光阴。春水煎茶，赴了风雅。我人生四季，永远是那一抹剔透的琉璃色，不必虚张，不必声势，只做安静的自己，善待生命里遇见的一切，感恩并珍重，且温柔的对待。若有一天，我们隔着茫茫人海，穿过人流车流，你是否会一眼将我认出，并且微笑着喊出我的名字。若有一天，经年的路口，人烟渺渺。你是否会收集所有花香，用思念为我铺一条洒满落花的小路。那些失落的前尘往事，你是否愿意陪我一一