宏观经济学分析方法系列：(课堂放映版、11硕已讲)动态规划的Bellman原理.doc

=附录：宏观经济学分析方法：动态规划的Bellman原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion，逆向递归，逆向归纳）的特征。假定：（1）典型个人生存两个时期，他可以在两个时点上，即上做决策（时，他就死亡了）；他被赋予一定量的初始资源。（2）理想化的资本市场上存在两种资产 所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。图 股票价格运动的二项树模型40010025200 4/94/95/9p (t)100505/94/95/90 1 2 t简单地说，它表示在每一时点上，股票价格要么以 的概率上涨一倍，要么以 的概率下跌一半。用和表示该投资者在时刻上，投资于风险资产（股票）上的财富分额。（3）投资者的非资本收入为 ，效用函数具有以下特定形式：（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。至此，最优化问题就可以简化为：我们的任务就是找到最优的投资决策变量（最优控制）和，使以上最优化问题得以解决。可以尝试采用“向前”推导的方法，即从 时刻开始，事先决定一个策略 ，但它是不是最优还不清楚，根据我们仅仅能够知道时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”，并不一定是最优决策过程的必然组成部分，除非可以明确地知道在所有不同情况状态下的 ，并且它是惟一的。因此，向前推导的方法是行不通的。换一种思路，我们可以试着从倒数第一期，即期开始。这就是说，我们必须获得 时期，股票价格在或者两种情况下的最优投资比例，而这是一个单期静态优化问题。一旦获得了时的相应结果和，就可以按照同样的手续，进一步推导时刻的最优投资比例，从而一层层地逐步解决问题。具体求解如下：第一步：时刻假定此时的财富 为任意一正数（它是由上一期 时的最优决策所产生的）。投资到股票上的财富比例为，则投向无风险资产上的就是。我们来计算最后的时刻，积累的财富的期望效用是多少。先考虑当股票价格时的情形，根据二项树模型：为了找到最优投资比例 ，只要对求导，并令一阶导数于就可以了，容易得到：和再考察当股票价格时的情形 ， 我们发现仍旧可以使用上式 。 因为 依然表示股票价格上涨一倍的情况下，投资在两种资产上，给投资者带来的期末财富的期望效用；而则是投资机会相对较差即下跌 一半时，期末财富的期望效用水平。因此最优解还是，因此这个最优投资比例决策独立于时刻股票价格和财富的绝对水平。第二步： 时刻根据上面的推理，我们只要知道时刻的财富水平 ，就可以知道最终财富的期望效用水平是多少，而时期的财富水平，也是由同第一步类似的决策过程所决定的，即：同样对 求导数，并令一阶导数等于，得到最优化条件，因此动态最优投资决策方案就是：，尽管实际的问题要比这个简单的例子复杂得多，但从上述求解过程中，仍然可以归纳出最优个人消费（投资）决策的动态规划解法的最显著特征，即它是向后追溯的。而这正是贝尔曼最优化原理的体现。三、一般情形现在考察多期（多阶段）离散时间情况下，个人最优消费/投资决策问题的标准建模方法和它的一般解法。假定：（1）有限生命典型个人生命时期（lifetime）为，他可以在这些离散的时点上做决策 也称交易期界（trading horizon）。；他被赋予一定量的初始资源。（2）单一消费品只有一种用于当期消费的易腐消费品。它不可以储藏，暂时不考虑它是如何生产出来的。（3）资产价格运动理想化的资本市场上存在种资产，第 种资产是无风险的债券，它的单位时间总收益率为；其他种都是风险资产，它们的总收益率定义为：是由外部经济环境外生决定的。（4）资产组合令 为投资在第种风险资产上的财富占总财富数量的相对份额，则就是投资在无风险资产上的财富份额。 因此整个资产组合的总收益率就是： （2-2）（5）令为非资本收入，如果假定这个收入来源是随机的，也可以称之为外生禀赋过程（endowment process）。注意，我们定义。根据上述设定，可以把财富积累方程，也即约束条件表述为： （2-3）（6）非负条件要求在任何时刻，不可以出现负的财富和消费，即这样一来，最优化问题（2-1）式就可以表述为： （2-4）=1、这里有一个非常重要的假定，即效用函数是时间可加的（time-additive）。时间可加性是一个很强的假设，它假定多期效用函数采取如下这种形式2、人们可能会对于没有贴现这些期望效用存在疑问，实际上加上时间变量的也是一个效用函数，它的具体形式可以是。但是需要注意的是： 的上角指的是一个时间长度，不要把它同作为时点的相混淆。3、也是一种效用函数，形如。当然个人完全可以决定不留下任何遗产，即，那么这一项就从个人视野中消失了。=根据动态规划Bellman原理，我们仍然从倒数第一期开始解，这样它就变成了熟悉的单期问题。引入时刻的价值函数（valuation function） J 是一个基于财富的引致（derived）效用函数。，即 (2-5)为简化求解，目前暂时假定非资本收入为 ，把财富积累方程（2-3）式代入上式，注意到：则（2-5）式可改写为： （2-6）为简便起见，可将对时间的函数形式都省略掉时点变量不计。接下来对可供选择的决策变量求导（注意由于，因此要用到复合函数求导法则，即链式法则） , 于是得到最优化的一阶条件 因为效用函数和遗产函数都是凹的，所以二阶条件自动得到满足。： (2-7)根据上式中的第二个一阶条件，第一个一阶条件又可以表示为： （2-8）如果用 期的价值函数（2-6）式对做微分（使用链式法则和导数基本运算法则），就有：把一阶条件（2-7）式代入上式，则上式右边第一、二项均为 。化简即得到最优消费/投资策略必须满足的包络条件（envelope condition） 这个条件最早由 J.P.Samueleson（1969）给出。： （2-9）它的经济学含义是：在消费者均衡时，当期消费的边际效用等于财富（未来消费）的边际效用。当期消费与投资比例的选择既影响生活质量，也影响投资预算的数量。当前每增加一单位的消费就减少可投资的财富，因而获得时际最优的标准条件就是:消费的边际效用等于财富的边际效用。进而，根据上式容易知道，因为所以有，因此 是财富的严格凹函数。回到期决策问题的求解上。很明显，如果要想求出价值函数，原则上只要把、（它们是函数表达式）代入（2-6）式求解即可。这样我们就得到了时期个重要的数据、 、和。还要注意，这之所以是可行的，是因为在最终时刻，有而这是一个确定的函数。接着，继续对倒数第二期做类似的工作，这时的价值函数为：这是一个重复的逆向递推（backward recursive）过程，可