数量经济学CH8动态优化：动态规划

1、CH8动态规划当时间和不确定性同时出现时，现实中往往确实如此，动态规划就显得特别有用。动态规划是通过值函数把动态问题转变为静态问题。连续时间确定性问题定义值函数: ,从出发的值函数为:首先计算控制变量的最优选择，然后得到状态变量的最优值。若和在整个区间中是最优的，那么在子区间中也是最优的。根据积分中值定理去掉大括号中第一项的积分号，然后围绕时刻进行泰勒展开。代入原方程得到:消除方程两边相同项,并除以,得到:这就是动态规划的递归方程（Recursive Equation,RE）。递归方程把动态问题转为只有时期的静态问题。根据RE右边项对控制变量求导数等于零，得到最优值：。将其代回到RE中，得到贝

2、尔曼方程（Bellman Equation,BE ）。连续时间动态规划求解步骤1、定义值函数，写出RE。2、根据控制变量的一阶条件得到最优控制变量的表达式。3、把其代回到RE，得到BE。4、通过BE求出值函数，最终得到控制变量的最优值。注意：BE是偏微分方程，只有少数几种情况可以求解：目标函数是相当或绝对厌恶风险效用函数，或二次型；约束条件是线性约束。问题：值函数的形式事先不知道，需要猜测。经济学中动态规划问题的猜测方式：1、值函数与目标函数形式相同。2、控制变量是状态变量的线性函数。例：目标函数为二次型,定义值函数: 写出递归方程RE:有一阶条件得到:得到BE：。猜测：值函数与目标函数有相同

3、的形式，即为二次型。 为待定常数，如果存在，猜测正确。 代回上式即得到控制变量自控问题：时间不独立出现经济学中常遇到的是自控问题。同样可以用前面的方法，定义现值值函数，写出RE进行求解。但是，用当期值的值函数，可以简单些。DP一般用当期值函数。定义现值值函数： 贴现到0时刻定义当期值值函数： 贴现到时刻现值:当期值：例子：Ramsey模型资源约束：封闭经济且不考虑政府的资源约束：投资用于增加资本和弥补折旧：Ramsey模型的含义：在资源约束下，选择消费使效用的贴现和最大化。消费水平确定后，资本存量也确定了，产出水平也确定了。这就是Ramsey模型关于经济增长的解释。Ramsey模型将经济增长建

4、立在微观最优化的基础上。假设生产函数规模报酬不变：用人均形式表示的资源约束为：例子：Ramsey model求解Ramsey model定义当期值值函数：必须知道效用函数和生产函数的具体形式才能求解。二、不确定性问题理论补充：随机变量及求解。股票价格、人口增长和技术进步实际上呈现的是随机变化。确定性变量： 随机变量：，服从几何布朗运动。计算以下两种函数的微分。1. 2. 对于确定性变量，可以进行一阶泰勒展开，也可以直接使用微分公式：。对于不确定变量，需要进行二阶泰勒展开。微小变化的乘积（服从几何布朗运动）：z tztt 00 0dz dtdzdt dt 0 0 0 得到： 即Ito公式得到：例

5、： 连续时间形式离散时间形式 二、不确定性问题不确定问题的优化：服从几何布朗运动. ,定义值函数: 存在不确定性时，目标函数是时刻的期望值。与确定性变量一样的方法推导递归方程。根据,上式等价于:将的表达式代入，取期望后抵消相同项后除以，得到RE：根据控制变量一阶条件得到最优值，代回RE，得到BE：例1：目标函数为二次型,定义值函数: 写出递归方程RE:由一阶条件得到，代入RE得到BE。然后猜测值函数与目标函数有相同的形式，根据BE得到值函数。然后得到最优控制变量，带到转移方程得到状态变量。例2：Ramsey model必须知道效用函数和生产函数的具体形式才能求解。应用：消费与证券投资组合理论（

6、Merton,1971）假设消费者初始财富w(0)已知，任意时刻t的财富w(t)取决于消费者的投资收益。消费者将(t)比例的资产投资于风险资产，如股票,（1-(t)）的资产投资于无风险资产，如债券。在Merton的模型中，收益率取这种形式：假设股票的收益率为dRS，债券的收益率为dRB。此处z与BM之间有个小方框将两种资产的收益率代入上式得到t时刻消费者资产的变化量：效用函数 猜测值函数： 将值函数和最优值代回到RE得到常数A：得到A，就能得到值函数、消费和投资组合比例的最优选择。 结论：1、消费在收入中占的比例不变（如果=1,c*=w），解决了凯恩斯消费函数的“消费之谜”：平均消费倾向随收入

7、上升而下降。2、风险资产的投资比例与边际效用弹性的绝对值和风险资产的方差反相关，与风险资产的溢价正相关。3、消费变化等式两边除以c*得到：将风险资产所占的比例和A代入得到：对时间求导得到：消费的预期增长率与风险资产的方差反相关。在开放经济中，通过分散投资可以降低风险资产的方差，消费增长率(经济增长率)将会提高（奥博斯特菲尔德和若戈夫（2002，p445）。离散时间一、确定性情况典型问题控制变量为ut，状态变量为xt。定义值函数：任意时刻s的当期值值函数：练习：根据连续时间动态规划的方法推导贝尔曼方程。求解步骤：定义拉格朗日函数：联立（1）和（2）可以得到欧拉方程。例子：Ramsey模型Rams

8、ey模型的含义：在资源约束下，选择消费使效用的贴现和最大化。消费确定后，资本存量也确定了，产出水平也确定了。这就是Ramsey模型关于经济增长的解释。Ramsey模型将经济增长建立在微观最优化的基础上。求解Ramsey模型 定义lagrange函数：等式左边：当前减少1单位消费使未来效用增加量的贴现值。r=f(k)+等式右边：当前减少1单位消费使当前效用的减少量。最优消费选择满足等边际准则。再结合约束条件可以得到包含k和c的非线性差分方程组：稳态分析达到稳态时，人均消费水平和资本存量不变，得到：稳态值：结果与solow模型相同，没有技术进步时，经济停止增长。由式（1）可以直接得到人均资本存量的

9、稳态值，式（2）即c=f(k)。这样就得到了和连续时间形式相同的相位图（phase diagram)。离散形式的Ramsey模型仍然是鞍点路径稳定。在稳态处系统的稳定性分析将欧拉方程和约束条件看做c和k的函数，围绕稳态值进行泰勒展开，形成一个二阶差分方程组。根据系数矩阵的特征根可以判断系统的稳定性。不确定性问题练习：推导不确定性问题的贝尔曼方程。状态变量受到上一期随机冲击的影响：定义任意时期s的值函数：右边取期望得：得到随机问题的贝尔曼方程BE（或递归方程RE）：求解步骤：定义拉格朗日函数：选择了后，就相当于选择了。根据上式得到V(xs+1），代入一阶条件得到：联立（1）和（2）可以得到欧拉方

10、程。例子：Ramsey模型求解Ramsey模型定义lagrange函数：可使用对数线性化的方式求解该差分方程组，即实际经济周期理论（RBC）。未来冲击的影响在t时刻不知道t+1时刻的冲击贝尔曼方程给定初始存量向量y0和末期存量向量yT+1，最大化 满足约束 转移方程 由此产生的最大值定义为初始存量的一个函数，即。导数向量就是这些初始存量的影子价格向量。假设不是从时点0开始，而是考虑一个特别的时间，如t=。对始点为的决策，关于过去惟一重要的事就是以往决策产生的存量向量。将其看作一个参数，并将整个问题在处重新开始。令为这个问题的最大值函数。当从处给予初始存量一个小的增量时，导数向量即为最大化的和的

11、边际增量，即从开始的最优化问题中初始存量的影子价格向量。现在选择任意的t，考虑那个时候关于控制变量的决策，以及由于选择任意特定的而带来的结果。根据转移方程，将产生下一期的存量，然后需要求解时点为t+1的子问题，得到最大值。在t时刻以开始的总值可以分解成两项：即刻得到的和稍后得到的。的选择应使这两项之和最大：这就是贝尔曼方程。贝尔曼最优化原理：不管t时刻的决策是什么，随后的决策对(t+1)开始的子问题而言应该是最优的。贝尔曼原理提供了一条求解原来最优化问题的强有力的途径：从末期开始递归地向前面时点进行。时点T没有将来，只有固定的末期存量，因此：满足：原则上这是一个简单的静态最优化问题，并可以得到