数量经济学-CH8动态优化：动态规划-9资料

1、CH8动态规划当时间和不确定性同时出现时，现实中往往确实如此，动态规划 就显得特别有用。动态规划是通过值函数把动态问题转变为静态问 题。连续时间一、 确定性问题定义值函数：vsw 0,tj从s出发的值函数为：首先计算控制变量u的最优选择，然后得到状态变量x的最优值。若u和x在整个区间中是最优的，那么在子区间中也是最优的。根据积分中值定理去掉大括号中第一项的积分号，然后围绕时刻s进行泰勒展开。代入原方程得到：消除方程两边相同项，并除以ds彳导到：这就是动态规划的递归方程(Recursive Equation,RE)0递归方程把动态问题转为只有s时期的静态问题。根据RE右边项对控制变量u求导数等于

2、零，得到最优值：u* =u(J将其代回到RE中,得到贝尔曼方程(Bellman Equation,BE )。连续时间动态规划求解步骤1、定义值函数，写出RE。2、根据控制变量的一阶条件得到最优控制变量的表达式。3、把其代回到RE,得到BE。4、通过BE求出值函数，最终得到控制变量的最优值。注意：BE是偏微分方程，只有少数几种情况可以求解: 目标函数是相当或绝对厌恶风险效用函数，或二次型； 约束条件是线性约束。问题：值函数的形式事先不知道，需要猜测。经济学中动态规划问题的猜测方式：1、值函数与目标函数形式相同。2、控制变量是状态变量的线性函数。例：目标函数为二次型Vs w 0严，定义值函数：写出

3、递归方程RE:有一阶条件得到：得到 BE: 0 =ax2e_rs + Js(s, x(s Jx( )2ers/4b o猜测：值函数与目标函数有相同的形式，即为二次型。J(s,x(s)= Ax2e=sA为待定常数，如果存在A,猜测正确。AAx=u =-公x= x(t) = x(0eb代回上式即得到控制变量b自控问题：时间不独立出现经济学中常遇到的是自控问题。同样可以用前面的方法，定义现 值值函数，写出RE进行求解。但是，用当期值的值函数，可以简单 些。DP一般用当期值函数。定义现值值函数：J(s,x )= max/f(x(t )u(t)edt贴现到0时亥u x s定义当期值值函数：V(x)=ma

4、xf(x(t八代旷”及 贴现到s时刻u, x s现值 RE: 0 = max “ x,u ers- r e_rsV x ersV x g x, u 二当期值 RE : rV (x )= maxf (x,u )+V x g(x,u 例子：Ramsey模型资源约束：C I G NX = Y封闭经济且不考虑政府的资源约束：C+I =丫投资用于增加资本和弥补折旧：I = K 水Ramsey模型的含义：在资源约束下，选择消费使效用的贴现和最大 化。消费水平确定后，资本存量也确定了，产出水平也确定了。这就是Ramsey模型关于经济增长的解释。Ramsey模型将经济增长建立在微 观最优化的基础上。假设生产函

5、数规模报酬不变：丫 = f(k,l户y = f (k)用人均形式表示的资源约束为：k= f(k)-c-(n+6 k例子：Ramsey model求解 Ramsey model定义当期值值函数：必须知道效用函数和生产函数的具体形式才能求解。二、不确定性问题理论补充：随机变量及求解。股票价格、人口增长和技术进步实际上呈现的是随机变化。确定性变量：入audy = adt e电adt= E，应5=a y yly)ly)随机变量：dynadt+bdz, z服从几何布朗运动。E(dz )= 0,Var(dz )= dt计算以下两种函数的微分dyy = f z,t ,z BrownMotio ny = f

6、(x,t )dx =adt+odz,zB.M对于确定性变量，可以进行一阶泰勒展开，也可以直接使用微分公式:dy = f x dx。对于不确定变量，需要进行二阶泰勒展开得到：dy = fzdz+ ftdt +1 fzzdt即 Ito 公式dz dt微小变化的乘积(z服从几何布朗运动)： zAt t000dzdt 0dt 00dy = fxdx - ftdt 1 %二 2dt2例：y=e(a-2)t z,zB.M,计算dy= ayd4bydz 连续时间形式 离散时间形式 yt = 7 ；t二、不确定性问题 不确定问题的优化:z服从几何布朗运动.E(dz )=0,Var(dz )= dtVs=鼠3,

7、定义值函数：J(s,x(s)= maxEs J f (t,x,udt u,x s存在不确定性时，目标函数是t0时刻的期望值。与确定性变量一样的方法推导递归方程。根据EsEs抬=Es,上式等价于:将dx的表达式代入，取期望后抵消相同项后除以 ds,得到RE：根据控制变量u一阶条件得到最优值U*,代回RE,得到BE:例1:目标函数为二次型灯s W 0, oc 定义值函数:J(s, x(s=min Es(ax2 + bu2 bdt Us写出递归方程RE: 由一阶条件得到u”,代入RE得到BE。然后猜测值函数与目标函数有相同的形式，根据BE得到值函数。然后得到最优控制变量，带到 转移方程得到状态变量例

8、 2： Ramsey model必须知道效用函数和生产函数的具体形式才能求解。应用：消费与证券投资组合理论( Merton,1971 )假设消费者初始财富 w(0)已知，任意时刻t的财富w(t)取决于消费者的投资收益。消费者将3 (t)比例的资产投资于风险资产，如股票 ,(1-0 (t)的资产投资于无风险 资产，如债券。dR = = rdtPdRBo在Merton的模型中，收益率取这种形式：假设股票的U益率为 dRS,债券的收益率为此处z与BM之间有个小方框债券的收益率：dRB = bdtt时刻消费者资产的变化量:股票的收益率：dRs =sdt 二dz,zB.M将两种资产的收益率代入上式得到1

9、 1-0c 口 小.效用函数u(c)=15，1log c,1-1猜测值函数：V w =w1 一 Us -b叱-2将值函数和最优值代回到RE得到常数 A:得到A,就能得到值函数、消费和投资组合比例的最优选择。结论：1、消费在收入中占的比例不变(如果 0 =1,c*= 3w),解决了凯恩斯消费函数的“消 费之谜”：平均消费倾向随收入上升而下降。2、风险资产的投资比例与边际效用弹性的绝对值0和风险资产的方差反相关，与风险资产的溢价正相关。3、消费变化 c =A一切：dc = A-：dw等式两边除以c*得到：将风险资产所占的比例和 A代入得到：对时间求导得到：消费的预期增长率与风险资产的方差反相关。在

10、开放经济中，通过分散投资可以降低风险资产的方差，消费增长率(经济增长率)将会提高(奥博斯特菲尔德和若戈夫 (2019, p445)。离散时间一、确定性情况典型问题控制变量为ut,状态变量为xto定义值函数：任意日刻s的当期值值函数：练习：根据连续时间动态规划的方法推导贝尔曼方程。求解步骤：定义拉格朗日函数：联立(1)和(2)可以得到欧拉方程。例子：Ramsey模型Ramsey模型的含义：在资源约束下，选择消费使效用的贴现和最大化。消费确定后，资本存量也确定了， 产出水平也确定了。 这就是Ramsey模型关于经济增长的解释。Ramsey模型将经济增长建立在微观最优化的基础上。求解Ramsey模型

11、定义 lagrange 函数：L = u(cs )+ Pv (ks+ )+h(ks+ f (ks )Cs -工书)等式左边：当前减少 1单位消费使未来效用增加量的贴现值。r=f / (k)+ 8等式右边：当前减少 1单位消费使当前效用的减少量。最优消费选择满足等边际准则。再结合约束条件可以得到包含 k和c的非线性差分方程组：稳态分析达到稳态时，人均消费水平和资本存量不变，得到：稳态值：结果与solow模型相同，没有技术进步时，经济停止增长。由式(1)可以直接得到人均资本存量的稳态值，式(2)即c=f(k) o这样就得到了和连续时间形式相同的相位图(phase diagram)o离散形式的Ram

12、sey模型仍然是鞍点路径稳定。在稳态处系统的稳定性分析将欧拉方程和约束条件看做 c和k的函数，围绕稳态值进行泰勒展开，形成一个二阶差分方程组。根据系数矩阵的特征根可以判断系统的稳定性。二、不确定性问题练习：推 导不确s，1,是性问题的贝 尔曼方1、状态变量受到上一期随机冲击的影响：2、定义任意时期s的值函数：右边取期望得：V Xs, s = max Ir Xs, sEsV Xs 1Us,Xs 1第6页得到随机问题的贝尔曼方程 BE （或递归方程RE）:求解步骤：定义拉格朗日函数：FOC:r Xs,Us:g Xs,Us,飞 /u s TOC o 1-5 h z Us:usss HYPERLINK

13、 l bookmark10 o Current Document 2cJ.=0= EV Xs i,Us i - s = 0Us 1加上约束条件：xs1 = g xs,Usss s根据上式得到V （xs+1）,代入一阶条件得到：1 ：r Xs,Us 一 ：g Xs，Us，；s = 0 sXqUq TOC o 1-5 h z ssf2M Fr（Xs书,us书 ）+,的（XsUs 句，& s十）I _ : HYPERLINK l bookmark20 o Current Document 12 J E I -八 s十二s s HYPERLINK l bookmark22 o Current Docu

14、ment JXs 书s书一3 Xs 1 = g Xs，Us，s例子：Ramsey模型 求解Ramsey模型 定义lagrange函数: 南雅浦南数黑腿化的方式求解该差分方程组，即实际经济周期理论鄙期3党像t+1时刻的冲击T给定初始存量向量y0和末期存量向量yT+1,最大化 工 F（ yt, 4） t=0满足约束yt书-乂 =Q（yt,4,t）转移方程6（乂，4。工0 由此产生的最大值定义为初始存量的一个函数，即 V（Y0 ）。导数向量Vy（Yo ）就 是这些初始存量的影子价格向量。假设不是从时点0开始，而是考虑一个特别的时间，如t= 。对始点为T的决策，关于过去惟一重要的事就是以往决策产生的存

15、量向量yT o将其看作一个参数，并将整个问题在P处重新开始。令Y（VtJ的这个问题的最大信函数。当从P处给予初始存量yt 一个小的增量时，导数向量 Vy（yt，7 ）即为最大化的和 的边际增量，即从P开始的最优化问题中初始存量的影子价格向量。现在选择任意的t,考虑那个时候关于控制变量 Zt的决策，以及由于选择任意特定的Zt而带来的结果。根据转移方程，将产生下一期的存量 乂4，然后需要求解时点为t+1的子问题，得到最大值V（yt书,t +1 ）。在t时刻以Vt开始的总值可以分解成两项：即刻得到的F（yt,zt,t）和稍后得到的V（yt书,t + 1）。4的选择应使这两项之和最大：这就是贝尔曼方程。贝尔曼最优化原理：不管t时刻的决策是什么，随后的决策对（t+1）开始的子问题 而言应该是最优的。贝尔曼原理提供了一条求解原来最优化问题的强有力的途径：从末期开始递归地向前面时点进行。时点T没有将来，只有固定的末期存量 yt41 , 因此：满足：yT 1 - yT = Q yT, zT ,T ,G yT