数量经济学--ch8动态优化：动态规划

CH8 动态规划当时间和不确定性同时出现时，现实中往往确实如此，动态规划就显得特别有用。动态规划是通过值函数把动态问题转变为静态问题。连续时间一、 确定性问题 dtuxftxu10 ,ma0 ,.tgs。定义值函数: ,从 出发的值函数为 :10tsdtuxfsxJtstu1 ,ma,sxg ,.。首先计算控制变量 的最优选择，然后得到状态变量 的最优值。u xdtxfsxJtstu1 ,ma, dtuxftftdsdstsu11 , tftuxftdstsdstsu 11 ,a,a xJtfdstsu ,m 1若 和 在整个区间中是最优的，那么在子区间中也是最优的。x根据积分中值定理去掉大括号中第一项的积分号，然后围绕时刻 进s行泰勒展开。dstuxtfdtuxtfds , soffsff uxt ,dosuxdsxsJdsxJsxdsJ xs,代入原方程得到: sossdusfsx xtu ,ma,1消除方程两边相同项,并除以 ,得到: dsoxJuxsfstsu,a010,m.fxstu suxgsJsJuxsf xssu ,a0 这就是动态规划的递归方程（Recursive Equation,RE） 。递归方程把动态问题转为只有 时期的静态问题。s根据 RE 右边项对控制变量 求导数等于零，得到最优值：u。将其代回到 RE 中，得到贝尔曼方程（Bellman Ju*Equation,BE ） 。suxgsJsxJsuxf x* ,0连续时间动态规划求解步骤1、定义值函数，写出 RE。2、根据控制变量的一阶条件得到最优控制变量的表达式。3、把其代回到 RE，得到 BE。4、通过 BE 求出值函数，最终得到控制变量的最优值。注意：BE 是偏微分方程，只有少数几种情况可以求解：目标函数是相当或绝对厌恶风险效用函数，或二次型；约束条件是线性约束。问题：值函数的形式事先不知道，需要猜测。经济学中动态规划问题的猜测方式：1、值函数与目标函数形式相同。2、控制变量是状态变量的线性函数。例：目标函数为二次型 dtebuaxru 02min， , .cbats。,定义值函数: 0sdteuxsxJrsu 2min,， ct0 .。写出递归方程 RE:usxJsxJebuaxsru ,min02有一阶条件得到: besxJusxJbue rrs 2,0,20*得到 BE： 。arsxsr 4,2猜测：值函数与目标函数有相同的形式，即为二次型。为待定常数，如果存在 ，猜测正确。rseAxsJ2, Abexarsrsr 4022 2 ab xbAeJueAxsJrsxrs 2, *2代回上式即得到控制变量tbetbu0.自控问题：时间不独立出现经济学中常遇到的是自控问题。同样可以用前面的方法，定义现值值函数，写出 RE 进行求解。但是，用当期值的值函数，可以简单些。DP 一般用当期值函数。 dteutxfrxu 0,ma， 0 ,.gts。定义现值值函数： 贴现到 0 时刻dteutxfxsJrsxu,a,， Vedtef rrrsxu ,ma，定义当期值值函数： 贴现到 时刻tetfsrsxu ,ma， s现值 :RE uxgVxrexf rsrs ,a0当期值 ： ugVfrVu,例子：Ramsey 模型 dtetcnc 0max0. kkfts资源约束： YNXGIC封闭经济且不考虑政府的资源约束： YIC投资用于增加资本和弥补折旧： KI.Ramsey 模型的含义：在资源约束下，选择消费使效用的贴现和最大化。消费水平确定后，资本存量也确定了，产出水平也确定了。这就是Ramsey 模型关于经济增长的解释。Ramsey 模型将经济增长建立在微观最优化的基础上。假设生产函数规模报酬不变： kfyLKFY,用人均形式表示的资源约束为： nckf. 例子：Ramsey model求解 Ramsey model定义当期值值函数： dtetcukVsnsc maxkfts. ：REknckfVcn ax：FOCkcu：BknckfVn必须知道效用函数和生产函数的具体形式才能求解。二、不确定性问题理论补充：随机变量及求解。股票价格、人口增长和技术进步实际上呈现的是随机变化。确定性变量： adty. aydtEatydE随机变量： ， 服从几何布朗运动。bztydtzVrz,0计算以下两种函数的微分 。dy1. nBrowMtiztfy ,2. Bzatdx., 对于确定性变量，可以进行一阶泰勒展开，也可以直接使用微分公式： 。对于不确定xfy 变量，需要进行二阶泰勒展开。微小 变化的乘积（ 服从几z何布朗运动）： ),(,(),(y tzfdtzfdytzf ),(212121 tzfdtftztzz ftfzz21得到： 即 Ito 公式dtftdyzz21),(,(),( txfxftxf ),(212121 txfdttzxtxx 21fdffdtf ttxxz tzt t 00 0 dz dtdzdt dt 0 0 0 0,022 dztatdxtdtzt 22得到： tftfxyx21例： 。计 算 y,.)(2MzBebta)(2tfyztbddfztz21dtebdteabe bzazabbztab )(21)()( 222连续时间形式ydt MzBbdateybzta .,)(2 离散时间形式 ttty二、不确定性问题不确定问题的优化： dtuxfEtxu10 , ,maztgdts, .服从几何布朗运动. zdtzVarz,定义值函数: 10ts tuxfEsxJsxu1 , ,s zttgdt .存在不确定性时，目标函数是 时刻的期望值。0t与确定性变量一样的方法推导递归方程。 dtuxfEsxJtstu11 ,ma,dtuxfdtuxfEtsdstsu 11 ,max根据 ,上式等价于:sdsdtuxfEdtuxfxJ tdssdstsu 11 ,a, tftfEtdsstdsudstsu 111 ,ma,mxJxsts,a1 dsoxJdsJdxsJssdJ sxxs 221,odxJxsJxsx 21, dsoJdsJsufEJ xxstsu 21,ma,1 将 的表达式代入，取期望后抵消相同项后除以 ，得到 RE：dx s 21,a0 xxssu JusgJJuxfE根据控制变量 一阶条件得到最优值 ，代回 RE，得到 BE： uxsJuxsgJxsJuxsf x,21,0 例 1：目标函数为二次型 dtebuaxErxu 02min， , . , .cbaMBzdtts,定义值函数: 0s dtebuaxEsxJrsu 2inszdtt .写出递归方程 RE: 221min0 xJuJebuaxxsru 由一阶条件得到 ，代入 RE 得到 BE。然后猜测值函数与目标函数有相同的形式，根据 BE 得到值函数。然后得到最优控制变量，带到转移方程得到状态变量。例 2：Ramsey model01txu, ,.ma0t dzuxgdstefEr2,“21,max: ,a1uxVuxgVufrVRE dtfEutssr定 义 当 期 值 值 函 数 ：必须知道效用函数和生产函数的具体形式才能求解。应用：消费与证券投资组合理论（Merton,1971） 假设消费者初始财富 w(0)已知，任意时刻 t 的财富 w(t)取决于消费者的投资收益。 消费者将 (t)比例的资产投资于风险资产，如股票 ,（1-(t)）的资产投资于无风险资产，如债券。 rdtPtdr格 的 变 化 率 ：资 产 收 益 率 等 于 资 产 价在 Merton 的模型中，收益率取这种形式： rdtPR就 是 标 准 的 收 益 率 。在 离 散 时 间 里 ， trR1假设股票的收益率为 dRS，债券的收益率为 dRB。BSdRtdRtwwt 时 刻 消 费 者 的 投 资 收 益此处 z 与 BM 之间有个小方框MzBstdRSB.,b股 票 的 收 益 率 ：债 券 的 收 益 率 ：sdtsdtRbbSBSBEE股 票 的 期 望 收 益 率 ：债 券 的 期 望 收 益 率 ：tctdtwtdBSw1：时 刻 消 费 者 资 产 的 变 动将两种资产的收益率代入上式得到 t 时刻消费者资产的变化量：dzcbs00c, 1w.max:dzwtcbsdtsdteuE消 费 者 的 优 化 问 题hhthwdzwcbsdt euEVh.ax,c,定 义 当 期 值 函 数22“0“0;: wVbswVbsucFOC 2, “21: maxcbscuwVRE效用函数 1,log1c猜测值函数： 1AwV21bswAcFOC将值函数和最优值代回到 RE 得到常数 A：12bsA得到 A，就能得到值函数、消费和投资组合比例的最优选择。1wV11Awcc 2bs结论：1、消费在收入中占的比例不变（如果 =1,c*=w ） ，解决了凯恩斯消费函数的“消费之谜”：平均消费倾向随收入上升而下降。2、风险资产的投资比例与边际效用弹性的绝对值 和风险资产的方差反相关，与风险资产的溢价正相关。 2bs3、消费变化 dwAcc11等式两边除以 c*得到： cRwdcBS将风险资产所占的比例和 A 代入得到： 122 bsdRdbscBS1cd 122 bsbdtstbcdE对时间求导得到： bscdt2消费的预期增长率与风险资产的方差反相关。在开放经济中，通过分散投资可以降低风险资产的方差，消费增长率(经济增长率 )将会提高（奥博斯特菲尔德和若戈夫（ 2002，p445 ） ）。离散时间一、确定性情况典型问题 给 定01txu, , .mat ugsfttt控制变量为 ut，状态变量为 xt。 定义值函数： 任意时刻 s 的当期值值函数：给 定s t tsstsxuxgt uxfV, . ,ma1u,1t练习：根据连续时间动态规划的方法推导贝尔曼方程。RExVuxfxVBuf xfx ufufVxfxfuxf sss ttsts tstts sss sssttsts也 称 之 为 递 归 方 程贝 尔 曼 方 程 1112221, ,ma:,ma, ,a,ma 求解步骤：定义拉格朗日函数： 11, ssss xugxVuxfL0,0: ssss uufuFOC011sssxVxLss sssssss sssssssuxgxugfuxfxVxugxufuLxg,3 0,20,1 ,1 11111 ， 代 入 一 阶 条 件 得 到 ：根 据 上 式 得 到包 络 定 理 ：加 上 约 束 条 件 ： 代 入 最 优 值联立（1）和（2）可以得到欧拉方程。例子：Ramsey 模型givenKKCLFtsnuUtttt tt0100c0,. 1maxt Ramsey 模型的含义：在资源约束下，选择消费使效用的贴现和最大化。消费确定后，资本存量也确定了，产出水平也确定了。这就是 Ramsey 模型关于经济增长的解释。Ramsey 模型将经济增长建立在微观最优化的基础上。tttt tttt tttt ckfkkfyLKFYIC11, 束 为 ：人 均 形 式 表 示 的 资 源 约长 率 和 折 旧 率 为 零 。 用简 单 起 见 ， 假 设 人 口 增 不 变 ：假 设 生 产 函 数 规 模 报 酬 的 资 源 约 束 ：封 闭 经 济 且 不 考 虑 政 府求解 Ramsey 模型1,0,.cmax1tLngivekkftsuVstttst定 义 值 函 数 ： 1max: sss kVcukVBE定义 lagrange 函数： 11 sssss kcfkVcusss sssssssss cukf kfkVfkLVkL1 11 001 1111 方 程 ：联 立 一 阶 条 件 得 到 欧 拉包 络 定 理 ：影 子 价 格 等 于 边 际 效 用一 阶 条 件 ：等式左边：当前减少 1 单位消费使未来效用增加量的贴现值。r=f(k)+ 等式右边：当前减少 1 单位消费使当前效用的减少量。最优消费选择满足等边际准则。再结合约束条件可以得到包含 k 和 c 的非线性差分方程组：sss sckfku11稳态分析达到稳态时，人均消费水平和资本存量不变，得到： ckfuu1稳态值： 21 ckf结果与 solow 模型相同，没有技术进步时，经济停止增长。由式（1）可以直接得到人均资本存量的稳态值，式（2）即 c=f(k)。这样就得到了和连续时间形式相同的相位图（phase diagram)。离散形式的 Ramsey 模型仍然是鞍点路径稳定。在稳态处系统的稳定性分析将欧拉方程和约束条件看做 c 和 k 的函数，围绕稳态值进行泰勒展开，形成一个二阶差分方程组。根据系数矩阵的特征根可以判断系统的稳定性。2、不确定性问题1、状态变量受到上一期随机冲击的影响： 是 给 定 的 随 机 变 量给 定 ， t tttt ttttxuxuxgsrEtt 010, ,. ,ma12、定义任意时期 s 的值函数：给 定s tttt st ttstSxusxguxrExVs, ,. ,ma,1,1 11111,max,max , ,max, st ttstsss st ttstss t ttstsss uxrEuxrErr uxruxrEV 右边取期望得： 1, ,1 ssssxus VrVs 得到随机问题的贝尔曼方程 BE（或递归方程 RE）： 110, ,ma,1 sssxus xErxVs 求解步骤：定义拉格朗日函数：练习：推导不确定性问题的贝尔曼方程。11, sssSsss xuxguxEVuxrL ssSsss ssss uxgxEVuLuxguxrFOC,0,0,:111 加 上 约 束 条 件 ： ssssS uxgxrxLXV , 代 入 最 优 值包 络 定 理 ：根据上式得到 V(xs+1） ，代入一阶条件得到： sss ssssssssuxgxugrEuxxu ,3 0,20,11 111 例子：Ramsey 模型 就 是 技 术 冲 击 。其 中 ，例 如 ： t ttt tttttt ttkc kkfngivek ckfkscuEtt ,0,.max010,1求解 Ramsey 模型联立（1）和（2）可以得到欧拉方程。选择了 后，su就相当于选择了 。1sxgivenkckfts uEkVs tsttt tstss,.max, 定 义 值 函 数 ：1,ax,: ssss kEVcuVBE 定义 lagrange 函数：11111 11, 0,00, sSskss Sss Ss sssSss kfVkLEVkLcu kckfkcuL包 络 定 理 ：一 阶 条 件 ： ssss ssss sskckfk cuuEckV ,1 ,11 1组 ：的 非 线 性 随 机 差 分 方 程和得 到 含 有 代 入 ，联 立 一 阶 条 件 ， 并 将可使用对数线性化的方式求解该差分方程组，即实际经济周期理论（RBC） 。未来冲击的影响给 定0 110, ,. ,max1xuxgtsrEtttttttut 在 t 时刻不知道 t+1 时刻的冲击1、贝尔曼方程给定初始存量向量 y0 和末期存量向量 yT+1，最大化 tzyFtTt ,0满足约束 转移方程 tzyQyttt ,1 ,Gt由此产生的最大值定义为初始存量的一个函数，即 。导数向量0yV就是这些初始存量的影子价格向量。0yV假设不是从时点 0 开始，而是考虑一个特别的时间，如 t=。对始点为 的决策，关于过去惟一重要的事就