优化理论课件(变分法与最优控制理论)

欢迎阅读本文档，希望本文档能对您有所帮助!欢迎阅读本文档，希望本文档能对您有所帮助!感谢阅读本文档，希望本文档能对您有所帮助!感谢阅读本文档，希望本文档能对您有所帮助!欢迎阅读本文档，希望本文档能对您有所帮助!感谢阅读本文档，希望本文档能对您有所帮助!优化理论课件（2）第二部分动态优化：变分法和最优控制理论变分法是处理动态优化的古典方法，现在较少使用，在蒋中一的书中，变分法的思路可用来解释庞特里亚金最大值原理（一阶条件）。本部分内容主要来自蒋中一《动态最优化基础》。目录一、什么是动态优化？ 3（一）动态优化问题的基本要素 4（二）泛函及其相关概念 4（三）可变终结点 5（四）横截条件 6（五）目标泛函 6二、变分法 7（一）基本问题：固定终结点问题 7（1）基本问题及其假定 7（2）一阶条件：欧拉方程 8（二）推广：多状态变量与高阶导数 10（1）多状态变量 10（2）高阶导数 10（三）可变端点问题 10（1）一般性横截条件 11（2）垂直终结线问题 12（3）水平终结线问题 12（4）终结曲线问题，即EMBEDEquation.DSMT4错误！不能通过编辑域代码创建对象。 12（5）截断的垂直终结线问题 12（6）截断的水平终结线问题 13（7）多变量和高阶导数情形 13（四）二阶条件（充分条件） 14（1）固定端点问题的二阶条件及其二次型检验 14（2）凹凸性充分条件 14（3）变分 15（五）无限期界问题 16（1）收敛性 16（2）横截条件 17（3）充分条件 17（六）带约束的优化问题 17（1）等式约束 17（2）不等式约束 18（3）积分约束（等周问题） 19三、最优控制理论 20（一）最优控制理论导论 20（二）最大值原理及其横截条件 21（1）最简单问题及最大值原理（一阶必要条件） 21（2）最大值原理的理论基础及其横截条件 23（3）自控问题的汉密尔顿函数不变性 26（4）推广到多变量 26（三）最大值原理的经济学解释及现值的汉密尔顿函数 27（1）最大值原理的经济学解释 27（2）现值的汉密尔顿函数 28（四）充分条件（二阶条件） 29（1）曼加萨林定理 29（2）阿罗条件 31（五）无限期界问题 31（1）横截条件与反例 32（2）作为充分条件一部分的横截条件 32（六）有约束的最优控制问题 33（1）涉及控制变量的约束 33（2）状态空间约束 39四、拉姆齐模型 43（一）相关理论发展背景 43（二）最简单的拉姆齐模型及其动力系统 45（三）微分方程定性稳定性判别方法简介 47（1）稳定性与渐进稳定性 47（2）稳定性判别基本定理 48（2）平面动力系统的奇点 49

一、什么是动态优化？例：一个企业将原料从初始状态A通过五道工序，变为总结状态Z，每个阶段的选择对应一个阶段的成本，如何选择路径使得总成本最小化？从这个例子中可以看到：首先，动态强调的是时期之间的联系，而不仅仅是有时间的顺序；其次，这里也包含了Bellman方程的基本原理。如果是连续时间呢？（相加变为积分）（一）动态优化问题的基本要素由此可见，一个动态优化问题包含以下几个要素：（1）一个给定的初始点和终点（终点不一定给定，后面详细说明）（2）一组允许的路径（3）对应于路径的指标（不同路径之间有什么不同的影响）（4）特定目标，通过对路径的选择来实现目标。（二）泛函及其相关概念和之前的静态优化相比，动态优化的目标依赖于“路径”的选择，而不是某个变量（实数）的选择。从而，这个可优化的目标是“函数”到“实数”的映射，我们称之为“目标泛函”。我们记为V[y(t)]（注意与复合函数相区别），表示目标泛函的值取决于函数y(t)。和微积分中的微分类比，微积分中的微分是自变量做微小变动后所导致的函数值的变动，而这里则是“路径”或者函数本身发生微小变动所导致的“泛函值”的变动，也就是“变分”。后面的变分法也就是这个思路。（三）可变终结点除了上文图中的固定终结点之外，还存在以下几种可变终结点：（1）固定时间问题（垂直终结线问题）：终结时间固定，但终结状态自由。（2）水平终结线问题：终结状态固定，但终结时间自由。（3）终结曲线（曲面）问题（四）横截条件相比于固定终结点问题，可变终结点多了一个自由度，因此在确定最优路径的时候我们需要多一个条件，这个条件通常是来描述最优路径在穿过终结时刻时候的状态，被称为“横截条件”。（五）目标泛函在优化问题中，我们需要选择一个最优路径，那么最优意味着比较，比较的是什么，取决于不同的路径如何影响我们关心的问题。类似前面离散时间问题中不同路径在不同阶段对应着不同的成本，我们抽象出一个路径在t时刻，对应着的对优化目标的影响为该时点上的值为F(t,y,y’)。我们可以看到，这意味着在任何一时点，路径本身的值y和y对时间的导数y’都会影响我们的目标。将每一时点上的值加总在一起，我们就得到一个积分的形式，这是关于路径y(t)的泛函，是我们优化的目标，即目标泛函：V[y]=如果有两个状态变量，我们也可以写为：V[y,z]=终结控制问题（迈耶问题）：有些问题的目标只跟终结时刻的位置有关，目标泛函可写作V[y]=G[T,y(T)]博尔扎问题：V[y]=+G[T,y(T)]比如一个项目结束后，除了项目过程中的收益，还有项目结束时设备的残值。但是这些非标准问题可以把形式标准化。令z(t)=G[t,y(t)]，且z(0)=0，于是有二、变分法（一）基本问题：固定终结点问题（1）基本问题及其假定max（min）V[y]=s.t.y(0)=Ay(T)=Z假定：可行的“路径”集合限定为具有连续导数的连续曲线；被积函数F是二阶可导的；最优解是一条光滑的曲线称为“极值曲线”。（2）一阶条件：欧拉方程假定极值曲线y*(t)已知，那么我们对其施加一个微小扰动，所产生的新曲线必定“劣”于它。任意给定一条连续光滑的扰动曲线p(t)，且p(0)=p(T)=0以确保扰动后能满足初始点和终结点的约束。从而扰动后的曲线为y(t)=y*(t)+εp(t)，如图这意味着y’(t)=y*’(t)+εp’(t)，且当ε→0，y→y*。因此，一旦给定y*(t)和p(t)，目标泛函V[y]就退化为一个函数V(ε)。而且，当ε=0时，V取极值。因此，给定之前关于本优化问题的假定，有因为V(ε)=定积分参数求导补充：若，且若f(x,y)及其偏导数在R=[a,b]×[α,β]上连续，α(x),β(x)都在[a,b]上可微，则于是有要令dV/dε=0，我们必须要处理p(t)，因为其是任意的。根据假设条件可以把积分写开：我们先对后半部分的积分用分部积分如下：再将其代回原式，可以把积分的差写成差的积分，并提取公因子p(t)：于是，因为p(t)是任意的，该积分要保持始终为零，只可能是在[0,T]上该式就是极值曲线（最优路径）所必须满足的一阶条件（必要条件），欧拉方程。我们把式中的求导写开，可以发现欧拉方程实际上是一个二阶微分方程。由有欧拉方程：二阶微分方程通解中通常会有两个任意常数，我们正好有起始两个固定端点来确定两个常数。例1：V[y]=，且y(0)=0，y(2)=8.欧拉方程为：2y’’(t)-12t=0，即y’’=6t两次积分可得：y*(t)=t3+c1t+c2，其中c1、c2为任意常数。带入y(0)=0，y(2)=8，可得c1=c2=0，于是最优路径为y*(t)=t3当然，也有可能解不存在，这种情况一般出现在Fy’y’=0的情况。因为这种情况下，微分方程不再是二阶，不用确定两个常数，但是却又给出了两个常数，于是就可能出现不相容的情况。例2：V[y]=，且y(0)=0，y(5)=3.欧拉方程为：2y=0，从而y*(t)=0无法穿过事先给定的终结点，无满足条件的最优路径。（二）推广：多状态变量与高阶导数（1）多状态变量V[y1,y2,…,yn]=按照同样的方法，欧拉方程组为：，j=1,…,n，对于所有t∈[0,T]每个变量都有一对起止端点条件。但是这里的欧拉方程并不是单变量时的简单推广，因为是所有变量及其导数的函数。比如F(t,y,z,y’,z’)，于是（2）高阶导数V[y]=这里出现了高阶导数，因此边界条件就不应该仅仅是y的起止端点，还应该包括y’,…y(n)在起止时刻的状态，一共2n个边界条件。对该问题的解决，有两种思路，一是将该问题通过变量替换，变成n个变量及其一阶导数的多变量问题（边界条件也满足）；另外，也可通过欧拉方程类似的推导，得到极值曲线的一阶条件，被称为“欧拉-泊松方程”：该方程一般是个2n阶微分方程，通解中有2n个待定常数，我们也正好有2n个边界条件。（三）可变端点问题max（min）V[y]=s.t.y(0)=Ay(T)=yT，其中yT自由如上，可变端点问题（1）一般性横截条件和之前用p(t)和ε来对极值曲线进行扰动一样，我们假设最优终结时间为T*，在其附件对其进行一个扰动，任意给定一个扰动ΔT，T=T*+εΔT，于是有dT/dε=ΔT。同样地，扰动后的曲线为y(t)=y*(t)+εp(t)，为穿过固定的起始点，令p(0)=0，但是因为y(T)不固定，所以不要求p(T)=0。可见，当ε→0，y→y*，T→T*。于是，我们将V[y]变为V(ε)，即于是有等式右边第一项和前面推导欧拉方程的形式很像。但是，在推导欧拉方程时利用分部积分的时候第一项为零是因为p(0)=p(T)=0，这里p(T)=0不成立，所以消掉的那一项必须加上。于是，右边第一项为同时，右边第二项于是有=0因为p(t)和ΔT是任意的，要保证等式成立，只能是三项分别为零。第一项为零，就是欧拉方程。后两项就是我们要推导的横截条件，我们要用终结水平和终结时间来表示p(T)，因为横截条件只跟终结时间和终结状态相关。由图可见，。从而，我们将代入前面一阶条件等式中，后两项可整理为一般性横截条件。（2）垂直终结线问题因为，所以横截条件为=0（3）水平终结线问题因为，所以横截条件为=0（4）终结曲线问题，即因为，于是代入一般性横截条件得横截条件（5）截断的垂直终结线问题在一个垂直终结线问题（终结时间固定）中，如果最终状态受限。那么，当时，该问题跟没有终结状态约束时是一样的。但是，当没有约束时的最优终结状态时，因为约束，只能取。在这种情况下，对终结状态的扰动不是任意的，只能大于零。给定p(t)大于零，这意味着ε≥0。于是，原有的以V(ε)为目标函数的无约束极值问题就加上了非负约束。于是，对于由dV(ε)/dε=0导出的一阶条件，要变成带有互不松弛条件的库恩塔克条件。对于最大化的问题，横截条件变为：；；对于最小化的问题，横截条件变为；；（6）截断的水平终结线问题比如，增加限制后，对于最大化的问题，横截条件变为：；；对于最小化问题，横截条件变为：；；（7）多变量和高阶导数情形如果有n个变量，比如F(t,y1,y2,…,yn,y’1,y’2,…,y’n)，则一般性横截条件变为：高阶导数的情况相对复杂，我们只给出F(t,y,y’,y’’)的一般性横截条件：（四）二阶条件（充分条件）（1）固定端点问题的二阶条件及其二次型检验由，得被积部分是一个二次型，那么只在在0到T的每一个时刻，二次型都是负定的，则d2V/dε2<0，极值曲线使得目标泛函取最大值；如果都是正定，则d2V/dε2>0，极值曲线使得目标泛函取最小值。（2）凹凸性充分条件定理：对于固定端点问题，如果被积函数F(t,y,y’)关于(y,y’)是联合凹（凸）的，则欧拉方程对于识别V[y]的最大（小）值是充分的。证明（仅证明最大值的情形）：由连续可微凹函数的性质，有不等式两边关于t积分，得上述等式的推导类似于欧拉方程推导过程中的分部积分，先将不等式右边写成积分的和，然后将后一部分分部积分，因为p(0)=p(T)=0，所以有一项消掉，再将剩余的一项写进积分中。可见，V[y]≤V[y*]，得证。易见，如果是严格凹（凸）的，那么求出来的最大（小）值是唯一的。垂直终结线问题的推导中，和固定端点问题不同在于p(T)可以不为零，因此分部积分中有一部分消不掉。因为。于是，将其带入不等式中，得，其中是沿最优路径取值。可见，之前的充分条件中必须加上非正进行补充。但是，在垂直终结线问题中，横截条件=0保证了该条件必定满足。而截断的垂直终结线问题中，如果约束条件是松的，则本质上是一个垂直终结线问题；而如果约束条件是紧的，则本质上是一个固定终结点问题。而水平终结线问题，则必须要求该补充条件满足，才能保证最大值。（3）变分由前面的内容可以看出，变分法涉及到的是路径（函数）所发生的偏离。比如，y对y*的偏离所导致的偏差是我们将等式右边第一项被积部分在（t,y*,y*’）处泰勒展开如下：其中(t-t)项为零，我们再代入y-y*=εp(t)，y’-y*’=εp’(t)，得将展式代入积分，然后合并积分，可消掉第一项，忽略高阶项，得上式的第一项积分为一阶变分：第二项积分为二阶变分：在求最大值的问题中，需要，则必然需要，因为ε可以任意取正负值。这等价于dV/dε=0，也就推导出欧拉方程。在满足欧拉方程之后，我们要求，因为ε2/2始终大于零，这等价于，也就是二阶条件。（想想我们在静态优化中介绍的分析学的一般思路，如果要严谨推导，那么在泛函分析中，如何定义距离或者测度？如何定义收敛？然后如何得到上面的变分？）（五）无限期界问题对于无限期界问题（终结时间为无穷大），我们主要考虑两点：一是目标泛函是否收敛，二是横截条件应如何变化。（1）收敛性定理1（充分条件）：给定广义积分，如果被积函数F在整个积分区间上有限，且存在时刻t0，当t>t0时，F=0，则积分收敛。但是，“t→∞，F→0”是广义积分收敛的既非充分又非必要的条件。非充分，比如发散。非必要，比如，但被积部分并不收敛到0。定理2（经济学的耍赖）：给定广义积分，如果被积部分可以写成G(t,y,y’)e-ρt，其中是ρ正的贴现率，而G是有界的，则积分收敛。这是收敛的充分条件，其实G不需要有界，只要增长的速度没有贴现因子下降得快就行。经济学里G通常意味着效用函数或者生产函数等，一般是（拟）凹的，而贴现因子是指数下降，因此收敛性问题就回避了。但是，最开始运用动态优化进行经济分析的拉姆齐并不认为这种做法是对的……（2）横截条件按照原有的推导过程，一般性横截条件如下：如果终结状态是自由的，那么横截条件必须要求两部分的极限值都等于零。但是，有些问题隐含着“终结状态”收敛于某值，类似于水平终结线问题，这意味着ΔyT→0，从而第二项极限部分不要求等于零。如果对终结状态有要求，比如必须大于ymin，那么可以先按照没有约束的方法求解，如果自然满足就完成求解，如果约束是紧的，那么就按照固定终结点的方法求解。（3）充分条件固定端点问题中，F(t,y,y’)关于(y,y’)是凹（凸）的，则欧拉方程对于最大（小）值是充分的。如果终结点不固定，则必须要补充条件，虽然该条件在垂直终结线和截断的垂直终结线问题中自动满足。在无限期界问题中，按照同样的推导过程，补充条件应该为：，其中在最优路径上取值。（六）带约束的优化问题（1）等式约束s.t.…相应的边界条件这里有m个独立的等式约束，m<n以防约束方程本身将n个y全部决定，就没有优化选择的意义了。约束方程的独立性意味着，存在一个非零的m阶雅克比行列式：构造一个拉格朗日函数：从而，新的目标泛函为，我们用无约束极值问题的方法求解。易见，当所有约束都满足时，新目标泛函的值和原有目标泛函值是相等的。对y的欧拉方程有n个：j=1,…,n对拉格朗日乘子的欧拉方程有m个：i=1,…,m因为，中没有，所以该欧拉方程为，即约束方程本身。于是，n个欧拉方程加上m个约束方程一起，共同决定了y和λ的最优路径。当然，待定常数由边界条件决定。如果这m个等式中包含了y的导数，也就是说有m个微分方程约束。那么，仍然可以适用上述方法，但是要有适当的边界条件。（2）不等式约束s.t.…相应的边界条件因为是不等式约束，所以不要求m<n。（想想为什么？）参考静态优化中库恩塔克条件，我们构造辅助函数：对于变量y，仍有n个欧拉方程：j=1,…,n然而，对于乘子，要用到互补松弛条件：；；i=1,…,m（3）积分约束（等周问题）s.t.…相应的边界条件这里仍然不用要求m<n。该类问题有一个重要的特点，就是乘子是常数。我们以一个n=m=1的例子来说明。令变量，于是有。这意味着积分约束变换成了一个（微分方程）等式约束。我们按之前的方法求解。我们发现其中有两个变量y和，其欧拉方程分别为：；第二个欧拉方程实际上是，从而乘子是一个不随时间变化常数。而第一个欧拉方程可写成，于是我们可以将以上过程简化为：（注意：是常数），然后按照之前的方法求解。该方法还可推广到m个约束：三、最优控制理论（一）最优控制理论导论古典变分法一般只能处理内点解，而更现代的基于庞特里亚金等人工作的最优控制理论则能处理角点解（边界解）、碰碰解等情况，而且控制论的视角也更容易和实际问题发生联系。最优控制理论通过控制变量u来影响状态变量y的变动，从而来最大（小）化目标泛函。而且控制路径u(t)不要求连续，仅要求分段连续即可，比如下图。此外，利用最优控制原理时，可以直接处理对控制变量的约束。控制变量的可行集可以是一个闭凸集，于是可能出现角点解的情况，还有可能出现碰碰解（bang-bangsolution）这种有趣的情况，比如：最后，从控制论的角度来看，最简单问题就不再是变分法所处理的固定端点问题。因为，我们需要通过u来控制y，因此对于固定端点问题，y的终结时间和状态固定，因此对u在终结时刻的运动提出了更高要求。从这个意义上讲，终结状态自由的垂直终结线问题才是最优控制理论的最简单情况。（二）最大值原理及其横截条件（1）最简单问题及最大值原理（一阶必要条件）s.t.y(0)=A，y(T)自由，假定F和f关于其变量是连续的，且具有关于t和y的一阶偏导。令汉密尔顿函数H(t,y,u,λ)=F(t,y,u)+λ(t)f(t,y,u)其中，λ为共态变量，实际上F前面还应有一个非负系数，一般都为正，所以容易标准化。优化问题的一阶条件为：（i）对所有（ii）（也就是y的运动方程）（iii）（iv）（横截条件）例1：其中A和T给定，而终结状态自由。其汉密尔顿函数为：H是非线性且可微的，u要最大化H，于是一阶条件为：可得检验二阶条件可见，我们要求出u必须先求出λ，由可知λ是不变常数，那么根据横截条件得λ*(t)=0。从而，u*(t)=0。又由知y也是常数，且由初始点y(0)=A，可知y*(t)=A。接下来，我们看一个碰碰解的例子：例2：s.t.y(0)=4，y(2)自由解：汉密尔顿函数为H=2y-3u+λ(y+u)=(2+λ)y+(λ-3)u因为H关于u是线性的，u要最大化H，取决于系数符号，有因为u的取值取决于λ，所以我们要分析λ的取值。由，可知，通解为，k为任意常数。根据横截条件，得。这是一个减函数，且可取值3，令λ(τ)=3，解得。于是有于是，在第一阶段，有，且y(0)=4，解之得。在第二阶段，有，且作为初始点，解得。（2）最大值原理的理论基础及其横截条件为简化问题，我们假设u*是内部解，因此maxH这一条件就简化为=0。在推导最大值一阶条件的同时，我们还可以得到相应的横截条件。s.t.y(0)=y0，y(T)和T自由因为y的运动始终服从方程，所以在[0,T]上，始终满足。于是，有令因为汉密尔顿函数为H(t,y,u,λ)=F(t,y,u)+λ(t)f(t,y,u)，所以有将等式右边第二项分部积分：将其重新加回目标泛函中：可见，的值取决于y，u，yT，T和。但是，只要运动方程一直满足，则的取值不应该对目标泛函有任何影响，参见最初的目标泛函。因此，我们后面考虑对最优路径的“扰动”时，不考虑对的“扰动”。这意味着，我们的所有推导都是基于运动方程的成立，也即。假设已知u*和y*，对u施加扰动，则根据运动方程，y也会产生对y*的偏离：则（想想这里当趋近零，u趋近u*，而y趋近y*，是由什么条件保证的？）接下来考虑对终结时刻和终结状态的“扰动”：以及这意味着和代入目标泛函，于是目标泛函可以变为的一个函数：最优路径意味着，于是目标泛函对求导，等式右边积分部分的导数为：其中第二项可以写开，其中，该项可以和下面推导部分相加而抵消。目标泛函等式右边最后一项是常数求导为零，第二项求导为：将以上部分加总整理，得一阶条件为：因为p，q，和是任意的，只能要求三项分别为零。由此，我们可以导出最大值原理中的和。再加上运动方程是整个推导的基础，所以一阶条件还应包含。垂直终结线问题中，，所以横截条件为。（i）固定端点问题：因为终结点固定，所以p(t)不能真正任意，因为要保证u控制y穿越固定终结点。于是，我们会担心一阶条件能否推出。（为什么？）可以证明，固定端点问题一阶条件不变，只需要将横截条件替换为y(T)=yT，T和yT给定。（ii）水平终结线问题：（iii）终结曲线问题：由，于是有，将其带入一般性横截条件，可得。于是，横截条件为。（iv）截断的垂直终结线问题：T固定，但是要求。于是有两种情况，第一种约束条件自然满足，即且；第二种约束条件是紧的。在这种情况下，对y的路径扰动不能在其下方，给定q>0这要求。那么，无约束极值问题变成一个带有非负约束的极值问题。那么，根据库恩塔克条件，将会变成，从而会产生一个不等式的横截条件：。因为，所以，于是要求在时。从而，我们可以得到以下综合形式：，，（v）截断的水平终结线问题：yT固定，但要求T*≤Tmax。根据类似的推理，有，，（3）自控问题的汉密尔顿函数不变性自控问题指的是F和f中没有时间t作为变量，这意味着整个系统是自行内生运动而和没有随时间而进行的外生变化。这种系统有个特点，汉密尔顿函数在最优路径上取值时其值为不变常数。汉密尔顿函数对时间求导为：最优路径的一阶条件为：，，从而可得在水平终结线问题中，横截条件为，而H*是常数，这意味着H*(t)=0。（4）推广到多变量s.t.…汉密尔顿函数为：或者，写成向量形式：，一阶条件为（i），即m个u仍然是要最大化H。（ii），j=1,…,n，n个状态变量的运动方程（iii），j=1,…,n，n个共态变量的运动方程也一样（iv）一般性横截条件：如果T自由：如果自由：如果和，从而有和，一般性横截条件变为如果是截断的垂直终结线：，，如果是阶段的水平终结线：，，（三）最大值原理的经济学解释及现值的汉密尔顿函数（1）最大值原理的经济学解释故事：企业在[0,T]上最大化利润，状态变量为资本存量K，控制变量u代表企业的商业决策，u影响K的变化。初始资本存量为K0，终结状态不定。每一时刻的利润函数为。于是，优化问题为s.t.K(0)=K0，K(T)不定，T给定我们首先要说明，实际上是一个类似于拉格朗日乘子的“影子价格”。我们用之前构造的“新”目标泛函，并在最优路径上取值，以进行说明。上式关于初始和终结资本存量求导得：和。可见，意味着某一时刻的资本存量对总体利润（目标泛函）的影响。一般为了保证在过程中为正，将其写作，而不是。等式左边第一项是决策u下的当前利润，而f是u决策下的资本存量瞬时变动，这个变动乘以，即当前资本存量对总体利润的影响，意味着第二项代表的是当前决策u对未来利润的瞬时影响。因此，决策u的作出，要考虑到当前利润和未来利润的权衡。这也就是为什么最大值原理中要求u最大化H，我们把一阶条件写作：即这意味着，最优时决策u对当前利润的增加等于对未来利润的减少。垂直终结线的横截条件意味着，最优决策要使得在规定的结束时刻，资本得到充分运用，从而没有任何价值。而截断的垂直终结线问题中，如果约束是紧的，则横截条件为，。这意味着，为了满足最后剩余的资本存量要求，资本并没有充分运用。而在水平终结线问题中，横截条件为。这是因为，追求总体利润最大化，但结束时间上没有要求，从而我们要尽可能经营到无法再产生利润为止，即资本存量使得当前利润与未来利润的和为零时。最大值原理还包含两个运动方程，状态变量的运动描述的是控制变量如何影响状态变量，而共态变量的运动方程可以写为这等价于，这意味着资本影子价格下降的速度要等于资本对当前利润和未来利润贡献的速度。（2）现值的汉密尔顿函数经济学中常有被积部分包含贴现因子的情况，即。于是，优化问题写作：s.t.和边界条件汉密尔顿函数为，因为贴现因子会出现在很多一阶条件中，增加了复杂性，我们想办法简化。重新定义“现值的拉格朗日乘子”为，从而有现值的汉密尔顿函数因为上述形式隐含了和，所以一阶条件很容易转换。变为变为（本质上都是）因为和，所以变为横截条件变为和（四）充分条件（二阶条件）（1）曼加萨林定理对于最优控制问题：s.t.y(0)=y0，y(T)和T自由如果（i）F和f函数可微，且关于变量（y，u）是联合凹的，（ii）并且最优解对于t∈[0,T]，若f关于y或u非线性，满足λ(t)≥0（若f关于y和u是线性的，则不需要），那么最大值原理的必要条件对于最大化V也是充分的。证明：给定汉密尔顿函数H=在最优控制路径u*上（同时y在y*上，在*上），应满足：即此外，根据共态变量运动方程，有即进一步假设这是个垂直终结线问题，下面的推导将用到其初始条件和横截条件：y(0)=y0以及于是，因为F和f关于(y,u)是凹的，那么对于不同的两点（t,y,u）（t,y*,u*）有：对以上第一式进行积分，有：=（不等号右边的被积部分中的两项偏导代入前面的推导）其中，被积部分第一项可分部积分如下：（想想为什么乘积项等于零）将上式重新代回，可得由于，所以当λ*≥0时，。（想想为什么若f关于y和u是线性的，则不需要？）当然，上述定理中，如果F和f是严格凹的，则最大值唯一。另外，必须要提的是，虽然该定理的证明是基于垂直终结线，但是实际上对于具有固定终结状态和截断的垂直终结线问题都是适用的。因为垂直终结线的横截条件所起的作用仅仅是在分部积分中使得乘积项为零，固定终结状态也会使得该结论成立，截断的垂直终结线就更不用说了。（试一试，看看为什么？此外，如果是水平终结线问题呢？需要添加什么条件？提示：垂直终结线问题的横截条件在分部积分中起了什么作用？）（2）阿罗条件在任意时刻，只要给定状态变量和共态变量，总是存在一个特定的u*最大化汉密尔顿函数H。所以，有u*=u*(t,y,λ)，将其带入汉密尔顿函数，得到在该条件下的最大化的汉密尔顿函数H0(t,y,λ)=F(t,y,u*)+λf(t,y,u*)。注意H0和H*的区别，H*是在最优路径上的汉密尔顿函数各时刻的值（最优路径固定，相当于H*的值只和时间有关），而H0并不一定是最优路径，但是u*要优化给定(t,y,λ)条件下的H，所以H0(t,y,λ)是的(t,y,λ)函数。阿罗定理表明，在上述动态优化问题中，如果给定λ，对于[0,T]中任意时刻t，H0关于变量y是凹的，则最大值原理的一阶条件对于V的全局最大化是充分的。阿罗定理是曼加萨琳定理的推广，因为一旦曼加萨林的条件满足，则一定满足阿罗定理的条件。因为如果F和f关于（y，u）是联合凹的，且λ(t)≥0，则H=F+λf关于（y，u）也是凹的。但是，反过来不一定成立，即F和f关于（y，u）不是联合凹的，但H0关于变量y仍可以是凹的。（五）无限期界问题如同在变分法的部分所提出的那样，终结时刻趋近于无穷大所带来的问题一个是广义积分的收敛性，一个是横截条件。广义积分的收敛性已经在变分法的部分讨论过了，本部分主要讨论横截条件及其反例。（1）横截条件与反例根据之前一阶条件的推导，有当T趋近于无穷大的时候上述一阶条件要成立就会得到以下横截条件。首先，因为是无限期界问题，所以终结时刻肯定不固定。因此，首先要满足：。如果该问题是一个自控，则任意时刻t都应满足H=0。其次，如果该问题的终结状态也是自由的，那么就要求。当然，如果状态有最低限制，则变为和。然而，关于这个条件，很人多认为找出了反例。也就是最优路径并不满足该条件。但是蒋中一认为这些反例都隐含着y在时间t趋近于无限大的时候有一个固定的收敛值，于是该横截条件不成立，所以这些反例本来就不成其为反例。因此，在这一类问题中，可以先抛开该横截条件，如果求出来的路径存在收敛值，该路径就是最优路径。蒋中一还指出，经济学模型出现这类问题大多是因为目标泛函中不包含贴现因子。比如拉姆齐的原始模型中，为了实现广义积分收敛，使用的目标泛函是状态变量现值与上限差值的积分最小化。于是，为了保证收敛，实际上状态变量要收敛于上限。（2）作为充分条件一部分的横截条件虽然作为横截条件需要相当的警惕，但是其作为最优解的充分条件的一部分却值得重视。前面介绍的曼加萨林定理和阿罗定理中，主要针对垂直终结线（或者固定终结点问题与截断的垂直终结线），其作用主要在于证明中有分部积分的一部分等于零。然而，在无限期界问题中就不具备该条件了。于是，要得出原不等式成立，即则需要加上条件：于是，充分条件就可表述为：对于给定λ，要么H=F(t,y,u)+λf(t,y,u)关于(y,u)对所有时刻t，都是凹的；要么H0=F(t,y,u*)+λf(t,y,u*)在所有时刻t关于y是凹的。并且，。（请尝试自行推导上述结论）（六）有约束的最优控制问题之前涉及到的约束问题主要是对终结状态的约束（截断的水平线和垂直线），本部分主要涉及针对[0,T]所有时刻的约束。我们分别考虑针对含控制变量（也可以包含或不包含状态变量）和只包含状态变量的约束问题。（1）涉及控制变量的约束（a）等式约束假设存在两个控制变量u1和u2，且满足下列约束：g(t,y,u1,u2)=c。其中，g称为约束函数，c称为约束常数。该优化问题为：s.t.边界条件当然，如果有m个控制变量和q个等式约束，那么自然要求q<m。汉密尔顿函数为：H=F(t,y,u1,u2)+λf(t,y,u1,u2)考虑到等式约束，我们构造拉格朗日表达式：注意，其中的乘子都是随时间变动的。假设一阶条件中，最大化H的u都是内点解，所以在所有时刻t应满足：j=1,2而且，在所有时刻t还应满足：很明显，以上条件构成了满足等式约束的时候最大化H的一阶条件，当然这必须由适当的二阶条件来保证充分性。接下来，剩余的一阶条件为：适当的横截条件值得注意的是，类似以上问题，有时候按照上述方法还不如利用等式约束进行变量替换，即把u2表示成为u1求解。（b）不等式约束s.t.+边界条件我们借助库恩-塔克条件来解决该问题，为了使K-T条件是必要的，必须满足任一约束限制（约束规格）：（i）所有约束函数gi关于控制变量u是联合凹的。（ii）所有约束函数gi关于控制变量u是线性的。（iii）所有约束函数gi关于控制变量u是凸的，且在可行域U中存在一点u0，使得所有约束函数g都严格小于c。（约束集有内点）（iv）秩条件：只取“紧”的约束，构造偏导数矩阵，且在y和u的极值处取值，该矩阵是满秩的。我们将汉密尔顿函数增广为拉格朗日函数：仍然假设存在内部解，最大化L的一阶条件为：和，，互不松弛条件确保了最大化的L就等于H，想想为什么？（另请自行脑补K-T条件相关内容）如果对u存在非负约束，那么上述第一个条件就要改为：，，剩下的最大值原理的部分：，+横截条件（c）等周问题需要说明的是该类问题有两个特点：一个是与积分约束相联系的共态变量和变分法中一样在所有时刻都是一个常数；另一个是考虑到积分的特点，约束个数与控制变量数量之间没有限定。我们以一个简单的例子说明。s.t.y(0)=y0y(T)自由我们引入一个新的状态变量(t)使得积分约束可以被替换成该变量的运动方程：，于是有。根据定义，的初始值和终结值分别为：和于是，该问题可以被重新表述为：s.t.y(0)=y0y(T)自由注意：y是一个垂直终结线问题，但是是一个固定终结点问题。汉密尔顿函数为：一阶条件为：和和+边界条件就如前面所说，，即是常数。其运动方程可以省略掉。（d）不等式积分约束s.t.y(0)=y0y(T)自由和前面一样，定义，于是有。根据定义，的初始值和终结值分别为：和于是，该问题可以被重新表述为：s.t.y(0)=y0y(T)自由注意：y是一个垂直终结线问题，但是是一个截断的垂直终结线问题。汉密尔顿函数为：一阶条件为：和和和，，还是一样，，即是常数。其运动方程可以省略掉。我们可以将该一阶条件表述成更简洁的形式：和和=常数，，（e）现值汉密尔顿函数和拉格朗日函数类似现值的汉密尔顿函数Hc，可以构造现值的拉格朗日函数Lc。s.t.+边界条件汉密尔顿函数和拉格朗日函数为：若有内部解，则一阶条件为：，，，+横截条件引入新的乘子：（）和（），从而H和L的现值形式可以写作：易证：，和。于是一阶条件可表示为：（若控制变量有非负约束，和），，（最后部分证明提示：，这两式同时乘以，再根据运动方程令其相等。）（f）充分条件之前的充分条件探讨适用于固定终结点、垂直终结线和截断的垂直终结线。用于水平终结线或者无限期界问题的时候需要补充相应条件。考虑到或的约束时，充分条件可以作如下表述：最大值原理对于目标泛函的全局最大化是充分的，如果对于给定λ，L在所有时刻t关于(y,u)是联合凹的，或者H0在所有时刻t上关于y是凹的。该条件应用于无限期界问题时，要增加条件。需要指出的是，由于和，于是该条件要求所有时刻t上：F关于(y,u)是凹的；f关于(y,u)是凹的；G关于(y,u)是凸的；g关于(y,u)是凸的。这其中尤其注意到，不等式约束时乘子的非负性。（2）状态空间约束比如状态空间的非负约束，或者更一般的形式：对于所有t，。这类约束不涉及到控制变量u，可能造成的影响可能是使得最优路径的一部分发生了偏离，也可能是整个最优路径因此而改变，如图。尽管不理会对状态变量的约束，直接求解最优路径，恰恰满足对状态变量的约束的可能性（约束是松的）很小，但是对于探求真解的特性也会提供有用的线索。（a）之前方法所面临的问题s.t.+边界条件如果按照之前的方法，我们构造拉格朗日函数：仍然假设存在内部解，最大化L的一阶条件为：和，，，+横截条件虽然该方法在形式上具有一般性，但是基于这样的方法不一定能带来求解的便利。该方法都是基于y和λ的连续性，仅有控制变量u可以存在跳跃的情况（碰碰解）。但是，在纯状态变量约束发挥作用的前后，共态变量λ也可能经历跳跃。比如，假设τ是状态变量发挥作用的前后时刻，那么λ跳跃前后的值可以表示为：（b≥0）。（b）另一种方法由于约束的存在，h(t,y)的增长不能超过c。所以我们可以用以下约束来实现：若dh/dt≤0，若h(t,y)=c。需要指出的是，dh/dt是t，y和u的函数，因为：在这个新的约束下，我们重新表述该问题：s.t.若h(t,y)=c+边界条件为了和之前的解法作对比，我们把乘子的希腊字母写作大写。拉格朗日函数为：一阶条件为：，和但是，关于的约束中并未体现出当h(t,y)=c时，约束才发挥作用。因此，我们追加互补松弛条件：，这里需要说明的是，我们需要的是一个互补松弛条件的“强形式”，即当约束起作用的时候，h(t,y)=c，我们希望。而且，我们还必须对随时间变化的方式施加限制：在可导的点，当h(t,y)=c时，必须是非正的。关于这一点，我们在后面证明该方法和前面的一般形式解法等价的时候会看到其作用。我们假设存在内部解，一阶条件为：，和，（=0，当h(t,y)<c）+横截条件当然，如果控制变量本身有非负约束，则一阶条件替换为：，和该条件容许出现边界解，如果是u存在一个闭的控制域，也可能出现边界解。以上方法和之前的“一般解法”的区别在于，通过约束方程及其乘子的变动，对约束起作用的“临界点”的信息更容易识别。但是，其实该方法和前面的一般解法是等价的。我们通过以下步骤来说明必须是非正的：（a）使和相等（都等于0）并求解。（b）关于t求的全导数，得到。（c）通过使用“一般解法”中的表达式，扩展（b）中得到的表达式。（d）把（a）中的结果代入特殊解法一阶条件中的表达式。（e）使（c）和（d）中两个的表达式相等，然后化简并推出。，也就是。例1：s.t.y(0)=0y(3)=3我们不理会该约束，直接构造四、拉姆齐模型（一）相关理论发展背景首先，为了解决所谓的哈罗德-多玛模型值得一提的是哈罗德模型本身并不是一个新古典模型，除了I=S的市场均衡假定之外，它基本上就是一个结构式。马克思的扩大再生产图示在均衡条件得到满足的前提下，也可以推得相应的增长率表达式（宋则行，1995；杨继国，2001；吴易风，2007）。的“刀刃上的均衡”问题，索罗引入了新古典生产函数，以及一系列假定，通过资本边际产出递减的性质实现了经济增长趋向稳定均衡点的调节问题见罗默《高级宏观经济学（第三版）》，上海，上海财经大学出版社，2009,11~12页。。其根据一次齐次总量生产函数F(K,AL)，外生给定的人口增长率n和技术增长率g，加上资本积累的行为方程，很容易得出人均资本运动方程：值得一提的是哈罗德模型本身并不是一个新古典模型，除了I=S的市场均衡假定之外，它基本上就是一个结构式。马克思的扩大再生产图示在均衡条件得到满足的前提下，也可以推得相应的增长率表达式（宋则行，1995；杨继国，2001；吴易风，2007）。见罗默《高级宏观经济学（第三版）》，上海，上海财经大学出版社，2009,11~12页。（1.1.1）kkk图1-SEQ图1-\*ARABIC1索罗模型图解“稻田条件”稻田条件为：，，我们在图上可以直观地看到，满足这样条件的生产函数必定和射线相交，从而保证了均衡点的存在。稻田条件为：，，我们在图上可以直观地看到，满足这样条件的生产函数必定和射线相交，从而保证了均衡点的存在。然而，以上模型中的储蓄率是外生给定，拉姆齐（Ramsey，1928）、卡斯（Cass，1965）和库普斯曼（Koopmans，1965）所发展起来的模型则通过代表性家庭的效用贴现和的最优化，将储蓄率内生。容易证明，完全竞争条件下，“市场分散决策”等价于“统制最优化”，于是我们考虑的优化问题的简化形式如下为了便于和索罗模型对比，这里用的是一个“中央计划模型”，当然还有分散的家庭企业模型，但是除了细节上的差别外，基本结论并没有很大差别，详见龚六堂（2005）。：为了便于和索罗模型对比，这里用的是一个“中央计划模型”，当然还有分散的家庭企业模型，但是除了细节上的差别外，基本结论并没有很大差别，详见龚六堂（2005）。（1.1.2）其中，u(.)表示效用函数，c为消费，是代表时间偏好的贴现率。我们可以看到约束条件和索罗模型的差别在于（1.1.1）中外生给定的储蓄率s被产出和消费的差额（f(k)-c）所取代，而消费c是一个控制变量，其每一时点上的值由理性人通过最大化其总效用来决定。其最优化的一阶条件形成的动力系统虽然复杂，并且在通常的假设条件下一般为“鞍点解”，但是新古典生产函数