优化理论课件(变分法与最优控制理论).doc

优化理论课件（2）第二部分 动态优化：变分法和最优控制理论 变分法是处理动态优化的古典方法，现在较少使用，在蒋中一的书中，变分法的思路可用来解释庞特里亚金最大值原理（一阶条件）。本部分内容主要来自蒋中一动态最优化基础。目录一、什么是动态优化？3（一）动态优化问题的基本要素4（二）泛函及其相关概念4（三）可变终结点5（四）横截条件6（五）目标泛函6二、变分法7（一）基本问题：固定终结点问题7（1）基本问题及其假定7（2）一阶条件：欧拉方程8（二）推广：多状态变量与高阶导数10（1）多状态变量10（2）高阶导数10（三）可变端点问题10（1）一般性横截条件11（2）垂直终结线问题12（3）水平终结线问题12（4）终结曲线问题，即错误！不能通过编辑域代码创建对象。12（5）截断的垂直终结线问题12（6）截断的水平终结线问题13（7）多变量和高阶导数情形13（四）二阶条件（充分条件）14（1）固定端点问题的二阶条件及其二次型检验14（2）凹凸性充分条件14（3）变分15（五）无限期界问题16（1）收敛性16（2）横截条件17（3）充分条件17（六）带约束的优化问题17（1）等式约束17（2）不等式约束18（3）积分约束（等周问题）19三、最优控制理论20（一）最优控制理论导论20（二）最大值原理及其横截条件21（1）最简单问题及最大值原理（一阶必要条件）21（2）最大值原理的理论基础及其横截条件23（3）自控问题的汉密尔顿函数不变性26（4）推广到多变量26（三）最大值原理的经济学解释及现值的汉密尔顿函数27（1）最大值原理的经济学解释27（2）现值的汉密尔顿函数28（四）充分条件（二阶条件）29（1）曼加萨林定理29（2）阿罗条件31（五）无限期界问题31（1）横截条件与反例32（2）作为充分条件一部分的横截条件32（六）有约束的最优控制问题33（1）涉及控制变量的约束33（2）状态空间约束39四、拉姆齐模型43（一）相关理论发展背景43（二）最简单的拉姆齐模型及其动力系统45（三）微分方程定性稳定性判别方法简介47（1）稳定性与渐进稳定性47（2）稳定性判别基本定理48（2）平面动力系统的奇点49一、什么是动态优化？例：一个企业将原料从初始状态A通过五道工序，变为总结状态Z，每个阶段的选择对应一个阶段的成本，如何选择路径使得总成本最小化？从这个例子中可以看到：首先，动态强调的是时期之间的联系，而不仅仅是有时间的顺序；其次，这里也包含了Bellman方程的基本原理。如果是连续时间呢？（相加变为积分）（一）动态优化问题的基本要素由此可见，一个动态优化问题包含以下几个要素：（1）一个给定的初始点和终点（终点不一定给定，后面详细说明） （2）一组允许的路径 （3）对应于路径的指标（不同路径之间有什么不同的影响）（4）特定目标，通过对路径的选择来实现目标。（二）泛函及其相关概念和之前的静态优化相比，动态优化的目标依赖于“路径”的选择，而不是某个变量（实数）的选择。从而，这个可优化的目标是“函数”到“实数”的映射，我们称之为“目标泛函”。 我们记为Vy(t)（注意与复合函数相区别），表示目标泛函的值取决于函数y(t)。和微积分中的微分类比，微积分中的微分是自变量做微小变动后所导致的函数值的变动，而这里则是“路径”或者函数本身发生微小变动所导致的“泛函值”的变动，也就是“变分”。后面的变分法也就是这个思路。（三）可变终结点 除了上文图中的固定终结点之外，还存在以下几种可变终结点：（1）固定时间问题（垂直终结线问题）：终结时间固定，但终结状态自由。（2）水平终结线问题：终结状态固定，但终结时间自由。（3）终结曲线（曲面）问题（四）横截条件 相比于固定终结点问题，可变终结点多了一个自由度，因此在确定最优路径的时候我们需要多一个条件，这个条件通常是来描述最优路径在穿过终结时刻时候的状态，被称为“横截条件”。（五）目标泛函在优化问题中，我们需要选择一个最优路径，那么最优意味着比较，比较的是什么，取决于不同的路径如何影响我们关心的问题。类似前面离散时间问题中不同路径在不同阶段对应着不同的成本，我们抽象出一个路径在t时刻，对应着的对优化目标的影响为该时点上的值为F(t,y,y)。我们可以看到，这意味着在任何一时点，路径本身的值y和y对时间的导数y都会影响我们的目标。将每一时点上的值加总在一起，我们就得到一个积分的形式，这是关于路径y(t)的泛函，是我们优化的目标，即目标泛函：Vy= 如果有两个状态变量，我们也可以写为：Vy, z= 终结控制问题（迈耶问题）：有些问题的目标只跟终结时刻的位置有关，目标泛函可写作Vy=GT, y(T) 博尔扎问题：Vy=+GT, y(T) 比如一个项目结束后，除了项目过程中的收益，还有项目结束时设备的残值。但是这些非标准问题可以把形式标准化。令z(t)=Gt, y(t)，且z(0)=0，于是有 二、变分法（一）基本问题：固定终结点问题（1）基本问题及其假定max（min）Vy=s.t. y(0)=A y(T)=Z 假定：可行的“路径”集合限定为具有连续导数的连续曲线；被积函数F是二阶可导的；最优解是一条光滑的曲线称为“极值曲线”。（2）一阶条件：欧拉方程 假定极值曲线y*(t)已知，那么我们对其施加一个微小扰动，所产生的新曲线必定“劣”于它。任意给定一条连续光滑的扰动曲线p(t)，且p(0)=p(T)=0以确保扰动后能满足初始点和终结点的约束。从而扰动后的曲线为y(t)=y*(t)+p(t)，如图 这意味着y(t)=y*(t)+p(t)，且当0，yy*。因此，一旦给定y*(t)和p(t)，目标泛函Vy就退化为一个函数V()。而且，当=0时，V取极值。因此，给定之前关于本优化问题的假定，有 因为V()= 定积分参数求导补充：若，且若f(x,y)及其偏导数在R=a,b ,上连续， (x),(x)都在a,b上可微，则于是有 要令dV/d=0，我们必须要处理p(t)，因为其是任意的。根据假设条件可以把积分写开： 我们先对后半部分的积分用分部积分如下： 再将其代回原式，可以把积分的差写成差的积分，并提取公因子p(t)： 于是，因为p(t)是任意的，该积分要保持始终为零，只可能是在0, T上 该式就是极值曲线（最优路径）所必须满足的一阶条件（必要条件），欧拉方程。我们把式中的求导写开，可以发现欧拉方程实际上是一个二阶微分方程。由 有欧拉方程： 二阶微分方程通解中通常会有两个任意常数，我们正好有起始两个固定端点来确定两个常数。例1：Vy= ，且y(0)=0，y(2)=8.欧拉方程为：2y(t)-12t=0，即y=6t两次积分可得：y*(t)=t3+c1t+c2，其中c1、c2为任意常数。带入y(0)=0，y(2)=8，可得c1=c2=0，于是最优路径为y*(t)=t3 当然，也有可能解不存在，这种情况一般出现在Fyy=0的情况。因为这种情况下，微分方程不再是二阶，不用确定两个常数，但是却又给出了两个常数，于是就可能出现不相容的情况。例2：Vy= ，且y(0)=0，y(5)=3.欧拉方程为：2y=0，从而y*(t)=0无法穿过事先给定的终结点，无满足条件的最优路径。（二）推广：多状态变量与高阶导数（1）多状态变量Vy1,y2,yn= 按照同样的方法，欧拉方程组为：，j=1,n，对于所有t0, T 每个变量都有一对起止端点条件。但是这里的欧拉方程并不是单变量时的简单推广，因为是所有变量及其导数的函数。比如F(t, y, z, y, z)，于是（2）高阶导数Vy= 这里出现了高阶导数，因此边界条件就不应该仅仅是y的起止端点，还应该包括y,y(n)在起止时刻的状态，一共2n个边界条件。对该问题的解决，有两种思路，一是将该问题通过变量替换，变成n个变量及其一阶导数的多变量问题（边界条件也满足）；另外，也可通过欧拉方程类似的推导，得到极值曲线的一阶条件，被称为“欧拉-泊松方程”：该方程一般是个2n阶微分方程，通解中有2n个待定常数，我们也正好有2n个边界条件。（三）可变端点问题max（min）Vy=s.t. y(0)=A y(T)=yT，其中yT自由如上，可变端点问题（1）一般性横截条件和之前用p(t)和来对极值曲线进行扰动一样，我们假设最优终结时间为T*，在其附件对其进行一个扰动，任意给定一个扰动T，T=T*+T，于是有dT/d=T。同样地，扰动后的曲线为y(t)=y*(t)+p(t)，为穿过固定的起始点，令p(0)=0，但是因为y(T)不固定，所以不要求p(T)=0。可见，当0，yy*，TT*。于是，我们将Vy变为V()，即 于是有 等式右边第一项和前面推导欧拉方程的形式很像。但是，在推导欧拉方程时利用分部积分的时候第一项为零是因为p(0)=p(T)=0，这里p(T)=0不成立，所以消掉的那一项必须加上。于是，右边第一项为 同时，右边第二项 于是有=0 因为p(t)和T是任意的，要保证等式成立，只能是三项分别为零。第一项为零，就是欧拉方程。后两项就是我们要推导的横截条件，我们要用终结水平和终结时间来表示p(T)，因为横截条件只跟终结时间和终结状态相关。 由图可见，。 从而，我们将代入前面一阶条件等式中，后两项可整理为一般性横截条件。（2）垂直终结线问题 因为，所以横截条件为=0（3）水平终结线问题 因为，所以横截条件为=0（4）终结曲线问题，即因为，于是代入一般性横截条件得横截条件（5）截断的垂直终结线问题在一个垂直终结线问题（终结时间固定）中，如果最终状态受限。那么，当时，该问题跟没有终结状态约束时是一样的。但是，当没有约束时的最优终结状态时，因为约束，只能取。在这种情况下，对终结状态的扰动不是任意的，只能大于零。给定p(t)大于零，这意味着0。于是，原有的以V()为目标函数的无约束极值问题就加上了非负约束。于是，对于由dV()/d=0导出的一阶条件，要变成带有互不松弛条件的库恩塔克条件。对于最大化的问题，横截条件变为：； 对于最小化的问题，横截条件变为；（6）截断的水平终结线问题 比如，增加限制后，对于最大化的问题，横截条件变为：； 对于最小化问题，横截条件变为：；（7）多变量和高阶导数情形 如果有n个变量，比如F(t, y1, y2,yn, y1, y2, yn)，则一般性横截条件变为： 高阶导数的情况相对复杂，我们只给出F(t, y, y, y)的一般性横截条件：（四）二阶条件（充分条件）（1）固定端点问题的二阶条件及其二次型检验 由，得 被积部分是一个二次型，那么只在在0到T的每一个时刻，二次型都是负定的，则d2V/d20，极值曲线使得目标泛函取最小值。（2）凹凸性充分条件 定理：对于固定端点问题，如果被积函数F(t, y, y)关于(y, y)是联合凹（凸）的，则欧拉方程对于识别Vy的最大（小）值是充分的。 证明（仅证明最大值的情形）： 由连续可微凹函数的性质，有 不等式两边关于t积分，得 上述等式的推导类似于欧拉方程推导过程中的分部积分，先将不等式右边写成积分的和，然后将后一部分分部积分，因为p(0)=p(T)=0，所以有一项消掉，再将剩余的一项写进积分中。可见，VyVy*，得证。 易见，如果是严格凹（凸）的，那么求出来的最大（小）值是唯一的。垂直终结线问题的推导中，和固定端点问题不同在于p(T)可以不为零，因此分部积分中有一部分消不掉。因为。于是，将其带入不等式中，得，其中是沿最优路径取值。可见，之前的充分条件中必须加上非正进行补充。但是，在垂直终结线问题中，横截条件=0保证了该条件必定满足。而截断的垂直终结线问题中，如果约束条件是松的，则本质上是一个垂直终结线问题；而如果约束条件是紧的，则本质上是一个固定终结点问题。而水平终结线问题，则必须要求该补充条件满足，才能保证最大值。（3）变分 由前面的内容可以看出，变分法涉及到的是路径（函数）所发生的偏离。比如，y对y*的偏离所导致的偏差是 我们将等式右边第一项被积部分在（t, y*, y*）处泰勒展开如下： 其中(t-t)项为零，我们再代入y-y*=p(t)，y-y*=p(t)，得 将展式代入积分，然后合并积分，可消掉第一项，忽略高阶项，得 上式的第一项积分为一阶变分： 第二项积分为二阶变分： 在求最大值的问题中，需要，则必然需要，因为可以任意取正负值。这等价于dV/d=0，也就推导出欧拉方程。在满足欧拉方程之后，我们要求，因为2/2始终大于零，这等价于，也就是二阶条件。 （想想我们在静态优化中介绍的分析学的一般思路，如果要严谨推导，那么在泛函分析中，如何定义距离或者测度？如何定义收敛？然后如何得到上面的变分？）（五）无限期界问题 对于无限期界问题（终结时间为无穷大），我们主要考虑两点：一是目标泛函是否收敛，二是横截条件应如何变化。（1）收敛性定理1（充分条件）：给定广义积分，如果被积函数F在整个积分区间上有限，且存在时刻t0，当t t0时，F=0，则积分收敛。 但是，“t，F0”是广义积分收敛的既非充分又非必要的条件。非充分，比如发散。非必要，比如，但被积部分并不收敛到0。定理2（经济学的耍赖）：给定广义积分，如果被积部分可以写成G(t, y, y)e-t，其中是正的贴现率，而G是有界的，则积分收敛。这是收敛的充分条件，其实G不需要有界，只要增长的速度没有贴现因子下降得快就行。经济学里G通常意味着效用函数或者生产函数等，一般是（拟）凹的，而贴现因子是指数下降，因此收敛性问题就回避了。但是，最开始运用动态优化进行经济分析的拉姆齐并不认为这种做法是对的（2）横截条件 按照原有的推导过程，一般性横截条件如下： 如果终结状态是自由的，那么横截条件必须要求两部分的极限值都等于零。但是，有些问题隐含着“终结状态”收敛于某值，类似于水平终结线问题，这意味着yT0，从而第二项极限部分不要求等于零。如果对终结状态有要求，比如必须大于ymin，那么可以先按照没有约束的方法求解，如果自然满足就完成求解，如果约束是紧的，那么就按照固定终结点的方法求解。（3）充分条件 固定端点问题中，F(t, y, y)关于(y, y)是凹（凸）的，则欧拉方程对于最大（小）值是充分的。如果终结点不固定，则必须要补充条件，虽然该条件在垂直终结线和截断的垂直终结线问题中自动满足。 在无限期界问题中，按照同样的推导过程，补充条件应该为：，其中在最优路径上取值。（六）带约束的优化问题（1）等式约束s.t. 相应的边界条件 这里有m个独立的等式约束，mn以防约束方程本身将n个y全部决定，就没有优化选择的意义了。约束方程的独立性意味着，存在一个非零的m阶雅克比行列式： 构造一个拉格朗日函数： 从而，新的目标泛函为，我们用无约束极值问题的方法求解。易见，当所有约束都满足时，新目标泛函的值和原有目标泛函值是相等的。 对y的欧拉方程有n个： j=1,n 对拉格朗日乘子的欧拉方程有m个： i=1,m 因为，中没有，所以该欧拉方程为，即约束方程本身。于是，n个欧拉方程加上m个约束方程一起，共同决定了y和的最优路径。当然，待定常数由边界条件决定。 如果这m个等式中包含了y的导数，也就是说有m个微分方程约束。那么，仍然可以适用上述方法，但是要有适当的边界条件。（2）不等式约束s.t. 相应的边界条件因为是不等式约束，所以不要求mn。（想想为什么？）参考静态优化中库恩塔克条件，我们构造辅助函数： 对于变量y，仍有n个欧拉方程： j=1,n 然而，对于乘子，要用到互补松弛条件：； i=1,m（3）积分约束（等周问题）s.t. 相应的边界条件 这里仍然不用要求m0这要求。那么，无约束极值问题变成一个带有非负约束的极值问题。那么，根据库恩塔克条件，将会变成，从而会产生一个不等式的横截条件：。因为，所以，于是要求在时。 从而，我们可以得到以下综合形式：，（v）截断的水平终结线问题：yT固定，但要求T*Tmax。根据类似的推理，有，（3）自控问题的汉密尔顿函数不变性 自控问题指的是F和f中没有时间t作为变量，这意味着整个系统是自行内生运动而和没有随时间而进行的外生变化。这种系统有个特点，汉密尔顿函数在最优路径上取值时其值为不变常数。汉密尔顿函数对时间求导为： 最优路径的一阶条件为：， 从而可得在水平终结线问题中，横截条件为，而H*是常数，这意味着H*(t)=0。（4）推广到多变量s.t. 汉密尔顿函数为： 或者，写成向量形式：，一阶条件为（i），即m个u仍然是要最大化H。（ii），j=1,n，n个状态变量的运动方程（iii），j=1,n，n个共态变量的运动方程也一样（iv）一般性横截条件： 如果T自由： 如果自由： 如果和，从而有和，一般性横截条件变为 如果是截断的垂直终结线：， 如果是阶段的水平终结线：，（三）最大值原理的经济学解释及现值的汉密尔顿函数（1）最大值原理的经济学解释 故事：企业在0, T上最大化利润，状态变量为资本存量K，控制变量u代表企业的商业决策，u影响K的变化。初始资本存量为K0，终结状态不定。每一时刻的利润函数为。于是，优化问题为s.t. K(0)=K0，K(T)不定，T给定 我们首先要说明，实际上是一个类似于拉格朗日乘子的“影子价格”。我们用之前构造的“新”目标泛函，并在最优路径上取值，以进行说明。 上式关于初始和终结资本存量求导得：和。可见，意味着某一时刻的资本存量对总体利润（目标泛函）的影响。一般为了保证在过程中为正，将其写作，而不是。 等式左边第一项是决策u下的当前利润，而f是u决策下的资本存量瞬时变动，这个变动乘以，即当前资本存量对总体利润的影响，意味着第二项代表的是当前决策u对未来利润的瞬时影响。因此，决策u的作出，要考虑到当前利润和未来利润的权衡。这也就是为什么最大值原理中要求u最大化H，我们把一阶条件写作：即这意味着，最优时决策u对当前利润的增加等于对未来利润的减少。垂直终结线的横截条件意味着，最优决策要使得在规定的结束时刻，资本得到充分运用，从而没有任何价值。而截断的垂直终结线问题中，如果约束是紧的，则横截条件为，。这意味着，为了满足最后剩余的资本存量要求，资本并没有充分运用。而在水平终结线问题中，横截条件为。这是因为，追求总体利润最大化，但结束时间上没有要求，从而我们要尽可能经营到无法再产生利润为止，即资本存量使得当前利润与未来利润的和为零时。 最大值原理还包含两个运动方程，状态变量的运动描述的是控制变量如何影响状态变量，而共态变量的运动方程可以写为 这等价于，这意味着资本影子价格下降的速度要等于资本对当前利润和未来利润贡献的速度。（2）现值的汉密尔顿函数 经济学中常有被积部分包含贴现因子的情况，即。于是，优化问题写作：s.t. 和边界条件 汉密尔顿函数为，因为贴现因子会出现在很多一阶条件中，增加了复杂性，我们想办法简化。重新定义“现值的拉格朗日乘子”为，从而有现值的汉密尔顿函数 因为上述形式隐含了和，所以一阶条件很容易转换。变为 变为（本质上都是）因为和，所以变为 横截条件变为和（四）充分条件（二阶条件）（1）曼加萨林定理对于最优控制问题：s.t. y(0)=y0，y(T)和T自由 如果（i）F和f函数可微，且关于变量（y，u）是联合凹的，（ii）并且最优解对于t0, T，若f关于y或u非线性，满足(t)0（若f关于y和u是线性的，则不需要），那么最大值原理的必要条件对于最大化V也是充分的。证明：给定汉密尔顿函数H=在最优控制路径u*上（同时y在y*上，在*上），应满足：即此外，根据共态变量运动方程，有即 进一步假设这是个垂直终结线问题，下面的推导将用到其初始条件和横截条件：y(0)=y0以及于是，因为F和f关于(y, u)是凹的，那么对于不同的两点（t, y, u）（t, y*, u*）有：对以上第一式进行积分，有：=（不等号右边的被积部分中的两项偏导代入前面的推导）其中，被积部分第一项可分部积分如下：（想想为什么乘积项等于零） 将上式重新代回，可得由于，所以当*0时，。（想想为什么若f关于y和u是线性的，则不需要？） 当然，上述定理中，如果F和f是严格凹的，则最大值唯一。另外，必须要提的是，虽然该定理的证明是基于垂直终结线，但是实际上对于具有固定终结状态和截断的垂直终结线问题都是适用的。因为垂直终结线的横截条件所起的作用仅仅是在分部积分中使得乘积项为零，固定终结状态也会使得该结论成立，截断的垂直终结线就更不用说了。（试一试，看看为什么？此外，如果是水平终结线问题呢？需要添加什么条件？提示：垂直终结线问题的横截条件在分部积分中起了什么作用？）（2）阿罗条件在任意时刻，只要给定状态变量和共态变量，总是存在一个特定的u*最大化汉密尔顿函数H。所以，有u*=u*(t, y, )，将其带入汉密尔顿函数，得到在该条件下的最大化的汉密尔顿函数H0(t, y, )=F(t, y, u*)+f(t, y, u*)。注意H0和H*的区别，H*是在最优路径上的汉密尔顿函数各时刻的值（最优路径固定，相当于H*的值只和时间有关），而H0并不一定是最优路径，但是u*要优化给定(t, y, )条件下的H，所以H0(t, y, )是的(t, y, )函数。阿罗定理表明，在上述动态优化问题中，如果给定，对于0, T中任意时刻t，H0关于变量y是凹的，则最大值原理的一阶条件对于V的全局最大化是充分的。阿罗定理是曼加萨琳定理的推广，因为一旦曼加萨林的条件满足，则一定满足阿罗定理的条件。因为如果F和f关于（y，u）是联合凹的，且(t)0，则H=F+f关于（y，u）也是凹的。但是，反过来不一定成立，即F和f关于（y，u）不是联合凹的，但H0关于变量y仍可以是凹的。（五）无限期界问题如同在变分法的部分所提出的那样，终结时刻趋近于无穷大所带来的问题一个是广义积分的收敛性，一个是横截条件。广义积分的收敛性已经在变分法的部分讨论过了，本部分主要讨论横截条件及其反例。（1）横截条件与反例根据之前一阶条件的推导，有当T趋近于无穷大的时候上述一阶条件要成立就会得到以下横截条件。首先，因为是无限期界问题，所以终结时刻肯定不固定。因此，首先要满足：。如果该问题是一个自控，则任意时刻t都应满足H=0。其次，如果该问题的终结状态也是自由的，那么就要求。当然，如果状态有最低限制，则变为和。 然而，关于这个条件，很人多认为找出了反例。也就是最优路径并不满足该条件。但是蒋中一认为这些反例都隐含着y在时间t趋近于无限大的时候有一个固定的收敛值，于是该横截条件不成立，所以这些反例本来就不成其为反例。因此，在这一类问题中，可以先抛开该横截条件，如果求出来的路径存在收敛值，该路径就是最优路径。蒋中一还指出，经济学模型出现这类问题大多是因为目标泛函中不包含贴现因子。比如拉姆齐的原始模型中，为了实现广义积分收敛，使用的目标泛函是状态变量现值与上限差值的积分最小化。于是，为了保证收敛，实际上状态变量要收敛于上限。（2）作为充分条件一部分的横截条件虽然作为横截条件需要相当的警惕，但是其作为最优解的充分条件的一部分却值得重视。前面介绍的曼加萨林定理和阿罗定理中，主要针对垂直终结线（或者固定终结点问题与截断的垂直终结线），其作用主要在于证明中有分部积分的一部分等于零。然而，在无限期界问题中就不具备该条件了。于是，要得出原不等式成立，即 则需要加上条件： 于是，充分条件就可表述为：对于给定，要么H=F(t, y, u)+ f(t, y, u)关于(y, u)对所有时刻t，都是凹的；要么H0=F(t, y, u*)+ f(t, y, u*)在所有时刻t关于y是凹的。并且，。 （请尝试自行推导上述结论）（六）有约束的最优控制问题 之前涉及到的约束问题主要是对终结状态的约束（截断的水平线和垂直线），本部分主要涉及针对0, T所有时刻的约束。我们分别考虑针对含控制变量（也可以包含或不包含状态变量）和只包含状态变量的约束问题。（1）涉及控制变量的约束（a）等式约束假设存在两个控制变量u1和u2，且满足下列约束：g(t, y, u1, u2)=c。其中，g称为约束函数，c称为约束常数。该优化问题为：s.t. 边界条件当然，如果有m个控制变量和q个等式约束，那么自然要求qm。汉密尔顿函数为：H=F(t, y, u1, u2)+ f(t, y, u1, u2) 考虑到等式约束，我们构造拉格朗日表达式： 注意，其中的乘子都是随时间变动的。假设一阶条件中，最大化H的u都是内点解，所以在所有时刻t应满足： j=1,2 而且，在所有时刻t还应满足：很明显，以上条件构成了满足等式约束的时候最大化H的一阶条件，当然这必须由适当的二阶条件来保证充分性。接下来，剩余的一阶条件为： 适当的横截条件值得注意的是，类似以上问题，有时候按照上述方法还不如利用等式约束进行变量替换，即把u2表示成为u1求解。（b）不等式约束s.t. +边界条件 我们借助库恩-塔克条件来解决该问题，为了使K-T条件是必要的，必须满足任一约束限制（约束规格）：（i）所有约束函数gi关于控制变量u是联合凹的。（ii）所有约束函数gi关于控制变量u是线性的。（iii）所有约束函数gi关于控制变量u是凸的，且在可行域U中存在一点u0，使得所有约束函数g都严格小于c。（约束集有内点）（iv）秩条件：只取“紧”的约束，构造偏导数矩阵，且在y和u的极值处取值，该矩阵是满秩的。我们将汉密尔顿函数增广为拉格朗日函数：仍然假设存在内部解，最大化L的一阶条件为：和， 互不松弛条件确保了最大化的L就等于H，想想为什么？（另请自行脑补K-T条件相关内容）如果对u存在非负约束，那么上述第一个条件就要改为：，剩下的最大值原理的部分：，+横截条件（c）等周问题 需要说明的是该类问题有两个特点：一个是与积分约束相联系的共态变量和变分法中一样在所有时刻都是一个常数；另一个是考虑到积分的特点，约束个数与控制变量数量之间没有限定。我们以一个简单的例子说明。s.t. y(0)=y0 y(T)自由 我们引入一个新的状态变量(t)使得积分约束可以被替换成该变量的运动方程：，于是有。 根据定义，的初始值和终结值分别为：和 于是，该问题可以被重新表述为：s.t. y(0)=y0 y(T)自由 注意：y是一个垂直终结线问题，但是是一个固定终结点问题。汉密尔顿函数为： 一阶条件为： 和和+边界条件 就如前面所说，即是常数。其运动方程可以省略掉。（d）不等式积分约束s.t. y(0)=y0 y(T)自由 和前面一样，定义，于是有。 根据定义，的初始值和终结值分别为：和 于是，该问题可以被重新表述为：s.t. y(0)=y0 y(T)自由 注意：y是一个垂直终结线问题，但是是一个截断的垂直终结线问题。汉密尔顿函数为： 一阶条件为： 和和和， 还是一样，即是常数。其运动方程可以省略掉。我们可以将该一阶条件表述成更简洁的形式： 和和=常数，（e）现值汉密尔顿函数和拉格朗日函数 类似现值的汉密尔顿函数Hc，可以构造现值的拉格朗日函数Lc。s.t. +边界条件 汉密尔顿函数和拉格朗日函数为： 若有内部解，则一阶条件为：，+横截条件 引入新的乘子：（）和（），从而H和L的现值形式可以写作： 易证：，和。于是一阶条件可表示为：（若控制变量有非负约束，和），（最后部分证明提示：，这两式同时乘以，再根据运动方程令其相等。）（f）充分条件之前的充分条件探讨适用于固定终结点、垂直终结线和截断的垂直终结线。用于水平终结线或者无限期界问题的时候需要补充相应条件。考虑到或的约束时，充分条件可以