最优控制动态规划

第九页，共五十二页，编辑于2023年，星期六

这里每条路线由四段组成，也可以说是四级决策。为了计算每条路线所花时间，要做三次加法运算，为了计算六条路线所花的时间要作3×6=18次运算。这种方法称为“穷举法”。显然当段数很多时，计算量是很大的。这种方法的特点是从起点站往前进行，而且把这四级决策一起考虑。应注意从到下一站所花的时间为1，而到所花时间为3，但最优路线却不经过。这说明只看下一步的“眼前利益”来作决策是没有意义的。第十页，共五十二页，编辑于2023年，星期六为将问题表达得清楚，引进下面的术语（写法并不完全一样）。令表示由某点到终点的段数（如到为2段，。令表示当前所处点的位置（如），称为状态变量。对比一下最开始的例子第十一页，共五十二页，编辑于2023年，星期六令为决策（控制）变量，它表示当处在位置而还有段要走时，所要选取的下一点。例如，从出发，下一点为时，则表示为。令表示在位置，向终点还有段要走时，由到终点的最短时间。例如，从C2到E的最短时间为4，可表示为T2(C2)=4。第十二页，共五十二页，编辑于2023年，星期六令表示从点到点的时间。例如，从到的时间为有了这些术语后，就可用动态规划来解这个例子。从最后一段出发进行计算，并将计算出的最短时间用括号表示在相应的点处（见图6-1）。第十三页，共五十二页，编辑于2023年，星期六n=1

（倒数第一段）

考虑从和到的路线，由定义可知，最短时间分别为第十四页，共五十二页，编辑于2023年，星期六n=2（倒数第二段）考虑从到的路线。由到有两种路线：，。两种路线中的最短时间由下式确定：最优决策为。第十五页，共五十二页，编辑于2023年，星期六由到只有一种路线，其时间为由到E也只有一种路线，其时间为

EDC23第十六页，共五十二页，编辑于2023年，星期六n=3（倒数第三段）

从B2到E有两种路线：和第十七页，共五十二页，编辑于2023年，星期六最优决策最短时间为：第十八页，共五十二页，编辑于2023年，星期六n=4（倒数第四段）从A到E的路线有两种：和。最优决策为第十九页，共五十二页，编辑于2023年，星期六

至此求出了A到E的最短时间为9，最优路线为。在图中用粗线表示。这里，为决定最优路线进行了10次加法，比穷举法的18次少了8次。当段数n更多时，节省计算将会更多。第二十页，共五十二页，编辑于2023年，星期六

以上面的最短时间问题为例，如把当作初始状态，则余下的决策对来讲是最优策略；如把当初始状态，则余下的决策对来讲也构成最优策略。一般来说，如果一个最优过程用状态来表示，最优决策为，则对状态来讲，必定是最优的，这可用图6-2来表示。第二十一页，共五十二页，编辑于2023年，星期六图6-2最优性原理示意图第二十二页，共五十二页，编辑于2023年，星期六动态规划的特点：一是它从最后一级反向计算；二是其将一个N级决策问题化为N个单级决策问题。好处：将一个复杂问题化为多个简单问题加以求解。第二十三页，共五十二页，编辑于2023年，星期六最优性原理

贝尔曼的最优性原理可叙述如下：“一个多级决策问题的最优决策具有这样的性质：当把其中任何一级及其状态作为初始级和初始状态时，则不管初始状态是什么，达到这个初始状态的决策是什么，余下的决策对此初始状态必定构成最优策略。”第二十四页，共五十二页，编辑于2023年，星期六在多数实际问题中，级决策的性能指标取如下形式

是由某级状态和决策决定的性能函数，要求寻找决策使J取极小值。第二十五页，共五十二页，编辑于2023年，星期六最优性原理可表示为

第二十六页，共五十二页，编辑于2023年，星期六根据上式就可证明最优性原理的正确性。若以为初态时，余下的决策不是最优的，那么就存在另一决策序列所决定的指标值，于是这与是极小值发生矛盾，所以余下的决策必须是最优的。第二十七页，共五十二页，编辑于2023年，星期六6-2离散最优控制问题设控制系统的状态方程为式中x(k)是k时刻的几维状态向量，u(k)是k时刻的p维容许控制向量，设系统在每一步转移中的性能指标为F[x(k),u(k)]如在u(0)的作用下在u(1)的作用下对N级决策过程第二十八页，共五十二页，编辑于2023年，星期六性能指标要求选择控制序列使性能指标达到极小根据最优性原理解上述递推方程，即可获得最优控制序列。第二十九页，共五十二页，编辑于2023年，星期六例6-1设一阶离散系统的状态方程为初始条件为x(0)，控制变量u不受约束，性能指标为求最优控制u*(t)，使J达最小，为简便起见，设N＝2解设在u(0)、u(1)作用下，系统状态为x(0)、x(1)、x(2)先考虑从x(1)到x(2)的情况，控制为u(1)第三十页，共五十二页，编辑于2023年，星期六再考虑从x(0)到x(1)的情况，控制为u(0)最优控制序列为最优性能指标为第三十一页，共五十二页，编辑于2023年，星期六

连续系统的动态规划

设系统的状态方程和性能指标为

（6-19）

（6-20）

受约束，可写成为某一闭集。要寻找满足此约束且使最小的最优控制。第三十二页，共五十二页，编辑于2023年，星期六

设时间在区间内，则根据最优性原理，从到这一段过程应当是最优过程。把这段最优指标写成,则（6-21）显然满足终端条件通常假定对及的二阶偏导数存在且有界。第三十三页，共五十二页，编辑于2023年，星期六现在，考虑系统从出发，到分两步走：先从到，再从到，是小量，则（6-23）根据最优性原理，从也应是最优过程。

第三十四页，共五十二页，编辑于2023年，星期六因故这样，式（6-23）可写成（6-24）第三十五页，共五十二页，编辑于2023年，星期六注意到，上式右边括号中表示最优指标，其中为最优控制，不需再选择，也与选择无关。故从上式两端消去，除以，再令，可得

（6-25）第三十六页，共五十二页，编辑于2023年，星期六引用以前使用过的哈密顿函数

（6-26）

（6-27）则（6-25）可写成

（6-28）第三十七页，共五十二页，编辑于2023年，星期六（6-25）或（6-28）称为哈密顿—雅可比—贝尔曼方程，边界条件是：哈密顿—雅可比—贝尔曼方程在理论上很有价值，但它是的一阶偏微分方程并带有取极小的运算，因此求解是非常困难的，一般情况得不到解析解，只能用计算机求数值解。对于线性二次问题，可以得到解析解，而且求解结果与用极小值原理或变分法所得结果相同。这时，哈密顿——雅可比——贝尔曼方程可归结为黎卡提方程。在实际计算线性二次问题时，一般用直接求解黎卡提方程来求最优控制。第三十八页，共五十二页，编辑于2023年，星期六例6-3设系统状态方程为初始状态不受约束，性能指标为求最优控制u*(t)，使性能指标J为最小。解由于因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故第三十九页，共五十二页，编辑于2023年，星期六解由于因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故解得第四十页，共五十二页，编辑于2023年，星期六引用以前使用过的哈密顿函数

（6-26）

（6-27）则（6-25）可写成

（6-28）第四十一页，共五十二页，编辑于2023年，星期六思考题HJB方程与极小值原理的区别和联系？第四十二页，共五十二页，编辑于2023年，星期六动态规划与极小值原理

动态规划和极小值原理是最优控制理论的两大基石，它们都可以解决有约束的最优控制问题，虽然在形式上和解题方法上不同，但却存在着内在的联系。下面我们从动态规划来推演极小值原理，不过要说明这种推演是基于最优指标对和两次连续可微这个条件的。第四十三页，共五十二页，编辑于2023年，星期六最优性能指标与状态方程为（6-29）要求确定U(t)使性能指标

（6-30）极小。其中，固定，自由，可以有约束，也可以没有。第四十四页，共五十二页，编辑于2023年，星期六1、（状态方程）（6-31）2、（协态方程）（6-32）3、（边界方程）（6-33）4、（横截条件）（6-34）5、（极值条件）（6-35）第四十五页，共五十二页，编辑于2023年，星期六用动态规划求解的结果已在上节中得到，现在归纳一下：在动态规划中协态变量满足哈密顿—雅可比—贝尔曼方程（6-28）本身说明了哈密顿函数在最优控