用变分法求解最优控制问题PPT学习课件

第五章用变分法解最优控制泛函极值问题,1,本章主要内容,5.1变分法基础5.2无约束条件的泛函极值问题5.3有约束条件的泛函极值动态系统的最优控制问题5.4小结,2,在动态系统最优控制问题中，性能指标是一个泛函，性能指标最优即泛函达到极值。解决泛函极值问题的有力工具是变分法。所以下面再次列出变分法中的一些主要结果，可对照微分学中的结果来理解，以加深印象及理解。,3,5.1变分法基础回顾,如果对某一类函数中的每一个函数，有一个实数值与之相对应，则称为依赖于函数的泛函，记为,简单来说，泛函是以函数为自变量的函数。,1、泛函：,相关的定义：,4,则称在处是连续的。,2、泛函的连续性：,5,满足下面条件的泛函称为线性泛函齐次性：叠加性：这里是实数，和是函数空间中的函数。,3、线性泛函：,6,4、自变量函数的变分：,自变量函数的变分是指同属于函数类中两个函数、之差,这里,t看作为参数。当为一维函数时，可用图5-1来表示。,7,图5-1自变量函数的变分,8,这里，是的线性泛函，若时，有，则称是泛函的变分。是的线性主部。,当自变量函数有变分时，泛函的增量为,5、泛函的变分：,9,6、泛函的极值：,若存在，对满足的一切X，具有同一符号，则称在处有极值。,10,定理：,在处有极值的必要条件是对于所有容许的增量函数（自变量的变分），泛函在处的变分为零,为了判别是极大还是极小，要计算二阶变分。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般不计算。,11,5.2无约束条件的泛函极值问题,5.2.1泛函的自变量函数为标量函数的情况,为简单起见，先讨论自变量函数为标量函数（一维）的情况。我们要寻求极值曲线，使下面的性能泛函取极值,（5-1）,12,于是泛函J的增量可计算如下（以下将*号省去）,上式中是高阶项。,为此，让自变量函数、在极值曲线、附近发生微小变分、，即,（泰勒级数展开）,13,根据定义，泛函的变分是的线性主部，即,对上式第二项作分部积分，按公式,14,J取极值的必要条件是等于零。因是任意的，要使（5-2）中第一项（积分项）为零，必有,（5-3）,上式称为欧拉拉格朗日方程。,（5-2）式中第二项为零的条件要分两种情况来讨论：,15,1、固定端点的情况,当时，（5-4）式自然为零。,16,2、自由端点的情况,这时和可以发生化，而且可以独立地变化。于是要使（5-2）中第二项为零，由（5-4）式可得,（5-6）,（5-5）,17,因为这里讨论是标量函数的情况，和也是标量，且是任意的，故（5-5）、（5-6）可化为,（5-7）、（5-8）称为横截条件。,（5-8）,（5-7）,18,19,5.2.2泛函的自变量函数为向量函数的情况,现在，将上面对是标量函数时所得到的公式推广到是n维向量函数的情况。这时，性能泛函为,(5-9),(5-10),式中,20,向量欧拉拉格朗日方程为,(5-11),式中,泛函变分由（5-2）式改为,21,（分以下和两种情况：）,横截条件为（自由端点情况）,22,例5-1,取极值的轨迹。,求通过点（0，0）及（1，1）且使,23,解,即,它的通解形式为,式中：,这是固定端点问题，相应的欧拉拉格朗日方程为,Sht双曲正弦函数,Cht双曲余弦函数,24,由初始条件，可得A=0。,再由终端条件，可得，,因而极值轨迹为,25,例5-2求使指标,取极值的轨迹，并要求，但对没有限制。,26,解,即常数,这是终端自由的情况。欧拉拉格朗日方程为,27,容易验证时，对应局部极小；时，对应局部极大。,由上式解得或。时的极值轨迹为；时的极值轨迹为。,即,28,5.3有约束条件的泛函极值动态系统的最优控制问题,前面讨论泛函极值问题时，对极值轨迹没有附加任何约束条件。但在动态系统最优控制问题中，极值轨迹必须满足系统的状态方程，也就是要受到状态方程的约束。考虑下列系统,（5-13）,29,这是综合指标。我们要求出最优控制和满足状态方程的极值轨迹，使性能指标取极值。,式中，为维状态向量，为维控制向量（这里假定不受限制.,否则不能用变分法求解，而要用极小值原理或动态规划法求解）是n维连续可微的向量函数。性能指标如下：,30,在下面的讨论中，假定初始时刻和初始状态是给定的，终端则可能有几种情况。我们将就几种常见的情况来讨论，即给定，自由和自由,属于一个约束集。,31,5.3.1终端时刻给定，终端状态自由,（5-16）,（5-15）,与有约束条件的函数极值情况类似，引入待定的n维拉格朗日乘子向量函数,将状态方程（5-13）写成等式约束方程的形式,32,与以前不同的是，在动态问题中拉格朗日乘子向量是时间函数。,在最优控制中经常将称为伴随变量，协态（协状态向量）或共轭状态。引入后可作出下面的增广泛函,（5-17）,33,于是有约束条件的泛函的极值问题化为无约束条件的增广泛函的极值问题。,再引入一个标量函数,它称为哈密顿（Hamilton）函数，在最优控制中起着重要的作用,34,于是可写成,（5-19）,对上式积分号内第二项作分部积分后可得,35,设、相对于最优值、的变分分别为和,因为自由，故还要考虑变分。,36,为极小的必要条件是：对任意的、，变分等于零。由（5-18）及（5-20）可得下面的一组关系式,计算增量，然后用泰勒级数展开到一阶项即可得到,37,（协态方程）（5-21）,（状态方程）（5-22）,（控制方程）（5-23）,（横截条件）（5-24）,38,（5-21）与（5-22）一起称为哈密顿正则程。,39,（5-23）是控制方程，它表示在最优控制处取极值。,注意，这是在为任意时得出的方程，当有界且在边界上取得最优值时，就不能用这方程，这时要用极小值原理求解。,（5-24）是在固定、自由时得出的横截条件。当固定时，就不需要这个横截条件了。横截条件表示协态终端所满足的条件。,40,在求解（5-21）（5-24）时，我们只知道初值和由横截条件（5-24）求得的协态终端值，这种问题称为两点边值问题，一般情况下它们是很难求解的。,因为不知道，如果假定一个，然后正向积分（5-21）（5-24），则在时的值一般与给定的不同，于是要反复修正的值，直至与给定值的差可忽略不计为止。,41,非线性系统最优控制两点边值问题的数值求解是一个重要的研究领域。对于线性系统两点边值问题的求解，则可寻找缺少的边界条件并只要进行一次积分，下面的例5-4给出了求解过程。,42,例5-3,设系统状态方程为的边界条件为。求最优控制，使下列性能指标为最小。,43,解,这里、均给定，故不需要横截条件（5-24）式。作哈密顿函数,则协态方程和控制方程为,即,44,故可得正则方程,对正则方程进行拉氏变换，可得,（5-25）,（5-26）,（5-27）,由（5-25）式可求得,45,于是，解出为,（5-28）,代入（5-26），即得,46,（5-29）,反变换可求得,47,将（5-28）代入（5-26）可得,故,48,由，从上式可得,把代入（5-29），可得，而最优控制为,49,设系统的状态方程为,要求确定最优控制，使指标泛函,例5-4,初始条件为,取极小值,50,这里是自由的，所以要用到横截条件（5-24）式，因终端指标,解:,作哈密顿函数,由（5-21）（5-25）可求得,（5-31）,51,将代入状态方程，可得,即,52,边界条件为,（5-37）,（5-36）,（5-35）,（5-34）,（5-33）,53,（5-39）,（5-38）,（5-40）,（5-41）,可见这是两点边值问题，对正则方程（5-33）（5-36）进行拉氏变换，可得,54,代入初始条件，可得,故,由（5-38）（5-41）可解出,55,同样可解得,利用终端条件，由（5-42）、（5-43）可得,（5-43）,（5-42）,56,由上二式可解出,由（5-42）式可得最优状态轨迹,57,由（5-43）式可得最优协态,由（5-32）式可得最优控制,同理还可求出,58,图5-2最优控制和最优状态轨迹解,59,注意，这个系统是线性定常系统，这种线性两点边值问题的解可以通过寻找缺少的边界条件，并且进行一次积分而求得其解。,对非线性两点边值问题，则要借助于迭代方法产生一个序列，来多次修正缺少的初始条件的试探值，直到满足两点边值的条件。,图5-2是最优解的轨迹曲线。,60,5.3.2终端时刻自由，终端状态受约束（拦截问题）,设终端状态满足下面约束方程,（5-46）,（5-45）,（5-44）,性能指标为,其中,61,引入n维拉格朗日乘子向量函数和维拉格朗日乘子向量，作出增广性能泛函,将代入（5-47），可得,（5-49）,（5-48）,（5-47）,引入哈密顿函数,62,与固定时的情况不同，现在由、和所引起。这里不再为零.,63,系统性能指标泛函的一次变分为：,计算增量，然后用泰勒级数展开到一阶即可得到,64,取极值的必要条件为因、为任意，故得（省去*号）,（协态方程）（5-53）,（状态方程）（5-54）,（控制方程）（5-55）,（横截方程）（5-56）,65,与固定情况相比，这里多了一个方程，用它可求出最优终端时间。,（5-57）,66,要求确定最优控制，使最小。,例5-5,设系统状态方程为,边界条件为,自由,性能指标为,67,解,这是自由问题。终端状态固定，是满足约束集的特殊情况，即,作哈密顿函数,68,正则方程是,控制方程是,69,将代入，可得,因边界条件全部给定，故不用横截条件。,确定最优终端时刻的条件（5-57）式为,70,因为由正则方程，所以，于是最优控制,再由正则方程，可得,由上式求得,71,由初始条件，求得，故最优轨迹为,以终端条件,代入上式，即求得最优终端时刻,72,火箭发射最优程序问题。设火箭在垂直平面内运动，加速度与水平面夹角为，是控制作用，见图5-4。令,例5-6,（水平速度）,（垂直速度）,（水平距离）,（垂直高度）,73,图5-4火箭发射示意图,74,忽略重力和空气阻力时，系统的状态方程和初始条件为,(5-58),75,要求选择最优控制程序，使性能指标,自由,终端状态为,为最小。,76,因为要求最小，故是自由问题。由给定的终端状态可得三个约束方程为,解,(5-59),77,作哈密顿函数,协态方程为,（5-60）,78,横截条件为,即,79,上式右端矩阵中的自变量已省略。由（5-59）式求出上式中的偏导数，可得协态的终值为,（5-61）,80,常数,积分协态方程可得,常数,81,代入协态终值条件后，得,82,由控制方程，得,（5-63）,即,83,下面来积分状态方程（5-58），为此将自变量变成。由（5-63）式得,为了确定最优程序，还需确定拉格朗日未定常数、。,84,将上面关系代入状态方程，即得,积分上面两式得,85,由初始条件,可求得,(5-64),（5-65）,86,将上面的和代入状态方程（5-58）的后两式，积分并经较复杂运算得,（5-66）,（5-67）,87,（注：另一解为，但这时由（5-67）式可得出与给定终端条件不符，故略去的解）,由终端条件和（5-65）式得,故,（5-68）,88,由（5-63）式得,89,将终端条件和（5-69）式代入（5-64）式，可得,（5-71）,90,将终端条件，（5-69）式和（5-71）式代入（5-67）式可得,（5-72）,91,现在归纳一下所得的结果：由（5-72）式可确定，由（5-71）式确定最短时间，由（5-70）式即可求得最优推力方向角。,由上面的计算可知，对于这样一个比较简单的例子求出解析解也是比较困难的。一般情况下可用数值积分法求解。,92,5.4小结,1、,函数的函数叫做泛函。性能指标是控制作用的函数，故称为性能泛函。和微分类似可引入泛函的变分。取极值的必要条件为。,93,2、,（欧拉拉格朗日方程）,当、自由时，还有横截条件,94,3、,求解动态系统的最优控制是一个求取有约束条件的泛函极值问题。系统的状态方程就是状态变量要满足的一个约束方程，即,95,4、,则由变分法可得下面的结果：,96,其中，称为哈密顿函数。,（1）终端时刻给定时，取极值的必要条件为,（横截条件）,（控制方程）,97,正则方程有个变量，积分时要个边界条件，初始条件给定时提供了