最优控制汉密尔顿函数

最优控制汉密尔顿函数第1页，共57页，2023年，2月20日，星期五

上节讨论没有约束条件的泛函极值问题。但在最优控制问题中，泛函J所依赖的函数总要受到受控系统状态方程的约束。解决这类问题的思路是应用拉格朗日乘子法，将这种有约束条件的泛函极值问题转化为无约束条件的泛函极值问题。第2页，共57页，2023年，2月20日，星期五一、拉格朗日问题考虑系统——n维连续可微的矢量函数。(5-1)式中；；第3页，共57页，2023年，2月20日，星期五设给定，初始状态为x(t0)=x0，终端状态x(tf)自由。性能泛函为

寻求最优控制u(t)，将系统从初始状态x(t0)=x0转移到终端状态x(tf)，并使性能泛函J取极值。(5-2)第4页，共57页，2023年，2月20日，星期五

将状态方程式(5-1)写成约束方程形式应用拉格朗日乘子法，构造增广泛函式中λ(t)——待定的n维拉格朗日乘子矢量。(5-3)第5页，共57页，2023年，2月20日，星期五

定义纯量函数称H[x,u,λ,t]为哈密尔顿函数。则或(5-4)(5-5)(5-6)式中(5-7)第6页，共57页，2023年，2月20日，星期五对式(5-5)右边第二项作分部积分，得将上式代入式(5-5)，得(5-8)第7页，共57页，2023年，2月20日，星期五

使J´取极小的必要条件是，对任意的δu和δx，都有δJ´=0成立。

设u(t)和x(t)相对于最优控制u*(t)及最优轨线u*(t)的变分为δu和δx，计算由δu和δx引起的J´的变分为：第8页，共57页，2023年，2月20日，星期五因此得(5-9)(5-10)(5-11)(5-12)第9页，共57页，2023年，2月20日，星期五式(5-9)称为动态系统的伴随方程或协态方程，λ又称为伴随矢量或协态矢量。式(5-10)即系统的状态方程。式(5-9)与式(5-10)联立称为哈密尔顿正则方程。式(5-11)称为控制方程，第10页，共57页，2023年，2月20日，星期五

这个方程是在假设δu为任意，控制u(t)取值不受约束条件下得到的。如果u(t)为容许控制，受到的约束，δu变分不能任意取值，那么，关系式不成立，这种情况留待极小值原理中讨论。

第11页，共57页，2023年，2月20日，星期五(5-13)(5-14)

式(5-12)称为横截条件。常用于补充边界条件。例如，若始端固定，终态自由时，由于δx(t0)=0，δx(tf)任意，则有第12页，共57页，2023年，2月20日，星期五若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以作为两个边界条件。(5-16)(5-15)第13页，共57页，2023年，2月20日，星期五

实际上，上述泛函极值的必要条件，亦可由式(5-6)写出欧拉方程直接导出。即(5-17)第14页，共57页，2023年，2月20日，星期五

应用上述条件求解最优控制的步骤如下：1)由控制方程解出2)将u*代入正则方程解两边边值问题，求x*、λ*。3)再将x*、λ*代入得为所求。第15页，共57页，2023年，2月20日，星期五例1：有系统如图1所示。欲使系统在2s内从状态转移到，使性能泛函，试求u(t)。第16页，共57页，2023年，2月20日，星期五解：系统状态方程及边界条件为第17页，共57页，2023年，2月20日，星期五由式(5-7)，得第18页，共57页，2023年，2月20日，星期五由欧拉方程，得第19页，共57页，2023年，2月20日，星期五第20页，共57页，2023年，2月20日，星期五5个未知数x1,x2,λ1,λ2,u，由5个方程联立求得通解第21页，共57页，2023年，2月20日，星期五4个积分常数C1,C2,C3,C4由4个边界条件解得第22页，共57页，2023年，2月20日，星期五因此，最优解为第23页，共57页，2023年，2月20日，星期五最优控制u*(t)及最优轨线x*(t)如图2所示。第24页，共57页，2023年，2月20日，星期五例2：设问题同例1。但将终端状态改为θ(2)=0，ω(2)自由，即终端条件改成部分约束、部分自由。重求u*(t)、x*(t)。第25页，共57页，2023年，2月20日，星期五解正则方程及控制方程与例1完全相同，只是边界条件改成时，时，代入例1的通解中可确定积分常数：第26页，共57页，2023年，2月20日，星期五于是得第27页，共57页，2023年，2月20日，星期五u*(t)和x*(t)的图像见图3。第28页，共57页，2023年，2月20日，星期五

比较上述结果可见，即使是同一个问题，如果终端条件不同，其最优解也不同。第29页，共57页，2023年，2月20日，星期五二、波尔札问题设系统状态方程初始状态x(t0)=x0，终始状态x(tf)满足式中N——q维向量函数，n≥q。(5-18)(5-19)第30页，共57页，2023年，2月20日，星期五性能泛函

其中Φ、L都是连续可微的数量函数，tf是待求的终端时间。最优控制问题是寻求控制矢量u*(t)，将系统从初态x(t0)转移到目标集N[x(tf),tf]=0上，并使J取极小。(5-20)第31页，共57页，2023年，2月20日，星期五

在这类极值问题中，要处理两种类型的等式约束。一是微分方程约束，一是终端边界约束。根据拉格朗日乘子法，要引入两面两个乘子矢量，一个是n维λ(t)，另一个是q维μ，将等式约束条件泛函极值化成无约束条件泛函极值问题来求解。第32页，共57页，2023年，2月20日，星期五为此，构造增广泛函写出哈密顿函数(5-22)(5-21)第33页，共57页，2023年，2月20日，星期五于是(5-23)第34页，共57页，2023年，2月20日，星期五对上式中最后一次作分部积分，得(5-24)第35页，共57页，2023年，2月20日，星期五(5-25)(5-26)(5-27)

这是一个可变端点变分问题。考虑x(t)，u(t)，tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计算由此引起J´的一次变分δJ´。设第36页，共57页，2023年，2月20日，星期五图4可变终端各变分间的关系第37页，共57页，2023年，2月20日，星期五

从图4可知在端点处变分之间存在下列近似关系式中δx(t*f)——x在t*f时的一次变分；

δx(t*f+δtf)——x在tf=t*f+δtf时的一次变分。式(5-28)描述了在可变终端情况下，x在这两个时刻上变分的近似关系，近似式中忽略了高阶无穷小量。(5-28)第38页，共57页，2023年，2月20日，星期五

考虑到式(5-24)右边第一项和第二项的一次变分各有两项：第39页，共57页，2023年，2月20日，星期五因此，有(5-29)第40页，共57页，2023年，2月20日，星期五

注意到δtf、δx、δu任意性，及泛函极值存在的必要条件δJ´=0式(5-29)可得极值必要条件如下：(5-30)第41页，共57页，2023年，2月20日，星期五式中H[x(tf),u(tf),λ(tf),tf]函数H最优轨线终端处的值。边界条件x(t0)=x0(5-32)终端时刻由下式计算(5-31)第42页，共57页，2023年，2月20日，星期五终端时刻由下式计算式中H[x(tf),u(tf),λ(tf),tf]函数H最优轨线终端处的值。上述总共个2n+r+q+1方程，可联解出2n+r+q+1个变量。(5-32)第43页，共57页，2023年，2月20日，星期五

最后，分析哈密尔顿函数沿最优轨线随时间的变化规律。哈密顿函数H对时间的全导数为(5-33)第44页，共57页，2023年，2月20日，星期五如果u为最优控制，必满足及(5-34)因此，有上式表明，哈密顿函数H沿最优轨线对时间的全导数等于它对时间的偏导数。第45页，共57页，2023年，2月20日，星期五当H不显含t时，恒有即常数(5-35)这就是说，对定常系统，沿最优轨线H恒为常值。第46页，共57页，2023年，2月20日，星期五例4：给定系统状态方程为设初始状态x(0)=

0，终端状态约束曲线x1(1)+x2(1)-1=0求使性能泛函取极小时的最优控制u*(t)及最优轨线x*(t)。第47页，共57页，2023年，2月20日，星期五解这是个终端时间tf给定，但终端状态受约束的拉格朗日问题。哈密顿函数

第48页，共57页，2023年，2月20日，星期五由性能泛函取极值的必要条件，得第49页，共57页，2023年，2月20日，星期五它们的通解为第50页，共57页，2023年，2月20日，星期五由边界条件确定积分常数第51页，共57页，2023年，2月20日，星期五代入解得由终端约束方程x1(1)+x2(1)=1可解出μ=-3/7。第52页，共57页，2023年，2月20日，星期五最优解第53页，共57页，2023年，2月20日，星期五结果如图5所示第54页，共57页，2023年，2