最优控制---汉密尔顿函数

1、第五章第五章 用变分法求解连续用变分法求解连续最优控制问题最优控制问题有约束条件的泛函极值有约束条件的泛函极值 上节讨论没有约束条件的泛函极值问题。但在上节讨论没有约束条件的泛函极值问题。但在最优控制问题中，泛函最优控制问题中，泛函J所依赖的函数总要受到受控所依赖的函数总要受到受控系统状态方程的约束。解决这类问题的思路是应用系统状态方程的约束。解决这类问题的思路是应用拉格朗日乘子法，将这种有约束条件的泛函极值问拉格朗日乘子法，将这种有约束条件的泛函极值问题转化为无约束条件的泛函极值问题。题转化为无约束条件的泛函极值问题。 ttutxftx, nRtx rRtu ttutxf,一、拉格朗日问题一

2、、拉格朗日问题 考虑系统考虑系统 n维连续可微的矢量函数。维连续可微的矢量函数。 (5-1)式中式中；fttt,0 ftttttutxLJ0d,设给定设给定 ，初始状态为，初始状态为x(t0)=x0，终端状态终端状态x(tf)自由。性能泛函为自由。性能泛函为 寻求最优控制寻求最优控制u(t)，将系统从初始状态，将系统从初始状态x(t0)=x0转移到终端状态转移到终端状态x(tf)，并使性能泛函，并使性能泛函J取极值。取极值。 (5-2) 0,txttutxf fttTttxttutxftttutxLJ0d, 将状态方程式将状态方程式(5-1)写成约束方程形式写成约束方程形式应用拉格朗日乘子法，

3、构造增广泛函应用拉格朗日乘子法，构造增广泛函式中式中(t)待定的待定的n维拉格朗日乘子矢量。维拉格朗日乘子矢量。 (5-3)tuxftuxLtuxHT,fttTtxtuxHJ0d,fttttuxxHJ0d, txttutxftttutxLtuxxHT, 定义纯量函数定义纯量函数称称Hx,u,t为哈密尔顿函数。则为哈密尔顿函数。则或或(5-4)(5-5)(5-6)式中式中(5-7)fffttTttTttTxtxtx000ddffttTttTxtxtuxHJ00d,对式对式(5-5)右边第二项作分部积分，得右边第二项作分部积分，得将上式代入式将上式代入式(5-5)，得，得(5-8) ffttTtt

4、TTxtuHuxHxJ00d 使使J 取极小的必要条件是，对任意的取极小的必要条件是，对任意的u和和x，都有都有J =0成立。成立。 设设u(t)和和x(t)相对于最优控制相对于最优控制u*(t)及最优轨线及最优轨线u*(t)的变分为的变分为u和和x，计算由，计算由u和和x引起的引起的J 的变分为：的变分为：0 xHxH0uH00ftt因此得因此得 (5-9)(5-10)(5-11)(5-12)式式(5-9)称为动态系统的伴随方程或协态方程，称为动态系统的伴随方程或协态方程，又称为伴随矢量或协态矢量。又称为伴随矢量或协态矢量。式式(5-10)即系统的状态方程。即系统的状态方程。式式(5-9)与

5、式与式(5-10)联立称为哈密尔顿正则方程。联立称为哈密尔顿正则方程。式式(5-11)称为控制方程，称为控制方程， Utu0uH 这个方程是在假设这个方程是在假设u为任意，控制为任意，控制u(t)取值取值不受约束条件下得到的。如果不受约束条件下得到的。如果u(t)为容许控制，为容许控制，受到受到 的约束，的约束，u变分不能任意取值，变分不能任意取值，那么，关系式那么，关系式 不成立，这种情况留待极不成立，这种情况留待极小值原理中讨论。小值原理中讨论。 00 xtx 0ft(5-13)(5-14) 式式(5-12)称为横截条件。常用于补充边界条件。称为横截条件。常用于补充边界条件。例如，若始端固

6、定，终态自由时，由于例如，若始端固定，终态自由时，由于x(t0)=0，x(tf)任意，则有任意，则有 00 xtx ffxtx若始端和终端都固定时，若始端和终端都固定时，x(t0)=0，x(tf)=0则以则以作为两个边界条件。作为两个边界条件。 (5-16)(5-15) 实际上，上述泛函极值的必要条件，亦可实际上，上述泛函极值的必要条件，亦可由式由式(5-6)写出欧拉方程直接导出。写出欧拉方程直接导出。即即 00000dd0dd0dd00ffttttuHxHxHxHuHtuHHtHxHtxH(5-17)0uH,*xuu *,xuu 应用上述条件求解最优控制的步骤如下：应用上述条件求解最优控制的

7、步骤如下：1) 由控制方程由控制方程解出解出2) 将将u*代入正则方程解两边边值问题，求代入正则方程解两边边值问题，求x*、*。3) 再将再将x*、*代入得代入得为所求。为所求。 1100 0022 mind21202ttuJ例例1：有系统如图：有系统如图1所示。欲使系统在所示。欲使系统在2s内从状态内从状态转移到转移到，使性能泛函，使性能泛函，试求，试求u(t)。uxx100010 002,110 xx解：系统状态方程及边界条件为解：系统状态方程及边界条件为由式由式(5-7)，得，得xuxuxfLHTT10001021200100dd2121 xHtxH1210由欧拉方程，得由欧拉方程，得0

8、10dd21uuHtuH2 u0100010ddxuxHtHuxxx2215个未知数个未知数x1, x2, 1, 2, u，由，由5个方程联立求得通解个方程联立求得通解3221243223112121211212161CtCtCxCtCtCtCxCtCuCtCC 02, 02, 10, 102121xxxx1, 1,27, 34321CCCC4个积分常数个积分常数C1, C2, C3, C4由由4个边界条件个边界条件解得解得因此，最优解为因此，最优解为 12723147212732*223*1*tttxttttxttu最优控制最优控制u*(t)及最优轨线及最优轨线x*(t)如图如图2所示。所示

9、。例例2：设问题同例：设问题同例1。但将终端状态改为。但将终端状态改为(2)=0，(2)自由，即终端条件改成部分约束、部分自自由，即终端条件改成部分约束、部分自由。重求由。重求u*(t)、x*(t)。 0t 10, 1021xx2t 02, 0221x1, 1,818,894321CCCC解解 正则方程及控制方程与例正则方程及控制方程与例1完全相同，只是完全相同，只是边界条件改成边界条件改成 时时 ， 时时 ，代入例，代入例1的通解中可确定积分的通解中可确定积分常数：常数：于是得于是得 1491691891631262*223*1*tttxttttxttuu*(t)和和x*(t)的图像见图的图

10、像见图3。 比较上述结果可见，即使是同一个问题，比较上述结果可见，即使是同一个问题，如果终端条件不同，其最优解也不同。如果终端条件不同，其最优解也不同。 ttutxftx, 0,ffttxN二、波尔札问题二、波尔札问题 设系统状态方程设系统状态方程初始状态初始状态x(t0)= x0，终始状态，终始状态x(tf)满足满足式中式中Nq维向量函数，维向量函数，nq。 (5-18)(5-19)性能泛函性能泛函 fttfftttutxLttxJ0d, 其中其中、L都是连续可微的数量函数，都是连续可微的数量函数，tf是待求是待求的终端时间。的终端时间。 最优控制问题是寻求控制矢量最优控制问题是寻求控制矢量

11、u*(t)，将系统从，将系统从初态初态x(t0)转移到目标集转移到目标集Nx(tf), tf=0上，并使上，并使J取极小。取极小。 (5-20) 在这类极值问题中，要处理两种类型的等式约在这类极值问题中，要处理两种类型的等式约束。一是微分方程约束，一是终端边界约束。根据束。一是微分方程约束，一是终端边界约束。根据拉格朗日乘子法，要引入两面两个乘子矢量，一个拉格朗日乘子法，要引入两面两个乘子矢量，一个是是n维维(t)，另一个是，另一个是q维维，将等式约束条件泛函，将等式约束条件泛函极值化成无约束条件泛函极值问题来求解。极值化成无约束条件泛函极值问题来求解。 ffTffttxNttxJ, fttT

12、ttxttutxftttutxL0d, ttutxftttutxLtttutxHT,为此，构造增广泛函为此，构造增广泛函写出哈密顿函数写出哈密顿函数(5-22)(5-21) ffTffttxNttxJ, fttTttxttttutxH0d,于是于是(5-23) fttTffTfftxtttxNttxJ0, fttTttxttttutxH0d,对上式中最后一次作分部积分，得对上式中最后一次作分部积分，得(5-24) txtxtx* tututu*fffttt*(5-25)(5-26)(5-27) 这是一个可变端点变分问题。考虑这是一个可变端点变分问题。考虑x(t)，u(t)，tf相对于它们最优值

13、相对于它们最优值x*(t)，u*(t)，t*f的变分，并计的变分，并计算由此引起算由此引起J 的一次变分的一次变分J 。设。设图图4 可变终端各变分间的关系可变终端各变分间的关系 从图从图4可知在端点处变分之间存在下列近似关系可知在端点处变分之间存在下列近似关系 *ffffttxtxtx式中式中x(t*f)x在在t*f时的一次变分；时的一次变分； x(t*f+ tf)x在在tf =t*f+ tf时的一次变分。时的一次变分。式式(5-28)描述了在可变终端情况下，描述了在可变终端情况下，x在这两个时刻在这两个时刻上变分的近似关系，近似式中忽略了高阶无穷小量。上变分的近似关系，近似式中忽略了高阶无

14、穷小量。(5-28) ffffffffTttttxtxttxtx, ffffTfffTfTttttxNtxttxNtx, 考虑到式考虑到式(5-24)右边第一项和第二项的一次右边第一项和第二项的一次变分各有两项：变分各有两项： *,fffTfffffffftttxNtttxtttutxHtJ *,ffffTfffTfttxttxNtxttxtx*0dfttTTtuHuxHx因此，有因此，有 (5-29) 注意到注意到tf、x、u任意性，及泛函极值存在任意性，及泛函极值存在的必要条件的必要条件J =0式式(5-29)可得极值必要条件如下：可得极值必要条件如下：0uHxHxH(5-30) fffT

15、fffftxttxNtxttxt, 0,fffTffffffftttxNtttxtttutxH式中式中Hx(tf), u(tf), (tf), tf函数函数H最优轨线终端处的值。最优轨线终端处的值。 边界条件边界条件x(t0)= x0(5-32)终端时刻由下式计算终端时刻由下式计算(5-31)终端时刻由下式计算终端时刻由下式计算 0,fffTffffffftttxNtttxtttutxH式中式中Hx(tf), u(tf), (tf), tf函数函数H最优轨线终端处最优轨线终端处的值。上述总共个的值。上述总共个2n+r+q+1方程，可联解出方程，可联解出2n+r+q+1个变量。个变量。 (5-3

16、2) 最后，分析哈密尔顿函数沿最优轨线随时间最后，分析哈密尔顿函数沿最优轨线随时间的变化规律。哈密顿函数的变化规律。哈密顿函数H对时间的全导数为对时间的全导数为fxHuuHtHtHTTdd(5-33) 0uH0 xHtHtHdd如果如果u为最优控制，必满足为最优控制，必满足及及(5-34)因此，有因此，有上式表明，哈密顿函数上式表明，哈密顿函数H沿最优轨线对时间的沿最优轨线对时间的全导数等于它对时间的偏导数。全导数等于它对时间的偏导数。0ddtH tHfttt,0当当H不显含不显含t时，恒有时，恒有即即常数常数 (5-35)这就是说，对定常系统，沿最优轨线这就是说，对定常系统，沿最优轨线H恒为

17、常值。恒为常值。 uxx100010 102d21ttuJ例例4：给定系统状态方程为：给定系统状态方程为设初始状态设初始状态x(0)= 0，终端状态约束曲线，终端状态约束曲线x1(1)+x2(1)-1=0求使性能泛函求使性能泛函 取极小时的最优控制取极小时的最优控制u*(t)及最优轨线及最优轨线x*(t)。 uxufLHT221221解解 这是个终端时间这是个终端时间tf给定，但终端状态受约束给定，但终端状态受约束的拉格朗日问题。的拉格朗日问题。 哈密顿函数哈密顿函数 由性能泛函取极值的必要条件，得由性能泛函取极值的必要条件，得uxHxxHxHxHuuH2221121211200它们的通解为它

18、们的通解为32212432231121212212161CtCtCxCtCtCtCxCtCCu由边界条件确定积分常数由边界条件确定积分常数 2211211100, 00 xNxNxx代入解得代入解得0, 0,2,4321CCCC由终端约束方程由终端约束方程 x1(1)+x2(1)=1可解出可解出=-3/7。 最优解最优解 tttxtttxttu761437314176732*223*1*结果如图结果如图5所示所示ux ftfttutJ02d21例例5：设一阶系统状态方程为：设一阶系统状态方程为边界条件边界条件x(0)=1和和x(tf)=0。终端时刻。终端时刻tf待定，待定，试确定最优控制试确定最优控制u*，使下列性能泛函，使下列性能泛函 为极小。为极小。 0212fftxNtuLuufLH221uuuH, 0uxuxHxH,0, 022解解 这里这里哈密顿函数为哈密顿函数为 控制