变分法在最优控制中应用

1、关于变分法在最优控制中的应用第一张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (1/10)3.1 具有等式约束条件下的变分问题 具有等式约束条件下,多个宗量函数的泛函极值问题可表示如下。等式约束变分问题 寻找一条连续可微的极值曲线,使性能泛函达到极值, 极值曲线 x(t) 满足微分方程形式的等式约束 式中, 为m维 (mn) 关于t, x 和的非线性向量函数。 第二张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (2/10)这里,极值曲线x(t)除满足边界条件和古典变分学中规定的连续可微条件外, 还须满足该等式约束条件。由于动态系统的状态方程可

2、归为等式约束, 因此该等式约束变分问题是研究最优控制的基础。下面就给出并证明处理等式约束变分问题的等式约束变分定理。第三张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (3/10)定理 4定理 4(等式约束变分定理) 如果n维向量函数x(t)能使等式约束变分问题取极值,那么,必存在待定的m维拉格朗日乘子向量函数 (t), 使泛函达到无条件极值,即极值曲线x(t)是上述泛函所满足的欧拉方程和等式约束条件 (47) 的解, 其中第四张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (4/10)引进拉格朗日乘子可以将泛函的条件极值问题化为一个无条件的极值

3、问题。引入该定理的作用,仅仅是表明泛函J在等式约束条件下的极值曲线x(t),同时使得泛函J和J1达到无条件极值。在后面还要详细讲解具有约束条件下求解极值问题的泛函变分问题。第五张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (5/10)例 7上述欧拉方程和约束条件共有n+m个方程,恰好可以解出n+m个未知函数 x(t) 和 (t)。通过边界条件确定 x(t) 和 (t) 中的积分常数。随着终端条件的不同, 边界条件也不同。在 2.4节和 2.5节所讨论横截条件就能解决这个问题。例 6 火箭在自由空间里的运动作用可用下列微分方程描述式中, u(t)为推力;(t)为角位移。

4、第六张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (6/10)令x1(t)=(t), x2(t)=(t),可建立状态方程如下试求控制函数 u(t),使系统从初始状态经过 t = 2s 转移到状态空间原点, 即且使如下性能指标取极小。第七张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (7/10)解 该问题属于终端固定的极值问题。选择向量拉格朗日乘子函数(t)=1(t), 2(t),由定理4,利用拉格朗日乘子法可得如下辅助泛函指标式中，式中状态变量x(t)、控制函数u(t)和向量拉格朗日乘子函数(t)都为该泛函的宗量。在一般形式中没有宗量u(t)

5、, 实际上,我们可以把u(t)和x(t)一样来处理,比如,在本例中可以定义u(t)=x3(t)。第八张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (8/10)那么,这些泛函的宗量必须满足如下欧拉方程第九张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (9/10)联立求解上述欧拉方程,可得第十张，PPT共四十七页，创作于2022年6月具有等式约束条件下的变分问题 (10/10)利用边界条件可解得因此, 最优控制函数和状态的最优轨线第十一张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(1/12)3.2 末态时刻固定

6、、末态无约束的最优控制问题这一节着重讨论末态不受约束的最优控制问题。所谓末态不受约束, 是指末态x(tf)可在Rn空间中取任何值,即目标集为整个状态空间。因此,该问题可描述如下。末态无约束最优控制问题 求一容许控制u(t)U,tt0,tf,在末态时刻tf固定,状态x(tf)无约束,初始状态x(t0)=x0以及被控系统等约束条件下,使如下复合型性能泛函指标达到最小值。第十二张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(2/12)对该最优控制问题,若将动态系统的状态方程改写成等式约束条件则可根据等式约束变分定理(定理4)求解该泛函极值问题，两问题只是边界条件不同

7、而已。引入拉格朗日乘子向量函数(t),将等式约束条件和原有的性能指标泛函结合成一个新的泛函泛函J1的极值问题与原泛函J的极值问题等价。 第十三张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(3/12)为方便起见,定义一标量函数如下 该标量函数H称为哈密顿(Hamilton)函数。因此,泛函J1可记为。第十四张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(4/12)求泛函J1的极值问题, 可以直接用欧拉方程(49)来求得极值条件, 并且通过边界条件确定由极值条件得到方程解的积分常数, 如例 6中, 边界条件为系统起点和终点状态。

8、后面将会给出不同情况下的边界条件。当然在确定泛函J1的极值条件时, 不是一定要利用欧拉方程 (49) 来求解, 可以根据实际情况进行必要的简化。 就泛函J1而言, 其宗量有 以及u(t)和(t) ； 前面已经指出, 不必对宗量(t)变分, 因为对(t)的变分结果就是约束条件(系统状态方程)。第十五张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(5/12)考虑到初始状态 (t0, x(t0), 末态时刻tf固定以及x(tf)自由,泛函J1对其所有的可变宗量的一阶变分为当选择(t)满足时，可惟一确定拉格朗日乘子函数(t)。于是, 泛函J1的一阶变分可变为第十六张，

9、PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(6/12)根据泛函极值的必要条件 J1=0, 考虑到变分u(t)的任意性, 由变分学的基本预备定理可得联立上述方程以及动态系统的状态方程和初始状态条件x(t0)=x0,可解得最优控制函数u*(t)、最优状态轨线x*(t)和适当的拉格朗日乘子函数(t)。上述结果可归纳成如下定理。第十七张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(7/12)定理 5定理 5(末态无约束最优控制定理) 末态无约束最优控制问题的最优控制函数u*(t), 最优状态轨线x*(t)和适当选择的拉格朗日乘子函数(

10、t)须满足如下条件:1) 规范方程2) 边界条件3) 极值条件第十八张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(8/12)在末态无约束最优控制定理的结论中,由上述微分方程以及边界条件可惟一确定出最优状态轨线x*(t)和适当选择的拉格朗日乘子函数(t)。上述关于x(t)和(t)的微分方程通常被称为规范方程,其中(t)的微分方程又称为协态方程(或共轭方程,伴随方程),相应地,拉格朗日乘子函数(t)又称为协态变量或共轭变量。极值条件H/u=0是一代数方程, 由它联立规范方程的解可求得具体的最优控制函数u*(t)和最优状态轨线x*(t)。第十九张，PPT共四十七页

11、，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(9/12)下面讨论哈密顿函数的一个重要性质。哈密顿函数对时间t的全导数为 考虑到规范方程,则有再考虑到极值条件H/u=0,于是哈密顿函数对时间t的全导数可表示为第二十张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(10/12)例 7上式表明,沿最优轨线哈密顿函数H对时间的全导数等于对时间的偏导数。因此,当哈密顿函数H不显含时间变量t时,则有H(t)=常数 tt0,tf例 7 已知被控系统为求最优控制u*(t)使如下性能指标泛函取极小。 第二十一张，PPT共四十七页，创作于2022年6月末态时刻固定、

12、末态无约束的最优控制问题(11/12)解 这是一个具有tf 固定, x(tf)自由的终端约束的极值问题。构造哈密顿函数如下,由极值条件H/u=0可解得u=-。将其代入规范方程,可得并满足如下边界条件x(t0)=x0 (tf)=Cx(tf)从而解得第二十二张，PPT共四十七页，创作于2022年6月末态时刻固定、末态无约束的最优控制问题(12/12)式中，tf为某一确定的常数。将u*(t)代入哈密顿函数H得其中(t)为常数。第二十三张，PPT共四十七页，创作于2022年6月末态时刻和末态固定的问题 (1/5)3.3 末态时刻和末态固定的问题 对末态的要求不同将导致最优控制问题的结论不同。上面讨论了

13、无末态约束的问题, 这一小节将研究末态时刻tf和末态x(tf)固定的最优控制问题。由于末态时刻tf和末态x(tf)已固定,即x(tf)=xf,因此,性能指标泛函中的末值项S(x(tf),tf)就没有存在的必要。在这种情况下,最优控制问题的性能指标泛函为如下积分型泛函第二十四张，PPT共四十七页，创作于2022年6月末态时刻和末态固定的问题 (2/5)因此,该最优控制问题描述如下。末态固定最优控制问题对于被控系统(51),始端状态(t0,x(t0)和末态(tf, x(tf)固定时的性能指标泛函(68)极小的最优控制问题。与前面的推导过程类似,考虑到末值项S(x(tf),tf)=0,辅助泛函J1可

14、定义为就泛函J1而言,其宗量有 以及u(t)和(t) 。前面已经指出,不必对宗量(t)变分,因为对(t)的变分结果就是系统状态方程。第二十五张，PPT共四十七页，创作于2022年6月末态时刻和末态固定的问题 (3/5)因此,考虑到始端和末端固定,即x(tf)=x(t0)=0,泛函J1对其所有宗量的一阶变分为根据泛函极值的必要条件J1=0, 同样可以导出第二十六张，PPT共四十七页，创作于2022年6月末态时刻和末态固定的问题 (4/5)当x(tf)固定,即x(tf)=0时, 虽然变分u(t)不再是任意的。但x(tf)固定是相对的,其值的确定具有任意性,因此,末态x(tf)固定时的最优控制问题的

15、极值条件仍然为同上一节末态时刻tf固定,末态x(tf)无约束的变分问题相比,边界条件在这里被取而代之的是x(tf)=xf。综合上述结论,有如下关于末态固定最优控制问题的定理。第二十七张，PPT共四十七页，创作于2022年6月末态时刻和末态固定的问题 (5/5)定理 6定理 6(末态固定最优控制问题) 末态固定最优控制问题的最优控制函数u*(t)、最优状态轨线x*(t)和适当选择的拉格朗日乘子函数(t)在边界条件x(t0)=x0 x(tf)=xf 下须满足规范方程以及极值条件 第二十八张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(1/10)3.4 末态时刻固定、末态受

16、约束的问题本小节讨论末态时刻tf固定,末态x(tf)受等式约束的最优控制问题。该问题可描述为如下：末态约束最优控制问题 对于被控系统 ,末态时刻tf固定,末态x(tf)受等式g(x(tf),tf)=0 约束,如下复合型性能指标泛函取极小的最优控制问题。第二十九张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(2/10)所谓末态约束, 即末态只允许在末端流形(73)上变化。上述约束条件中向量函数g(x(tf),tf)的维数为p,为使该最优控制问题的解存在,当性能指标泛函中L=0时,pn-1;当L0时,pn。上述最优控制问题与3.2所讨论的末态x(tf)无约束的问题相比,只

17、是增加了末态约束条件(73)。对该约束条件,可引入待定拉格朗日乘子向量=1 ,2,p, 定义如下新的辅助泛函式中，哈密顿函数H的定义与前面一致。g(x(tf),tf)=0 (73) 第三十张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(3/10)若令则泛函J1可表示为与3.2所讨论的末态 x(tf) 无约束的问题一样,可得规范方程、极值条件和边界条件。其中边界条件为第三十一张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(4/10)定理 7泛函J1对其宗量的变分结果是x(tf)所满足的等式约束条件g(x(tf),tf)=0,所以,在求泛函J1的

18、变分J1时,和不需要对变分一样,也不需要对(t)的变分。综上所述, 末态时刻tf固定、末态x(tf)受约束的最优控制问题的结论可以归纳为以下定理。定理 7（末态约束最优控制定理）末态约束最优控制问题的最优控制函数u*(t)、最优状态轨线 x*(t) 和适当选择的拉格朗日乘子函数 (t) 在边界条件下满足规范方程 (61)(62)以及极值条件(64)。 第三十二张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(5/10)从定理 7 可知,末端受约束不改变该问题求解中的规范方程,只影响边界条件。与2节相比,增加了边界条件中的末态条件,而且引入了拉格朗日乘子向量, 其变量数和

19、末态受约束条件个数相等。当复合型性能指标泛函中末值型指标S(x(tf),tf)=0时,边界条件可记为第三十三张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(6/10)由于g(x(tf),tf)/x(tf)为最优轨线的末端约束流形上的方向场,即方向梯度,因此式(80)表明,在最优轨线的末端,(tf)与末端目标集正交, 即与g(x(tf),tf)=0规定的n-p维末端约束流形正交。所以,边界条件(80)常称为横截条件。而边界条件(79)表示(tf)既不与末端目标集正交,亦不与之相切,因此,它常被称为斜截条件。最后值得指出的是,由于末态固定x(tf)=xf可以视为末端约束条

20、件g(x(tf),tf)=0的一种特例,因此,本小节方法同样适用于上一小节的末态固定的情况。第三十四张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(7/10)例 8例 8 对被控系统试求控制函数u(t),使系统从初始状态x1(0)=0 x2(0)=0经过1s转移到目标集x1(1)+x2(1)=1且使如下性能指标取极小。第三十五张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(8/10)解 本例中末态约束条件为g(x(tf),tf)=x1(1)+x2(1)-1=0因此,相应的哈密顿函数和辅助性能指标泛函中的末值项分别为根据定理 7, 可得该最优控

21、制的如下方程和边界条件第三十六张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(9/10)第三十七张，PPT共四十七页，创作于2022年6月末态时刻固定、末态受约束的问题(10/10)由上述方程可求得如下解析解第三十八张，PPT共四十七页，创作于2022年6月末态时刻未定的问题 (1/8)3.5 末态时刻未定的问题 末态时刻tf未定时,末态x(tf)又可分为自由、固定和受约束3种情况。这里仅讨论末态x(tf)受约束的情况,末态x(tf)固定和自由两种情况可以视为这一类情况的特例。此外,这种情况下的优化问题可视为前面末态时刻tf固定情况的一般化,通过本节的结论可以得到前几节的结论。第三十九张，PPT共四十七页，创作于2022年6月末态时刻未定的问题 (2/8)末态时刻未定最优控制问题 对于被控系统 , 末态时刻tf未定,末态x(tf)受等式g(x(tf),tf)=0约束,如下性能指标泛函取极小的最优控制问题。与前面一样,引入状态约束的拉格朗日乘子函数(t)和末态x(tf)约束的拉格朗日乘子向量,将系统状态方程和性能指标泛函结合成如下新的辅助泛函式中，哈密顿函数H的定义与前面一致。 第四十张，PPT共四十七页，创作于2022年6月末态时刻未定的问题 (3/8)将泛函J1中最后一个积分项进行分部积分,可得定义则泛函J