最优控制（课堂PPT）

1、1第第4章章 最优控制原理与应用最优控制原理与应用 2最优控制的基本概念最优控制的基本概念n最优控制研究的主要问题：根据已建立的被控对象的数学模型，选择一个容许的控制率，使得被控对象按照预定的要求运行，并使给定的某一性能指标达到极小值(或极大值)。n从数学观点来看，最优控制研究的问题是：求解一类带有约束条件的泛函极值问题。3最优控制问题最优控制问题n最优控制问题的一般提法：在满足系统方程的约束条件下，在容许控制域中确定一个最优控制律，使得系统状态从已知初态转移到要求的目标集，并使性能指标达到极值。4最优控制的应用类型最优控制的应用类型I. 积分型性能指标n最小时间控制；n最少能量控制；n最少燃

2、料控制；II. 末值型性能指标III. 复合型性能指标0( ), ( ),fttJF x tx tt dt0fttJdt01( )fmtjtjJut dt0( ) ( )ftTtJut u t dt (),ffJx tt0 (),( ), ( ),ftfftJx ttF x tx tt dt54.1 用变分法解最优控制用变分法解最优控制4.1.1 泛函与变分4.1.2 欧拉方程4.1.3 横截条件4.1.4 变分法解最优控制问题6 在动态系统最优控制问题中，性能指标是一个泛函，性能指标最优即泛函达到极值。解决泛函极值问题的有力工具是变分法。所以下面就来列出变分法中的一些主要结果，大部分不加证明

3、，但读者可对照微分学中的结果来理解。74.1.1 泛函与变分泛函与变分 如果对某一类函数 中的每一个函数 ，有一个实数值 与之相对应，则称 为依赖于函数 的泛函，记为)(tXJ)(tXJ)(tX)(tXJJ 粗略来说，泛函是以函数为自变量的函数。(函数的函数)1、泛函：先来给出下面的一些定义。80 (),nnnxxnx x R 2、泛函的连续性： 则lim()( )nnJ xJ x则线性泛函 是连续的，称Jx为线性连续泛函。( )J xnR若对于收敛于点x0点列xn，其中x0，xn ，均有则称泛函J在x0处连续。对于线性泛函Jx,若0lim ()()nnJ xJ x9 满足下面条件的泛函称为线

4、性泛函 这里 是实数， 和 是函数空间中的函数。 XJXJ)()()(YJXJYXJXY3、线性泛函：104、自变量函数的变分： 自变量函数 的变分 是指同属于函数类 中两个函数 、 之差)(tXX)(tX)(1tX)(2tX)()(21tXtXX 这里, t 看作为参数。当 为一维函数时， 可用图4-1来表示。)(tXX11图4-1 自变量函数的变分12 这里， 是 的线性泛函， 是关于 的 高阶无穷小，则称为泛函Jx的变分。 可知泛函变分就是泛函增量的线性主部。X 当自变量函数 有变分 时，泛函的增量为 )(tXX,L XXr XX XJXXJJ 5、泛函的变分：,L X X,r X XX

5、,JL XX13当一个泛函具有变分时，也称该泛函可微。和函数的微分一样，泛函的变分可以利用求导的方法来确定。定理定理 设Jx是线性赋范空间Rn上的连续泛函，若在x= x0处Jx可微，则Jx的变分为000,01J xxJ xx14证明: 由于 是 的线性连续泛函，又因为 是 的高阶无穷小im1 =lim , =,J xxJ xJ xxL xxr xxJ xx泛函变分的规则1212122112(1) ()(2) ()(3) , , , , (4)bbaaLLLLL LLLLLL x x t dtL x x t dtdxdxdtdt16举例：可见，计算泛函的变分如同计算函数

6、的微分一样。176、泛函的极值： 若存在 ，对满足的 一切X， 具有同一符号，则 称 在 处有极值(极大值或极小值)。0*XX)()(*XJXJ)(XJ*XX 18定理定理(变分预备定理变分预备定理)：设 是时间区间t0, t1上连续的n维向量函数， 是任意的连续n维向量函数，且有 ，若10( ) ( )0tTttt dt则必有( ) t( ) t01( )( )0tt01( )0, , ttt t 194.1.2 欧拉方程欧拉方程 假定t0与tf 给定，且初态与末态两端固定。(1) 无约束泛函极值的必要条件定理定理 设有如下泛函极值问题：*( )x t0( )min( ), ( ),fttx

7、 tJF x tx tt dt（1）已知x(t0)=x0 x(tf)=xf ,则极值曲线 应满足如下欧拉方程200)(xFdtdxF（2）00()()()( )0ft tft tFFx tx txx（3）及横截条件21)()()(*txtxtx)()()(*txtxtx于是泛函J 的增量 可计算如下（以下将*号省去）JdttxxFtxxxxFJftt,0022() ,()fttFFxxoxxdtxx上式中 是高阶项。22() ,() oxx证明： 与 之间有如下关系)(tx)(tx 22 根据定义，泛函的变分 是 的线性主部，即JJfttdtxxFxxFJ0fffttttttvduuvudv0

8、00对上式第二项作分部积分，按公式可得ffttttxxFxdtxFdtdxFJ00)(（4）23 J取极值的必要条件是 等于零。因 是任意的，要使（3-2）中第一项（积分项）为零，必有Jx0)(xFdtdxF（5）（4）式中第二项即为结论中的式(3).24n举例：利用上面的结论求得25 (2) 有等式约束泛函极值的必要条件有等式约束泛函极值的必要条件定理定理 设有如下泛函极值问题：*( )x t0( )min( ( ), ( ), ). .( ( ), ( ), )0fttx tJg x tx tt dts tf x tx tt（6）已知x(t0)=x0， x(tf)=xf ,则极值曲线 应满

9、足如下欧拉方程和横截条件 0)(xFdtdxF00()()()( )0ft tft tFFx tx txx26其中，为拉格朗日函数， 是待定拉格朗日乘子。( ( ), ( ), )( ( ), ( ), )( ( ), ( ), )TLx tx ttg x tx ttf x tx tt( )ntR274.1.3 横截条件横截条件末端时刻固定时的横截条件末端时刻固定时的横截条件当tf 固定时，在x(t0)=x0 固定时，横截条件为如果末端状态也固定x(tf)=xf 时，边界条件退化为x(t0)=x0，x(tf)= xf ；当末端状态自由时，横截条件为0)()(ftttxxFfx(t0)=x0 (

10、)0ft tFxx(t0)=x0 28(2) 末端时刻自由时的横截条件末端时刻自由时的横截条件29末端受约束时,存在如下近似关系:如果末端自由，则曲线c(t)不存在。设性能指标为容许轨线x(t)与极值曲线x*(t)之间有如下关系（7）30当末端由(xf,tf)移动到 时，产生如下的泛函增量(,)ffffxxtt（8）31将(8)右端的第二项在极值曲线泰勒展开对上式右端的第二项分部积分32将以上结果代入(8)，取增量的线性主部，得泛函的变分令 ，得欧拉方程和横截条件：0J（9）（10）33末端时刻自由、末端状态变动时的横截条件末端时刻自由、末端状态变动时的横截条件 1) 末端状态自由时的横截条件

11、末端状态自由时的横截条件当x(tf)自由时，由(7)可知代入(10)可得到因为 任意，所以tf自由、x(tf)自由的横截条件和边界条件为：,ffxt（11）34 2) 末端状态受约束时的横截条件末端状态受约束时的横截条件设受约束方程为 x(tf)=c(tf) ,由(7)可知代入(11) ，并考虑 任意，得到tf自由、x(tf)受约束的横截条件和边界条件为ft(11.1)35n如果t0也自由、x(t0)受约束，即沿着曲线g(t)则应满足以下横截条件000*( )( )()()(, )()0(, )()0fffTtTtx tg tx tc tLL x x tgxxLL x x tcxx(11.2)

12、36n例子例子: n求平面上给定两点A(0,1),B(1,3)间的最短弧长。n若B点可沿曲线 c(t)=2-t 移动，求一连接A、B两点且弧长最短的曲线。 对于最短弧长最短弧长问题，它是泛函在两端固定条件下的变分问题，欧拉方程的解为 x=at+b带入边界条件可得解 x=2t+1。02 ( )1fttJ x tx dt201dxdtx37(2)属于末端受约束的变分问题，其最短弧长满足与(1)相同的欧拉方程，因此 x=at+b，因为初始点没有变化，所以由x(0)=1可得b=1. 为了确定参数a, 运用横截条件(11.1)可得解得 a=1,因此 可知极值曲线为 . 由末端约束条件 ，可知 tf=0.

13、5，带入弧长公式得到最短弧长 221( 1)01aaaa x=t+1()2ffx tt0.50.52002 ( )11 12J x tx dtdt38 不同边界情况下的横截条件不同边界情况下的横截条件394.1.4 变分法解最优控制问题变分法解最优控制问题系统方程为性能指标为末端状态 x(tf) 受约束，要求的目标集为最优控制问题是最优控制问题是：确定最优控制u*(t)和最优曲线x*(t)，使得系统(12)由已知初态 x0 转移到要求的目标集(14)，并使性能指标(13)达到极值。（14）（13）（12）40 可以利用拉格朗日乘子法将上述有约束条件的泛函极值问题化为无约束条件的泛函极值问题。(

14、 , , , )( , , )( ) ( , , )TH x utL x u tt f x u t（15）再引入一个标量函数它称为哈密顿（Hamilton）函数，在最优控制中起着重要的作用。41 (1) 末端时刻固定时的最优解末端时刻固定时的最优解对于如下最优控制问题： 无约束且在t0,tf上连续， .在t0,tf上，f(.), 和L(.)连续可微，tf固定。最优解的必要条件为：1) x(t)和 满足正则方程,nmxR uR,rR rn(.), (.)( ) t422) 边界条件和横截条件3) 极值条件证明：构造广义泛函43分部积分则对上式取一次变分，考虑到根据泛函极值的必要条件，可得到结论。

15、44当末端时间tf固定，末端状态x(tf)自由时，不存在目标集因此，该下的泛函极值只需将上述结论中的 去掉即可。当末端时间tf固定，末端状态x(tf)固定时，正则方程不变，边界条件退化为x(t0)=x0，x(tf)= xf ，系统在可控的条件下，极值条件也不变。4546本例属于末端时刻固定，末端状态受约束的泛函极值问题。Hamilton函数协态方程极值条件47状态方程根据初始条件和目标条件可求出 c3=c4=0,4c1-9c2=6再根据横截条件可求出c1=(1/2)c2，可求出c1与c2的值。进而获得最优解48(2)末端时刻自由时的最优解末端时刻自由时的最优解 对于如下最优控制问题： 最优解的

16、必要条件为：1) x(t)和 满足正则方程( ) t492) 边界条件和横截条件3) 极值条件4) 在最优曲线末端的Hamilton函数满足50证明：构造广义泛函当末端由(xf , tf)移动到 时，产生如下的泛函增量将上式在最优轨线展成泰勒级数并取主部，应用中值定理并考虑 ，可得到(,)ffffxxtt51()()TTTaffffffffJxtxtx ttx tt将 代入上式可得到令 得到定理的结论。52Page562, 表10-2 用变分法求最优解的必要条件53例子: 解：本例属于tf自由，末端状态固定、控制无约束的泛函极值问题。54 =常数，再由极值条件得由状态方程和初始条件得到利用末态

17、条件得到最后根据末端时刻H的变化率可以求得 这样，求得的最优解为2a 554.2 极小值原理及其应用极小值原理及其应用4.2.1 连续系统的极小值原理4.2.2 离散系统的极小值原理4.2.3 最小时间控制4.2.4 最小能量控制 为解决控制有约束的变分问题，庞特里亚金提出并证明了极小值原理，其结论与经典的变分理论有许多相似之处，而且不要求哈密尔顿函数对控制量连续可微。564.2.1 连续系统的极小值原理连续系统的极小值原理末端自由时的极小值原理末端自由时的极小值原理定理定理 对于如下定常系统、末值型性能指标、末端自由、控制受约束的最优控制问题式中 为任意分段连续函数；末端状态自由；末端时刻固

18、定或自由。假设 f(x,u) 和 都是自变量 的连续可微函数，且在有界集上f(x,u)对变量x满足,nmxR uR( )x1212( , )(, ),0f x uf x ua xxa57则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立：正则方程正则方程其中边界条件与横截条件边界条件与横截条件极小值条件极小值条件4) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由时用自由时用)( ) t58极小值原理与经典变分法的区别：极小值原理与经典变分法的区别：n容许控制条件放宽。极小值条件对通常的控制约束均适用。n最优控制使哈密顿函数取全局极小值。当满足经典变分法的应

19、用条件时，其极值条件是极小值原理中极值条件的特例。n极小值原理不要求哈密顿函数对控制向量的可微性。59例子:解：已知由协态方程可得到6022112( ),( )ttctc ec由横截条件解出由极小值条件由于可得到*1,0,1)( ) 1tu tt 1, 61定理定理 对于如下时变系统、末值型性能指标、末端自由、控制受约束的最优控制问题式中末端时刻固定或自由，假设同前，则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立：正则方程正则方程其中( ) t62边界条件与横截条件边界条件与横截条件极小值条件极小值条件4) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由

20、时用自由时用)63于是该问题就变成了如下定常问题：64利用定常系统的结论，可知协态方程为即(17)(16)65横截条件为即极小值条件为将式(16)代入可得即得结论3)。沿最优轨线哈密尔顿函数变化率将(18)代入可得到本定理的结论4)。(18)66定理定理 对于如下定常系统、积分型性能指标、末端自由、控制受约束的最优控制问题式中末端时刻固定或自由，假设同前，则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立：正则方程正则方程其中( ) t67边界条件与边界条件与横截条件横截条件极小值条件极小值条件4) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由时用自由时用

21、)68于是该积分型问题就变成了如下末值型问题：69把上面两个式子代入协态方程 ，可得70因此由横截条件可知因为 ，上式可表示为由(19)可得0( )( )tHtx 常数(19)0( )1()0ftt71则哈密尔顿函数为将它代入(19)可得从而也得到了极值条件3)和最优轨线末端应满足条件4)。72解：该题属于定常系统、积分型性能指标、tf固定、末端自由、控制受约束的最优控制问题。令73由协态方程解得再由横截条件 可以求出c=e。显然，当 时u*(t)产生切换，由 可以解出 =0.307，因此将u*代入状态方程并利用初值条件可得到最优轨线为()0ft( )1st( )11ststce st74(2

22、) 末端受约束时的极小值原理末端受约束时的极小值原理定理定理 对于如下定常系统、末值型性能指标、末端受约束、控制受约束的最优控制问题式中末端时刻固定或自由，假设同前，则必存在非零的 ，使如下必要条件成立：( ),t75正则方程正则方程其中边界条件与横截条件边界条件与横截条件极小值条件极小值条件4) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由时用自由时用)76定理定理 对于如下时变系统、末值型性能指标、末端受约束、控制受约束的最优控制问题式中末端时刻固定或自由，假设同前，则必存在非零的 ，使如下必要条件成立：( ),t77正则方程正则方程其中边界条件与横截条件边界条件与横

23、截条件极小值条件极小值条件4) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由时用自由时用)784.2.2 离散系统的极小值原理离散系统的极小值原理末端约束时的离散极小值原理末端约束时的离散极小值原理定理定理 设离散系统状态差分方程为性能指标为式中 N 固定。假设 f(.), 和 L(.) 都是自变量 的连续可微函数，末端状态受如下目标集约束(.) ()0 x N79则对于最优序列u*,x*, 必存在非零的 ，使如下必要条件成立：差分方程差分方程其中边界条件与横截条件边界条件与横截条件极小值条件极小值条件( )k和80若u(k)无约束，则极值条件为(2) 末端自由时的离散极

24、小值原理末端自由时的离散极小值原理定理定理 设离散系统状态差分方程为性能指标为式中 N 固定。假设同前， 末端状态自由，则对于最优序列u*,x*, 必存在非零的 ，使如下必要条件成立：( )k和81差分方程差分方程其中边界条件与横截条件边界条件与横截条件极小值条件极小值条件若u(k)无约束，则极值条件为8283该题属于控制无约束问题，构造由协态方程可得到由极值条件84得到将u*(k)代入状态方程并利用边界条件可得到854.2.3 最小时间控制最小时间控制最小时间的控制问题最小时间的控制问题设线性定常系统完全可控，求满足下列不等式约束的容许控制：使系统从初始状态x(0)=x0转移到x(tf)=0

25、，并使性能指标极小，其中 tf 自由。86(2) 正常情况与奇异情况正常情况与奇异情况构造根据极小值条件，可得则设可知，(20)可表示为下式(20)87(3) 奇异性的充要条件奇异性的充要条件定理定理 设矩阵 式中bj中为矩阵B的列向量，当且仅当m个Gj矩阵 中至少有一个是奇异矩阵，上述最优问题是奇异的。定理定理 上述问题是正常的，当且仅当88(3) Bang-Bang控制控制定理定理 对上述问题，若系统是正常的，则最优解的必要条件是正则方程正则方程其中边界条件边界条件极小值条件极小值条件894) 沿最优轨线哈密尔顿函数变化率沿最优轨线哈密尔顿函数变化率(tf自由时用自由时用)904) 经验证

26、系统可控，因此系统正常。可用上述定理求解。由协态方程得取u*=1，可以求得系统的解，并消去变量t可得到最优轨线方程91则满足末态要求的最优轨线方程可表示为取u*= -1，也可得到满足末态要求的最优轨线方程曲线 组成曲线 ，称为开关曲线，表示为开关曲线将相平面分成两部分R+和R-,9293则时间最优控制为944.2.4 最小能量控制最小能量控制设线性定常系统求满足下列不等式约束的容许控制：使系统从初始状态x0转移到x(tf)=xf，并使性能指标极小，其中 tf 固定。95构造定义开关向量函数由协态方程可得则开关向量可表示为96其分量为则将上式代入哈密尔顿函数，可得若uj(t)无约束，则97解出由

27、控制约束条件可得出下面的最优控制律MtstsMMtstsujjjjj2)(),(sgn2)(),(21*98解：构造99则最优控制律应满足由协态方程可解出100因为末端固定，不能由横截条件确定c1,c2,这里采用试探法。通常情况下，如果使最小能量控制问题的控制量较小，首先选取线性最优控制函数，即将上式代入状态方程解得根据初始条件可得c3=c4=0。根据末态条件，可得101根据哈密尔顿函数沿最优轨线的变化率得将u (tf)，x1(tf) 和x2(tf)代入上式可得 c1-(c2-c1tf)2=0。综合以上方程，可以得出102因此，最优控制为经检验在0,tf区间上，满足u (tf) t0)和相应状

28、态x(t1), u*(t)、x*(t)仍是该系统的最优控制和最优轨线。143(2) 动态规划的基本递推方程动态规划的基本递推方程问题问题：设N级决策过程的动态方程为式中，控制决策约束u(k) , k=0,1,2,N-1；代价函数(性能指标)为假设f(.)和L(.)连续，L(.)正有界。求最优控制序列u(0),u(1),u(N-1),使代价函数极小。(35)144说明：说明：上述问题中，k表示N级决策过程中的阶段变量，x(k)表示第k+1级的初始状态，u(k)表示第k+1级采用的控制向量。问题中的假设是为了保证最优控制序列的存在。设有N-k级决策过程145式中，j=k,N-1,u=u(k),u(

29、N-1). 则始自第k级任一容许状态x(k)的最小代价为上式中右端第一项是第k级所付出的代价；第二项是从第k+1级到第N级的代价和。因此式中求极小的运算分146为两部分：在本级决策u(k)作用下求极小，以及在剩余决策序列u(k+1),u(N-1)作用下求极小，则上式变为(36)147根据最优性原理，如下关系成立将上式代入(36)得到动态规划基本递推方程利用上式求解最优控制序列时，从过程的最后一项开始，逐级逆向递推：首先令k=N-1则由式(37)可得到(37)148式中J*xN,N表示代价函数中的末项值。对于(35)问题，代价函数中无末值项， J*xN,N=0,故式(38)为单级最优决策问题。

30、令k=N-2，则由式(37)可得到式中J*x(N-1),N-1已由式(38)确定，因此上式也是一个单级最优决策问题。(38)149根据(37)逆向逐级递推，最后可以得到J*x(0),0.最后一步的递推解及最优策略正是我们要求的最优解。式中的状态及控制均不受约束。求最优控制序列u*(0),u*(1),u*(2)，使代价函数极小。150解：本题属于N=3级最优决策问题。根据递推方程(37)令k=2根据代价函数的末值项及系统方程，有所以因为u(k)无约束，令可得151令k=1可得令k=0可得152代入已知的x(0)，按正向顺序求出因此最优控制、最优轨线及最优代价为153采用离散动态规划方法，可以方便

31、地求出控制与状态变量均有约束时离散系统的最优控制问题。离散最优控制问题的动态规划解离散最优控制问题的动态规划解设非线性离散系统的状态差分方程为其中，k=0,1,N-1. 代价函数为求最优控制序列u*(k),使代价函数最小。4.4.2 离散动态规划离散动态规划(39)154根据动态规划的基本递推方程，分以下步骤进行求解：求第求第N级最优控制级最优控制u*(N-1)求出 求第求第N-1级最优控制级最优控制u*(N-2)求出 155求第求第k+1级最优控制级最优控制u*(k)求出 求第求第1级最优控制级最优控制u*(0)求出 156再由已知初值x(0),顺序求出u*(0),x*(1),u*(N-1),x*(N-1).157解：本题为N=4级最优控制问题。令k=3158令k=2159令k=1160令k=0161最优解为：4.4.3 连续动态规划连续动态规划连续系统的最优控制问题连续系统的最优控制问题 设连续系统的状态方程为性能指标为162控制u(t)有界；在t0