现代控制理论极小值原理学习教案

1、会计学1第一页，共63页。但是，实际工程问题中，控制变量往往是受到一定限制(xinzh)，容许控制集合是一个m维有界闭集，这时，控制变分 在容许集合边界上就不能任意选取，最段控制的必要条件 变不存在了。若最优控制解（如时间最小问题）落在控制集的边界上，一般便不满足 ，就不能再用古典变分法来求解最优控制问题了。u/0Hu 第1页/共62页第二页，共63页。本章介绍的极小值原理是控制变量 受限制的情况下求解最优控制问题的有力工具。它是由苏联学者(xuzh)庞特里亚金于1956年提出的。极小值原理从变分法引伸而来，它的结论与古典变分法的结论极为相似，但由于它能应用于控制变量 受边界限制的情况，并不要

2、求哈密尔顿函数H对u连续可微，因此其适用范围扩大了。 u t u tL.S.Pontryagin第2页/共62页第三页，共63页。第一节 连续(linx)系统的极小值原理设连续系统动态方程为： (8-1)边界条件可以固定、自由或受轨线约束(yush)，控制变量 属于m维有界闭集U，即 (8-2)性能指标为： (8-3) x tf x tu tt， mu tUR u t 0fffFdtttJx ttx tu tt，第3页/共62页第四页，共63页。则使性能指标 达到(d do)极小的最优控制 及最优状态轨线 必须满足以下条件：J *ut *xt 正则方程 *aHxt *aH t(8-4)(8-5

3、)这里， 为哈密尔顿函数(hnsh)， 为协态变量，其定义与在变分法中相同。H第4页/共62页第五页，共63页。 哈密尔顿函数(hnsh)对应最优控制时为极小值，即： *min*u UHHxtu tttxtu ttt，(8-5)或 *u UHHxtu tttxtu ttt，(8-6)当不受边界限制时，则上式与等效。 根据(gnj)不同的边界情况， 及 满足相应的边界条件及横截条件，它们与变分法中所应满足的边界条件及横截条件完全相同。 *t *xt第5页/共62页第六页，共63页。比较(bjio)上述极小值原理与变分法所得的结果，可以发现两者的差别仅在。极小值原理的严格证明很复杂，下面的证明将重

4、于物理概念的阐述，尽量避免烦琐的数学推导。设系统动态方程为： fx tx tu tt，(8-7)边界条件为： ，为简单起见，假设终端(zhn dun)时刻 及终端(zhn dun)状态 均为自由。控制变量 受有界闭集约束，即 00txxft fx t t uU u t(8-8)第6页/共62页第七页，共63页。求最优控制 使性能指标 *ut 0fffFdtttJx ttx tu tt，(8-9)为极小(j xio)。设对应(duyng)于最优情况的性能指标为 ，仅考虑由于 偏离 时的性能指标为，则按最优的定义，下式必然成立 *J u u t *ut J u *0J uJ uJ 设偏离(pinl

5、)足够小 *u tutu t *ut u t(8-10)第7页/共62页第八页，共63页。则由此引起的的增量(zn lin)可以由下式表示*JJuuuuuu，(8-11)这里， 表示二阶及二阶以上的高阶项， 是 的线性主部，它与 成线性关系。当 时 这时可以由泛函变分 来近似代替泛函的实际增量 设有控制变量 ，在时间区间(q jin) 内只能在容许范围内变化，如图8-1所示。设对应取极小时之最优控制为 （见图8-1），它由三个区间(q jin)组成： 在 及 区间(q jin)内， 处在容许集内，由于 可以任取， 均处在容许集内，这种情况下，泛函达极小值的必要条件为： * uu，*Juu，Ju

6、0u*0uu，*Juu，*Juu， u t0ftt， *ut01tt，0ftt， *utu *u tutu第8页/共62页第九页，共63页。*0Juu，(8-12)图8-1 的容许(rngx)域 u t第9页/共62页第十页，共63页。 在 区间内， 处在容许(rngx)集的边界上， 不能任取，它只能取负值，这时泛函为极小值的必要条件应为：12tt， *utu*0Juu，这说明对 的任何容许偏离都会引起泛函 比其足够小的邻区内的值 要小，故有可能(knng)为极小。*J u*Juu， *ut(8-13)下面，根据以上结论来求泛函极小的具体条件。首先(shuxin)，用拉格朗日乘子法建立增广泛函

7、 0fTaffFfdtttJx ttxutxutx ， ， ，(8-14)第10页/共62页第十一页，共63页。定义(dngy)哈密尔顿函数THFfxutxutxut， ， ， ， ，则得0faffHdtttJx ttxutx ， ， ，下面求泛函 的变分。这里，假设终端时刻(shk) 及终端状态 均自由。经过同变分法中的类似推导，最后得aJfx tft(8-16)(8-15)第11页/共62页第十二页，共63页。 0fTffafffffffffffTTTJHHHHdtttx tttx tx tx ttx tu tttttxutxutxuxuxutx， ， ， ， ， ， ，(8-17)(8-

8、18)根据泛函存在极值的必要条件的结论可知(k zh)，当 不受限制时，应满足 u t0aJ第12页/共62页第十三页，共63页。由于(yuy)各个变量的变分是独立的，因此，必须同时满足*0H xutx， ， ，*0H xutx， ， ，*0H xutu， ， ，*0ffffxtttx t，*0fffffffHxttxtutttt，(8-20)(8-23)(8-22)(8-21)(8-19)这里(zhl)，式(8-19)、式(8-20)为正则方程，式(8-21)为控制方程，式(8-22)，式(8-23)为横截条件，这与第六章变分法中所得结论完全相同。第13页/共62页第十四页，共63页。当 受

9、边界限制(xinzh)时，泛函极小的必要条件是： 0aJ u t为了寻找 与 的关系，在式(8-16)中可令除含有 项以外(ywi)的各项均为零，则泛函极小必要条件式(8-23)变成 0*0fTaHJdtttxutuuuu， ，(8-24)(8-25)uaJu这里，被积函数为哈密尔顿函数对于控制变分引起的增量的线性主部。当 足够(zgu)小时，可用它来一次近似代替实际增量，即 u第14页/共62页第十五页，共63页。*(, )TH x utHHuHH uuuxuutxutuu， ， ， ，代入式(8-24)，得：0*0fTaJHuHdtttuuxutxut， ， ， ，以上条件应对 出现的容许

10、 都满足，由此可得以(dy)下结论：使指标泛函达极小的最优控制的必要条件是： *HtttHtttxutxut，0fttt，u(8-27)(8-26)(8-28)第15页/共62页第十六页，共63页。我们对式(8-27)作一些简单解释，假定控制变分 出现在 区间的某一小区 内，而在其它区间内部为最优控制 则如果式(8-27)不满足，即存在 ，指标(zhbio)泛函变分式可表示成： 10122121*0aJHHdtHHdtHHdtHHdtttttttttuuxutxutxutxutxutxutxutxut， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ，12tt，u0ftt， *u

11、t*HHxutxut， ， ， ， ，(8-29)第16页/共62页第十七页，共63页。显然，这与 矛盾。同时，小区间(q jin) 可能出现在 区间(q jin)的任何位置，因此要求整个区间(q jin) 内均满足以下条件*HHxutxut， ， ， ， ，0aJ12tt，0ftt，0ftt，到此，极小值原理(yunl)得证。极小值原理同时还给出以下条件，即：如果哈密尔顿函数(hnsh)不显含变量 ，则哈密尔顿函数(hnsh) 沿最优轨线保持为常数，即 *0fHtttcxutttt，tH(8-31)(8-30)第17页/共62页第十八页，共63页。如果终端时刻(shk) 自由，则ft *00

12、fHtttxutttt，这里需要指出：极小值原理只是最优控制应满足的必要条件。但实际问题中由极小值原理给出的经常是单值的最优控制，而最优控制又确实存在，这种情况下，求出的最优控制也就满足了充分条件。有时(yush)可能给出非单值的最优控制，这就要根据问题性质作进一步判断。(8-32)第18页/共62页第十九页，共63页。第二节 离散系统的极小值原理(yunl)设离散系统状态方程为： 10, 1,1kfkkkkNxxu，这里(zhl)， 为n维状态向量， 为m维控制向量，k为步数，N为总参数。设初始状态 ，终端状态 自由。控制变量受限制，即 k uU系统(xtng)的性能指标为： 10NkJNN

13、Fkkkxxu， kx ku 00 xxNx第19页/共62页第二十页，共63页。要求寻找最优控制序列 ，使性能 为极小。我们同样(tngyng)可用极小值原理来求解最优控制问题。首先，用拉格朗日乘子法建立增广指标泛函 *kuJ 10101011111NkTNkNTkJNNFkkkkfkkkkNNHkkkkkkxxuxuxxxux，等式(dngsh)右边最后一项可表示成第20页/共62页第二十一页，共63页。 101101100NNTTkkNTTTkkx kkkkkNNxxxx代入式(8-34) 1000NTakTTJNNHkkkkkNNxxuxxx，求的一阶变分，得第21页/共62页第二十二

14、页，共63页。 10101111TaTNkTNkNNJNNNHkkkkkkkHkkkkkkk xxxxuxxxux，当控制变量受限制时，性能指标 达极小值的必要条件(b yo tio jin)为aJ0aJ第22页/共62页第二十三页，共63页。由此可得，使 达极小的最优控制必须满足以下(yxi)条件：J 满足(mnz)正则方程 *111Hkkkkkkfkkkxuxxu， *1Hkkkkkkxux， 相对(xingdu)于最优控制，哈密尔顿函数达极小值，即 *11HkkkkHkkkkxuxu，第23页/共62页第二十四页，共63页。 及满足(mnz)以下边界条件及横截条件 *00NNNNxxxx

15、，同理，对不同的边界情况，只需选取相应的边界条件及横截条件，条件1、2不变。当控制(kngzh)变量不受限制时，则条件2与控制(kngzh)方程 *10Hkkkkkxuu，等效(dn xio)。第24页/共62页第二十五页，共63页。第三节 极小值原理解最短时间控制(kngzh)问题一般情况下，非线性受控系统的最短时间控制问题的解析解是很困难的，本节只讨论线性定常受控系统的最短时间控制问题导弹舵面的打开(d ki)时间。R-73的栅格舵的栅格舵AIMAIM9L9L导弹导弹(dodn)(dodn)的舵面的舵面第25页/共62页第二十六页，共63页。 00ffx tAx tBu tx txx tx

16、， 为n维状态向量， 为m维控制(kngzh)向量，并受以下不等式约束 x t u tuM 设线性受控系统状态方程为第26页/共62页第二十七页，共63页。寻找(xnzho)最优控制 使性能指标 *u t00ftftJdttt为最小。我们应用(yngyng)极小值原理来求解。这时哈密尔顿函数为 1TTH xutt Ax tt Bu t， ，故得正则方程为 *xtAxtBut *T tAt第27页/共62页第二十八页，共63页。根据(gnj)极小值原理可得 *11TTTT t Axtt Butt Axtt Bu t即 *TTt Butt Bu t将 阵表示成如下(rxi)形式12mBb bb这里

17、(zhl)， 为 阵的第 列数组， ，则得 *11,2,mTTiiiimt Bu tt b utBibBi1,2,im第28页/共62页第二十九页，共63页。这里， 为 第 个分量。设各控制分量互相(h xing)独立，则不等式(8-51)对相应分量应该成立，即 iut u ti *TTiiiit b utt b ut tubttubtiiT*iiT* tubttubtiiT*iiT*由此可得最优控制规律(gul)为 *001,2,0TiTiiTiMMim t butt bt b当当不定当设求得 的解如图8-2，则相应(xingyng)的最优控制规律示于图8-2。 *Tit b第29页/共62

18、页第三十页，共63页。图8-2 的关系(gun x)* Tiiuttb与第30页/共62页第三十一页，共63页。由图可见： 时，可以找出确定的 来，并且它们都为容 控制的边界值。 当 通过零点时， 由一个(y )边界值换向另一个(y )边界值。 如果 出现在某一时间区间内保持为零，则 为不确定值，称这种情况为奇异问题或非平凡问题，相应的时间区段称为奇异区段。关于奇异区段内的最段控制问题将在下节中作简单介绍。当整个时间区间内不出现奇异区段时，则称为非奇异瓿或平凡问题，本节的讨论仅限于平凡问题。为了便于研究，我们首先不加证明地介绍几个有关的定义及定理。 *0Tit b *iut *Tit b *i

19、ut *Tit b *iut第31页/共62页第三十二页，共63页。1.砰-砰（bang-bang）原理设线性系统(8-44)如果属于平凡(pngfn)情况，则其最短时间控制为： *signTMBt ut 的各个分量都是时间的分段恒值函数，并均取边界值，称此为bang-bang原理(yunl)。bang-bang原理(yunl)不仅适用于线性定常系统，同时也适用于如下一类非线性系统： *ut x ta x ttB x tu tt，上式可以包含(bohn)状态的非线性项，但只包含(bohn)控制变量的线性项。第32页/共62页第三十三页，共63页。2.最短时间控制存在定理 设线性定常系统(8-4

20、4)为完全可控，并系统阵 的特征值均具有非正实部，控制变量满足不等式约束 ，则最短时间控制存在。3.最短时间控制的唯一性定理 设线性定常系统(8-44)属于平凡情况，则若时间最优控制存在，它必定是唯一的。4.开头次数定理 设线性定常系统(8-44)属于平凡情况，控制变量满足不等 式 约束，并系统阵A的特征值全部(qunb)为实数，则如果最短时间控制存在，必为bang-bang控制，并每个控制分量在两个边界值之间的切换次数最多不超过n-1次。 A u tM u tM第33页/共62页第三十四页，共63页。下面，以二阶双积分装置(zhungzh)为例，应用极小值原理来求解最短时间控制问题。设系统状

21、态方程为 122xtxtxtu t边界条件为000fx txx t，控制变量的不等式约束(yush)为 1u t性能指标为00ftftJdt tt寻求(xnqi)最优控制使为最小。第34页/共62页第三十五页，共63页。由于(yuy)010001 AB， 具有(jyu)两个零特征值，满足非正实部要求，并A01rankrank210BAB系统完全可控，因此最短时间控制存在，如果(rgu)系统平凡情况，则最优控制解是唯一的，开头换向次数至多只有一次。列写哈密尔顿函数1 221Hxu 第35页/共62页第三十六页，共63页。得正则方程为*xAxBu*10*21 根据(gnj)极小值原理可得*1121

22、1211 xuxu即*22uu由此可得最优控制规律(gul)为： *2*2*210100 ut当当不定当第36页/共62页第三十七页，共63页。下面，首先讨论系统是否存在着在某区段(q dun)中 的奇异段。根据正则方程，可以解得：*20 *11ct *212cctt这里(zhl)， 为积分常数。如果存在奇异段，则应满足在某区段内 ，这时要求 。代入哈密尔顿函数，则得 12cc、*201200cc，*10H 不满足极小值原理(yunl)的必要条件，由此证明本例不存在奇异段。因此，最优控制规律只有两种情况，即 *2sign utt第37页/共62页第三十八页，共63页。它确是bang-bang形

23、式。可能(knng)的控制方案有四种，如图8-3所示。将 代入状态方程，可解得相应的状态轨线。由状态方程 得 1 u2xu图8-3 可能的控制(kngzh)方案21 x 第38页/共62页第三十九页，共63页。积分(jfn)后得 23 xttc代入状态方程 得 213412 xttc tc这里(zhl)， 为积分常数，式中符号“+”对应 ，符号“-”对应 。消去式(8-76)、式(8-77)中的 ，可得 12xx34cc、1 u1 ut2221234251111222 xxccxcu当2221234261111222 xxccxcu当第39页/共62页第四十页，共63页。这里， 为积分常数。这

24、是两族抛物线，如图8-4，箭头方向(fngxing)为时间增加的方向(fngxing)。 56cc、图8-4 时的状态(zhungti)轨迹1 u第40页/共62页第四十一页，共63页。现在来讨论对应于不同初始状态 的最优控制方案 如 处在 曲线上，则可在 作用下，不需换向就将 转移至原点 。因此(ync)，这时的最优控制为： ， （见图8-5）。 (b) 如 处在 曲线上，同理，可在 的作用下，不需换向就将 转移至原点 。因此(ync)，这时的最优控制为： ， （见图8-5）。 (c) 如 处在 曲线的下方，则状态转移将分两段进行，首先，在 作用下，由 沿式(8-78)的抛物线转移至B-0曲

25、线上的某点，然后再沿曲线转移至原点。因此(ync)，这时的最优控制为0 x0 x0 x0 x0 x0 x0B1 u*1 u0A1 u*1 u0fx t0fx t0fttt，0fttt，0BA0 x1 u第41页/共62页第四十二页，共63页。*01*111f utttuttt，这里， 为两段轨迹(guj)交接处的时刻。由此可见，这时控制作用产生1次换向。（见图8-5）。 如 处在 曲线的上方，则同理，状态将首先在 的作用下同 转移至曲线上的某点，然后再在 的作用下沿曲线 转移至原点，相应 同样，这时控制作用产生一次换向。（见图8-5）。*01*111f utttuttt，1t0BA1 u0 x

26、0 x0A1 u第42页/共62页第四十三页，共63页。通过以上讨论，可得以下结论： 最优控制(kngzh)为bang-bang控制(kngzh)，换向次数最多1次， 为开头换向曲线，其表示式为 段对应于由 向 的换向线， 段为由 向 的换向线。 最优控制(kngzh) 与状态轨迹之间的关系为0BA 12212 xtxt xt0A1 u1 u0B1 u1 u *ut第43页/共62页第四十四页，共63页。 1221212212*12221212221211201120110201102000BABABA xtxt xtxxxtxt xtxxutxtxt xtxtxxxtxt xtxtxxx t

27、当，即，点处在线之右上方当，即，点处在线之左下方当，并，即，点处在段上当，并，即，点处在段上当第44页/共62页第四十五页，共63页。由此我们得到了很重要的特性，即最优控制可以由状态的非线性反馈来形成，从而可以实现闭环控制，这在工程(gngchng)上是十分有用的。图8-6给出了本例最优控制工程(gngchng)实现的可能方案之一，它包括一个两位置式继电器及一个二次函数发生器。这里遇到的一个原理上的困难是当处在开关曲线上时，继电器输入信号为零，因而不能实现换向，但是由于继电器总是具有一定惯性，所以继电器的实际换向都不会准确地发生在输入信号的过零处，而是超过一点，这时由于输入信号不再为零，因此换

28、向是可以实现的。图8-6 最优控制的工程(gngchng)实现第45页/共62页第四十六页，共63页。在前节讨论最短时间控制问题时，我们应用了极小值原理的必要条件 来确定最优控制 与最优状态及协态轨线之间的关系。但是我们遇到了这样的情况，当在某个时间区间 内， ，上述必要条件没有提供有关 与 及 之间相互(xingh)关系的任何信息，因此就无法由此求出 与 、 之间的确定关系式，我们称这类问题为奇异情况或非平凡情况，出现奇异情况的时间区间 称为奇异区间。存在奇异情况时并不意味着最优控制一定不存在，它只是说明应用极小值原理必要条件，即 *HHxtutttxtu ttt， *ut12ttt，*0T

29、b *xt *ut *t *ut *xt *t12tt，*HH第46页/共62页第四十七页，共63页。或 0Hu无法确定最优控制。如果奇异段内存在最优控制，则称此为奇异最优控制，相应的状态轨线称为奇异轨线或奇异弧。显然，这时为了确定最优控制，就得进一步探讨能够提供确定最优控制的有效信息的补充条件，当然它们(t men)必须满足极小值原理。奇异最优控制问题是一个十分复杂的问题，有些问题如奇异最优控制的充分条件等至今没有完全解决。下面，通过简单例子对奇异情况存在的条件和奇异最优控制的求解两个问题作概要的讨论。第47页/共62页第四十八页，共63页。一、线性定常系统（单输入）最短时间控制问题(wnt

30、)中奇异区段存在的条件 在前节讨论二阶积分装置的最短时间控制时，曾利用极小值原理必要条件（ 自由及H不是t的显函数）来判断是否存在奇异情况，下面，我们将在更普遍的意义上来讨论这个问题(wnt)。设系统状态方程为ft*0H tttxAxbu第48页/共62页第四十九页，共63页。这里(zhl)，x（t）为n维状态变量，u（t）为一维控制变量，因此b为 维向量，控制不等式约束为：性能指标为： 自由 寻求最优控制 使性能指标J为最小。建立哈密尔顿函数根据极小值原理1n 1u t00ftfftdttttJ *ut1TTH Axbu*11TTTT AxbuAxbu第49页/共62页第五十页，共63页。即

31、由此可知，当 则 为奇异区段。出现这种情况可能有三种原因：（1）将 代入哈密尔顿函数(hnsh)可得 显然它不满足极小值原理必要条件 ，由此可知， 的情况不可能出现。*TTbubu*120,Tbttt，12tt，*120,ttt，*10 H*0*0H*120ttt，第50页/共62页第五十一页，共63页。（2）当 时，这说明控制作用根本不能影响系统，这时系统是不可控的。 ，由于求解 是复杂的两点边值问题，下面只用间接的方法来判断。如果(rgu)存在由于可以建立下列方程组0b0b*12000Tbbttt，但， *t*120,1,2,kTkdkdt bttt，*kkTTkTkkdddtdtbb b

32、b第51页/共62页第五十二页，共63页。*12*10000TTTnTbbbtttb，根据建立(jinl)下列方程组可解得： *Ttt A *TttecA *TTtTt bec bA第52页/共62页第五十三页，共63页。代入正则方程得对正则方程求一次导数得：按此类推，可得：将以上(yshng)结果代入式(8-95)，则得 *tTTTtec AA *TTTTTTtttecec AAbAbAb *tTTTTTtec AAA A *2TTTttTTkTTAAebet bA AccA b *10,1,TtTkk TAkek t bcA b第53页/共62页第五十四页，共63页。120000TtTtT

33、tTntTATATATAeeeecbcAbcA bcA b第54页/共62页第五十五页，共63页。式(8-105)可表示(biosh)成如下形式上式两转置得这里， 210, 0, 0TtTAne cb Ab A bAb 210TtTnAeb Ab A bAbc 100,0,0Tn第55页/共62页第五十六页，共63页。可以看出(kn ch)，式(8-107)乃是未知向量为 的齐次方程组（n个方程）。已知 即具有非零解，根据线性代数的有关定理，未知数具有非零解的充要条件是系数行列式为零，即故显然，这意味着系统是不可控的。由此可得结论：线性定常系统（单输入）最短时间控制问题存在奇异区段的必要条件是系统不可控，反之，如果系统完全可控，则奇异情况不可能存在。 *TtAetc*0 ，21det0Tna b Ab A bAb21detTnn b Ab A bAb第56页/共62页第五十七页，共63页。二、奇异最优控制的求解下面，通过(tnggu)一个例子来讨论如何求解奇异最优控制问题。设系统状态方程