第6章最优控制理论

1、6.1 引言引言6.4 用变分法求解最优控制问题用变分法求解最优控制问题6.6 用动态规划法求解最优控制问题用动态规划法求解最优控制问题6.8 线性状态调节器线性状态调节器第六章 最优控制6.3 泛函及其极值泛函及其极值-变分法变分法6.5 极小值原理极小值原理6.7 线性二次型最优控制问题线性二次型最优控制问题6.2 研究最优控制的前提条件研究最优控制的前提条件6.16.1最优控制的基本概念最优控制的基本概念 在给定性能指标下，如何选择控制规律u (t)，使性能指标 J 达到最优。最优控制问题：最优控制问题：1969年，美国阿波罗11号-人类首次载人登月飞行任务：任务：要求登月舱在月球表面实

2、现软着陆，并有足够的燃料返回登月舱；求登月过程，发动机推力的最优控制软着陆 月球表面速度为零使燃料消耗最小 才有足够的燃料返回飞船发动机最大推力有限研究内容：什么是最优控制？什么是最优控制？ tv gtmg tm th th tu月球表面 tm登月舱质量 tu发动机推力 tv垂直速度月球表面重力加速度登月舱质量设：设：登月舱不含燃料时的质量 M发动机最大推力 登月时所载燃料质量 Fmaxu FMmm00 00vv )(tvth 00hh初始条件：初始条件：末端条件：末端条件： 0fth 0ftv运动方程：运动方程： gtmtutv)()( )(tkutmmax)(tmJ max0utu)(ft

3、mJ 性能指标：性能指标：在满足控制约束条件下，寻求一个最优控制在满足控制约束条件下，寻求一个最优控制 ，使发动机，使发动机推力从初始状态转移到末值状态，性能指标推力从初始状态转移到末值状态，性能指标 J 为最大。为最大。 tu为最大，有足够的燃料返回飞船1.直流他励电机的控制问题直流他励电机的控制问题最优控制问题最优控制问题电动机的运动方程为电动机的运动方程为tJTIKDFDmdd（1）其中，其中， 为转矩系数；为转矩系数； 为转动惯量；为转动惯量； 为恒定的负载转矩；为恒定的负载转矩；mKDJFT希望：在时间区间希望：在时间区间0，tf内，电动机从静止起动，转过一定角度内，电动机从静止起动

4、，转过一定角度后停止，使电枢电阻后停止，使电枢电阻 上的损耗上的损耗 最小，求最小，求DRttIREDtDfd)(20)(tIDDI因为因为 是时间的函数，是时间的函数，E 又是又是 的函数，的函数，E 是函数的函数，称为是函数的函数，称为泛函。泛函。DIconstttftd)(0（2）采用状态方程表示，令采用状态方程表示，令1x12xxDFDDmJTIJKx2于是于是FDDDmTJIJKxxxx10000102121（3）初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtxDI控制控制 不受限制不受限制性能指标性能指标ttIREDtDfd)(20（4）)(tID

5、最优控制问题提发是：在数学模型（最优控制问题提发是：在数学模型（3）的约束下，寻求一个控）的约束下，寻求一个控制制 ，使电动机从初始状态转移到末值状态，性能指标，使电动机从初始状态转移到末值状态，性能指标E 为为最小。最小。问题问题2对于问题对于问题1中的直流他励电动机，如果电动机从初始中的直流他励电动机，如果电动机从初始)(tID时刻时刻 的静止状态转过一个角度的静止状态转过一个角度 又停下，求控制又停下，求控制 （ 是是受到限制的），使得所需时间最短。受到限制的），使得所需时间最短。00t)(tID这也是一个最优控制问题：这也是一个最优控制问题：系统方程为系统方程为FDDDmTJIJKxx

6、xx10000102121初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtx)(tIDmaxDI（5）性能指标性能指标ftttJf0d（6）)0(x最优控制问题为：在状态方程的约束下，寻求最优控制最优控制问题为：在状态方程的约束下，寻求最优控制，将，将 转移到转移到 ，使，使J 为极小。为极小。maxDI)(tID)(ftx最优控制问题的一般性提法为最优控制问题的一般性提法为系统状态方程为系统状态方程为),(tux,fx 初始状态为初始状态为)(0tx其中，其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数，它是 x 、u 和t 的连续函

7、数，并且对x 、t 连续可微。最优。其中最优。其中 是是 x 、u 和和t 的连续函数的连续函数),(tuxL)(ftxrRu 寻求在寻求在 上的最优控制上的最优控制 或或 ，以将系统状，以将系统状态从态从 转移到转移到 或或 的一个集合，并使性能指标的一个集合，并使性能指标,0fttrRU u)(0tx)(ftxttttJfttffd),(),(0uxLx最优控制问题就是求解一类带有约束条件的条件泛函极值问题。最优控制问题就是求解一类带有约束条件的条件泛函极值问题。00)(xxtttttJfttffd), u, x(L),(x0rRu)(0tx)(ftx最优控制均含以下四方面内容最优控制均含

8、以下四方面内容1、系统数学模型2、边界条件3、容许控制4、性能指标0),(xfftt t),(),(xtutfx tS t),(),(xtutfx 00)(xxt0),(xffttttttJfttffud),u,x(L),(xmin0)0(x最优控制问题为：在满足约束条件下（状态方程最优控制问题为：在满足约束条件下（状态方程等等的约束）在的约束）在容许控制中确定一个最优控制容许控制中确定一个最优控制 ，使系统状态，使系统状态 从从 转移到要求目标集转移到要求目标集 或或 ，并使，并使性能指标性能指标 J 达到达到极值。极值。)(ftx( )u tx( ) t最优控制问题最优控制问题0),(xf

9、ftt对连续时问系统对离散时间系统（6）6.2 研究最优控制的前提条件在研究确定性系统的最优控制时，前提条件是：1.给出受控系统的动态描述，即状态方程2.明确控制作用域 在工程实际中，控制矢量 往往不能在 空间中任意取值，而必须受到某些物理限制，(例如，控制电压，控制功率等）即 要满足某些约束条件，这时，在 空间中，把所有满足上式的点 的集合，记作：（7）这时，在 空间中，把所有满足上式的点 的集合，记作：(8)U U称为控制集。把满足称为控制集。把满足（9）的 称为容许控制。3明确初始条件 通常，初始时刻 是给定的。如果初始状态 也是是给定的给定的称 固定始端。如果 是任意的，则称自由始端。

10、相应的始端集始端集为：此时， 则称为可变始端。可变始端。4明确终端条件 固定终端是指终端时刻 和终端状态 都是给定的。 自由终终端则是在给定 情况下， 可以任意取值不受限制。可变终端则是指 的情况。其中如果 必须满足某些约束条件：是由约束条件 所形成的一个目标集目标集。5 5给出目标泛函，即性能指标给出目标泛函，即性能指标对连续时间系统，一般表示为：对离散时间系统，一般表示为： 上述形式的性能指标，称为综合型或鲍尔扎型综合型或鲍尔扎型。它由两部分组成：第一项、反映对终端性能的要求，例如对目标的允许偏差、脱靶情况等，称为终端指标函数终端指标函数；第二项、中L为状态控制过程中对动态品质及能量或燃料

11、消耗的要求等，称为动态指标函数动态指标函数。若不考虑终端指标函数项 则有： 这种形式的性能指标称为积分型积分型或拉格朗日型。称为终端型终端型或梅耶型梅耶型。若不考虑动态指标函数 项， 则形如：泛函与变分法泛函与变分法一、泛函与变分一、泛函与变分1、泛函的基本定义：泛函的基本定义：)(tx如果对于某个函数集合如果对于某个函数集合 中的每一个函数中的每一个函数 ，变量，变量 J 都有一个值与之对应，则称变量都有一个值与之对应，则称变量 J 为依赖于函数为依赖于函数 的泛函，的泛函，记作：记作：)(tx)(tx)(txJ可见，泛函为标量，可以理解为可见，泛函为标量，可以理解为“函数的函数函数的函数”

12、（其中，（其中， 为在为在 上连续可上连续可积函数）积函数）例如：例如：ttxxJd)(30)(tx3,0当当 时，有时，有 ；当；当 时，有时，有 。ttx)(5 . 4J13eJtetx)(泛函泛函 如果满足以下条件时，称为线性泛函：如果满足以下条件时，称为线性泛函：)(tJ x1） ，其中，其中c 为任意常数；为任意常数；2）)()(tcJtcJxx)()()()(2121tJtJttJxxxx)()(0ttxx对于一个任意小正数对于一个任意小正数 ，总是可以找到，总是可以找到 ，当，当 时，有时，有 就称泛函就称泛函 在在 处是连续的。处是连续的。)()(0ttxx)()(0tJtJx

13、x)(tJ x2、泛函的变分泛函的变分)(tx所谓泛函所谓泛函 的增量的增量 的变分是指两个函数间的差。的变分是指两个函数间的差。)(tJ x)()(0ttxxxnRtt)(),(0 xx定义：设定义：设 是线性赋泛空间是线性赋泛空间 上的连续泛函，其增量可表示为上的连续泛函，其增量可表示为xJnR,xxxxxxxxrLJJJ,xxr其中，其中， 是关于是关于 的线性连续泛函，的线性连续泛函， 是关于是关于 的高阶的高阶无穷小。则无穷小。则 称为泛函称为泛函 的变分。的变分。,xxLxx,xxLJ xJ3、泛函变分的规则泛函变分的规则1）2121)(LLLL2）122121)(LLLLLL3）

14、ttLttLbabad,d,xxxx4）xxddddtt泛函的变分等于泛函的变分等于0)(xtxJ0 xx 定理定理：设：设 是在线性赋泛空间是在线性赋泛空间 上某个开子集上某个开子集D 中定义的可中定义的可微泛函，且在微泛函，且在 处达到极值，则泛函处达到极值，则泛函 在在 处必有处必有xJxJnR0 xx 0,0 xxJ4、泛函的极值泛函的极值0 xxJ设设 是在线性赋泛空间是在线性赋泛空间 上某个子集上某个子集D 中的线性连续泛函，中的线性连续泛函， ，若在，若在 的某领域内的某领域内nRD0 xnRUxxxxx,),(00在在 时，均有时，均有DU),(0 xx0 xxxJJJ00 x

15、xxJJJ0或或则称则称 在在 处达到极大值或极小值。处达到极大值或极小值。)(xJ0 xx 欧拉方程：欧拉方程：fftxx)(ft定理：设有如下泛函极值问题：定理：设有如下泛函极值问题：其中，其中， 及及 在在 上连续可微，上连续可微， 和和 给定，给定，已知已知 ， ， ，则极值轨线，则极值轨线 满足如下欧满足如下欧拉方程拉方程dttLJfttt0),(min)(xxxx),(tLxx )(tx,0ftt0t00)(xxtnRt )(x)(*tx0ddxxLtL及横截条件及横截条件0)()(00txLtxLtTftTfxx注意：满足欧拉方程是必要条件，不是充分条件。注意：满足欧拉方程是必要

16、条件，不是充分条件。0,0 xxJxdtxxLL dxdtdt求无约束条件泛函极值问题：求无约束条件泛函极值问题：dttLJfttt0),(min)(xxxx()dxxdt00()()xxxxffttttLLLLdxxxdtdtxbbaabadyyuuduy0()0 xxfttLLxx dt由泛函极值条件：由泛函极值条件：00 x(x,x, )(x,x, )ffttttJLt dtLt dt分部积分公式分部积分公式uy欧拉方程解决欧拉方程解决等式：00000 xxx(xx)xfffffttttttttttLLxdtdtxdtxxLdLdLLdtxdxt xdt=xdtddydtx=0 xxLd

17、Lxdt式中式中00()( )0 xxfTTfttLLx tx t)x(dLdudtdt000 x()xxxfffttttttLLJxdxxdtdtdLtLxdtudy欧拉方程欧拉方程无约束泛函极值的充要条件无约束泛函极值的充要条件bbaabad yyuud uy6.4 用变分法求解最优控制问题用变分法求解最优控制问题6.4.1 末值时刻固定、末值状态自由情况下的最优控制末值时刻固定、末值状态自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx （6）初始状态初始状态)()(00ttttxx（7）寻求一个最优控制向量寻求一个最优控制向量 ，使以下性能指标，使以

18、下性能指标u ( ) ttttJfttfd),()(0uxLx（8）沿最优轨线沿最优轨线 取极小值。取极小值。)(tx（波尔扎问题波尔扎问题）有约束条件的泛函极值的充要条件有约束条件的泛函极值的充要条件约束条件约束条件引入拉格朗日乘子引入拉格朗日乘子)()()()(21ttttn（9）将性能指标（将性能指标（8）式改写为其等价形式）式改写为其等价形式tttttJTttffd),()(),()(0 xuxfuxLx),()(),(),(ttttHTuxfuxLux定义哈密顿函数定义哈密顿函数（10）则则tttHtJTttffd)(),()(0 xuxxttttHtTttttfffd)(d),()

19、(00 xuxx（11）由（6）式可知为零 xux,f),(t（12）对（对（11）式中的第三项进行分部积分，得）式中的第三项进行分部积分，得tttttHtJTttttTttffffd)()(d),()(000 xxuxx当泛函当泛函J 取极值时，其一次变分等于零。取极值时，其一次变分等于零。 即即0J可以变分的量：可以变分的量：uuu)()(ttxxx)()(tt)()()(ffftttxxx不可以变分的量：不可以变分的量：0tft)(0tx)(t求出求出J 的一次变分并令其为零的一次变分并令其为零0d)()()()(0tHHttttJTTTttffTfTffxuuxxxxx将上式改写成将上

20、式改写成0d)()()(0tHHtttJTTttfTfffuuxxxx（13）)(ftx)(t由于由于 未加限制，可以选择未加限制，可以选择 使上式中使上式中 和和 的系数的系数等于零。于是有等于零。于是有)(txxH（15）（14）（16）)()(ffttx0d0tHJTttfuu由于由于 是任意的变分，根据变分法中的辅助引理，由（是任意的变分，根据变分法中的辅助引理，由（16）式）式得得u0uH（17）伴随方程伴随方程控制方程控制方程伴随变量伴随变量几点说明：几点说明：1）实际上，（）实际上，（14）式和（）式和（17）式就是欧拉方程。）式就是欧拉方程。xfxLxH（18）因为因为0uH0

21、ufuL（19）如果令如果令),()(),(),(xuxfuxLuxttttHT简记成简记成xfLTH（20）xfxL由欧拉方程得到由欧拉方程得到0ddxxHtH0)(xfxL即即（21）可见（可见（21）式和（）式和（18）式相同，（）式相同，（22）式和（）式和（19）式相同。因此，）式相同。因此，（14）式和（）式和（17）就是欧拉方程，而（）就是欧拉方程，而（7）式和（）式和（15）就是横截条）就是横截条件。件。0dduuHtH0ufuL（22）2） 是泛函取极值的必要条件是否为极小值还需要二次变分是泛函取极值的必要条件是否为极小值还需要二次变分 来判断，来判断， 则泛函则泛函J 取极

22、小值。取极小值。0JJ202J3） 哈密顿函数沿最优轨线随时间的变化率哈密顿函数沿最优轨线随时间的变化率tHHHHtHTTTuuxxdd在最优控制在最优控制 、最优轨线、最优轨线 下，有下，有 和和*u*x0uH（10）式的哈密顿函数对 求偏导，结果为 xux,f),(t 由（14）式可得0 xxxxHHHHHHTTTT 因为减号两边是相等标量（行向量与列向量相乘） （23）（24）这两个等于零的式子代入（这两个等于零的式子代入（23）式，于是）式，于是tHtHdd 即哈密顿函数即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏沿最优轨线对时间的全导数等于它对时间的偏导数。记为导数。记为

23、 则则)(),(*tHtHuxttHHdd（25）对上式积分，得到对上式积分，得到dHtHtHfttf*0*0)()(（26）当哈密顿函数不显含当哈密顿函数不显含 t 时，由（时，由（25）式得）式得consttHtHf)()(*初始条件初始条件例例6-1 系统状态方程为系统状态方程为ux )(0tx性能指标性能指标tutcxJfttfd21)(212200c试求最优控制试求最优控制 ，使，使J 取极小值。取极小值。*u解解 哈密顿函数哈密顿函数uutuxH221),(由伴随方程由伴随方程0 xHconst)()()(fftcxtt)()(21)()(2fffftcxtcxtxt因为因为con

24、st由控制方程由控制方程0uuH即即)()(*ftcxtu将将 代入状态方程代入状态方程*u)(ftcxux解为解为10)()(ctttcxtxf当当 时，代入上式，求得时，代入上式，求得 ，所以，所以0tt )(01txc )()()(00txtttcxtxf当当 时，时，ftt )(1)()(00tttxtxff)(1)(21d21)(2100222*0ttctcxtutcxJfttff最优性能指标为最优性能指标为6.4.2 末值时刻固定，末端状态固定情况下的最优控制末值时刻固定，末端状态固定情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx （27）初始状

25、态初始状态)()(00ttttxx（28）末值状态末值状态)()(fttttfxx（29）性能指标性能指标ttLJfttd),(0ux（30）)(ftx寻求最优控制寻求最优控制 ，在，在 内，将系统从内，将系统从 转移到转移到 ，同时使性能指标同时使性能指标J 取极小值。取极小值。*u,0ftt)(0tx（性能指标如（性能指标如（3030）式所示的最优控制问题，）式所示的最优控制问题，是变分法中的是变分法中的拉格朗拉格朗日问题日问题）引入哈密顿函数引入哈密顿函数),()(),(),(ttttHTuxfuxLux)()()()(21ttttn其中其中ttHJTttfd),(0 xux于是于是因为

26、因为xuxuxfuxuxL)(),(),()(),(),(ttHtttHtTT对上式右边第对上式右边第2项进行分部积分，可以得到项进行分部积分，可以得到ttHttttJTttffTTfd),()()()()(000 xuxxx上式中可以变分的量：上式中可以变分的量：uuu)()(ttxxx)()(tt)(t不可以变分的量：不可以变分的量：0tft)(0tx)(ftx令性能指标令性能指标J 的一次变分等于零，得的一次变分等于零，得0d0tHHJTTttfuuxx（31）选择选择 ，使其满足，使其满足)(txH（32）则则0d0tHJTttfuu（33）在末端状态固定情况下，在末端状态固定情况下，

27、 不是任意的。只有在系统能控的情况不是任意的。只有在系统能控的情况下，才有控制方程下，才有控制方程u0uH二、最优状态调节器二、最优状态调节器1有限时间LQ状态调节器问题的解：00( )( ) ( )( ) ( )( )tttttt xAxBu xx011()()( ) ( ) ( )( ) ( ) ( )22ftTTTfftJtttttttt dtxSxxQxuRu在状态方程约束下求得使性能指标最小的最优控制 ，并使系统由( ) tu线性时变系统01( ( )()()() ()()() 2() ( , , , )( , , , )fTTffffffftTTtJttttttttHtHtdtux

28、Sxxx+xxx uxx+x uuxxu 0( ( )()()()ftTTTffftHHJttttdtuSxx+x+uxu 即：取极小值的必要条件是 ，可得出最优控制 应满足： ( ( )Jtu( ( )0Jtu( ) tu( , , )Htx ux 1( )( )( )( )( ) 2TffffftttttxSxSxx ( , , )0Htx uu 伴随方程 边值条件 控制方程 P(t)为 维实对称正半定矩阵 将哈密顿函数代入控制方程，可得： 1( , , ) ( )( ) ( )( )2 ( )( )0TTTTHtttttttx ux Qxu RuAxBuuuRuB 解得最优控制为： 1(

29、 )( )( ) ( )Ttttt uRB 得出这时的伴随方程及其边值条件为： ( )( ) ( )( )( )()()TfftttttttAQx Sx ( ) t ( ) tx( ) t 可见 与 为线性关系，从而可以将 表示为： ( )( )( )ttt Px n n代入上面式子得： ( ) ( )( )( )( )TtttttAPxQx 1( )( )( ) ( )( )( ) ( )( )( ) ( )( )( ) ( )( )( )( )TTttttttttttttttttPxPAxPBRBPxAPxQx进一步得：1( )( ) ( )( ) ( )( )( ) ( )( )( )

30、( )TTtttttttttttPPAAPQPBRBP ( )0tx考虑到 ，显然P(t)应满足方程 ： 这是一个被称为黎卡提矩阵方程的非线性微分方程，求解它所需的边界条件可由上面式子得出，为： ()ftPS求解线性时变系统有限时间 LQ状态调节器问题: （1）解黎卡提方程和终端条件得P(t)； （2）最优控制具有状态反馈的形式，为： ( )( )( )ttt uKx1( )( )( ) ( )TttttKRBP其中（3）系统的状态最优运动轨线是下面方程的解： 100( ) ( )( )( )( ) ( )( )( )Ttttttttt xABRBPx xx（4）这时系统具有最优性能指标值：

31、0001( )( )2TJttux Px证明见教材最优状态调节器系统结构图为： 定常系统状态调节器的结论可参照时变系统得出。 2无限时间LQ LQ 状态调节器问题的解: 是指末时刻 的LQ状态调节器问题，由于这时系统的终端状态总是被要求达到平衡状态 ，所以性能指标函数中终端状态的二次项不再被考虑，即： f t()0fetx= x01( ) ( ) ( )( ) ( ) ( )2TTtJtttttt dtxQxuRu这问题的求解要复杂得多，关键是上面积分型性能指标的存在性。 定常系统的求解要简便得多，而且求得的最优控制也是定常的，给控制系统的实施带来方便。 所对应的黎卡提方程和终端条件应为： 1

32、( )( )( )( )( )()0 TTffttttttt PPAA PQPBR B PP 这时性能指标函数为： 01( )( )( )( )2TTJtttt dtxQxuRu权矩阵Q、R 都是常数对称阵，Q为正半定，R为正定。 卡尔曼证明了上面黎卡提方程的解当 时的极限必定存在，且为常数矩阵，即： f tlim( )fttPP 于是，上面黎卡提方程变为一个矩阵代数方程，称为代数黎卡提方程，即为： 10TTPAA PQPBR B P 最优控制 也是状态反馈的形式： ( ) tu( )( )tt uKx其中： 1TKR B P系统的最优性能值为： 001( )2TJtux Px几点注意： （1

33、）为了得到线性二次型最优状态调节器的解，被控对象至少是能镇定的，当然，更理想是能控。 （2）可以证明，要保证P矩阵正定，必须满足 为能观的条件，其中H是 的分解结果。 ,A HTQ = H H（3）满足上面条件的最优状态调节器系统必定是大范围渐近稳定的。 例例516 设被控系统的状态空间表达式为1010011 1uy xxx性能指标为: 2201() 2Jyudt试求初始状态为 时的最优控制 及最优性能指标 。 0(0)1 x( ) tu*J解：解： 性能指标函数可表示为： 1222221212000211111()()()11222xJyudtxxudtxxudtx 所以权矩阵为： 1 11

34、 1Q =1R =为正定， 正半定且可分解为 1 100001 11111TT Q =H H , A b ,A H可判定 能控， 能观，所以可求得渐近稳定的最优控制。 黎卡提方程为: 111211121112111212221222122212221 01 01 111 1 1000001 11pppppppppppppppp 10TTA PPAQPBR B P 21111121211121222212222()10()() 10()10pppppppppp 得：设中间变量： 11121222, pppp2111222101010pp 则有：可解得符合要求的值：27 1得：221111(1)1

35、 ( 27) 2 7522p 1211 ( 27) 137p 2212 1 (37)72pp 2 75373772P =可验证矩阵P为正定。 于是，可得最优控制为： *12 7537( )( )11 1( )721( )3772Ttttt uR B Pxxx最优性能指标为：*2 75370111( )(0)(0)017112223772TJt uxPx闭环系统状态方程为： *1*171( )( )( )271Tttt xABR B P xx可求得闭环系统的特征多项式为： 2710ss 对应的特征值为： 7322具有最优控制的闭环系统是渐近稳定的。 系统状态变量图： 将上式改写成将上式改写成0d

36、)()()(0tHHtttJTTttfTfffuuxxxx（13）)(ftx)(t由于由于 未加限制，可以选择未加限制，可以选择 使上式中使上式中 和和 的系数的系数等于零。于是有等于零。于是有)(txxH（15）（14）（16）)()(ffttx0d0tHJTttfuu由于由于 是任意的变分，根据变分法中的辅助引理，由（是任意的变分，根据变分法中的辅助引理，由（16）式得）式得u0uH（17）（14）式称为伴随方程，）式称为伴随方程， 为伴随变量，（为伴随变量，（17）式为控制方程。）式为控制方程。)(t例例6-2 问题问题6-1的系统状态方程为的系统状态方程为FDDDmTJIJKxxxx1

37、0000102121末值状态末值状态0)()(21fftxtx初始状态初始状态00)0()0(21xx性能指标性能指标ttIREJDtDfd)(201DR设设ttIEJDtfd)(20)(ftx最优控制问题就是在状态方程的约束下，寻求最优控制问题就是在状态方程的约束下，寻求 ，使，使 转转移到移到 ，并使，并使J 取极小值。取极小值。)(tID)0(x解解 根据能控性判据知，该系统是能控的根据能控性判据知，该系统是能控的200rankrankDmDmJKJKCQ1）哈密顿函数为）哈密顿函数为FDDDmTDTJIJKItH1000010),(2xux2）由控制方程得到）由控制方程得到00221D

38、mDDJKIIH即即022DmDJKI221DmDJKI3）由伴随方程）由伴随方程 ，得到，得到xH01constc 11112c212ctc （ ， 为积分常数）为积分常数）1c2c)(2121ctcJKIDmD4）由状态方程得）由状态方程得21xx FDDmDmFDDDmTJcJKtcJKTJIJKx1212112221222322221222)121(41ctTJcJKtcJKxFDDmDm43222223122112141121ctctTJtcJKtcJKxFDDmDm（ ， 为积分常数）为积分常数）3c4c根据边界条件，确定积分常数，得根据边界条件，确定积分常数，得043 cc223

39、124mDfKJtcFmDmDfTKJKJtc22222212代入代入 和和)()(2ttx)(tID6)(222ffttttxtttJTtJKtIfDFfDmD321261)(它们的曲线如图所示它们的曲线如图所示（图中（图中 ，实线是，实线是理论上的变化，虚线理论上的变化，虚线是实际的轨线。）是实际的轨线。）)(tID6.4.3 末值时刻自由情况下的最优控制末值时刻自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx 初始状态初始状态)()(00ttttxx初始时刻初始时刻 固定，末值时刻固定，末值时刻 是自由的。是自由的。 自由，性能指标自由，性能指标0t

40、ft)(ftxttttJfttffd),(),(0uxLx（34） 寻求最优控制寻求最优控制 以及以及 ，使性能指标，使性能指标J 取极小值。为了求出取极小值。为了求出最优控制，引入哈密顿函数最优控制，引入哈密顿函数*u*ft),()(),(),(ttttHTuxfuxLux其中其中)()()()(21ttttntttHttJTttfffd)(),(),(0 xuxx于是于是可以变分的量可以变分的量ftux)(ftx不能变分的量不能变分的量)(0tx0t)(tfttTTTTttfffTftHtHHttttJffd)()(0 xxuuxxxx),(tHux上式中上式中H 为为 的简化表示的简化表

41、示对上式中对上式中 进行分部积分，进行分部积分， 成为成为tfttTd0 xJfttTttTTTttfffTtHtHHtttJfffd)(0 xxuuxxxx（35）)(ftx应当注意，末值时刻应当注意，末值时刻 自由时，自由时， 不等于不等于 ftfttxffttftttf)()(xxx或或ffftttttf)()(xxx上式代入（上式代入（35）式）式fffTTttfTffttHttHHtttJf)(d)()()(0uuxxxx性能指标取极值时，必有性能指标取极值时，必有0J0)(d)()()(0fffTTttfTffttHttHHtttJfuuxxxx（36）选择选择 使其满足使其满足)

42、(txH（37）)()(ffttx（38）由于由于 、 是任意的，可得是任意的，可得uft0uH（39）（40）ffttH)(（41）而而),(tHuxfx例例6-3 系统的状态方程为系统的状态方程为ux 1)0(x0)(ftx性能指标性能指标tutJftfd022求最优控制求最优控制 和末值时刻和末值时刻 ，使性能指标泛函取极小值。，使性能指标泛函取极小值。)(*tuft解解经判断系统是能控的经判断系统是能控的1） 构造哈密顿函数构造哈密顿函数uutx,uH2),(2）由控制方程）由控制方程 ，得，得0uH02*u或或21*u3）由伴随方程）由伴随方程0 xH1cconst 1*21cu4）

43、将）将 代入状态方程代入状态方程*u121cx解为解为ftc212121ctcx2c其中，其中， 、 为积分常数，由为积分常数，由 ， 确定，得确定，得1c)0(x)(ftx1)0(2 xc5）由于）由于 自由，自由， ，得到，得到ft0)(ffttHfffttutu2)()(202)()(2fffttutu或或解得解得3116c312ft31*2u1231*tx6.5 极小值原理及其在快速控制中的应用极小值原理及其在快速控制中的应用6.5.1 问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认为控制向量为控制向量 不受限制。但是不受限制。但是实际的系统，控制信号都是受

44、到实际的系统，控制信号都是受到某种限制的。某种限制的。)(turRUt)(u 因此，应用控制方程因此，应用控制方程来确定最优控制，可能出错。来确定最优控制，可能出错。0uHa)图中所示，图中所示，H 最小值出现在左最小值出现在左侧，不满足控制方程。侧，不满足控制方程。b)图中不存在图中不存在 0uH6.5.2 极小值原理极小值原理非线性定常系统的状态方程为非线性定常系统的状态方程为（42）),(uxfx ft初始时刻初始时刻 ，初始状态，初始状态 ，末值时刻，末值时刻 ，末端状态，末端状态 自由自由0t)(0tx)(ftxUu)(t（43）性能指标为末值型性能指标性能指标为末值型性能指标),(

45、ffttJx（44）)(ftx要求在状态方程约束下，寻求最优控制要求在状态方程约束下，寻求最优控制 及及 使系统从使系统从转移到转移到 ，并使，并使J 取极小值。取极小值。Uu *ft)(0tx以下就是用极小值原理解前面的问题：以下就是用极小值原理解前面的问题： 设设 为容许控制，为容许控制， 为对应的状态轨线。为了使它们分别成为对应的状态轨线。为了使它们分别成为最优控制为最优控制 和最优轨线和最优轨线 ，存在一个向量函数，存在一个向量函数 ，使得，使得)(tu)(tx)(t*u)(t*x)(t*xH*（45）xH*（46）其中哈密顿函数：其中哈密顿函数：),(),(uxfuxTtH（47）)

46、(*t（49）（48） 和和 满足边界条件满足边界条件)()(0*0ttttxx)()(*ffttx)(*tx则哈密顿函数则哈密顿函数H 相对最优控制取极小值，即相对最优控制取极小值，即（50）,min),(*tHtHuxuxUu或者或者),(*tHux,*tHux（51）consttHtHf)()(*在末值时刻在末值时刻 是自由的情况是自由的情况ft哈密顿函数沿最优轨线随时间的变化规律：哈密顿函数沿最优轨线随时间的变化规律：在末值时刻在末值时刻 是固定的情况是固定的情况ft（52）（53）0)()(*ftHtH几点说明：几点说明：1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原

47、理给出的只是最优控制应该满足的必要条件。2）极小值原理的结果与用变分法求解最优问题的结果相比，差别）极小值原理的结果与用变分法求解最优问题的结果相比，差别仅在于极值条件。仅在于极值条件。4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。3）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标原理。因为求性能指标J的极小值与求的极小值与求J的极大值等价。的极大值等价。6.5.3 二次积分模型的快速控制二次积分模型的快速控制在问题在问题6-2中，若中，若 ， ，令，令 。就是二次积。就是二次积分模型。分模

48、型。0FT1/DmJK)()(tutID其状态方程模型其状态方程模型ux 221xx （54）u1（55）系统的初始状态为系统的初始状态为)0(1x)0(2x（56）末值状态为末值状态为0)(1ftx0)(2ftx（57）性能指标为性能指标为ftttJf0d（58）)(ftx 要求在状态方程约束下，寻求满足（要求在状态方程约束下，寻求满足（55）式的最优控制）式的最优控制，使系统从，使系统从 转移到转移到 ，同时使，同时使J 取极小值。取极小值。)(*tu)0(x因为在这个最优控制问题中，控制信号因为在这个最优控制问题中，控制信号 受限制，因此用极小值受限制，因此用极小值原理来求解。系统是能控

49、的，其解存在且唯一。原理来求解。系统是能控的，其解存在且唯一。)(tu1）哈密顿函数为）哈密顿函数为uxtuxH221),(（59）2）根据极值条件（）根据极值条件（50），来确定最优控制。），来确定最优控制。只能用分析的方法确定只能用分析的方法确定u(t)，使哈密顿函数取，使哈密顿函数取极小值。显然，在极小值。显然，在u的限制条件下，选择的限制条件下，选择u 使使H 取得极小。有取得极小。有0)(10)(122*ttu（60）或或)(sign2*tu（61）3）伴随方程为）伴随方程为011xH122xH如果如果 的初始值为的初始值为 ， ，则，则 )(t11)0(d22)0(d11dtdd1

50、22（62）（63） 在在0， 内最多变号一次，最优控制函数有以下可能的内最多变号一次，最优控制函数有以下可能的4种情况种情况)(2tft4）由状态方程可知，当）由状态方程可知，当 时，求得时，求得1*utxtx)0()(22221121)0()0()(ttxxtx消去消去t 得得)(21)0(21)0()(222211txxxtx或写成或写成22221121)0(21)0(xxxx为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如下图所示。相轨迹为两族抛物线。下图所示。相轨迹为两族抛物线。从从 到达到达 的相轨迹只有两条的相轨

51、迹只有两条 、 。0)0(x0)(ftxrr1*u2212121),(xxxxr2x0 01*u2212121),(xxxxr2x0 0r将将 和和 合起来，合起来，r2212121,xxxxxrrr曲线曲线r 将相平面分成两个区域将相平面分成两个区域 和和RR2212121,xxxxxR2212121,xxxxxR当初始状态当初始状态 位于位于 ： 为为 （+1，1）)0(xR*u最优轨线：当初始状态最优轨线：当初始状态 位于位于 ： 为为 （1，+1）)0(xR*u0CBA0 ED曲线曲线r 常称为转移曲线或开关曲线。常称为转移曲线或开关曲线。开关曲线方程式为开关曲线方程式为021),(2

52、2121xxxxxh也称为开关函数。最优控制为也称为开关函数。最优控制为),(21xxh11)(*tu0),(21xxh当当 及及 ，0),(21xxh2x0 00),(21xxh当当 及及 ，0),(21xxh2x00最优控制系统的结构图，如下图所示最优控制系统的结构图，如下图所示5）最优性能指标）最优性能指标初始状态在初始状态在A点：点：COACfttt*)0(21)0()0(2212xxxtAC)0(21)0(221xxtCOCOACfttt*)0(2)0(4)0(2212xxx)()(*tItuD说明：通过这个最优控制问题的求解发现，最优控制与问题说明：通过这个最优控制问题的求解发现，

53、最优控制与问题6-1不不同。在问题同。在问题6-1中，中， 为时间的三角函数。为时间的三角函数。 而在这里，而在这里， 为时间方波函数。原因在于性能指标不同，因此为时间方波函数。原因在于性能指标不同，因此 也也不同。因此，在说到最优控制问题时，一定要指明性能指标，即求不同。因此，在说到最优控制问题时，一定要指明性能指标，即求解在什么性能指标下的最优。解在什么性能指标下的最优。)()(*tItuD)(*tu6.6 用动态规划法求解最优控制问题用动态规划法求解最优控制问题右图为某小城镇交通路线图。右图为某小城镇交通路线图。起点站为起点站为S，终点站为，终点站为F，) 1 (1x)2(1x)3(1x

54、) 1 (2x)2(2x) 3(2x 站与站之间的里程标在图上，要求选择一条路线站与站之间的里程标在图上，要求选择一条路线走法，使里程最短。这是一个最优控制问题。走法，使里程最短。这是一个最优控制问题。一种办法是将从一种办法是将从S 到到F 所有可能走法都列出来，并且把每所有可能走法都列出来，并且把每种走法的里程标在各条路线上，找出最短的。种走法的里程标在各条路线上，找出最短的。6.6.1 动态规划法的基本思想动态规划法的基本思想第二个办法：从最后一段开始，第二个办法：从最后一段开始，向前倒推。当倒推到某一站时，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，计算该站到终点站的总里程，并

55、选择里程最少的走法。并选择里程最少的走法。从该例看出，这种解法有两个特点从该例看出，这种解法有两个特点: 第一，它把一个复杂的问题第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（次只决定向上走（p）还是向下走（）还是向下走（q）的问题），因此问题的求解）的问题），因此问题的求解变得简单容易了。变得简单容易了。不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级原问题嵌

56、入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的多级最优控制问题代换成一系列最优控制过程来说，就是把原来的多级最优控制问题代换成一系列单级最优控制问题。单级最优控制问题。6.6.2 最优性原理最优性原理 最优性原理最优性原理在一个多级决策问题中的最优决策具有这样的性在一个多级决策问题中的最优决策具有这样的性质，不管初始级质，不管初始级 、初始状态和初始决策是什么，当把其中任何一级、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。构成一个

57、最优决策。将最优性原理应用到离散系统中去，系统状态方程为将最优性原理应用到离散系统中去，系统状态方程为)(),() 1(kkkuxfx初始状态为初始状态为)0()(0 xxkk性能指标为性能指标为)(),(0kkLJNkux要求确定要求确定 ，使性能指标最优，即，使性能指标最优，即)(kuoptJ)(ik u一般认为，第一般认为，第k 级决策级决策 与第与第k 级以及级以及k 以前各级状态以前各级状态 和决和决策策 有关有关)(ku)(ik x), 2 , 1(i),1(),(,),1(),()(kkkkkuuxxuu（64）以上函数称为策略函数以上函数称为策略函数)(),()1 (),1 (

58、)0(),0(opt0),0()(,),1(),0(*NNLLLJNuuuuxuxuxx)(),()1 (),1 (opt)0(),0(opt)(,),2(),1()0(NNLLLNuuuuuxuxux如果记如果记)(),()1 (),1 (opt 1),1 ()(,),2(),1(*NNLLJNuuuuxuxx则则1),1 ()0(),0(opt0),0(*)0(*xuxxJLJu对于任意级对于任意级k ， 有有1),1()(),(opt),(*)(*kkJkkLkkJkuxuxx（65）应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前应该指出，最优性原理所肯定的是余下的决策为最优

59、决策。对以前的决策没有明确的要求。的决策没有明确的要求。6.6.3 用动态规划法求解离散系统最优控制问题用动态规划法求解离散系统最优控制问题系统状态方程为系统状态方程为)(),() 1(kkkuxfx（66）)0()(0 xxkk（67）)(),(0kkLJNkux（68）要求在状态方程约束下，寻求要求在状态方程约束下，寻求 使使)(kuminJ1),1()(),(min),(*)(*kkJkkLkkJkuxuxx 可以受限制，也可以不受限制。可以受限制，也可以不受限制。)(ku例例6-4 线性定常离散系统的状态方程为线性定常离散系统的状态方程为)()() 1(kukxkx初始状态为初始状态为

60、 ，性能指标为，性能指标为)0(x)(21)(212102kuNcxJNk寻求最优控制序列寻求最优控制序列 ，使，使 （为了简单起见，设（为了简单起见，设 ）2N)(kuminJ解解 运用动态规划法来求解运用动态规划法来求解1） 从最后一级开始，即从最后一级开始，即2k)2(212),2(2*cxxJ2） 向前倒推一级，即向前倒推一级，即1k22)1(22)1(*2)1(*)1 () 1 (21) 1 (21min)2(21) 1 (21min2),2() 1 (21min 1),1 (uxcucxuxJuxJuuu因为因为 不受限制，故不受限制，故 可以通过下式求得可以通过下式求得)(ku)