最优控制理论及应用

1、Date:7/3/2022File:OC_CH4.1Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application第4章 动态规划l求解动态最优化问题的两种基本方法：极小值原理和求解动态最优化问题的两种基本方法：极小值原理和动态规划。动态规划。l动态规划：是一种分级最优化方法，其连续形式与极小值原理相动态规划：是一种分级最优化方法，其连续形式与极小值原理相辅相成，深化了最优控制的研究。辅相成，深化了最优控制的研究。l在二十世纪在二十世纪50年代，贝尔曼在研

2、究年代，贝尔曼在研究多阶决策问题多阶决策问题时提出了动态规时提出了动态规划法。划法。l离散系统的最优控制问题可以看做一个多阶决策问题，因此可用离散系统的最优控制问题可以看做一个多阶决策问题，因此可用动态规划求解。动态规划求解。l动态规划的主导思想简单，可以方便地将一个复杂的多阶决策问动态规划的主导思想简单，可以方便地将一个复杂的多阶决策问题化为一系列的一阶决策问题，使问题得到简化，可以顺序求解题化为一系列的一阶决策问题，使问题得到简化，可以顺序求解,从而它已成为解多阶决策问题的一种有效方法。从而它已成为解多阶决策问题的一种有效方法。l动态规划已被广泛应用于解很多技术领域的动态最优化问题，如动态

3、规划已被广泛应用于解很多技术领域的动态最优化问题，如生产管理问题，资源分配问题，设备更新问题，多级工艺设备的生产管理问题，资源分配问题，设备更新问题，多级工艺设备的优化设计问题和工程控制问题等。优化设计问题和工程控制问题等。 Date:7/3/2022File:OC_CH4.2Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application主要内容多级决策过程和最优性原理多级决策过程和最优性原理1离散控制系统的动态规划离散控制系统的动态规划2连续控制系统的动

4、态规划连续控制系统的动态规划3动态规划与变分法、极小值原理的关系动态规划与变分法、极小值原理的关系4本章小结本章小结5Date:7/3/2022File:OC_CH4.3Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application4.1 4.1 多级决策过程及最优性原理多级决策过程及最优性原理1.1.多级决策过程多级决策过程 所谓所谓多级决策过程多级决策过程，是指将一个过程按时间或空间顺序分为若干，是指将一个过程按时间或空间顺序分为若干级级( (步步)

5、)，然后给每一级，然后给每一级( (步步) )作出作出“决策决策”(”(在控制过程中令每走一步所在控制过程中令每走一步所要决定的控制步骤称之为决策要决定的控制步骤称之为决策) )，以使整个过程取得最优的效果，即多，以使整个过程取得最优的效果，即多次的决策最终要构成一个总的最优控制策略次的决策最终要构成一个总的最优控制策略( (最优控制方案最优控制方案) )。说明：说明：1 1）全部）全部“决策决策”总体，成为总体，成为“策略策略”。 2 2）在多级决策过程中，每一级的输出状态都仅与该级的）在多级决策过程中，每一级的输出状态都仅与该级的“决策决策”及该级的输入状态有关，而与其前面各级的及该级的输

6、入状态有关，而与其前面各级的“决策决策”及状态的转移规及状态的转移规律无关。这种特有性质，称为律无关。这种特有性质，称为无后效性无后效性。 Date:7/3/2022File:OC_CH4.4Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application以最短旅程问题为例，说明多级决策过程及动态规划的特点。以最短旅程问题为例，说明多级决策过程及动态规划的特点。解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个解法一：穷举法，列出所有可能的组合方案，

7、找出时间最短的一个 可能的行车线路共有：可能的行车线路共有：2*2*2=8 （每阶段有两种可能）（每阶段有两种可能） 缺点：计算量大，容易出错。缺点：计算量大，容易出错。需确定一条最优的汽车行驶路线，使从需确定一条最优的汽车行驶路线，使从S S站到站到F F站的行车时间为最短。站的行车时间为最短。Date:7/3/2022File:OC_CH4.5Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application解法二：动态规划法，从终点开始，按时间最短为目标

8、，逐段向前逆推，解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。优路线。特点：特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小）每阶段评估只与前一阶段结果有关，计算量减小Date:7/3/2022File:OC_CH4.6Optimal Control TheoryDong Jie 2012. All rights reserved.Opti

9、mal Control Theory & its ApplicationDate:7/3/2022File:OC_CH4.7Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its ApplicationDate:7/3/2022File:OC_CH4.8Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its ApplicationDate:7

10、/3/2022File:OC_CH4.9Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its ApplicationDate:7/3/2022File:OC_CH4.10Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application2.最优性原理最优性原理 若一若一N级决策是最优的，则以第级决策是最优的，则以第K级级(K=N)决策所

11、形成的决策所形成的状态为初态的任何一个状态为初态的任何一个N-K级的子决策也必然是最优的。级的子决策也必然是最优的。 表明：表明： 不论初始状态和初始决策如何，其余的后级决策不论初始状态和初始决策如何，其余的后级决策(或控制或控制)对于初始决策所形成的状态来说，必定也是一个最优策略。对于初始决策所形成的状态来说，必定也是一个最优策略。Date:7/3/2022File:OC_CH4.11Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application4.2

12、4.2 离散控制系统的动态规划离散控制系统的动态规划离散控制系统最优控制问题的提法：离散控制系统最优控制问题的提法： 离散控制系统的状态方程为离散控制系统的状态方程为 ) 14(),(),() 1(kkukxfkx 给定端点约束条件为给定端点约束条件为 )24()()0(0NxNxxx 寻求最优控制序列寻求最优控制序列)34() 1,.,2 , 1 , 0()(NkUku 使系统从起点转移终端时，目标函数取极小值使系统从起点转移终端时，目标函数取极小值) 1,.,2 , 1 , 0()(*Nkku)44(),(),(10NKNkkukxLJDate:7/3/2022File:OC_CH4.12

13、Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its ApplicationX(0)X(1)X(2)X(N)u(0)u(1)u(2)u(N-1)10),(),()0(NKNkkukxLxJ111),(),()1 (NKNkkukxLxJ0),0(),0(uxL)1 (0min)1 (0minmin)0(*1)0(1)()(*xJLxJLJxJNuNkuNkuN相对独立动态规划基本方程或贝尔曼泛函方程动态规划基本方程或贝尔曼泛函方程Date:7/3/2022File:OC

14、_CH4.13Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application)54()1 (0min)0(*1)0(*xJLxJNuN同理，不断向终点递推，可得同理，不断向终点递推，可得)64()2( 1 min)1 (*2)1(*1xJLxJNuN)74()1(min)(*)1()(*jxJjLjxJjNjujN)94(1min)1()1(*1NLNxJNu)24()()0(0NxNxxx结合（结合（4-2），从（），从（4-9）出发逆推到（）出发逆推到

15、（4-5），可得出最优控制序列），可得出最优控制序列)(*kuDate:7/3/2022File:OC_CH4.14Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application动态规划递推解题过程示意图动态规划递推解题过程示意图Date:7/3/2022File:OC_CH4.15Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & it

16、s Application例例4-1 设一阶离散控制系统设一阶离散控制系统 试确定最优控制序列试确定最优控制序列u(0),u(1),u(2),使如下性能指标达最小。使如下性能指标达最小。 )()()()()(222022kukxkLkukxJk解：从最后一级相前递推（解：从最后一级相前递推（N=3)： )2()2(min)2(min)2(222)2()2(*uxLxJkuu 时1)0()()(2) 1(xkukxkx为使为使 达到最小，则有：达到最小，则有：)2(xJ)2()2(0)2(0)2(2)2()2(2*xxJuuuxJ)2() 1 () 1 (min)2() 1 (min)1 (12

17、22)1(*)1(*xuxxJLxJkuu 时) 1 () 1 (2)2(uxx根据状态方程) 1 () 1 ()1 () 1 (2) 1 () 1 (min)1 (*222)1(*xuuxuxxJuDate:7/3/2022File:OC_CH4.16Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application)1 (3)0()0(min)1 ()0(min)0(0222)0(*)0(*xuxxJLxJkuu 时)0()0(2) 1 (uxx根据状态方

18、程)0(23)0()0()0(2 3)0()0(min)0(*222)0(*xuuxuxxJu最后，从前往后推，可得出最优控制序列最后，从前往后推，可得出最优控制序列u u* *(0),u(0),u* *(1),u(1),u* *(2)(2) 关于动态规划本质的讨论：关于动态规划本质的讨论：q 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一最优策略。最优策略。q 动态规划的最优性原理得以成立的前提条

19、件是所谓动态规划的最优性原理得以成立的前提条件是所谓“无后效性无后效性”。即。即上一状态和上一决策对后续过程的影响，仅表现在它们把状态转移到了上一状态和上一决策对后续过程的影响，仅表现在它们把状态转移到了当前状态，至于后续过程如何，它们就不再起作用了。当前状态，至于后续过程如何，它们就不再起作用了。q 动态规划的解题顺序，与事物发展进程相反。动态规划的解题顺序，与事物发展进程相反。Date:7/3/2022File:OC_CH4.17Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory &

20、amp; its Application4.3 4.3 连续控制系统的动态规划连续控制系统的动态规划控制问题的提法：控制问题的提法： 设受控系统状态方程为设受控系统状态方程为 )104(),(),()(ttutxftx 给定端点约束条件为给定端点约束条件为 )114(0),()(00ffttxxtx 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，即即 )124()(mRUtu 使系统从已知初始状态使系统从已知初始状态 转移到目标集中某一状态转移到目标集中某一状态 时，时，如下目标泛函取极小值，如下目标泛函取极小值，)(0tx)(ftx)134(),(

21、),(),()(0dtttutxLttxtuJfttffDate:7/3/2022File:OC_CH4.18Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application1xttt01tftxft0 x0t0J1JJtx)144(),(1000JJttxJJ)154(,00 tttdttuxLJ)164(),(0111ftttLdtttxJJ)134(),(),(),()(0dtttutxLttxtuJfttff由动态规划最优性原理：由动态规划最优性原理

22、：)174(min*1*0JJJUu)184()(210ttLJt)194()()()(),(2200*00*0*000*1tttxtxJttJJttttxJJT)204()()()(min220*00*0*021*000ttftxJttJJttLJtTtDate:7/3/2022File:OC_CH4.19Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application 对任意给定初态对任意给定初态 时，式（时，式（4-21）可改写为：）可改写为： )20

23、4()()()(min220*00*0*021*000ttftxJttJJttLJtTt)214()(min000*00*0tTtUuftxJLtJttx ),()224(),(),()(),(),(),(min),(*ttutxftxttxJttutxLtttxJTUu 哈密尔顿哈密尔顿雅可比雅可比贝尔曼方程贝尔曼方程 定义：)234()(),()(*txttxJt 可视为影响函数，表示可视为影响函数，表示 的变分施加于的变分施加于 的影响程度。的影响程度。)(tx*J)244(),(min),(),(*tuxJxHtxJxHtttxJUuDate:7/3/2022File:OC_CH4.2

24、0Optimal Control TheoryDong Jie 2012. All rights reserved.Optimal Control Theory & its Application 哈密尔顿哈密尔顿雅可比雅可比贝尔曼方程贝尔曼方程 )244(),(min),(),(*tuxJxHtxJxHtttxJUu表明：在最优轨线上，最优控制函数必使表明：在最优轨线上，最优控制函数必使H H达整体最小，这达整体最小，这是最小值原理的另一种表述形式。是最小值原理的另一种表述形式。 Date:7/3/2022File:OC_CH4.21Optimal Control TheoryDon

25、g Jie 2012. All rights reserved.Optimal Control Theory & its Application连续型动态规划求解最优控制问题的步骤：连续型动态规划求解最优控制问题的步骤：（1）构造哈密尔顿函数：）构造哈密尔顿函数：（2）以）以H(x,u,t)取极值条件求取极值条件求 ，即即),(),(),(*tuxfxJtuxLtuxHTu0),(utuxH（当（当u取值无限制时）取值无限制时）（当（当u U为容许控制时）为容许控制时）),(mintuxHUu由上述条件解出的由上述条件解出的 是是 x, ,t的函数。的函数。uxJ*（3）将）将 代入哈密尔顿代入哈密尔顿-贝尔曼方程，并根据边界条件，解出贝尔曼方程，并根据边界条件，解出J*x(t),t。（4）将）将J*x(t),t代回代回 ，即得最优控制，即得最优控制u*x(t),t，它是状态变量的函数，据，它是状态变量的函数，据此可实现闭环最优控制。此可实现闭环最优控制。（5）将）将u*x(t),t代回方程，可进一步解出最优轨线代回方程，可进一步解出最优轨线x*(t)。（6）将）将x*(t)代入求得最优性能泛函代入求得最优性能泛函J*x(t)uuDate:7/3