最优控制理论讲解

1、最优控制理论 主讲：罗文广 授课内容 1、最优控制概述 2、最优控制中的变分法 3、极小值原理及其应用 4、动态规划 5、线性最优状态调节器 6、线性最优输出调节器与跟踪系统 考核方式 一、小设计论文（30） 1、选题选题：每人自选一个与最优控制相关的实际小问题，在小组讨论中初步确定选题。小：每人自选一个与最优控制相关的实际小问题，在小组讨论中初步确定选题。小 组组45人，自行成立。人，自行成立。 2、解题解题：通过建模、编程和仿真，获得问题的最优解；或者通过制作实物、编程，对对：通过建模、编程和仿真，获得问题的最优解；或者通过制作实物、编程，对对 象实现最优控制。象实现最优控制。 3、论文论

2、文：通过以上工作，完成一篇小论文。：通过以上工作，完成一篇小论文。论文撰写格式按照广西工学院学报的格式要 求。 4、报告和答辩：每人约用、报告和答辩：每人约用10分钟对所做选题进行汇报和答辩分钟对所做选题进行汇报和答辩 5、时间要求时间要求： 题目确定：第题目确定：第6周，个人上交自拟的题目。周，个人上交自拟的题目。 答辩时间：答辩时间：12周以后。周以后。 最后完成时间：本学期最后一周。最后完成时间：本学期最后一周。 6、上交材料上交材料：（：（1）编制的程序、仿真结果，或制作的实物；（编制的程序、仿真结果，或制作的实物；（2）小论文。）小论文。由班长统一 上交（含统计表） 二、考试（70）

3、 开卷方式 第1章 导论 1.1 引言 一、现代控制理论一、现代控制理论 现代控制理论是研究系统状态的控制和观测的理论，主要包括现代控制理论是研究系统状态的控制和观测的理论，主要包括5 5个方个方 面：面： 1 1、线性系统理论：研究线性系统的性质，能观性、能控性、稳定性、线性系统理论：研究线性系统的性质，能观性、能控性、稳定性 等。以等。以状态空间法状态空间法为主要工具研究多变量线性系统的理论。为主要工具研究多变量线性系统的理论。 2 2、系统辨识：根据输入、输出观测确定系统数学模型。、系统辨识：根据输入、输出观测确定系统数学模型。 3 3、最优控制、最优控制：寻找最优控制向量寻找最优控制向

4、量u(t)。根据给定的目标函数和约束根据给定的目标函数和约束 条件条件, ,寻求最优的控制规律的问题。寻求最优的控制规律的问题。 4 4、最佳滤波（卡尔曼滤波、最优估计）：存在噪声情况下，如何根、最佳滤波（卡尔曼滤波、最优估计）：存在噪声情况下，如何根 据输入、输出估计状态变量。据输入、输出估计状态变量。 5 5、适应控制：利用辨识系统动态特性的方法随时调整控制规律以实、适应控制：利用辨识系统动态特性的方法随时调整控制规律以实 现最优控制，即在参数扰动情况下，控制器的设计问题。现最优控制，即在参数扰动情况下，控制器的设计问题。 把鲁棒控制、预测控制均纳入到现代控制理论的范畴。把鲁棒控制、预测控

5、制均纳入到现代控制理论的范畴。 第1章 导论 1.1 引言 二、最优控制的发展简史二、最优控制的发展简史 n先期工作：先期工作： q19481948年，年，维纳维纳(N.Wiener(N.Wiener) )发表发表控制论控制论，引进了信息、反馈和控引进了信息、反馈和控 制等重要概念，奠定了控制论制等重要概念，奠定了控制论(Cybernetics)(Cybernetics)的基础。并提出了相对的基础。并提出了相对 于某一性能指标进行最优设计的概念。于某一性能指标进行最优设计的概念。19501950年年, ,米顿纳尔米顿纳尔(Medona1)(Medona1) 首先将这个概念用于研究继电器系统在单

6、位阶跃作用下的过渡过程首先将这个概念用于研究继电器系统在单位阶跃作用下的过渡过程 的时间最短最优控制问题。的时间最短最优控制问题。 q19541954年，年，钱学森编著钱学森编著工程控制论工程控制论（上下册），（上下册），作者系统地揭示作者系统地揭示 了控制论对自动化、航空、航天、电子通信等科学技术的意义和重了控制论对自动化、航空、航天、电子通信等科学技术的意义和重 大影响。其中大影响。其中“最优开关曲线最优开关曲线”等素材，直接促进了最优控制理论等素材，直接促进了最优控制理论 的形成和发展。的形成和发展。 第1章 导论 1.1 引言 n理论形成阶段：理论形成阶段： 自动控制联合会自动控制联合

7、会(IFAC)(IFAC)第一届世界大会于第一届世界大会于19601960年召开年召开, ,卡尔曼卡尔曼 （KalmanKalman）、贝尔曼（）、贝尔曼（R.BellmanR.Bellman）和庞特里亚金（）和庞特里亚金（PontryaginPontryagin）分）分 别在会上作了别在会上作了“控制系统的一般理论控制系统的一般理论”、“动态规划动态规划”和和“最优控制最优控制 理论理论”的报告的报告, ,宣告了最优控制理论的诞生宣告了最优控制理论的诞生, ,人们也称这三个工作是现人们也称这三个工作是现 代控制理论的三个里程碑。代控制理论的三个里程碑。 n1953195319571957年，

8、年，贝尔曼贝尔曼(R.E.Bellman(R.E.Bellman) )创立创立“动态规划动态规划”原理原理。 为了解决多阶段决策过程逐步创立的，依据最优化原理，用一组基本为了解决多阶段决策过程逐步创立的，依据最优化原理，用一组基本 的递推关系式使过程连续地最优转移。的递推关系式使过程连续地最优转移。“动态规划动态规划”对于研究最优控对于研究最优控 制理论的重要性，表现于可得出离散时间系统的理论结果和迭代算法。制理论的重要性，表现于可得出离散时间系统的理论结果和迭代算法。 第1章 导论 n1 9 5 61 9 5 6 1 9 5 81 9 5 8 年 ，年 ， 庞 特 里 亚 金 创 立庞 特

9、里 亚 金 创 立 “ 极 小 值 原 理极 小 值 原 理 ” 。 它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。 对于对于“最大值原理最大值原理”，由于放宽了有关条件的使得许多古典变分法和，由于放宽了有关条件的使得许多古典变分法和 动态规划方法无法解决的工程技术问题得到解决，所以它是动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优解决最优 控制问题的一种最普遍的有效的方法控制问题的一种最普遍的有效的方法。同时，庞特里亚金在。同时，庞特里亚金在最优过最优过 程的数学理论程的数学理论著作中已经把最优控制理论初

10、步形成了一个完整的体著作中已经把最优控制理论初步形成了一个完整的体 系。系。 q此外，构成最优控制理论及现代最优化技术理论基础的代表性工此外，构成最优控制理论及现代最优化技术理论基础的代表性工 作，作， 还有不等式约束条件下的非线性最优必要条件还有不等式约束条件下的非线性最优必要条件( (库恩库恩图图 克定理克定理) )以及卡尔曼的关于随机控制系统最优滤波器等。以及卡尔曼的关于随机控制系统最优滤波器等。 第1章 导论 1.2 最优控制问题 一、问题的描述 已知被控系统的状态方程以及给定的初始状态 规定的目标集为S(例如 ） 求一容许控制 ,使系统在该控制的作用下由初态出 发，在某个大于t0 的

11、终端时刻tf 达到目标集S上，并使性能指 标 达到最小。 ,),( 0f ttttf ux x 0 xx)( 0 t nptS p f , 0),(Rxx r Uu f t t ff dtttutxLttxuJ 0 ),(),(),()( 第1章 导论 1.2 最优控制问题 从以上最优控制问题的描述中可见：从以上最优控制问题的描述中可见： 1 1、有一个被控对象（系统数学模型）、有一个被控对象（系统数学模型） 它通常由常微分方程组描述的动态模型来表征，即它通常由常微分方程组描述的动态模型来表征，即 其初态一般是给定的，即其初态一般是给定的，即 2 2、有一目标集及边界条件、有一目标集及边界条件

12、 目标集目标集：在控制：在控制u的作用下，把被控对象的初态的作用下，把被控对象的初态x0在某个在某个 终端时刻转移到某个终端状态终端时刻转移到某个终端状态x(tf)。 x(tf)通常受几何约束。通常受几何约束。 例如考虑它是一个点集，在约束条件例如考虑它是一个点集，在约束条件 下下 目标集为目标集为 ,),( 0f ttttf ux x 0 xx)( 0 t 0),( f tx nptS p f , 0),(Rxx 第1章 导论 1.2 最优控制问题 边界条件边界条件： 初始状态：初始时刻初始状态：初始时刻t0和和x(t0),通常是已知的。通常是已知的。 末端状态：末端时刻末端状态：末端时刻t

13、f和和x(tf) ，通常是未知的。，通常是未知的。 3 3、容许控制集、容许控制集 控制向量控制向量u的各个分量的各个分量ui往往是具有不同物理属性的控制量。往往是具有不同物理属性的控制量。 在实际控制问题中，大多数控制量受客观条件的限制只能在实际控制问题中，大多数控制量受客观条件的限制只能 取值于一定的范围，将控制约束条件的点集称为控制取值于一定的范围，将控制约束条件的点集称为控制 域域 ，则将在闭区间，则将在闭区间 t0,tf 上有定义，且在控制域内取上有定义，且在控制域内取 值的每个控制函数值的每个控制函数u(t)称为容许控制，记做称为容许控制，记做u 第1章 导论 1.2 最优控制问题

14、 4 4、性能指标、性能指标 为了能在各种控制律中寻找到效果最好的控制，需要建立为了能在各种控制律中寻找到效果最好的控制，需要建立 一种评价控制效果好坏或控制品质优劣的性能指标函数。一种评价控制效果好坏或控制品质优劣的性能指标函数。 又称代价（成本，目标）函数或泛函，记做又称代价（成本，目标）函数或泛函，记做 ， 它是一个依赖于控制的有限实数，一般的表达式为：它是一个依赖于控制的有限实数，一般的表达式为： 该表达式包括了依赖于终端时刻该表达式包括了依赖于终端时刻t tf f和终端状态和终端状态x(tf)的末值的末值 型项，以及依赖于这个控制过程的积分型项。因此，可将型项，以及依赖于这个控制过程

15、的积分型项。因此，可将 最优控制问题的性能指标分为：混合型、末值型和积分型。最优控制问题的性能指标分为：混合型、末值型和积分型。 不同的控制问题，应取不同的性能指标：不同的控制问题，应取不同的性能指标： )(uJ f t t ff dtttutxLttxuJ 0 ),(),(),()( 第1章 导论 1.2 最优控制问题 （1 1）积分型性能指标）积分型性能指标： a.a.最短时间控制：最短时间控制： b.b.最少燃烧控制：最少燃烧控制： c.c.最小能量控制最小能量控制: : （2 2）末值型性能指标）末值型性能指标 （3 3）混合型性能指标）混合型性能指标 f t t f ttdtuJtt

16、utxL 0 0 )(, 1),(),( f t t dtttutxLuJ 0 ),(),()( m j j tuttutxL 1 )(),(),( f t t m j j dttuJ 0 1 )( f t t T dttutuJ 0 )()( )()(),(),(tututtutxL T ),()( ff ttxuJ f t t ff dtttutxLttxuJ 0 ),(),(),()( 第1章 导论 1.2 最优控制问题 二、对最优控制问题的进一步说明二、对最优控制问题的进一步说明 如果最优控制问题有解，即如果最优控制问题有解，即: :使使 达到极小值的控制达到极小值的控制 函数存在，记

17、为函数存在，记为 ，称为最优控制；，称为最优控制； 相应的状态轨迹相应的状态轨迹x*(t)称为最优轨迹；性能指标称为最优轨迹；性能指标 称为最优性能指标。称为最优性能指标。 三、举例三、举例 月球上的软着陆问题（最小燃耗问题）月球上的软着陆问题（最小燃耗问题） )(uJ )( * uJJ ,)( 0 * f ttttu 飞船靠其发动机产生一与月球重力方向相反的推力飞船靠其发动机产生一与月球重力方向相反的推力 u(tu(t) )，以使飞船在月球表面实现软着陆，要寻求发，以使飞船在月球表面实现软着陆，要寻求发 动机推力的最优控制规律，以便使燃料的消耗为最动机推力的最优控制规律，以便使燃料的消耗为最

18、 少。少。 第1章 导论 1.2 最优控制问题 设飞船质量为设飞船质量为m(tm(t) )，高度为，高度为h(th(t) )，垂直速度为，垂直速度为 v(tv(t) )，发动机推力为，发动机推力为u(tu(t) )，月球表面的重力加，月球表面的重力加 速度为常数速度为常数g g。设不带燃料的飞船质量为。设不带燃料的飞船质量为M M， 初初 始燃料的总质量为始燃料的总质量为F F初始高度为初始高度为h h0 0，初始的垂，初始的垂 直速度为直速度为v v0 0，那么飞船的，那么飞船的运动方程式运动方程式可以表示为：可以表示为： )()( )( )( )( )()( tkutm tm tu gtv

19、 tvth 初始条件 FMm vv hh )0( )0( )0( 0 0 终端条件终端条件 0)( 0)( f f tv th 性能指标性能指标是使燃料消耗为最小，即是使燃料消耗为最小，即 约束条件)(0tu )( f tmJ 达到最大值 第2章 最优控制中的变分法 变分法是求解泛函极值的一种经典方法，因此也是研究最优 控制问题的一种重要工具。本章的中心内容是介绍经典变分 法的基本原理，并加以推广，用以求解某些最优控制问题。 尽管经典变分法有其局限性，但本章所涉及的有关内容，在 最优控制理论中是最基本的东西。 第2章 最优控制中的变分法 2.1 泛函与变分 （1）泛函定义: 给定函数空间U，若

20、对于任何函数x(t) U，总 有一个确定的值J(x(t)与之对应，则称J(x(t)是函数x(t)的泛函。 这里x(t)常被称做宗量。 从定义中可以发现，泛函是变量与函数之间的关系,常称之为 “函数的函数”。 例： 是一个泛函，当x(t)=t时，J=0.5; 而不定积分 不是一个泛函。 1 0 )( dttxJ dttxJ)( 第2章 最优控制中的变分法 2.1 泛函与变分 函数： 对于变量t的某一变域中的每一个值 ，x都有一个值与之相对应，那么 变量x称作变量t的函数。 记为： x=f (t) t称为函数的自变量 自变量的微分： dt=t-t0 （增量足够小时） 泛函： 对于某一类函数x()中

21、的每一个函 数x(t)，变量J都有一个值与之相对 应，那么变量J称作依赖于函数x(t) 的泛函。 记为： J=J x(t) x(t)称为泛函的宗量 宗量的变分： )()( 0 txtxx 函数与泛函比较： 第2章 最优控制中的变分法 2.1 泛函与变分 关于变分，可将泛函的变分概念看成是函数微分概念的推广， 其作用如同微分在函数中的作用。 （2）变分定义: 若连续泛函J(x(t)的增量可表示为 n 其中第一项是 的连续线性泛函，第二项是关于 的 高阶无穷小，则称上式第一项为泛函的变分，记做 如同函数的微分是函数增量的线性主部一样，泛函的变分就是 泛函增量的线性主部。 )(),()(),( )(

22、)()( txtxrtxtxL txJtxtxJJ )(),(txtxLJ )(tx)(tx 第2章 最优控制中的变分法 2.1 泛函与变分 显然，直接用定义求泛函的变分 很困难。因此必须寻求 一种计算方法。 （3）计算泛函变分的公式 定理21 如果连续泛函J(x(t)的变分存在，则 证明： (见P12) 例子：（见P12 ） 为了确定泛函的极小值或极大值，需要考察泛函的二次变 分： （4）二次变分定义：P12 （5）求解二次变分定理：P12 J 10,),( 00 xxJJ 第2章 最优控制中的变分法 2.1 泛函与变分 例：求下列泛函的变分 f t t dttxJ 0 )( 2 dttxt

23、xdttxtxtx dttxtxtxtxJJ ff f t t t t t t )()(2|)()()( 2 |)()(|)()( 00 0 0 0 2 0 第2章 最优控制中的变分法 2.1 泛函与变分 （6）泛函极值定义：定义215 对于与x0(t)接近的曲线x(t)，泛函Jx(t) 的增量 （7）泛函极值的必要条件：定理23 （8）泛函极小值的充要条件：定理24 （9）变分引理：定理25 则泛函Jx(t) 在曲线x0(t)上达到极值。 0)()(0)()( 00 txJtxJJtxJtxJJ或 0J 泛函极值定理： 若可微泛函Jx(t)在x0(t)上达到极值，则在x= x0(t)上的变分

24、为零。即 第2章 最优控制中的变分法 2.2 欧拉方程 主要讨论： （1）无约束和有约束情况下，泛函极值存在的必要条件欧拉方程； （2）泛函极小值的充分条件勒让德条件。 2.2.1 无约束泛函极值的必要条件 这里所提到的约束或无约束是指状态x(t)的约束问题。 无约束：指求解最优控制解时状态无约束，即无状态方程的约束。 1、所定义的问题 问题2-1:无约束泛函极值问题为)172()(),(,min 0 f t t x dttxtxtLJ 问题为：确定一个函数x(t)，使Jx(t) 达到极小（大）值。这条能使泛函 Jx(t) 达到极值的曲线称为极值曲线（轨线），记作：x*(t)，见图2-2。 对

25、于端点固定的情况，容许轨线x(t)应满足下列边界条件： 第2章 最优控制中的变分法 2.2 欧拉方程 2、极值的必要条件 定理26：极值轨线x(t)满足欧拉方程 证明：P16.注意名词：横截条件（第3节讨论） 例22：（求极值轨线） 2.2.2 有等式约束的泛函极值的必要条件 在最优控制问题中，泛函Jx(t)所依赖的函数x(t)往往会受到一定约束条 件的限制。在动态最优化问题中，由于受控系统的数学模型往往用微分 方程来描述，所以等式约束就是系统的状态方程。 等式约束：系统的运动微分方程 )162()()( 00 ff xtxxtx )212( 0)( x L dt d x L 第2章 最优控制

26、中的变分法 2.2 欧拉方程 1、定义的问题 问题描述：问题22 2、极值的必要条件 解决有约束问题方法：将有约束问题转化为无约束问题，利用无约束 的结论。通过引入拉格朗日乘子向量，解决这个问题。 定理27： （主要的问题：将有约束问题转化为无约束问题后的拉格朗日乘子向量 定义、计算） 这里，为了将有约束条件的泛函极值问题转化为无约束条件的泛函极值 问题，应用拉格朗日乘子法。为此，引入待定的n维拉格朗日乘子向量 (t)，即 证明：P18 例2-3： T n tttt)()()()( 21 第2章 最优控制中的变分法 2.2 欧拉方程 2.2.3 泛函极小值的充分条件 （1）无约束情况 定理2-

27、8： （2）有约束情况 定理2-9： 例2-4: 第2章 最优控制中的变分法 2.3 横截条件 横截条件：两点边界满足的条件。例如式（226） 前面讨论的是最简单的情况：两端固定（初始状态和末端状态）且 初始时刻和末端时刻都固定，在工程实际中存在许多复杂的情况， 讨论如下： 2.3.1 末端时刻固定时的横截条件 末端时刻tf固定，存在以下几种情况：见表2-1 2.3.2 末端时刻自由时的横截条件 横截条件：式（2-53） 末端时刻tf自由，存在以下几种情况：见表2-2 2.3.3 初始时刻自由时的横截条件 横截条件：式（2-62） 初始时刻自由，存在以下几种情况：见表2-2 0),()( x

28、)( x . * 0 0 ft t T f t T ttxxLtx L tx L f f 横截条件： 0)( x )( x 0 0 tx L tx L t T f t T f 0),()( x )( x 0 . . * 0 0 0 ttxxxxLtx L tx L t t T f t T f 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 用变分法求解连续系统最优控制问题:(1)具有等式约束条件的泛函极值 问题，只要把受控系统的数学模型看成是最优轨线x(t) 应满足的等式约 束条件即可；(2)控制变量不受约束；（3）末端时刻固定和末端时刻自 由时最优解的必要条件和充分条件。 一、可

29、用变分法求解的最优控制问题 一般描述，非线性时变系统状态方程为),(tux,fx 初始状态)()( 0 0 tt tt xx 其中，x 为n 维状态向量； u 为m 维控制向量； f 为n 维向量函数。 要求在控制空间中寻求一个最优控制向量 (不受约束) ，使以下 性能指标 )(tu 沿最优轨线 取极小值。 )(tx*tttJ ft t f d),()( 0 uxLx 目标集（末端状态集）0),( ff ttx 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 二、末端时刻固定时的最优解 问题的描述：P30 1、末端受约束情况 两个约束：状态受系统状态方程约束，末端状态受目标集约束。

30、 引入两个拉格朗日乘子向量(t)、(t)，构造广义泛函（无条件极值）： tttttttJ T t t f T fa f dx), u, x(f)(), u, x(L)()()(x 0 ), u, x(f )(), u, x(L), , u, x(ttttH T 定义哈密顿函数 (关于该函数的说明P31) tttuxHtttJ T t t f T fa f d(t)x)(),()()()(x 0 代入上式得 式中的第三项进行分部积分，得 tttttHtttJ T t t t t T t t f T fa f f f dx)(x)(d), , u, x()()()(x 0 0 0 当泛函J 取极值

31、时，其一次变分等于零。 即 0 a J 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 H (t)x x H )()( 0 0 tt tt xx 可以变分的量： uuu)()(ttxxx)()(tt )()()( fff tttxxx 求出J 的一次变分并令其为零 0dxu u x x )()( )()( )( 0 t HH tt txtx txJ T TT t t ff f T f f T a f 广义泛函取极值的必要条件是（定理210） 正则方程： 边界条件： 极值条件（控制方程）： )( )()( )( f f T f f t txtx t 0),( ff ttx 0 u H

32、 不可以变分的量： 0 t f t)( 0 tx )( t(t) 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 几点说明： 1）实际上，（2-73）式和（2-74）式为欧拉方程。 x f x L x H 因为 0 u H 0 u f u L 推导过程：如果令（广义泛函的积分内的函数） x),u,x(f)(),u,x(L),u,x(ttttH T 简记成xfL T H x f x L 由欧拉方程得到 0 d d xx H t H 0)( x f x L 即 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 而（275）式和初始条件（266）就是横截条件。 0 d d uu

33、 H t H 0 u f u L 2） 是泛函取极值的必要条件，是否为极小值还需要二次变分 来判断， 则泛函J 取极小值。 0J J 2 0 2 J 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 3） 哈密顿函数沿最优轨线随时间的变化率 t HHHH t H TTT u u x x d d 在最优控制 、最优轨线 下，有 和 * u * x0 u H （270）式的哈密顿函数对 求偏导，结果为 0 xx x x HHHHHH TTTT 由（277）式可得 于是 t H t H d d x), ux,(ft 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 即哈密顿函数H

34、 沿最优轨线对时间的全导数等于它对时间的偏导数。 记为 则 )(), ,u,x( * tHtH t t H Hdd 对上式积分，得到 d H tHtH f t t f * * 0 * 0 )()( 当哈密顿函数不显含 t 时，得 consttHtH f )()( * 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 2、末端自由情况 广义泛函取极值的必要条件是（定理211） 正则方程： 边界条件： 极值条件： H (t)x x H )( )( f f tx t 00) (xtx 0 u H 3、末端固定情况 广义泛函取极值的必要条件是（定理212） 正则方程： 边界条件： 极值条件：

35、 末端时刻固定时最优解的充分条件：定理213 H (t)x x H ff xtx)( 00) (xtx 0 u H 第2章 最优控制中的变分法 2.4 用变分法解最优控制问题 三、末端时刻自由时的最优解 推导过程与末端时刻固定时一样，只不过不同在于 可以变分的量： uuu)()(ttxxx)()(tt )()()( fff tttxxx fff ttt 不可以变分的量： 0 t)( 0 tx)(t 末端受约束情况：定理214 末端自由情况：定理215 末端固定时情况：定理216 注意与末端时刻固定的情况不同。 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系

36、统的极小值原理 问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认 为控制向量为控制向量 不受限制。但是不受限制。但是 实际的系统，控制信号都是受到实际的系统，控制信号都是受到 某种限制的。某种限制的。 )(tu 因此，应用控制方程因此，应用控制方程 来确定最优控制，可能出错。来确定最优控制，可能出错。 0 u H a)a)图中所示，图中所示，H 最小值出现在左侧，最小值出现在左侧， 不满足控制方程。不满足控制方程。 b)b)图中不存在图中不存在 0 u H r RUt )(u 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小

37、值原理 ( ) min ( ) ( ) f u t J ux t . .s t( )( , ),x tf x u 00 ( ),x tx 0 , f ttt ( )x t( ) t ( ) H x t ( ) H t x 一、自由末端的极小值原理一、自由末端的极小值原理 定理定理3-13-1：对应如下定常系统、末值型性能指标、末端自由、控制受约束：对应如下定常系统、末值型性能指标、末端自由、控制受约束 的最优控制问题的最优控制问题 及及 满足下述正则方程满足下述正则方程: : 对于最优解和最优末端时刻、最优轨线，存在非零的对于最优解和最优末端时刻、最优轨线，存在非零的n n维向量函数维向量函数

38、 使使( ) t 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 ( , , )( ) ( , ) T H x ut f x u ( )x t( ) t 00 () () () f f x tx t x t * ( ) ( , )min( , , ) u t H x uH x u 式中哈密顿函数式中哈密顿函数 及及 满足边界条件满足边界条件 哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值 f t * ( ),( ), ( )( ),( ), ( ) fff H x t u ttH x tu ttconst f t * (),()

39、, ()0 fff ttt H x tu tt 哈密顿函数沿最优轨迹线保持为常数哈密顿函数沿最优轨迹线保持为常数 固定时固定时 当当自由时自由时 当当 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 /0Hu * ( ) ( ( ),( ), ( )( ( ), ( ), ( ) u t H x t u ttH x t u tt 上述极小值原理与变分法主要区别在于条件上述极小值原理与变分法主要区别在于条件。当控制无约束时，当控制无约束时， 相应条件为相应条件为 ； 不再成立，而代之为不再成立，而代之为 当控制有约束时，当控制有约束时， /0H

40、u 极小值原理的重要意义极小值原理的重要意义：（：（P51) （1）容许控制条件放宽了。）容许控制条件放宽了。 （2）最优控制使哈密顿函数取全局极小值。）最优控制使哈密顿函数取全局极小值。 （3）极小值原理不要求哈密顿函数对控制的可微性。）极小值原理不要求哈密顿函数对控制的可微性。 （4）极小值原理给出了最优控制的必要而非充分条件。）极小值原理给出了最优控制的必要而非充分条件。 例例31： 说明：说明： 1 1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原理给出的只是最优控制应该满足的必要条件。 2 2）极小值原理与用变分法求解最优问题相比，差别仅在于极值条件。）极小值原理与用变

41、分法求解最优问题相比，差别仅在于极值条件。 3 3）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求 性能指标性能指标J J的极小值与求的极小值与求J J的极大值等价。的极大值等价。 4 4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 二、极小值原理的一些推广形式二、极小值原理的一些推广形式 1、时变问题、时变问题 定义：描述最优控制问题的相关函数显含时间，称为时变问题。定义：描述最优控制问

42、题的相关函数显含时间，称为时变问题。 解决办法：引入新状态变量，将时变问题转为定常问题，利用定理解决办法：引入新状态变量，将时变问题转为定常问题，利用定理3-1。 ( ) min( ) (), ff u t J ux tt . .st( )( , , ),x tf x u t 00 ( )x tx 0 , ff tt tt未知 定理定理3-23-2： ( ) H x t ( ) H t x 满足下述正则方程满足下述正则方程: :( )x t( ) t及及 式中哈密顿函数式中哈密顿函数( , , , )( ) ( , , ) T H xu tt f x u t 第第3章章 极小值原理及其应用极小

43、值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 ( )x t( ) t 00 () () () f f x tx t x t 及及 满足边界条件满足边界条件 哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值 在最优轨线末端哈密顿函数应满足在最优轨线末端哈密顿函数应满足 * ( ) ( ), ( ),( ), min ( ), ( ), ( ), u t H x tt u t tH x tt u t t * * ( ), ( ), ( ),( ), ff ffff f x tt H x ttu tt t * ( , , , ) ( ), ( ), ( ), ( ),

44、 ( ), ( ), f t ffff t H xu H x tt u t tH x ttu ttd 沿最优轨线哈密顿函数变化率沿最优轨线哈密顿函数变化率 定理定理3 32 2与定理与定理3 31 1的区别：的区别：P61P61 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 2 2、积分型性能指标问题、积分型性能指标问题 . .st( )( , , ),x tf x u t 00 ( )x tx 0 , ff tt tt未知 定理定理3-33-3： ( ) H x t ( ) H t x 满足下述正则方程满足下述正则方程: :( )x t(

45、 ) t及及 式中哈密顿函数式中哈密顿函数 0 ( ) min( ) ( ), ( ) f t tu t J uL x t u t dt ( )x t( ) t及及满足边界条件满足边界条件 00 ()x tx()0 f t )u, x(f )()u, x(L), u, x(tH T 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 哈密顿函数相对最优控制为极小值哈密顿函数相对最优控制为极小值 f t * ( ),( ), ( )( ),( ), ( ) fff H x t u ttH x tu ttconst f t * (),(), ()0

46、fff ttt H x tu tt 哈密顿函数沿最优轨迹线保持为常数哈密顿函数沿最优轨迹线保持为常数 固定时固定时 当当自由时自由时 当当 * ( ) ( ), ( ),( )min( ), ( ), ( ) u t H x tt u tH x tt u t 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 例例3-23-2： 试求：试求： 时的时的 ， 解：定常系统、积分型解：定常系统、积分型 ， 固定，固定， 自由，自由， 受约束。取哈密顿函数受约束。取哈密顿函数 tutxtx 50 x 15 . 0tu min 1 0 dttutxJ *

47、 u * x J f t)( f tx u uxuxuxH11 5 . 0 1 * tu 1 1 1 x H t 1 t cet 011 1 ce ec 1 1 t te 由协态方程由协态方程 由边界条件由边界条件 注：控制的切换点为注：控制的切换点为(ts)=1 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 10 s t 11 1 s t s et 307. 0 s t 5 . 0 1 * tu 00.307t 1307. 0 t 控制的切换点处控制的切换点处 00.307t 1307. 0 t 5 . 0 1 2 1 t t ec ec

48、 tx 00.307t 1307. 0 t 5 . 037. 4 14 * t t e e x 00.307t 1307. 0 t 根据边界条件继续求出：根据边界条件继续求出： 5 . 0 1 tx tx t x 代入状态方程得代入状态方程得 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 t t 72. 1 1 307. 0 1 0 5 . 0 1 307. 0 1 t * u 0 tx * t 1 307.00 44.6 5 3 .12 第第3章章 极小值原理及其应用极小值原理及其应用 3.1 连续系统的极小值原理连续系统的极小值原理 最

49、优性能指标为：最优性能指标为： 1 307. 0 307. 0 0 1 0 * 68. 8) 137. 4()24(dtedte dttutxJ tt 例例3-3： 3、末端受约束的情况、末端受约束的情况 做法与前面得一样，引入两个拉格朗日乘子向量，构造广义泛函，做法与前面得一样，引入两个拉格朗日乘子向量，构造广义泛函， 在满足末端约束条件下，泛函取得极值是等价的。在满足末端约束条件下，泛函取得极值是等价的。 定理定理3-4：（定常系统）：（定常系统） 定理定理3-5:（时变系统）（时变系统） 4、复合型性能指标情况、复合型性能指标情况 定理定理36： 表表3-1,3-2 例例35： 第第3章

50、章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理 一、离散欧拉方程一、离散欧拉方程 控制序列不受约束时控制序列不受约束时，利用，利用离散变分法离散变分法求解离散系统的最优控制问题。求解离散系统的最优控制问题。 1,.,1 , 0,),(),() 1(Nkkkukxfkx 1 0 1 0 ),1(),(),( N k k N k LkkxkukxLJ 设系统的差分方程为：设系统的差分方程为： 系统的性能指标为：系统的性能指标为： 离散泛函取得极值的必要条件（欧拉方程）离散泛函取得极值的必要条件（欧拉方程） 0 )( 0 )()( 1 ku L kx L

51、kx L k kk 离散横截条件为：离散横截条件为：0)0( )( )( )( 0 1 x kx L Nx kx L T k k T Nk k 若始端固定，末端自由，若始端固定，末端自由， 由离散横截条件得边界条件：由离散横截条件得边界条件： 例例36： 0 )( 1),(),1(),1( ,)0( 0 Nx NNxNuNxL xx 第第3章章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理 二、离散极小值原理二、离散极小值原理 先给出先给出控制序列不受约束控制序列不受约束时得离散极小值原理，然后推广到时得离散极小值原理，然后推广到控制序列受控制序列受

52、约束约束的情况。的情况。 1、末端状态受等式约束、末端状态受等式约束 1,.,1 , 0,),(),() 1(Nkkkukxfkx 1 0 ),1(),(),(),( N k kkxkukxLNNxJ 定理定理3-73-7: :设离散系统状态方程设离散系统状态方程 系统的性能指标为：系统的性能指标为： 目标集：目标集： 0),(NNx 取得极值的必要条件：取得极值的必要条件： ( )x k ( )k ( ) (1) (1) H k x k k ( ) ( ) ( ) H k k x k ( ) ( ), ( ),(1), H kH x ku kkk ( ), ( ), (1) ( ), ( )

53、, T L x k u k kkf x k u k k 和和 满足下列差分方程满足下列差分方程: : 式中离散哈密顿函数式中离散哈密顿函数 第第3章章 极小值原理及其应用极小值原理及其应用 3.2 离散系统的极小值原理离散系统的极小值原理 ( )x k( )k 0 (0)xx (),0 x NN ( ), ( ), ( ) ( )( ) T x N Nx N N N x Nx N *( ) u k * ( ),( ),(1), H xkukkk * ( ) min( ), ( ), (1), u k H x k u kkk ( ) 0 ( ) H k u k 和和满足边界条件满足边界条件 离散

54、哈密顿函数对最优控制离散哈密顿函数对最优控制取极小值取极小值 控制序列不受约束时控制序列不受约束时 2 2、末端状态自由时、末端状态自由时 定理定理3 38 8： 例例3 37 7： 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 时间最优控制：时间最优控制：如果性能指标是系统由初态转移到目标集的运动时间，则使如果性能指标是系统由初态转移到目标集的运动时间，则使 转移时间为最短的控制称为时间最优控制。转移时间为最短的控制称为时间最优控制。 一、一类非线性系统的时间最优控制一、一类非线性系统的时间最优控制 最短时间控制问题的提法：最短时间控制问题的提法： 设受

55、控系统状态方程为设受控系统状态方程为 )(),(),()(tuttxBttxftx 给定终端约束条件为给定终端约束条件为 0),( )( 00 ff ttx xtx 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，满足不等式约束，满足不等式约束 ),.,2 , 1(1)(mjtu j 使系统从已知初始状态使系统从已知初始状态 转移到目标集中某一状态转移到目标集中某一状态 时，时， 如如 下目标泛函取极小值，其中下目标泛函取极小值，其中 未知未知 )( 0 tx)( f tx f t 0 0 )( f t t f ttdttuJ 属于时变系统、积分型性能

56、指标、终端受约束的最优控制问题属于时变系统、积分型性能指标、终端受约束的最优控制问题 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 应用极小值原理，系统的哈密尔顿函数为：应用极小值原理，系统的哈密尔顿函数为： )(1),(),(),(BufttuttxH T 在使在使J J最小以实现最优控制的必要条件中，最小以实现最优控制的必要条件中，侧重分析极值条件侧重分析极值条件 ),.,2 , 1()(),(min)(),( )(1min)(1 * 1)( * 1)( * mjtuttxBtuttxB BufBuf T tu T T tu T j j 将上式中的矩阵

57、表达式展开成分量形式将上式中的矩阵表达式展开成分量形式 m j n i iijj mnmnn m m n bu u u u bbb bbb bbb 11 2 1 21 22221 11211 21 . . . . . . j g 则极值条件可写为：则极值条件可写为： m j jj u m j jj gugu j 1 * 1 1 * min 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 由上式可见，由于由上式可见，由于 是确定的，故使是确定的，故使 取极小值的最优控制为取极小值的最优控制为 * j g m j jjg u 1 * 0 01 01 * j j

58、j j g g g u 不定 或简写为：或简写为： n i iijj bgu j 1 * sgnsgn 根据根据 是否为零，将系统分为两种情形：正常（平凡）、奇异（非平凡）是否为零，将系统分为两种情形：正常（平凡）、奇异（非平凡） （砰（砰- -砰控制）砰控制） * j g * j g * j u 0 1 1 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 正常（平凡）最短时间控正常（平凡）最短时间控 制系统（定义制系统（定义3 31 1） 只是在各个孤立的瞬只是在各个孤立的瞬 刻才取零值，刻才取零值， 是有第一是有第一 类间断点的分段常数函数类间断点的分段

59、常数函数 。 奇异（非平凡）最短时奇异（非平凡）最短时 间控制系统（定义间控制系统（定义3 32 2 ） 并不意味着在该区间内并不意味着在该区间内 最优控制不存在，仅表最优控制不存在，仅表 明，从必要条件不能推明，从必要条件不能推 出确切关系式。出确切关系式。 * j g * j u 定理定理3 39 9：砰：砰- -砰控制原理砰控制原理 第第3章章 极小值原理及其应用极小值原理及其应用 3.3 时间最优控制时间最优控制 二、线性定常系统的时间最优控制二、线性定常系统的时间最优控制 线性时间最优调节器问题的提法（线性时间最优调节器问题的提法（问题问题3 32 2）：）： 设受控系统状态方程为设

60、受控系统状态方程为 )()()(tButAxtx 给定终端约束条件为给定终端约束条件为 0)( )0()( 0 f tx axtx 寻求寻求m m维有界闭集中的最优控制维有界闭集中的最优控制u u* *( (t t) )，满足不等式约束，满足不等式约束 ),.,2 , 1(1)(mjtu j 使系统以最短时间从初始状态使系统以最短时间从初始状态 转移到状态空间原点。转移到状态空间原点。目标泛目标泛 函取极小值函取极小值 )0(x 根据上一节的结论，可得极值条件为：根据上一节的结论，可得极值条件为： )(sgnsgn * tbgu T jj j 0 0 )( f t t f ttdttuJ 第第