最优控制理论及应用课件

最优控制理论与应用

2022年11月27日1第一章最优控制问题的一般概念第二章最优控制的变分方法第三章极小值原理及其应用第四章

线性二次型问题的最优控制第五章

动态规划最优控制理论与应用2022年11月26日1第一章最优控制问2022年11月27日2一基本概念最优控制理论中心问题：给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）第一章最优控制问题的一般概念2022年11月26日2一基本概念第一章最优控制问题的一二最优控制问题2022年11月27日31例子

飞船软着陆问题宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量二最优控制问题2022年11月26日31例子 飞船软着2022年11月27日4软着陆过程开始时刻t为零K为常数，初始状态

末端条件

2022年11月26日4软着陆过程开始时刻t为零K为常数2022年11月27日5性能指标控制约束

任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）2022年11月26日5性能指标控制约束任务：满足例2火车快速运行问题设火车从甲地出发，求容许控制，使其到达乙地时间最短。m火车质量；火车加速度；u（t）产生加速度的推力且

火车运动方程

2022年11月27日6例2火车快速运行问题设火车从甲地出发，求容许控制，2022年11月27日72问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

2022年11月26日72问题描述(1)状态方程一2022年11月27日8(2)容许控制：,(3)目标集

n维向量函数

固定端问题自由端问题2022年11月26日8(2)容许控制：,(3)目标2022年11月27日9(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求2022年11月26日9(4)性能指标对状态、控制以及终最优控制的应用类型积分型1）最小时间控制2）最小燃耗控制3）最小能量控制2022年11月27日10最优控制的应用类型积分型2022年11月26日10末值型复合型1）状态调节器2）输出跟踪系统2022年11月27日11末值型2022年11月26日11最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法2022年11月27日12最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析第二章最优控制中的变分法2022年11月27日132.1泛函与变分法基础平面上两点连线的长度问题其弧长为第二章最优控制中的变分法2022年11月26日132.2022年11月27日14一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

泛函定义：x(t)是自变量t的函数，若对每个函数x(t)，有一个J值与之对应，则变量J称为依赖于x(t)的泛函，记J(x(t))例举：2022年11月26日14一般来说，曲线不同，弧长就不同，即线性泛函与连续泛函：线性泛函泛函对宗量是线性的连续泛函

若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函2022年11月27日15线性泛函与连续泛函：2022年11月26日152022年11月27日16泛函与函数的几何解释

宗量的变分泛函的增量

泛函的变分

Jd=2022年11月26日16泛函与函数的几何解释宗量的变分2022年11月27日17定理2.1泛函的变分为

2022年11月26日17定理2.1泛函的变分为2022年11月27日18例2.1求泛函的变分

2022年11月26日18例2.1求泛函的变分泛函的极值

2022年11月27日19定理2.2若泛函

有极值，则必有泛函的极值

2022年11月26日19定理2.2若泛变分学预备定理2022年11月27日20变分学预备定理2022年11月26日202.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.3设有如下泛函极值问题：

2022年11月27日21及横截条件2.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.2022年11月27日222.2欧拉方程

变分分部积分

证明：2022年11月26日222.2欧拉方程2022年11月27日23例2.2求平面上两固定点间连线最短的曲线，直线

2022年11月26日23例2.2求平面上两固定点间连例2.3：

已知边界条件为求使泛函达到极值的轨线

解：2022年11月27日24例2.3：

已知边界条件为2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理2.4设有如下泛函极值问题：

2022年11月27日25及横截条件2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理例2.4：设人造地球卫星姿态控制系统的状态方程为2022年11月27日26例2.4：设人造地球卫星姿态控制系统的状态方程为2022年1

2.3横截条件2022年11月27日27

讨论：

A.

B.

C.

D.2.3横截条件2022年11月26日27讨论：

A.2022年11月27日28左端固定右端沿曲线变动横截条件C的推导2022年11月26日28左端固定右端沿曲线变动横截条件C2022年11月27日29

2022年11月26日29

2022年11月27日30例2.5设性能指标泛函

末值时刻

未定，已知

，解：由欧拉方程得由x(0)=1求出b=1；由横截条件知

2022年11月26日30例2.5设性能指标泛函末值2022年11月27日312022年11月26日312022年11月27日322.4含有多个未知函数泛函的极值泛函

欧拉方程

边界值

横截条件

2022年11月26日322.4含有多个未知函数泛函的极2022年11月27日332.5条件极值状态方程泛函引进乘子构造新的函数和泛函

欧拉方程

约束方程2022年11月26日332.5条件极值状态方程泛函2022年11月27日34例2.6泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令2022年11月26日34例2.6泛函约束方程边界条件2022年11月27日35约束方程可定为边界条件为2022年11月26日35约束方程可定为边界条件为2022年11月27日36引进乘子构造函数欧拉方程2022年11月26日36引进乘子构造函数欧拉方程2022年11月27日37解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：2022年11月26日37解出其中，和为任意常数。代入约束2022年11月27日38于是，极值曲线和为：2022年11月26日38于是，极值曲线和为：2022年11月27日39问题：确定最优控制和最优轨线，使系统由已知初态转移到要求的目标集

2.6变分法解最优控制问题并使指定的目标泛函达到极值2022年11月26日39问题：确定最优控制和最优轨2022年11月27日402.6.1末端时刻固定时最优解的必要条件（1）末端受约束的情况引入拉格朗日乘子构造广义泛函

有构造哈米顿函数2022年11月26日402.6.1末端时刻固定时最优解的2022年11月27日41变分2022年11月26日41变分

2022年11月27日42定理2.5：对于如下最优控制问题：u(t)无约束，tf固定.最优解的必要条件2022年11月26日42定理2.5：对于如下最优控制问题

2022年11月27日43定理2.6：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)自由.最优解的必要条件（2）末端自由的情况2022年11月26日43定理2.6：对于如下最优控制问题

2022年11月27日44定理2.7：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)固定.最优解的必要条件（3）末端固定的情况2022年11月26日44定理2.7：对于如下最优控制问题2022年11月27日45例2.7考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，给定，试求最优控制有极小值。0t，2022年11月26日45例2.7考虑状态方程和初始条2022年11月27日46，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数2022年11月26日46，伴随方程边界条件由必要条件2022年11月27日47则最优控制为得代入状态方程求解得令，则有2022年11月26日47则最优控制为得代入状态方程求解得2022年11月27日48边界条件指标泛函

哈米顿函数

伴随方程，

例2.8重解例

2.4

其解为2022年11月26日48边界条件指标泛函哈米顿函数伴2022年11月27日49

2022年11月26日49习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标2022年11月27日50习题2：设二阶系统方程为性能指标取为求系统由已知初态在转移到目标集且使J取极小的最优控制和最优轨迹习题1：设一阶系统方程为2022年11月26日50习题2：设2022年11月27日512.6.2末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值

变分2022年11月26日512.6.2末端时刻自由的最优解2022年11月27日52

，必要条件2022年11月26日52，必要条件2022年11月27日53例2.7

指标泛函

哈米顿函数

伴随方程

必要条件2022年11月26日53例2.7指标泛函哈米顿函数

第三章最大值原理2022年11月27日543.1古典变分法的局限性u(t)受限的例子矛盾!!例3.1伴随方程极值必要条件第三章最大值原理2022年11月26日543.1古典2022年11月27日553.2最大值原理且定理3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程2022年11月26日553.2最大值原理且定理32022年11月27日56最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。2022年11月26日56最小值原理只是最优控制所满足的必要2022年11月27日57例3.2重解例3.1

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有2022年11月26日57例3.2重解例3.1，2022年11月27日58，

协态变量与控制变量的关系图

2022年11月26日58，协态变量与控制变量的2022年11月27日59,，例3.3性能指标泛函

哈密顿函数伴随方程，

2022年11月26日59,，例3.3性能指标泛函哈2022年11月27日60上有

2022年11月26日60上有2022年11月27日61协态变量与控制变量的关系图

整个最优轨线

2022年11月26日61协态变量与控制变量的关系图整个最2022年11月27日62例3.4

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

2022年11月26日62例3.4把系统状态在终点时刻转2022年11月27日63H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

2022年11月26日63H是u的二次抛物线函数，u在2022年11月27日64

，，

最优控制最优轨线

最优性能指标

2022年11月26日64，，最优控制最优轨线最优性2022年11月27日65例3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

2022年11月26日65例3.5使系统以最短时间从给定2022年11月27日66最优控制切换及最优轨线示意图

2022年11月26日66最优控制切换及最优轨线示意图2022年11月27日673.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件2022年11月26日673.3古典变分法与最小值原理古3.4极大值原理的应用：快速控制系统2022年11月27日68在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。3.4极大值原理的应用：快速控制系统2022年11月22022年11月27日693.4.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数2022年11月26日693.4.1快速控制问题性能指标2022年11月27日70例3.4.1有一单位质点，在处以初速度2沿直线运动。现施加一力，，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。质点运动方程

状态方程哈密顿函数伴随方程

2022年11月26日70例3.4.1有一单位质点，在2022年11月27日71最优控制

协态变量与控制函数4种情况示意图2022年11月26日71最优控制协态变量与控制函数4种情2022年11月27日72相轨线族示意图开关曲线2022年11月26日72相轨线族示意图开关曲线2022年11月27日73开关曲线总时间初始状态最优控制状态方程相轨线最优控制

2022年11月26日73开关曲线总时间初始状态最优控2022年11月27日743.4.2综合问题

综合是将最优控制函数表示为状态和时间的函数即上例之最优综合控制函数2022年11月26日743.4.2综合问题综合是将最2022年11月27日75例3.4.2

求快速返回原点的开关曲线和最优综合控制函数

构造哈密顿函数

伴随方程

最优控制

2022年11月26日75例3.4.2求快速返回原点的开2022年11月27日76最优控制与协态变量的变化情况

控制是“砰砰控制”，除了首尾之外，在和上的停留时间均为2022年11月26日76最优控制与协态变量的变化情况控制2022年11月27日77备选最优轨线族

两族同心圆方程2022年11月26日77备选最优轨线族两族同心圆方程2022年11月27日78相点沿轨线顺时针方向运动，其速度为开关曲线

2022年11月26日78相点沿轨线顺时针方向运动，其速度为2022年11月27日79第二段开关曲线2022年11月26日79第二段开关曲线2022年11月27日80整个开关曲线

2022年11月26日80整个开关曲线2022年11月27日81最优综合控制函数

2022年11月26日81最优综合控制函数

第四章线性二次型性能指标的最优控制2022年11月27日82

用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。第四章线性二次型性能指标的最优控制2022年11月26日2022年11月27日83

但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。2022年11月26日83但对一类线性的且指标2022年11月27日844.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数2022年11月26日844.1问题提法动态方程指标2022年11月27日85指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。2022年11月26日85指标泛函的物理意义2022年11月27日864.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足4.2状态调节器2022年11月26日864.2.1末端自由问题构造哈密2022年11月27日87求导2022年11月26日87求导2022年11月27日88（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵2022年11月26日88（矩阵黎卡提微分方程）边界条件2022年11月27日89例4.1

性能指标泛函

最优控制黎卡提微分方程2022年11月26日89例4.1性能指标泛函最优控制2022年11月27日90最优轨线

最优控制最优轨线的微分方程

解

2022年11月26日90最优轨线最优控制最优轨线的微分2022年11月27日91黎卡提方程的解

随终点时间变化的黎卡提方程的解2022年11月26日91黎卡提方程的解随终点时间变化的黎2022年11月27日924.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

2022年11月26日924.2.2固定端问题（设2022年11月27日93求导

黎卡提方程乘以逆黎卡提方程

解逆2022年11月26日93求导黎卡提方程乘以逆黎卡提方程2022年11月27日944.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

2022年11月26日944.2.3的情况性能指标无2022年11月27日954.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

2022年11月26日954.2.4定常系统完全可控指2022年11月27日96例4.2

黎卡提方程

2022年11月26日96例4.2黎卡提方程2022年11月27日974.3输出调节器输出调节器问题状态调节器问题指标泛函

令2022年11月26日974.3输出调节器输出调节器问题2022年11月27日984.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。2022年11月26日984.4跟踪问题问题的提法已知2022年11月27日99指标泛函

哈密顿函数2022年11月26日99指标泛函哈密顿函数2022年11月27日100设并微分2022年11月26日100设并微分2022年11月27日101的任意性

最优控制2022年11月26日101的任意性最优控制2022年11月27日102最优轨线方程

最优性能指标

2022年11月26日102最优轨线方程最优性能指标2022年11月27日103例4.3

，性能指标

2022年11月26日103例4.3，性能指标2022年11月27日104最优控制

2022年11月26日104最优控制2022年11月27日105，，最优控制

极限解2022年11月26日105，，最优控制2022年11月27日106闭环控制系统结构2022年11月26日106闭环控制系统结构2022年11月27日107两种方法

庞特里雅金

前苏联学者

极大值原理

贝尔曼

美国学者

动态规划应用在过程控制、国防建设、经济规划、管理

多个分支分布参数的最优控制、随机最优控制、大系统最优控制以及多方多层次的微分对策和主从对策等

返回2022年11月26日107两种方法庞特里雅金前苏联学者

第五章动态规划

2022年11月27日108

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。

第五章动态规划

2022年11月26日108动态规划2022年11月27日1095.1多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。2022年11月26日1095.1多级决策过程与最优性原2022年11月27日110(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。2022年11月26日110(a)中只有两条路径，从起点开始2022年11月27日111逆向分级计算法

逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。

以(c)为例

从倒数第一级开始，状态有两个，分别为

和

在处，只有一条路到达终点，其时间是；在

处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。并将此点到终点的最优路径画上箭头。

2022年11月26日111逆向分级计算法逆向是指计算2022年11月27日112然后再考虑第二级只有一种选择，到终点所需时间是有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出也标出最优路径和时间依此类推，最后计算初始位置求得最优路径最短时间为132022年11月26日112然后再考虑第二级只有一种选择，2022年11月27日113最优路径示意图

2022年11月26日113最优路径示意图2022年11月27日114多级过程

多级决策过程

目标函数控制目的

选择决策序列

使目标函数取最小值或最大值实际上就是离散状态的最优控制问题

2022年11月26日114多级过程多级决策过程目标函数2022年11月27日115最优性原理

在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。2022年11月26日115最优性原理在一个多级决策问题中2022年11月27日116指标函数多是各级指标之和，即具有可加性最优性原理的数学表达式2022年11月26日116指标函数多是各级指标之和，即具有2022年11月27日1175.2离散系统动态规划阶离散系统

性能指标

求决策向量

使有最小值（或最大值），其终点可自由，也可固定或受约束。2022年11月26日1175.2离散系统动态规划阶离散2022年11月27日118引进记号

应用最优性原理

可建立如下递推公式

贝尔曼动态规划方程

2022年11月26日118引进记号应用最优性原理可建立2022年11月27日119例5.2设一阶离散系统，状态方程和初始条件为性能指标求使有最小值的最优决策序列和最优轨线序列指标可写为

2022年11月26日119例5.2设一阶离散系统，状态2022年11月27日120代入

上一级2022年11月26日120代入上一级2022年11月27日121代入状态方程最优决策序列

最优轨线

2022年11月26日121代入状态方程最优决策序列2022年11月27日1225.3连续系统的动态规划性能指标目标集

引进记号根据最优性原理及2022年11月26日1225.3连续系统的动态规划性能2022年11月27日1232022年11月26日1232022年11月27日124由泰勒公式，得

由中值定理，得

2022年11月26日124由泰勒公式，得由中值定理，得2022年11月27日125连续型动态规划方程

实际上它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程2022年11月26日125连续型动态规划方程实际上它不是2022年11月27日126满足连续型动态规划方程，有设边界条件动态规划动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合函数；动态规划要求有连续偏导数最大值原理最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得。2022年11月26日126满足连续型动态规划方程，有设边2022年11月27日127例5.3一阶系统

，

性能指标动态规划方程

右端对u求导数，令其导数为零，则得

2022年11月26日127例5.3一阶系统，性2022年11月27日1285.4动态规划与最大值原理的关系变分法、最大值原理和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理之间的关系前面已说明，下面将分析动态规划和最大值原理的关系。可以证明，在一定条件下，从动态规划方程能求最大值原理的方程。2022年11月26日1285.4动态规划与最大值原理的2022年11月27日129最优控制理论上世纪50年代初

问题比较简单二阶定常系统

方法比较特殊

借助于几何图形

动态系统的最优化问题乃是一个变分问题变分法开集最优控制问题

闭集发展变分法

2022年11月26日129最优控制理论上世纪50年代初2022年11月27日130动态规划方程

令哈米顿函数

最大值原理的必要条件2022年11月26日130动态规划方程令哈米顿函数最大最优控制理论与应用

2022年11月27日131第一章最优控制问题的一般概念第二章最优控制的变分方法第三章极小值原理及其应用第四章

线性二次型问题的最优控制第五章

动态规划最优控制理论与应用2022年11月26日1第一章最优控制问2022年11月27日132一基本概念最优控制理论中心问题：给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）第一章最优控制问题的一般概念2022年11月26日2一基本概念第一章最优控制问题的一二最优控制问题2022年11月27日1331例子

飞船软着陆问题宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量二最优控制问题2022年11月26日31例子 飞船软着2022年11月27日134软着陆过程开始时刻t为零K为常数，初始状态

末端条件

2022年11月26日4软着陆过程开始时刻t为零K为常数2022年11月27日135性能指标控制约束

任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）2022年11月26日5性能指标控制约束任务：满足例2火车快速运行问题设火车从甲地出发，求容许控制，使其到达乙地时间最短。m火车质量；火车加速度；u（t）产生加速度的推力且

火车运动方程

2022年11月27日136例2火车快速运行问题设火车从甲地出发，求容许控制，2022年11月27日1372问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

2022年11月26日72问题描述(1)状态方程一2022年11月27日138(2)容许控制：,(3)目标集

n维向量函数

固定端问题自由端问题2022年11月26日8(2)容许控制：,(3)目标2022年11月27日139(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求2022年11月26日9(4)性能指标对状态、控制以及终最优控制的应用类型积分型1）最小时间控制2）最小燃耗控制3）最小能量控制2022年11月27日140最优控制的应用类型积分型2022年11月26日10末值型复合型1）状态调节器2）输出跟踪系统2022年11月27日141末值型2022年11月26日11最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法2022年11月27日142最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析第二章最优控制中的变分法2022年11月27日1432.1泛函与变分法基础平面上两点连线的长度问题其弧长为第二章最优控制中的变分法2022年11月26日132.2022年11月27日144一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

泛函定义：x(t)是自变量t的函数，若对每个函数x(t)，有一个J值与之对应，则变量J称为依赖于x(t)的泛函，记J(x(t))例举：2022年11月26日14一般来说，曲线不同，弧长就不同，即线性泛函与连续泛函：线性泛函泛函对宗量是线性的连续泛函

若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函2022年11月27日145线性泛函与连续泛函：2022年11月26日152022年11月27日146泛函与函数的几何解释

宗量的变分泛函的增量

泛函的变分

Jd=2022年11月26日16泛函与函数的几何解释宗量的变分2022年11月27日147定理2.1泛函的变分为

2022年11月26日17定理2.1泛函的变分为2022年11月27日148例2.1求泛函的变分

2022年11月26日18例2.1求泛函的变分泛函的极值

2022年11月27日149定理2.2若泛函

有极值，则必有泛函的极值

2022年11月26日19定理2.2若泛变分学预备定理2022年11月27日150变分学预备定理2022年11月26日202.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.3设有如下泛函极值问题：

2022年11月27日151及横截条件2.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.2022年11月27日1522.2欧拉方程

变分分部积分

证明：2022年11月26日222.2欧拉方程2022年11月27日153例2.2求平面上两固定点间连线最短的曲线，直线

2022年11月26日23例2.2求平面上两固定点间连例2.3：

已知边界条件为求使泛函达到极值的轨线

解：2022年11月27日154例2.3：

已知边界条件为2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理2.4设有如下泛函极值问题：

2022年11月27日155及横截条件2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理例2.4：设人造地球卫星姿态控制系统的状态方程为2022年11月27日156例2.4：设人造地球卫星姿态控制系统的状态方程为2022年1

2.3横截条件2022年11月27日157

讨论：

A.

B.

C.

D.2.3横截条件2022年11月26日27讨论：

A.2022年11月27日158左端固定右端沿曲线变动横截条件C的推导2022年11月26日28左端固定右端沿曲线变动横截条件C2022年11月27日159

2022年11月26日29

2022年11月27日160例2.5设性能指标泛函

末值时刻

未定，已知

，解：由欧拉方程得由x(0)=1求出b=1；由横截条件知

2022年11月26日30例2.5设性能指标泛函末值2022年11月27日1612022年11月26日312022年11月27日1622.4含有多个未知函数泛函的极值泛函

欧拉方程

边界值

横截条件

2022年11月26日322.4含有多个未知函数泛函的极2022年11月27日1632.5条件极值状态方程泛函引进乘子构造新的函数和泛函

欧拉方程

约束方程2022年11月26日332.5条件极值状态方程泛函2022年11月27日164例2.6泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令2022年11月26日34例2.6泛函约束方程边界条件2022年11月27日165约束方程可定为边界条件为2022年11月26日35约束方程可定为边界条件为2022年11月27日166引进乘子构造函数欧拉方程2022年11月26日36引进乘子构造函数欧拉方程2022年11月27日167解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：2022年11月26日37解出其中，和为任意常数。代入约束2022年11月27日168于是，极值曲线和为：2022年11月26日38于是，极值曲线和为：2022年11月27日169问题：确定最优控制和最优轨线，使系统由已知初态转移到要求的目标集

2.6变分法解最优控制问题并使指定的目标泛函达到极值2022年11月26日39问题：确定最优控制和最优轨2022年11月27日1702.6.1末端时刻固定时最优解的必要条件（1）末端受约束的情况引入拉格朗日乘子构造广义泛函

有构造哈米顿函数2022年11月26日402.6.1末端时刻固定时最优解的2022年11月27日171变分2022年11月26日41变分

2022年11月27日172定理2.5：对于如下最优控制问题：u(t)无约束，tf固定.最优解的必要条件2022年11月26日42定理2.5：对于如下最优控制问题

2022年11月27日173定理2.6：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)自由.最优解的必要条件（2）末端自由的情况2022年11月26日43定理2.6：对于如下最优控制问题

2022年11月27日174定理2.7：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)固定.最优解的必要条件（3）末端固定的情况2022年11月26日44定理2.7：对于如下最优控制问题2022年11月27日175例2.7考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，给定，试求最优控制有极小值。0t，2022年11月26日45例2.7考虑状态方程和初始条2022年11月27日176，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数2022年11月26日46，伴随方程边界条件由必要条件2022年11月27日177则最优控制为得代入状态方程求解得令，则有2022年11月26日47则最优控制为得代入状态方程求解得2022年11月27日178边界条件指标泛函

哈米顿函数

伴随方程，

例2.8重解例

2.4

其解为2022年11月26日48边界条件指标泛函哈米顿函数伴2022年11月27日179

2022年11月26日49习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标2022年11月27日180习题2：设二阶系统方程为性能指标取为求系统由已知初态在转移到目标集且使J取极小的最优控制和最优轨迹习题1：设一阶系统方程为2022年11月26日50习题2：设2022年11月27日1812.6.2末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值

变分2022年11月26日512.6.2末端时刻自由的最优解2022年11月27日182

，必要条件2022年11月26日52，必要条件2022年11月27日183例2.7

指标泛函

哈米顿函数

伴随方程

必要条件2022年11月26日53例2.7指标泛函哈米顿函数

第三章最大值原理2022年11月27日1843.1古典变分法的局限性u(t)受限的例子矛盾!!例3.1伴随方程极值必要条件第三章最大值原理2022年11月26日543.1古典2022年11月27日1853.2最大值原理且定理3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程2022年11月26日553.2最大值原理且定理32022年11月27日186最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。2022年11月26日56最小值原理只是最优控制所满足的必要2022年11月27日187例3.2重解例3.1

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有2022年11月26日57例3.2重解例3.1，2022年11月27日188，

协态变量与控制变量的关系图

2022年11月26日58，协态变量与控制变量的2022年11月27日189,，例3.3性能指标泛函

哈密顿函数伴随方程，

2022年11月26日59,，例3.3性能指标泛函哈2022年11月27日190上有

2022年11月26日60上有2022年11月27日191协态变量与控制变量的关系图

整个最优轨线

2022年11月26日61协态变量与控制变量的关系图整个最2022年11月27日192例3.4

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

2022年11月26日62例3.4把系统状态在终点时刻转2022年11月27日193H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

2022年11月26日63H是u的二次抛物线函数，u在2022年11月27日194

，，

最优控制最优轨线

最优性能指标

2022年11月26日64，，最优控制最优轨线最优性2022年11月27日195例3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

2022年11月26日65例3.5使系统以最短时间从给定2022年11月27日196最优控制切换及最优轨线示意图

2022年11月26日66最优控制切换及最优轨线示意图2022年11月27日1973.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件2022年11月26日673.3古典变分法与最小值原理古3.4极大值原理的应用：快速控制系统2022年11月27日198在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。3.4极大值原理的应用：快速控制系统2022年11月22022年11月27日1993.4.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数2022年11月26日693.4.1快速控制问题性能指标2022年11月27日200例3.4.1有一单位质点，在处以初速度2沿直线运动。现施加一力，，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。质点运动方程

状态方程哈密顿函数伴随方程

2022年11月26日70例3.4.1有一单位质点，在2022年11月27日201最优控制

协态变量与控制函数4种情况示意图2022年11月26日71最优控制协态变量与控制函数4种情2022年11月27日202相轨线族示意图开关曲线2022年11月26日72相轨线族示意图开关曲线2022年11月27日203开关曲线总时间初始状态最优控制状态方程相轨线最优控制

2022年11月26日73开关曲线总时间初始状态最优控2022年11月27日2043.4.2综合问题

综合是将最优控制函数表示为状态和时间的函数即上例之最优综合控制函数2022年11月26日743.4.2综合问题综合是将最2022年11月27日205例3.4.2

求快速返回原点的开关曲线和最优综合控制函数

构造哈密顿函数

伴随方程

最优控制

2022年11月26日75例3.4.2求快速返回原点的开2022年11月27日206最优控制与协态变量的变化情况

控制是“砰砰控制”，除了首尾之外，在和上的停留时间均为2022年11月26日76最优控制与协态变量的变化情况控制2022年11月27日207备选最优轨线族

两族同心圆方程2022年11月26日77备选最优轨线族两族同心圆方程2022年11月27日208相点沿轨线顺时针方向运动，其速度为开关曲线

2022年11月26日78相点沿轨线顺时针方向运动，其速度为2022年11月27日209第二段开关曲线2022年11月26日79第二段开关曲线2022年11月27日210整个开关曲线

2022年11月26日80整个开关曲线2022年11月27日211最优综合控制函数

2022年11月26日81最优综合控制函数

第四章线性二次型性能指标的最优控制2022年11月27日212

用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。第四章线性二次型性能指标的最优控制2022年11月26日2022年11月27日213

但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。2022年11月26日83但对一类线性的且指标2022年11月27日2144.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数2022年11月26日844.1问题提法动态方程指标2022年11月27日215指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。2022年11月26日85指标泛函的物理意义2022年11月27日2164.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足4.2状态调节器2022年11月26日864.2.1末端自由问题构造哈密2022年11月27日217求导2022年11月26日87求导2022年11月27日218（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵2022年11月26日88（矩阵黎卡提微分方程）边界条件2022年11月27日219例4.1

性能指标泛函

最优控制黎卡提微分方程2022年11月26日89例4.1性能指标泛函最优控制2022年11月27日220最优轨线

最优控制最优轨线的微分方程

解

2022年11月26日90最优轨线最优控制最优轨线的微分2022年11月27日221黎卡提方程的解

随终点时间变化的黎卡提方程的解2022年11月26日91黎卡提方程的解随终点时间变化的黎2022年11月27日2224.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

2022年11月26日924.2.2固定端问题（设2022年11月27日223求导

黎卡提方程乘以逆黎卡提方程

解逆2022年11月26日93求导黎卡提方程乘以逆黎卡提方程2022年11月27日2244.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

2022年11月26日944.2.3的情况性能指标无2022年11月27日2254.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

2022年11月26日954.2.4定常系统完全可控指2022年11月27日226例4.2

黎卡提方程

2022年11月26日96例4.2黎卡提方程2022年11月27日2274.3输出调节器输出调节器问题状态调节器问题指标泛函

令2022年11月26日974.3输出调节器输出调节器问题2022年11月27日2284.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。2022年11月26日984.4跟踪问题问题的提法已知2022年11月27日229指标泛函

哈密顿函数2022年11月26日99指标泛函哈密顿函数2022年11月27日230设并微分2022年11月26日100设并微分2022年11月27日231的任意性

最优控制2022年11月26日101的任意性最优控制2022年11月27日232最优轨线方程

最优性能指标

2022年11月26日102最优轨线方程最优性能指标2022年11月27日233例4.3

，性能指标

2022年11月26日103例4.3，性能指标2022年11月27日234最优控制

2022年11月26日104最优控制2022年11月27日235，，最优控制

极限解2022年11月26日105，，最优控制2022年11月27日236闭环控制系统结构2022年11月26日106闭环控制系统结构2022年11月27日237两种方法

庞特里雅金

前苏联学者

极大值原理

贝尔曼

美国学者

动态规划应用在过程控制、国防建设、经济规划、管理

多个分支分布参数的最优控制、随机最优控制、大系统最优控制以及多方多层次的微分对策和主从对策等

返回2022年11月26日107两种方法庞特里雅金前苏联学者

第五章动态规划

2022年11月27日238

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。

第五章动态规划

2022年11月26日108动态规划2022年1