最优控制理论及应用

最优控制理论及应用第一页，共一百三十页，2022年，8月28日2023/2/251一基本概念最优控制理论中心问题：给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）第一章最优控制问题的一般概念第二页，共一百三十页，2022年，8月28日二最优控制问题1例子

飞船软着陆问题宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量第三页，共一百三十页，2022年，8月28日软着陆过程开始时刻t为零K为常数，初始状态

末端条件

第四页，共一百三十页，2022年，8月28日性能指标控制约束任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）第五页，共一百三十页，2022年，8月28日例2火车快速运行问题设火车从甲地出发，求容许控制，使其到达乙地时间最短。m火车质量；火车加速度；u（t）产生加速度的推力且

火车运动方程

第六页，共一百三十页，2022年，8月28日2问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

第七页，共一百三十页，2022年，8月28日(2)容许控制：,(3)目标集

n维向量函数

固定端问题自由端问题第八页，共一百三十页，2022年，8月28日(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求第九页，共一百三十页，2022年，8月28日最优控制的应用类型积分型1）最小时间控制2）最小燃耗控制3）最小能量控制第十页，共一百三十页，2022年，8月28日末值型复合型1）状态调节器2）输出跟踪系统第十一页，共一百三十页，2022年，8月28日最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法第十二页，共一百三十页，2022年，8月28日第二章最优控制中的变分法2.1泛函与变分法基础平面上两点连线的长度问题其弧长为第十三页，共一百三十页，2022年，8月28日一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

泛函定义：x(t)是自变量t的函数，若对每个函数x(t)，有一个J值与之对应，则变量J称为依赖于x(t)的泛函，记J(x(t))例举：第十四页，共一百三十页，2022年，8月28日线性泛函与连续泛函：线性泛函泛函对宗量是线性的连续泛函

若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函第十五页，共一百三十页，2022年，8月28日泛函与函数的几何解释

宗量的变分泛函的增量

泛函的变分

Jd=第十六页，共一百三十页，2022年，8月28日定理2.1泛函的变分为

第十七页，共一百三十页，2022年，8月28日例2.1求泛函的变分

第十八页，共一百三十页，2022年，8月28日泛函的极值

定理2.2若泛函有极值，则必有第十九页，共一百三十页，2022年，8月28日变分学预备定理第二十页，共一百三十页，2022年，8月28日2.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.3设有如下泛函极值问题：

及横截条件第二十一页，共一百三十页，2022年，8月28日2.2欧拉方程

变分分部积分

证明：第二十二页，共一百三十页，2022年，8月28日例2.2求平面上两固定点间连线最短的曲线，直线

第二十三页，共一百三十页，2022年，8月28日例2.3：

已知边界条件为求使泛函达到极值的轨线

解：第二十四页，共一百三十页，2022年，8月28日2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理2.4设有如下泛函极值问题：

及横截条件第二十五页，共一百三十页，2022年，8月28日例2.4：设人造地球卫星姿态控制系统的状态方程为第二十六页，共一百三十页，2022年，8月28日

2.3横截条件

讨论：

A.

B.

C.

D.第二十七页，共一百三十页，2022年，8月28日左端固定右端沿曲线变动横截条件C的推导第二十八页，共一百三十页，2022年，8月28日

第二十九页，共一百三十页，2022年，8月28日

例2.5设性能指标泛函末值时刻

未定，已知

，解：由欧拉方程得由x(0)=1求出b=1；由横截条件知第三十页，共一百三十页，2022年，8月28日第三十一页，共一百三十页，2022年，8月28日2.4含有多个未知函数泛函的极值泛函

欧拉方程

边界值

横截条件

第三十二页，共一百三十页，2022年，8月28日2.5条件极值状态方程泛函引进乘子构造新的函数和泛函欧拉方程

约束方程第三十三页，共一百三十页，2022年，8月28日例2.6泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令第三十四页，共一百三十页，2022年，8月28日约束方程可定为边界条件为第三十五页，共一百三十页，2022年，8月28日引进乘子构造函数欧拉方程第三十六页，共一百三十页，2022年，8月28日解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：第三十七页，共一百三十页，2022年，8月28日于是，极值曲线和为：第三十八页，共一百三十页，2022年，8月28日问题：确定最优控制和最优轨线，使系统由已知初态转移到要求的目标集

2.6变分法解最优控制问题并使指定的目标泛函达到极值第三十九页，共一百三十页，2022年，8月28日2.6.1末端时刻固定时最优解的必要条件（1）末端受约束的情况引入拉格朗日乘子构造广义泛函

有构造哈米顿函数第四十页，共一百三十页，2022年，8月28日变分第四十一页，共一百三十页，2022年，8月28日

定理2.5：对于如下最优控制问题：u(t)无约束，tf固定.最优解的必要条件第四十二页，共一百三十页，2022年，8月28日

定理2.6：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)自由.最优解的必要条件（2）末端自由的情况第四十三页，共一百三十页，2022年，8月28日

定理2.7：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)固定.最优解的必要条件（3）末端固定的情况第四十四页，共一百三十页，2022年，8月28日例2.7考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，给定，试求最优控制有极小值。0t，第四十五页，共一百三十页，2022年，8月28日，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数第四十六页，共一百三十页，2022年，8月28日则最优控制为得代入状态方程求解得令，则有第四十七页，共一百三十页，2022年，8月28日边界条件指标泛函

哈米顿函数

伴随方程，

例2.8重解例2.4

其解为第四十八页，共一百三十页，2022年，8月28日

第四十九页，共一百三十页，2022年，8月28日习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标习题2：设二阶系统方程为性能指标取为求系统由已知初态在转移到目标集且使J取极小的最优控制和最优轨迹第五十页，共一百三十页，2022年，8月28日2.6.2末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值

变分第五十一页，共一百三十页，2022年，8月28日

，必要条件第五十二页，共一百三十页，2022年，8月28日例2.7

指标泛函

哈米顿函数

伴随方程

必要条件第五十三页，共一百三十页，2022年，8月28日第三章最大值原理3.1古典变分法的局限性u(t)受限的例子矛盾!!例3.1伴随方程极值必要条件第五十四页，共一百三十页，2022年，8月28日3.2最大值原理且定理3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程第五十五页，共一百三十页，2022年，8月28日最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。第五十六页，共一百三十页，2022年，8月28日例3.2重解例3.1

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有第五十七页，共一百三十页，2022年，8月28日，

协态变量与控制变量的关系图

第五十八页，共一百三十页，2022年，8月28日,，例3.3性能指标泛函

哈密顿函数伴随方程，

第五十九页，共一百三十页，2022年，8月28日上有

第六十页，共一百三十页，2022年，8月28日协态变量与控制变量的关系图整个最优轨线

第六十一页，共一百三十页，2022年，8月28日例3.4

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

第六十二页，共一百三十页，2022年，8月28日H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

第六十三页，共一百三十页，2022年，8月28日

，，

最优控制最优轨线

最优性能指标

第六十四页，共一百三十页，2022年，8月28日例3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

第六十五页，共一百三十页，2022年，8月28日最优控制切换及最优轨线示意图

第六十六页，共一百三十页，2022年，8月28日3.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件第六十七页，共一百三十页，2022年，8月28日

3.4极大值原理的应用：快速控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。第六十八页，共一百三十页，2022年，8月28日3.4.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数第六十九页，共一百三十页，2022年，8月28日例3.4.1有一单位质点，在处以初速度2沿直线运动。现施加一力，，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。质点运动方程

状态方程哈密顿函数伴随方程

第七十页，共一百三十页，2022年，8月28日最优控制

协态变量与控制函数4种情况示意图第七十一页，共一百三十页，2022年，8月28日相轨线族示意图开关曲线第七十二页，共一百三十页，2022年，8月28日开关曲线总时间初始状态最优控制状态方程相轨线最优控制

第七十三页，共一百三十页，2022年，8月28日3.4.2综合问题

综合是将最优控制函数表示为状态和时间的函数即上例之最优综合控制函数第七十四页，共一百三十页，2022年，8月28日

求快速返回原点的开关曲线和最优综合控制函数

构造哈密顿函数

伴随方程

最优控制

第七十五页，共一百三十页，2022年，8月28日最优控制与协态变量的变化情况

控制是“砰砰控制”，除了首尾之外，在和上的停留时间均为第七十六页，共一百三十页，2022年，8月28日备选最优轨线族

两族同心圆方程第七十七页，共一百三十页，2022年，8月28日相点沿轨线顺时针方向运动，其速度为开关曲线

第七十八页，共一百三十页，2022年，8月28日第二段开关曲线第七十九页，共一百三十页，2022年，8月28日整个开关曲线

第八十页，共一百三十页，2022年，8月28日最优综合控制函数

第八十一页，共一百三十页，2022年，8月28日第四章线性二次型性能指标的最优控制用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。第八十二页，共一百三十页，2022年，8月28日但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。第八十三页，共一百三十页，2022年，8月28日4.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数第八十四页，共一百三十页，2022年，8月28日指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。第八十五页，共一百三十页，2022年，8月28日4.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足4.2状态调节器第八十六页，共一百三十页，2022年，8月28日求导第八十七页，共一百三十页，2022年，8月28日（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵第八十八页，共一百三十页，2022年，8月28日例4.1

性能指标泛函

最优控制黎卡提微分方程第八十九页，共一百三十页，2022年，8月28日最优轨线

最优控制最优轨线的微分方程

解

第九十页，共一百三十页，2022年，8月28日黎卡提方程的解

随终点时间变化的黎卡提方程的解第九十一页，共一百三十页，2022年，8月28日4.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

第九十二页，共一百三十页，2022年，8月28日求导

黎卡提方程乘以逆黎卡提方程

解逆第九十三页，共一百三十页，2022年，8月28日4.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

第九十四页，共一百三十页，2022年，8月28日4.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

第九十五页，共一百三十页，2022年，8月28日例4.2

黎卡提方程

第九十六页，共一百三十页，2022年，8月28日4.3输出调节器输出调节器问题状态调节器问题指标泛函

令第九十七页，共一百三十页，2022年，8月28日4.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。第九十八页，共一百三十页，2022年，8月28日指标泛函

哈密顿函数第九十九页，共一百三十页，2022年，8月28日设并微分第一百页，共一百三十页，2022年，8月28日的任意性

最优控制第一百零一页，共一百三十页，2022年，8月28日最优轨线方程

最优性能指标

第一百零二页，共一百三十页，2022年，8月28日例4.3

，性能指标

第一百零三页，共一百三十页，2022年，8月28日最优控制

第一百零四页，共一百三十页，2022年，8月28日，，最优控制

极限解第一百零五页，共一百三十页，2022年，8月28日闭环控制系统结构第一百零六页，共一百三十页，2022年，8月28日两种方法

庞特里雅金

前苏联学者

极大值原理

贝尔曼

美国学者

动态规划应用在过程控制、国防建设、经济规划、管理

多个分支分布参数的最优控制、随机最优控制、大系统最优控制以及多方多层次的微分对策和主从对策等

返回第一百零七页，共一百三十页，2022年，8月28日第五章动态规划

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。第一百零八页，共一百三十页，2022年，8月28日5.1多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。第一百零九页，共一百三十页，2022年，8月28日(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。第一百一十页，共一百三十页，2022年，8月28日逆向分级计算法

逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。以(c)为例

从倒数第一级开始，状态有两个，分别为

和

在处，只有一条路到达终点，其时间是；在

处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。并将此点到终点的最优路径画上箭头。

第一百一十一页，共一百三十页，2022年，8月28日然后再考虑第二级只有一种选择，到终点所需时间是有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出也标出最优路径和时间依此类推，最后计算初始位置求得最优路径最短时间为13第一百一十二页，共一百三十页，2022年，8月28日最优路径示意图

第一百一十三页，共一百三十页，2022年，8月28日多级过程多级决策过程

目标函数控制目的

选择决策序列

使目标函数取最小值或最大值实际上就是离散状态的最优控制问题

第一百一十四页，共一百三十页，2022年，8月28日最优性原理在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。第一百一十五页，共一百三十页，2022年，8月28日指标函数多是各级指标之和，即具有可加性最优性原理的数学表达式第一百一十六页，共一百三十页，2022年，8月28日5.2离散系统动态规划阶离散系统

性能指标

求决策向量

使有最小值（或最大值），其终点可自由，也可固定或受约束。第一百一十七页，共一百三十页，2022年，8月28日引进记号

应用最优性原理

可建立如下递推公式

贝尔曼动态规划方程

第一百一十八页，共一百三十页