内科大材料成型控制工程基础课件06最优控制系统与自适应控制系统

6最优控制系统与自适应控制系统主讲：李振亮教授

2本章主要内容：

■绪论

■变分法

■极大值原理及其应用

■线性二次型最优控制

■自适应控制系统

复习思考题

3

本章要点：

●本章内容属于现代控制策略的范畴。●学习本章：

了解古典变分法与现代变分法的区别和联系、最小值原理的历史发展；熟悉“二次性能指标”的最优控制系统、自适应控制的相关概念；掌握现代控制理论的主要研究内容，最优控制系统的分类、性能指标、数学模型、求解方法；重点掌握泛函数、变分法、哈密尔顿函数等概念，能够从泛函和变分法的角度理解“最小值原理”的实质，并能应用“最小值原理”来求解“时间最优问题”。4本章主要教学内容：

现代数学基础：变分法（研究“泛函”的极值）（讲授，但不考）基础理论：最大值原理、动态规划原理（不讲）几种常用的典型“应用类型”性能指标如下：

最小时间控制问题最少燃料控制问题（不讲）

线性二次型性能指标最优控制问题（不讲）

二次型指标（包括线性调节和线性跟踪问题）是工程实践中应用最为广泛的一类性能指标。5■绪论●最优控制理论的发展●最优化问题的分类●最优化问题的解法●最优控制问题基本概念6●最优控制理论的发展

第二次世界大战以后发展起来的自动调节原理，对设计与分析单输入单输出的线性定常系统是有效的；然而近代航空及空间技术的发展对控制精度提出了很高的耍求，并且被控制的对象是多输入-多输出的，参数是时变的。面临这些新的情况，建立在传递函数基础上的自动调节原理就日益显出它的局限性来。这种局限性首先表现在对于时变系统，传递函数根本无法定义，对多输入-多输出系统从传递函数概念得出的工程结论往往难于应用。由于工程技术的需要，以状态空间概念为基础的最优控制理论渐渐发展起来。

最优控制理论是现代控制理论的核心，20世纪50年代发展起来的，已形成系统的理论。7现代控制理论是研究系统内部状态的控制和观测的理论，主要包括5个方面（教材P63）线性系统理论：研究线性系统的性质，能观性、能控性、

稳定性等。系统辨识：根据输入、输出观测确定系统的数学模型。最优控制：寻找最优控制向量u(t)最佳滤波（卡尔曼滤波）：存在噪声情况下，如何根据输入、输出估计状态变量。自适应控制：参数扰动情况下，控制器的设计8

最优控制是系统设计的一种方法。它所研究的中心问题是如何选择控制信号才能保证控制系统的性能在某种意义下最优。

最优控制理论所要解决的问题是：按照控制对象的动态特性，选择一个容许控制，使得被控对象按照技术要求运转，同时使性能指标达到最优值。9研究最优控制的方法：从数学方面看，最优控制问题就是求解一类带有约束条件的泛函极值问题，因此这是一个变分学的问题：然而变分理论只是解决“容许控制”属于开集的一类最优控制问题，而在工程实践中还常遇到“容许控制”属于闭集的一类最优控制问题，这就要求人们研究新方法。在研究最优控制的方法中，有两种方法最富成效：一种是苏联学者庞特里雅金提出的“极大值原理”；另一种是美国学者贝尔曼提出的“动态规划”。”极大值原理“是庞特里雅金等人在1956至1958年间逐步创立的，先是推测出”极大值原理”的结论，随后又提供了一种证明方法。

”动态规划“是贝尔曼在1953年至1958年间逐步创立的，他依据最优性原理发展了变分学中的”哈密顿-雅可比”理论，构成了动态规划。10最优控制的发展简史：先期工作：

1948年，维纳(N.Wiener)发表《控制论》，引进了信息、反馈和控制等重要概念，奠定了控制论(Cybernetics)的基础。并提出了相对于“某一性能指标进行最优设计”的概念。

1954年，钱学森编著《工程控制论》，作者系统地揭示了控制论对自动化、航空、航天、电子通信等科学技术的意义和重大影响。其中“最优开关曲线”等素材，直接促进了最优控制理论的形成和发展。

11理论形成阶段：1953~1957年，贝尔曼(R.E.Bellman)创立“动态规划”原理。

为了解决“多阶段决策过程”逐步创立的，依据最优化原理，用一组基本的“递推关系式”使过程连续地最优转移。“动态规划”对于研究最优控制理论的重要性，表现在“可得出离散时间系统的理论结果和迭代算法”。

1956~1958年，庞特里亚金创立“最大值原理”。

它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。对于“最大值原理”，由于放宽了有关条件，使得许多古典变分法和动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优控制问题的一种最普遍的有效的方法。同时，庞特里亚金在《最优过程的数学理论》著作中已经把最优控制理论初步形成了一个完整的体系。此外，构成最优控制理论及现代最优化技术理论基础的代表性工作，还有“不等式约束条件下的非线性最优必要条件”(库恩—图克定理)以及卡尔曼的关于随机控制系统“最优滤波器”等。12经典（古典）控制理论设计控制方法：

幅值裕量、相位裕量（频率指标）

上升时间、调节时间、超调量（时域指标）

特点：系统的控制结构是确定的，控制参数设计一般采用“试凑方法”，不是最优结果。13现代控制理论设计控制方法：最优化(optimization)技术是研究和解决最优化问题的一门学科,它研究和解决“如何从一切可能的方案中寻找最优的方案”。也就是说，最优化技术是研究和解决如下两个问题：（1）如何将最优化问题表示为数学模型（2）如何根据数学模型（尽快）求出其最优解

最优控制(optimalcontrol)是控制理论中的优化技术，寻找在某种性能指标要求下最好的控制。14例6-1生产计划安排问题

现有产品A、B,每种产品各有两道工序，分别由两台机器完成，其所需工时如下表所示，且每台机器每周最多只能工作40小时。若产品A的单价为200元，产品B的单价为500元，应如何安排生产计划，即A、B各应生产多少可使总产值最高。解：设该车间每周应生产产品A、B的件数分别为X1、X2,由于每台机器工作时间有限制，则有约束条件：在这些约束条件下选择X1、X2

,使总产值达到最大。第一道工序第一道工序产品A1.5h2h产品B5h4h15●最优化问题的分类◆静态最优化问题。最优化问题的解不随时间t的变化而变化，则称为静态最优化(参数最优化)问题。

解决方法：线性规划和非线性规划法。

◆动态最优化问题。如果最优化问题的解随时间t的变化而变化，即变量是时间t的函数，则称为动态最优化(最优控制)问题。

解决方法：动态规划和最大值原理。

◆其它分类：无约束与有约束、

确定性和随机性

线性和非线性

16●最优化问题的解法1．间接法(又称“解析法”)

对于目标函数及约束条件具有简单而明确的数学解析表达式的最优化问题，通常可采用间接法(解析法)来解决。其求解方法是先按照函数极值的必要条件，用数学分析方法(求导数方法或变分方法)求出其解析解，然后按照充分条件或问题的实际物理意义间接地确定最优解。172．直接法(数值解法)

对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题，通常可采用直接法(数值解法)来解决。直接法的基本思想，就是用直接搜索方法经过—系列的迭代以产生“点的序列(简称点列)”，使之逐步接近到最优点。直接法常常是根据经验或试验而得到的。183.以解析法为基础的数值解法。解析与数值计算相结合的方法。

4.网络最优化方法。以网络图作为数学模型，用图论方法进行投索的寻优方法。19●最优控制问题基本概念最优控制问题的描述包括:

被控系统的数学模型

目标集(“开始、终了状态”的约束条件)

容（允）许控制（u）

性能指标（从所有“容许控制”中找出一种效果最好的控制规律）；（“性能指标函数”又称为“指标泛函”、“目标函数”、“代价函数”和“评价函数”等）

最优控制问题的描述20

最优控制问题的实质，就是求解给定条件下给定系统的控制规律，致使系统在规定的性能指标(目标函数)下具有最优值。21在叙述最优控制问题的提法之前，先讨论一些基本概念。

(1)受控系统的数学模型一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一般形式为：是n维状态向量为p维控制向量为n维函数向量22（2）目标集如果把状态视为n维欧氏空间中的一个点，在最优控制问题中，起始状态（初态）通常是已知的，即而所达到的状态（末态）可以是状态空间中的一个点，或事先规定的范围内，对末态的要求可以用末态约束条件来表示：满足末态约束的状态集合称为目标集，记为M，即：至于末态时刻，可以事先规定，也可以是未知的。有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。

23（3）容许控制

在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取值，这种限制通常可以用如下不等式约束来表示：上述由控制约束所规定的点集称为控制域U，凡在t0-tf上有定义，且在控制域U内取值的每一个控制函数u(t)均称为容许控制。（4）性能指标通常情况下，最优控制问题的性能指标形如：其中第一项是接近目标集程度，即末态控制精度的度量，称为末值型性能指标。第二项称为积分型性能指标，它能反映控制过程偏差在某种意义下的平均或控制过程的快速性，同时能反映燃料或能量的消耗。24（5）最优控制的整体性描述已知受控系统的状态方程及给定的初态规定的目标集为M，求一容许控制u(t)∈U,t∈

[t0,tf],使系统从给定的初态出发，在tf

>t0时刻转移到目标集M，并使性能指标

为最小。这就是最优控制问题。如果问题有解，记为u*(t),t∈[t0,tf],则u*(t)叫做最优控制（极值控制），相应的轨线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*(·)）则称为最优性能指标。25最优控制的应用类型设计最优控制系统时，很重要的一个问题是选择性能指标，性能指标按其数学形式可分为如下三类：1）积分型性能指标

这样的最优控制问题为拉格朗日问题。2）终值型性能指标这种性能指标只是对于系统在动态过程结束时的终端状态提出了要求，而对于整个动态过程中系统的状态和控制的演变未作要求。这样的最优控制问题为迈耶尔问题。3）复合型性能指标

这样的最优控制问题为波尔扎问题。通过适当变换，拉格朗日问题和迈耶尔问题可以相互转换。26按控制系统的用途不同，所选择的性能指标不同，常见的有：1）最小时间控制2）最小燃料消耗控制粗略地说，控制量u(t)与燃料消耗量成正比，最小燃料消耗问题的性能指标为：3）最小能量控制设标量控制函数u2(t)与所消耗的功率成正比，则最小能量控制问题的性能指标为：274）线性调节器

给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。线性调节器的性能指标为：加权后的性能指标为：对u(t)有约束的性能指标为：式中Q和R都是正定加权矩阵。一般形式，有限时间线性调节器性能指标：无限时间线性调节器性能指标：P≥0，Q≥0，R>0，均为对称加权矩阵。285）线性跟踪器

若要求状态X(t)跟踪或尽可能接近目标轨迹Xd(t),则这种系统称为状态跟踪器，其相应的性能指标为：Q≥0，R>0，均为对称加权矩阵。若要求系统输出y(t)跟踪或尽可能接近目标轨迹yd(t),则这种系统称为输出跟踪器，其相应的性能指标为：Q≥0，R>0，均为对称加权矩阵。29除了上述几种应用类型外，根据具体工程实际的需要，还可以选取其他不同形式的性能指标，在选取性能指标时需注意：1）应能反映对系统的主要技术条件要求2）便于对最优控制进行求解3）所导出的最优控制易于工程实现(讲到此，)30最优控制问题的实例-月球上的软着陆问题

飞船靠其发动机产生一与月球重力方向相反的推力u(t)，以使飞船在月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料的消耗为最少。设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发动机推力为u(t)，月球表面的重力加速度为常数g。设不带燃料的飞船质量为M，初始燃料的总质量为F．初始高度为h0，初始的垂直速度为v0，那么飞船的运动方程式可以表示为：初始条件

终端条件

约束条件性能指标是使燃料消耗为最小，即达到最大值

我们的任务是寻求发动机推力的最优控制规律u(t),它应满足约束条件，使飞船由初始状态转移到终端状态，并且使性能指标为极值(极大值)。

31本部分内容小结：（再次复习一遍）32这一部分主要掌握重点——最优控制问题的数学模型◆最优控制问题的目标函数（性能指标）类型◆约束条件类型◆最优控制问题的数学模型描述33◆最优控制问题的目标函数（性能指标）类型对于连续系统的最优控制问题，通用的性能指标有如下三种类型：(1)积分型性能指标(拉格朗日型-Lagrange)(2)末值型性能指标（梅耶尔型-Mayer

）(3)综合性能指标（波尔扎型-Bolza

）34◆约束条件类型过程模型的约束:控制变量幅值上的约束：umin≤u(t)≤umax输出变量幅值上的约束：ymin≤y(t)≤ymax状态变量上的约束：xi,min≤xi(t)≤xi,max控制变量的“变量增量”的约束：Δumin≤Δu(t)≤Δumax

终端约束条件：x(tf)=035◆最优控制问题的数学模型描述系统最优控制问题的数学模型可以用如下4个方程来描述：(1)给定系统的状态方程(2)状态方程的边界条件(3)给定性能指标(4)允许控制域u(t)确定一个最优控制u*(t)的过程，就是使系统从初始状态x(t0)转移到终端状态x(tf)，并使性能指标J(u)具有极大（极小）值。36■变分法●泛函的概念●泛函的变分●泛函的极值37●泛函的概念例6-2最速降线问题最速降线问题对“变分学”的创立产生过重大影响。确立一条连结定点A(0，0)和定点B(xf，yf)的曲线。使质点在重力作用下从点A滑动到点B所需的时间最短(忽略摩擦和阻力的影响)。解：最速降线问题的示意图如下：38变分法是研究泛函极值问题的一种经典方法,从17世纪末开始逐渐发展成为一门独立的数学分支。它在力学、光学、电磁学等方面有着极为广泛应用。下面先讨论泛函的基本概念。泛函是函数概念的一种扩充。函数表示从数到数的对应关系,如y(x)=2x2-x+1规定了自变量x和因变量y之间的对应关系,是数x到数y的一种映射。而泛函则表示函数y到数J的一种映射关系,见下面的例子。39显然,上述弧长的积分式对于任意给定的连续可微的函数y(x)都存在对应的一个积分值,即存在函数y(x)到数S[(y(x)]的一种映射关系。因此,有下面泛函的定义。图6-2最短弧长问题最短弧长问题

如图6-2所示,设y(x)是连接点(x1,y1)到(x2,y2)的一条曲线。若y(x)是连续可微的,则A,B两点的区间y(x)的弧长为40对于某一类函数集合中的每一个函数y(x),都存在一个确定的数J与之对应,那么就称J为依赖于函数y(x)的泛函,记为J=J[y(x)]或简记为J。相应地,自变量函数y(x)称为宗量。从上述定义可知,泛函规定了数J与函数y(x)的对应关系,可理解为“函数的函数”。需要强调的是,上述定义中的宗量y(x)是某一特定函数的整体,而不是对应于某一自变量x的函数值y(x)。为强调泛函的宗量是函数的整体,有时将泛函表示为J=J[y(·)]。41在泛函的定义中,强调泛函的宗量y(x)属于某一类函数。由泛函的定义所确定的宗量属于的函数类称为容许函数类或容许函数空间。如最短弧长问题中泛函S[y(x)]的容许函数类为通过A,B两点的连续可微或分段连续可微的函数。线性泛函是研究泛函极值问题的基础,下面先给出线性泛函的定义。42

泛函J[y(x)]如果满足下列叠加性和齐次性两个条件J[y1(x)+y2(x)]=J[y1(x)]+J[y2(x)]J[cy(x)]=cJ[y(x)]式中,y1(x)和y2(x)为任意的两个函数;c为任意常数。此时,称J[y(x)]为线性泛函。线性泛函具有可叠加性和齐次性。43泛函的极值则是在容许函数类中求得使泛函达到极值的函数。如最短弧长的例子中,就是从函数序列中求得一个使最短的函数。在不考虑约束的条件下,连接两点的是一条连接两点的直线。为导出泛函的极值条件,还需要定义宗量和泛函的变分。为此,不妨回顾一下函数微分的定义。●泛函的极值44若函数y=f(x)具有连续的导数,则它的增量可以表示如下上式右边第1项是

x的线性函数,第2项是

x的高阶无穷小量。因此,当

x充分小时,第1项起主要作用,它与

y很接近。所以,第1项为函数增量的线性主部,亦称为函数的微分,记为类似于上述变量x和函数y(x)的微分的定义,泛函宗量和泛函的变分的定义如下。45泛函宗量的变分是指同一函数类中两函数之差,记为显然,宗量的变分

y(x)也是独立的自变量x的函数。若连续泛函J[y(x)]的增量可以表示为式中,右边第1项为

y(x)的线性连续泛函,

第2项为关于

y(x)的高阶无穷小。那么,则将第1项称为泛函J[y(x)]的变分,并记为46如同函数的微分是函数的增量的线性主部一样,泛函的变分是泛函的增量的线性主部,所以,泛函的变分也可以称为泛函的微分,此时称泛函是可微的。定理1泛函J[y(x)]的变分为

证明

可微泛函的增量可以写作47由于L(y(x),

y(x))是关于

y(x)的线性连续泛函,且r(y(x),

y(x))为

y(x)的高阶无穷小,因此有故48此定理,可将求泛函的变分化为求函数的微分,因此可以利用函数的微分法则,方便地计算泛函的变分。例6-3

求如下泛函的变分。解49由上述例子可以看出,根据定理1,计算泛函的变分如同计算函数的微分一样简单。基于上述泛函变分的定义和计算方法,有如下泛函J[y(x)]的极小值定理。定理2

若可微泛函在y0(x)上达到极小(极大)值,则在y=y0(x)上有证明

对于任意给定的

y来说,J[y0+

y]是实变量

的函数。根据定理的假设可知,变量

的函数J[y0+

y]在

=0上达到极值。50由函数极值的必要条件,有由定理1可知,上式的左边等于泛函J[y(x)]的变分,即

J。因此,考虑到变分

y的任意性,从而定理得证。51泛函的变分实际上就是关于其宗量变分

y(x)的线性连续泛函,因此,在实际求解过程中,可以通过求泛函对其所有宗量的一阶偏微分得到泛函的变分。泛函J[y1(x),y2(x),…,ym(x)]的变分为在本书后面的部分,将经常使用上述计算式计算变分。利用上式重新计算例6-3,可以得到相同的结论。52本部分内容小结：（再次复习一遍）53(1)泛函的概念

函数：对于变量x的某一变域中的每一个值，y都有一个值与之相对应，那么变量y称作变量x的函数。记为：y=f(x)x称为函数的自变量自变量的微分：dx=x-x0（增量足够小时）泛函：对于某一类函数y(·)中的每一个函数y(x)，变量J都有一个值与之相对应，那么变量J称作依赖于函数y(x)的泛函。记为：J=J[y(x)]y(x)称为泛函的宗量宗量的变分：54泛函的连续性：

对任意给定的正数ε，总存在另一个正数δ，当

则称泛函J[y(x)]在点y0(x)处是连续的。两个函数接近度的概念：k阶接近度零阶接近度一阶接近度55线性泛函：

泛函J[y(x)]如果满足下列两个条件：

则称为线性泛函。

56●泛函的变分设泛函J[y(x)]为连续泛函，则泛函增量的线性主部称为泛函的变分：记为：δ

J。可以证明，泛函的变分是唯一的。如何求解泛函的变分？借鉴函数f(x)微分的求解：

与（1-5）类似，可得出泛函J[y(x)]的求解：

57●泛函的极值泛函极值的定义：对于与y0(x)接近的曲线y(x)，泛函J[y(x)]的增量

则泛函J[y(x)]在曲线y0(x)上达到极值。泛函极值定理：

若可微泛函J[y(x)]在y0(x)上达到极值，则在y=y0(x)上的变分为零。即58证明如下：

根据函数极值的条件，函数φ(ε)在ε=0时达到极值的必要条件为：比较（1-9）和（1-10），可见：5960■极大值原理及其应用

●极大值原理●极大值原理的应用61最小值原理给出了解决最优控制问题的一个必要条件。通过这个必要条件可以求得最优控制和相应的状态最优轨线。

最小值原理又称为最大值原理它们本质上是同一回事，只是叙述上不同而取为不同的名字而已。●极大值原理626364上式又称正则方程组65666768●极大值原理的应用（1）最短时间控制问题（2）最小燃料消耗控制（3）最小能量控制69

最短时间控制问题70设线性定常系统的状态方程：其中控制向量u(t)受不等式约束：

寻求最优控制u*(t),使系统从已知的初始状态转移到终端状态，tf

自由,并使性能指标：的值为极小。71构造哈密尔顿函数:

根据极小值原理,最优控制的必要条件为:

正则方程边界条件极值条件

设72则设各控制分量相互独立,则有

在约束条件

下的最优控制为:由此可知,当λ*T(t)bj≠0时,可以找出确定的u*j(t)来,并且它们都为容许控制的边界值.当λ*T(t)bj

穿过零点时,u*j(t)由一个边界值切换到另一个边界值.如果λ*T(t)bj

在某一时间区间内保持为零,