最优控制理论及应用（课堂PPT）

2,1,最优控制理论与应用,第一章最优控制问题的一般概念,第二章最优控制的变分方法,第三章极小值原理及其应用,第四章线性二次型问题的最优控制,第五章动态规划,2,2,一基本概念最优控制理论中心问题：给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）,第一章最优控制问题的一般概念,2,3,二最优控制问题,1例子,飞船软着陆问题宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。,m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量,2,4,软着陆过程开始时刻t为零,末端条件,2,5,性能指标,控制约束,任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）,2,6,例2火车快速运行问题设火车从甲地出发，求容许控制，使其到达乙地时间最短。m火车质量；火车加速度；u（t）产生加速度的推力且火车运动方程,2,7,2问题描述,(1)状态方程一般形式为,为n维状态向量,为r维控制向量,为n维向量函数,给定控制规律,满足一定条件时，方程有唯一解,2,8,(2)容许控制,：,2,9,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,终点型指标，表示仅对终点状态的要求,2,10,最优控制的应用类型,积分型1）最小时间控制2）最小燃耗控制3）最小能量控制,2,11,末值型复合型1）状态调节器2）输出跟踪系统,2,12,最优控制的研究方法,解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法,2,13,第二章最优控制中的变分法,2.1泛函与变分法基础,平面上两点连线的长度问题,其弧长为,2,14,一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。,，称为泛函。,，称泛函的宗量,泛函定义：x(t)是自变量t的函数，若对每个函数x(t)，有一个J值与之对应，则变量J称为依赖于x(t)的泛函，记J(x(t),例举：,2,15,线性泛函与连续泛函：线性泛函泛函对宗量是线性的连续泛函若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函,2,16,泛函与函数的几何解释,宗量的变分,泛函的增量,2,17,定理2.1泛函的变分为,2,18,例2.1求泛函的变分,2,19,泛函的极值,2,20,变分学预备定理,2,21,2.2欧拉方程(1)无约束泛函极值的必要条件定理2.3设有如下泛函极值问题：,及横截条件,2,22,2.2欧拉方程,变分,分部积分,证明：,2,23,例2.2求平面上两固定点间连线最短的曲线,2,24,例2.3：已知边界条件为求使泛函达到极值的轨线解：,2,25,2.2欧拉方程(2)有等式约束泛函极值的必要条件定理2.4设有如下泛函极值问题：,及横截条件,2,26,例2.4：设人造地球卫星姿态控制系统的状态方程为,2,27,2.3横截条件,讨论：A.B.C.D.,2,28,左端固定右端沿曲线变动,横截条件C,的推导,2,29,2,30,例2.5设性能指标泛函,末值时刻,未定，已知,，,解：由欧拉方程得,由x(0)=1求出b=1；由横截条件知,2,31,2,32,2.4含有多个未知函数泛函的极值,泛函,欧拉方程,边界值,横截条件,2,33,2.5条件极值,状态方程,泛函,引进乘子,构造新的函数和泛函,欧拉方程,约束方程,2,34,解：化为标准形式,把问题化为标准形式，令,2,35,约束方程可定为,边界条件为,2,36,引进乘子,构造函数,欧拉方程,2,37,解出,利用边界条件，可得：,2,38,2,39,问题：确定最优控制和最优轨线，使系统由已知初态转移到要求的目标集,2.6变分法解最优控制问题,并使指定的目标泛函,达到极值,2,40,2.6.1末端时刻固定时最优解的必要条件（1）末端受约束的情况,引入拉格朗日乘子构造广义泛函,有,构造哈米顿函数,2,41,变分,2,42,定理2.5：对于如下最优控制问题：,u(t)无约束，tf固定.最优解的必要条件,2,43,定理2.6：对于如下最优控制问题：,u(t)无约束，tf固定，x(tf)自由.最优解的必要条件,（2）末端自由的情况,2,44,定理2.7：对于如下最优控制问题：,u(t)无约束，tf固定，x(tf)固定.最优解的必要条件,（3）末端固定的情况,2,45,例2.7考虑状态方程和初始条件为,的简单一阶系统，其指标泛函为,，使,其中,，,给定，试求最优控制,有极小值。,，,2,46,2,47,则最优控制为,得,代入状态方程求解得,2,48,边界条件,指标泛函,哈米顿函数,伴随方程,，,其解为,2,49,2,50,习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标,习题2：设二阶系统方程为性能指标取为求系统由已知初态在转移到目标集且使J取极小的最优控制和最优轨迹,2,51,2.6.2末端时刻自由的最优解问题,tf有时是可变的，是指标泛函，选控制使有tf极小值,变分,2,52,，,必要条件,2,53,例2.7,指标泛函,哈米顿函数,伴随方程,必要条件,2,54,第三章最大值原理,3.1古典变分法的局限性,u(t)受限的例子,矛盾!,2,55,3.2最大值原理,且,2,56,最小值原理只是最优控制所满足的必要条件。但对于线性系统,，,最小值原理也是使泛函取最小值得充分条件。,2,57,例3.2重解例3.1,，,哈密顿函数,伴随方程,由极值必要条件，知,，,又,于是有,2,58,，,协态变量与控制变量的关系图,2,59,，,例3.3,性能指标泛函,哈密顿函数,伴随方程,，,2,60,上有,2,61,协态变量与控制变量的关系图,整个最优轨线,2,62,例3.4,把系统状态在终点时刻转移到,哈米顿函数,伴随方程,，,，,2,63,H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。,最优控制可能且只能取三个值,此二者都不能使状态变量同时满足初始条件和终点条件,2,64,，,，,最优控制,最优轨线,最优性能指标,2,65,例3.5,使系统以最短时间从给定初态转移到零态,哈米顿函数,伴随方程,2,66,最优控制切换及最优轨线示意图,2,67,3.3古典变分法与最小值原理,古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件,就等价于条件,2,68,3.4极大值原理的应用：快速控制系统,如，当被控对象受干扰后，偏离了平衡状态，,希望施加控制能以最短时间恢复到平衡状态。,凡是以运动时间为性能指标的最优控制问题称,为最小时间控制。,2,69,3.4.1快速控制问题,2,70,例3.4.1有一单位质点，在处以初速度2沿直线运动。现施加一力，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。,质点运动方程,状态方程,哈密顿函数,伴随方程,2,71,最优控制,协态变量与控制函数4种情况示意图,2,72,相轨线族示意图,开关曲线,2,73,开关曲线,总时间,2,74,3.4.2综合问题,上例之最优综合控制函数,2,75,例3.4.2,求快速返回原点的开关曲线和最优综合控制函数,构造哈密顿函数,2,76,最优控制与协态变量的变化情况,控制是“砰砰控制”，除了首尾之外，在和上的停留时间均为,2,77,备选最优轨线族,2,78,相点沿轨线顺时针方向运动，其速度为,开关曲线,2,79,第二段开关曲线,2,80,整个开关曲线,2,81,最优综合控制函数,2,82,第四章线性二次型性能指标的最优控制,用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程,上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。,。,2,83,但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。,2,84,4.1问题提法,动态方程,指标泛函,使,此问题称线性二次型性能指标的最优控制问题,2,85,指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。,2,86,4.2.1末端自由问题,构造哈密顿函数,伴随方程及边界条件,最优控制应满足,4.2状态调节器,2,87,2,88,（矩阵黎卡提微分方程）,边界条件,令,最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制,对称半正定阵,2,89,例4.1,性能指标泛函,最优控制,2,90,最优轨线,最优控制,2,91,黎卡提方程的解,随终点时间变化的黎卡提方程的解,2,92,补偿函数,惩罚函数,边界条件,黎卡提方程,逆黎卡提方程,2,93,2,94,性能指标,无限长时间调节器问题,2,95,4.2.4定常系统,完全可控,指标泛函,矩阵代数方程,最优控制,最优指标,2,96,例4.2,黎卡提方程,2,97,4.3输出调节器,输出调节器问题,状态调节器问题,令,2,98,4.4跟踪问题,偏差量,指标泛函,寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。,2,99,指标泛函,哈密顿函数,2,100,2,101,2,102,2,103,例4.3,，,性能指标,2,104,2,105,，,，,最优控制,极限解,2,106,闭环控制系统结构,2,107,两种方法,庞特里雅金,前苏联学者,极大值原理,贝尔曼,美国学者,动态规划,应用在过程控制、国防建设、经济规划、管理,多个分支,分布参数的最优控制、随机最优控制、大系统最优控制以及多方多层次的微分对策和主从对策等,返回,2,108,第五章动态规划,动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。,2,109,5.1多级决策过程与最优性原理,作为例子，首先分析最优路径问题,(a)(b)(c),试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。,2,110,(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。,2,111,2,112,然后再考虑第二级,只有一种选择，到终点所需时间是,有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出,也标出最优路径和时间,依此类推，最后计算初始位置,求得最优路径,最短时间为13,2,113,最优路径示意图,2,114,多级过程,多级决策过程,目标函数,使目标函数取最小值或最大值,实际上就是离散状态的最优控制问题,2,115,2,116,指标函数多是各级指标之和，即具有可加性,最优性原理的数学表达式,2,117,5.2离散系统动态规划,阶离散系统,性能指标,求决策向量,使有最小值（或最大值），其终点可自由，也可固定或受约束。,2,118,引进记号,应用最优性原理,可建立如下递推公式,贝尔曼动态规划方程,2,119,例5.2设一阶离散系统，状态方程和初始条件为,性能指标,求使有最小值的最优决策序列和最优轨线序列,指标可写为,2,120,2,121,最优决策序列,最优轨线,2,122,5.3连续系统的动态规划,性能指标,目标集,根据最优性原理及,2,123,2,124,2,125,连续型动态规划方程,实际上它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程,2,126,边界条件,动态规划动态规划方程是最优控制函数满足的充分条件