最优控制理论（课堂PPT）

2,现,1,2,2,最优控制理论,东北大学信息科学与工程学院井元伟教授,二九年十一月,现代控制理论,2,3,第2章求解最优控制的变分方法,第3章最大值原理,第4章动态规划,第5章线性二次型性能指标的最优控制,第6章快速控制系统,第1章最优控制问题,现,最优控制理论现代控制理论的重要组成部分20世纪50年代发展形成系统的理论研究的对象控制系统中心问题给定一个控制系统，选择控制规律，使系统在某种意义上是最优的统一的、严格的数学方法最优控制问题研究者的课题，工程师们设计控制系统时的目标最优控制能在各个领域中得到应用，效益显著,4,现代控制理论,2020年5月19日星期二,1.1两个例子1.2问题描述,第1章最优控制问题,5,现代控制理论,2020年5月19日星期二,1.1两个例子,例1.1飞船软着陆问题,6,现代控制理论,2020年5月19日星期二,2,现,7,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,2,现,8,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,2,现,9,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,初始状态,2,现,10,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,初始状态,终点条件,2,现,11,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,初始状态,终点条件,控制目标,2,现,12,1.1两个例子,例1.1飞船软着陆问题,m飞船的质量h高度v垂直速度g月球重力加速度常数M飞船自身质量F燃料的质量,软着陆过程开始时刻t为零,K为常数,初始状态,终点条件,控制目标,推力方案,2,现,13,例1.2导弹发射问题,例1.2导弹发射问题,14,现代控制理论,2020年5月19日星期二,2,现,15,例1.2导弹发射问题,2,现,16,例1.2导弹发射问题,初始条件,2,现,17,例1.2导弹发射问题,初始条件,末端约束,2,现,18,例1.2导弹发射问题,初始条件,末端约束,指标,2,现,19,例1.2导弹发射问题,初始条件,末端约束,指标,控制,1.2问题描述,(1)状态方程一般形式为,20,现代控制理论,2020年5月19日星期二,2,现,21,1.2问题描述,(1)状态方程一般形式为,2,现,22,1.2问题描述,(1)状态方程一般形式为,为n维状态向量,2,现,23,1.2问题描述,(1)状态方程一般形式为,为n维状态向量,为r维控制向量,2,现,24,1.2问题描述,(1)状态方程一般形式为,为n维状态向量,为r维控制向量,为n维向量函数,2,现,25,1.2问题描述,(1)状态方程一般形式为,为n维状态向量,为r维控制向量,为n维向量函数,给定控制规律,2,现,26,1.2问题描述,(1)状态方程一般形式为,为n维状态向量,为r维控制向量,为n维向量函数,给定控制规律,满足一定条件时，方程有唯一解,(2)容许控制,27,现代控制理论,2020年5月19日星期二,2,现,28,(2)容许控制,：,2,现,29,(2)容许控制,：,2,现,30,(2)容许控制,：,有时控制域可为超方体,2,现,31,(2)容许控制,：,有时控制域可为超方体,(3)目标集,32,现代控制理论,2020年5月19日星期二,2,现,33,(3)目标集,2,现,34,(3)目标集,n维向量函数,2,现,35,(3)目标集,固定端问题,n维向量函数,2,现,36,(3)目标集,固定端问题,自由端问题,n维向量函数,(4)性能指标,37,现代控制理论,2020年5月19日星期二,2,现,38,(4)性能指标,2,现,39,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,2,现,40,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,2,现,41,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,2,现,42,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,2,现,43,(4)性能指标,对状态、控制以及终点状态的要求，复合型性能指标,积分型性能指标，表示对整个状态和控制过程的要求,终点型指标，表示仅对终点状态的要求,2.1泛函与变分法基础2.2欧拉方程2.3横截条件2.4含有多个未知函数泛函的极值2.5条件极值2.6最优控制问题的变分解法,第2章求解最优控制的变分方法,44,现代控制理论,2020年5月19日星期二,求解最优控制的变分方法,2.1泛函与变分法基础,平面上两点连线的长度问题,45,现代控制理论,2020年5月19日星期二,2,现,46,求解最优控制的变分方法,2.1泛函与变分法基础,平面上两点连线的长度问题,2,现,47,求解最优控制的变分方法,2.1泛函与变分法基础,平面上两点连线的长度问题,一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为,2,现,48,求解最优控制的变分方法,2.1泛函与变分法基础,平面上两点连线的长度问题,一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为,称为泛函,称为泛函的宗量,泛函与函数的几何解释,49,现代控制理论,2020年5月19日星期二,2,现,50,泛函与函数的几何解释,2,现,51,泛函与函数的几何解释,宗量的变分,2,现,52,泛函与函数的几何解释,宗量的变分,泛函的增量,2,现,53,泛函与函数的几何解释,宗量的变分,泛函的增量,泛函的变分,2,现,54,泛函与函数的几何解释,连续泛函宗量的变分趋于无穷小时，泛函的变分也趋于无穷小线性泛函泛函对宗量是线性的,宗量的变分,泛函的增量,泛函的变分,求解最优控制的变分方法,定理2.2若泛函,有极值，则必有,上述方法与结论对多个未知函数的泛数同样适用,55,现代控制理论,2020年5月19日星期二,2.6最优控制问题的变分解法,2.6.4终值时间自由的问题,2.6.3末端受限问题,2.6.2固定端问题,2.6.1自由端问题,56,现代控制理论,2020年5月19日星期二,2.6.1自由端问题,约束方程,新的泛函,令,有,哈米顿函数,57,现代控制理论,2020年5月19日星期二,进行变分,令,有,伴随方程,必要条件,58,现代控制理论,2020年5月19日星期二,例2.5,哈米顿函数,伴随方程,边界条件,必要条件,59,现代控制理论,2020年5月19日星期二,最优控制,代入状态方程并求解,令,60,现代控制理论,2020年5月19日星期二,2.6.2固定端问题,性能指标,分部积分,进行变分,令变分为零,61,现代控制理论,2020年5月19日星期二,边界条件,指标泛函,例2.6考虑如下系统的终端固定的最优控制问题，求取最优控制和最优状态曲线，使指标泛函J取得极小值。系统的状态方程：,62,现代控制理论,2020年5月19日星期二,2,现,63,哈米顿函数,伴随方程,由状态方程,代入初始和终端条件，可求得,2,现,64,4.考虑如下系统的终端固定的最优控制问题，求取最优控制和最优状态曲线，使指标泛函J取得极小值。系统的状态方程为：,其边界条件为：,其指标泛函为：,2,现,65,哈米顿函数,伴随方程,2,现,66,2.6.3末端受限问题,新的泛函,变分,67,现代控制理论,2020年5月19日星期二,必要条件,68,现代控制理论,2020年5月19日星期二,2.6.4终值时间自由的问题,T有时是可变的，是指标泛函，选控制使有T极小值,变分,69,现代控制理论,2020年5月19日星期二,必要条件,70,现代控制理论,2020年5月19日星期二,例2.7,指标泛函,哈米顿函数,伴随方程,必要条件,71,现代控制理论,2020年5月19日星期二,3.1古典变分法的局限性3.2最大值原理3.3变分法与极大值原理,第3章最大值原理,72,现代控制理论,2020年5月19日星期二,3.1古典变分法的局限性,u(t)受限的例子,例3.1,伴随方程,极值必要条件,矛盾!,73,现代控制理论,2020年5月19日星期二,3.2最大值原理,定理3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程,且,74,现代控制理论,2020年5月19日星期二,最小值原理只是最优控制所满足的必要条件。但对于线性系统,最小值原理也是使泛函取最小值得充分条件。,75,现代控制理论,2020年5月19日星期二,例3.2重解例3.1,哈密顿函数,伴随方程,由极值必要条件，知,又,于是有,76,现代控制理论,2020年5月19日星期二,协态变量与控制变量的关系图,77,现代控制理论,2020年5月19日星期二,例3.3,性能指标泛函,哈密顿函数,伴随方程,78,现代控制理论,2020年5月19日星期二,上有,79,现代控制理论,2020年5月19日星期二,协态变量与控制变量的关系图,整个最优轨线,80,现代控制理论,2020年5月19日星期二,例3.4,把系统状态在终点时刻转移到,性能指标泛函,终点时刻是不固定的,哈米顿函数,伴随方程,81,现代控制理论,2020年5月19日星期二,H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。,最优控制可能且只能取三个值,此二者都不能使状态变量同时满足初始条件和终点条件,82,现代控制理论,2020年5月19日星期二,最优控制,最优轨线,最优性能指标,83,现代控制理论,2020年5月19日星期二,例3.5,使系统以最短时间从给定初态转移到零态,哈米顿函数,伴随方程,84,现代控制理论,2020年5月19日星期二,最优控制切换及最优轨线示意图,85,现代控制理论,2020年5月19日星期二,3.3古典变分法与最小值原理,古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件,就等价于条件,86,现代控制理论,2020年5月19日星期二,4.1多级决策过程与最优性原理4.2离散系统动态规划4.3连续系统动态规划4.4动态规划与最大值原理的关系,第4章动态规划,87,现代控制理论,2020年5月19日星期二,动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。,88,现代控制理论,2020年5月19日星期二,4.1多级决策过程与最优性原理,作为例子，首先分析最优路径问题,(a)(b)(c),试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。,89,现代控制理论,2020年5月19日星期二,(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。,90,现代控制理论,2020年5月19日星期二,逆向分级计算法,逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。,以(c)为例,从倒数第一级开始，状态有两个，分别为,和,在,处，只有一条路到达终点，其时间是,；在,处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。,并将此点到终点的最优路径画上箭头。,91,现代控制理论,2020年5月19日星期二,然后再考虑第二级,只有一种选择，到终点所需时间是,有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出,也标出最优路径和时间,依此类推，最后计算初始位置,求得最优路径,最短时间为13,92,现代控制理论,2020年5月19日星期二,最优路径示意图,93,现代控制理论,2020年5月19日星期二,2,现,94,5.利用逆向分级计算法求解如下的最优路径问题,从倒数第一级开始，状态有两个，分别为,和,在,处，只有一条路到达终点，其时间是,；在,处，也只有一条，时间为3。后一条时间最短，将此时间相应地标在点上。,并将此点到终点的最优路径画上箭头。,2,现,95,然后再考虑第二级，亦即倒数第二级,只有一种选择，到终点所需时间是,有两条路，比较后选出时间最少的一条，即2+4=6。用箭头标出,也标出最优路径和时间3+3=6,2,现,96,然后再考虑第一级，亦即倒数第三级,有两种选择，到终点所需时间是分别是，保留前者,有两条路，比较后选出时间最少的一条，即2+(2+4)=8和2+(3+3)=8。用箭头标出。,2,现,97,最后再考虑第一级，亦即倒数第四级,有两种选择，到终点所需时间是分别是,或2+(2+3+3)=10。于是，最短路经有3条，时间为10。,求得最优路径,多级过程,多级决策过程,目标函数,控制目的,选择决策序列,使目标函数取最小值或最大值,实际上就是离散状态的最优控制问题,98,现代控制理论,2020年5月19日星期二,最优性原理,在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。,99,现代控制理论,2020年5月19日星期二,指标函数多是各级指标之和，即具有可加性,最优性原理的数学表达式,100,现代控制理论,2020年5月19日星期二,4.2离散系统动态规划,阶离散系统,性能指标,求决策向量,使有最小值（或最大值），其终点可自由，也可固定或受约束。,101,现代控制理论,2020年5月19日星期二,引进记号,应用最优性原理,可建立如下递推公式,贝尔曼动态规划方程,102,现代控制理论,2020年5月19日星期二,例4.2设一阶离散系统，状态方程和初始条件为,性能指标,求使有最小值的最优决策序列和最优轨线序列,指标可写为,103,现代控制理论,2020年5月19日星期二,代入,上一级,104,现代控制理论,2020年5月19日星期二,代入状态方程,最优决策序列,最优轨线,105,现代控制理论,2020年5月19日星期二,4.3连续系统的动态规划,性能指标,目标集,引进记号,根据最优性原理及,106,现代控制理论,2020年5月19日星期二,107,现代控制理论,2020年5月19日星期二,由泰勒公式，得,由中值定理，得,108,现代控制理论,2020年5月19日星期二,连续型动态规划方程,实际上它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程,109,现代控制理论,2020年5月19日星期二,满足连续型动态规划方程，有,设,边界条件,动态规划动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合函数；动态规划要求有连续偏导数最大值原理最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得。,110,现代控制理论,2020年5月19日星期二,例4.3一阶系统,性能指标,动态规划方程,右端对u求导数，令其导数为零，则得,111,现代控制理论,2020年5月19日星期二,4.4动态规划与最大值原理的关系,变分法、最大值原理和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理之间的关系前面已说明，下面将分析动态规划和最大值原理的关系。可以证明，在一定条件下，从动态规划方程能求最大值原理的方程。,112,现代控制理论,2020年5月19日星期二,动态规划方程,令,哈米顿函数,最大值原理的必要条件,113,现代控制理论,2020年5月19日星期二,5.1问题提出5.2状态调节器5.3输出调节器5.4跟踪问题5.5利用Matlab求解最优控制,第5章线性二次型性能指标的最优控制,114,现代控制理论,2020年5月19日星期二,用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制。当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工程实际中又容易实现，因而在工程中有着广泛的应用。,115,现代控制理论,2020年5月19日星期二,5.1问题提法,动态方程,指标泛函,求,使之,有最小值,此问题称线性二次型性能指标的最优控制问题,通常称,为综合控制函数,116,现代控制理论,2020年5月19日星期二,指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。,117,现代控制理论,2020年5月19日星期二,5.2状态调节器,5.2.1末端自由问题,5.2.2固定端问题,5.2.3,的情况,状态调节器选择或使系统性能指标有最小值,118,现代控制理论,2020年5月19日星期二,5.2.1末端自由问题,构造哈密顿函数,伴随方程及边界条件,最优控制应满足,代入正则方程,119,现代控制理论,2020年5月19日星期二,线性二次型性能指标的最优控制,求导,120,现代控制理论,2020年5月19日星期二,（矩阵黎卡提微分方程）,边界条件,最优控制,令,最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制,对称半正定阵,121,现代控制理论,2020年5月19日星期二,例5.1,性能指标泛函,最优控制,黎卡提微分方程,122,现代控制理论,2020年5月19日星期二,最优轨线的微分方程,解,最优轨线,最优控制,123,现代控制理论,2020年5月19日星期二,黎卡提方程的解,随终点时间变化的黎卡提方程的解,124,现代控制理论,2020年5月19日星期二,5.2.2固定端问题,指标泛函,（设）,采用“补偿函数”法,补偿函数,惩罚函数,边界条件,黎卡提方程,逆黎卡提方程,125,现代控制理论,2020年5月19日星期二,求导,黎卡提方程,乘以,逆黎卡提方程,解,逆,126,现代控制理论,2020年5月19日星期二,5.2.3,的情况,性能指标,无限长时间调节器问题,黎卡提方程,边界条件,最优控制,最优指标,127,现代控制理论,2020年5月19日星期二,5.2.4定常系统,完全可控,指标泛函,矩阵代数方程,最优控制,最优指标,128,现代控制理论,2020年5月19日星期二,例5.2,黎卡提方程,129,现代控制理论,2020年5月19日星期二,5.3输出调节器,指标泛函,输出调节器问题,状态调节器问题,令,130,现代控制理论,2020年5月19日星期二,5.4跟踪问题,问题的提法,已知的理想输出,偏差量,指标泛函,寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。,131,现代控制理论,2020年5月19日星期二,指标泛函,哈密顿函数,132,现代控制理论,2020年5月19日星期二,2,现,133,设,并微分,2,现,134,的任意性,最优控制,2,现,135,最优轨线方程,最优性能指标,2,现,13