第一部分：最优控制

,时间:1-8周.周一第2讲,周四第1讲地点:X2225,X2226任课教师:汪晓宁,主要内容,最优控制理论系统辩识与自适应控制状态估计,LQG控制与H鲁棒控制,教材及主要参考书,张汉全等,K.Ogata,“ModernControlEngineering”,Prentice-Hall王远声,北航出版社张志涌,北航出版社,第一部分:最优控制,绪论最优化与最优控制概述最优化方法在数学上是一种求极值的方法最优控制系统是指系统在满足动态方程的条件下,应选择什么样的控制变量序列(控制函数),使系统从初始状态能以某种最优的性能指标要求转移到规定的终态最优化方法是一种数学方法,而不是工程方法,它与应用数学,计算机科学及各专业领域都有密切关系最优化包括静态最优化和动态最优化两部分动态(线性规划,整数规划,非线性规划)动态(最优控制),绪论,最优控制问题举例飞船的月球软着陆问题最快拦截问题最优控制问题的提法受控动态系统的数学模型动态系统的初态与终态一个衡量”控制作用”效果的性能指标一个容许控制的集合,第一章:变分法及其在最优控制中的应用,变分法的基本概念泛函容许函数类(空间)泛函的极值定义:如果泛函在任何一条与接近的曲线值的值不小于,即,则称泛函在曲线上达到极小值.“接近”泛函的极值条件,变分法的基本概念,泛函的极值条件宗量的变分泛函的连续性线性泛函泛函的变分,若连续泛函的增量可以表示为,其中等式右边第一项是的线性连续泛函,第二项是关于的高阶无穷小,则就将第一项叫做泛函的变分.记为:,变分法的基本概念,引理:,泛函的变分,第一章:变分法及其在最优控制中的应用,欧拉方程古典变分学的三个基本问题拉格郎日问题从容许函数类(空间)中求一函数,使泛函取极小值的变分问题波尔扎问题从容许函数类(空间)中求一函数,使泛函取极小值的变分问题,第一章:变分法及其在最优控制中的应用,麦耶耳问题从容许函数类(空间)中求一函数,使泛函取极小值的变分问题,拉格郎日和麦耶耳问题都可以看成是波尔扎问题的特殊情况.,第一章:变分法及其在最优控制中的应用,欧拉方程_泛函极值的必要条件,设已知轨线的起点,和终点,使性能泛函,取极值的必要条件是轨线,为二阶微分方程,的解.,欧拉方程,注意:应有连续的二阶导数,而则至少应有两次连续可微.欧拉方程的解叫做极值曲线,只有在极值曲线上的泛函才可能达到极小(或极大值)对于现在讨论的两个端点固定情况,正好可以利用两个边界条件,将积分常数确定出来.欧拉方程只是确定了极值的必要条件,欧拉方程的积分法求解,被积函数不依赖于被积函数是的线性函数被积函数仅依赖于被积函数仅依赖于和被积函数仅依赖于和,横截条件,横截条件-解决欧拉方程两个端点不固定问题,注意:上式建立了极值曲线末态斜率与给定约束曲线斜率之间的关系;该横截条件是在终态时刻可变情况的,当容许曲线的始端也不固定时,如初态只能沿着给定曲线变动时,同理可推出始端横截条件;,当和固定,而和变化时,横截条件退化为:,和,横截条件,总结:泛函的极值的必要条件首先应满足欧拉方程;欧拉方程通解中的两个积分常数由横截条件确定;当容许曲线的端点中任何一点为固定点时,其相应横截条件自动失效,确定积分常数的横截条件改为该点的边界条件确定.,等式约束条件下的变分问题,等式约束条件下的变分问题对于给定的泛函,引入拉格朗日乘子法,将泛函的条件极值转化为无条件极值问题,达到无条件极值.,即函数是的解,其中,最优控制问题求解,最优控制问题的提法,寻找一容许控制,使受控系统,为极小.,最优控制问题求解,终端状态不受约束时泛函极值必要条件满足规范方程边值条件极值条件,其中,称为哈密顿函数,终端状态不受约束,分析规范方程(2n个一阶微分方程)通过极值条件(r个代数方程)成为变量互为偶合的微分方程组,其边界条件一部分是初始条件,另一部分是终端条件;哈密顿函数的一个重要性质,最优控制问题求解,终端状态受约束终态时刻固定终态固定终端状态受约束,最优控制问题求解,终端状态受约束终态固定,终态时刻固定,满足规范方程边值条件极值条件,最优控制问题求解,终端状态受约束终态时刻固定,终端状态受约束,满足规范方程边值条件极值条件,终端状态受约束(终态时刻固定,终端状态受约束),说明:终端约束不影响规范方程,只改变边值条件2n+k个边界条件方程,可以确定2n个边界条件和k个待定乘子,最优控制问题求解,终端状态受约束终态时刻未定末态固定末态受约束末态自由,终态时刻未定,终端状态受约束(终态时刻未定,末态自由),满足规范方程边值条件极值条件哈密顿函数在最优轨线的末端应满足,末态给定,末态受约束,极小值原理,或:,背景控制信号要求微分条件存在,前面研究的是控制变量无约束的最优控制,即以系统的状态方程作为等式约束,或系统的末端状态受某一等式约束的最优控制.现在所要研究的是控制变量受一不等式约束的最优控制问题,解决的有效工具是庞特里亚金的极小值原理.,极小值原理,连续系统的极小值原理终端时刻未定,终端状态受等式约束,寻找一容许控制,使受控系统,终态:,使性能指标泛函,为极小.,且受不等式约束,极小值原理(终端时刻未定,终端状态受等式约束),关键:如何处理控制变量的不等式约束?,设法将不等式约束人为地化为等式约束,并用一个新的连续函数取代分段连续函数.,极小值原理(终端时刻未定,终端状态受等式约束),转化为三种约束:,新的性能指标,极小值原理(终端时刻未定,终端状态受等式约束),最优控制求解的必要条件,满足规范方程边值条件在最优轨线上与最优控制对应的H函数取极小值哈密顿函数在最优轨线的末端应满足,极小值原理,终态的不同状态,得出对应的最优控制求解的必要条件终态时刻未定,终态固定终态时刻未定,终态自由终态时刻固定,终态自由终态时刻固定,终态固定终态时刻固定,终态受一等式约束,线性二次型最优调节器,概述,概述,单输入系统:,多输入系统:,线性二次型最优调节器问题,线性二次型最优状态调节器问题,要求,称之为状态调节器(有限时间),线性二次型的核心,也是本部分讨论的重点,有限时间最优状态调节器,微分方程满足边界条件的解,典型的状态反馈形式,矩阵P(t)的性质,闭环系统的性质决定于矩阵,矩阵,的性质,是Riccati方程末值问题的解,非负定,无限时间最优状态调节器,设线性时变系统及其初始条件为,不受约束,寻找最优控制,使如下二次型性能指标最小.,称之为无限时间最优状态调节器,区别:,积分J只能在一定条件下才是有限值,即该系统对于每一,是完全能控的,无限时间最优状态调节器,最优控制存在且唯一,并由下式确定,其中,是如下Riccati方程的非负定解,线性定常状态调节器,设线性定常系统及其初始条件为,二次型性能指标,其中矩阵A,B,Q,R是具有适当维数的常数矩阵,且Q和R分别是非负定和正定对称阵,线性定常状态调节器,最优控制存在且唯一地由下式确定:,其中,是下面代数Riccati方程的非负定对称解,或者是下面Riccati微分方程的稳态解,从任意初态开始的最优性能指标为,动态规划,贝尔曼最优性原理的应用,用一个基本的递推关系式使动态过程的状态连续地转移.,基本思路:,动态规划的离散形式:,解决线性时间离散系统二次型性能指标最优控制问题特别有效.,动态规划的连续形式:,不仅是一种可供选择的求解最优控制问题的方法,而且还揭示了动态规划与变分法,极小值原理之间的关系,具有重要的理论价值.,动态规划-多阶段决策问题,动态规划-多阶段决策问题,最优决策:,最优路线:,最少时间:,动态规划-多阶段决策问题,动态规划特点:,计算量大大减少实质是将求一条极值曲线问题嵌入到求一族极值曲线的更广泛的类似问题,动态规划是将一个难于直接处理的多阶段决策问题转化为一个多次一步决策的简单问题来解决,动态规划-多阶段决策问题,考察代价函数(性能指标),其中过程的起始状态,为已知.,过程的状态方程为,其中状态满足约束,求允许决策(控制)序列,使代价函数(性能指标)最小.,动态规划-多阶段决策问题,为求出最小代价,将始自,的待求问题嵌入到求,的类似问题中.,转而研究如下问题,其中,认为是固定的.,状态方程为,动态规划-多阶段决策问题,进一步,递推方程,动态规划-多阶段决策问题,将一个复杂的多阶段决策问题嵌入到一类相似问题,要解决两个关键问题,这一类相似问题中的一个问题有比较简单的解,如求,得到联系这一类问题中各组成部分的关系式,从原来的多阶段决策问题出发,导出类似于(A)和(B)这两个方程是关键,动态规划-多阶段决策问题,总结:,用动态规划法解题要进行两次搜索,逆向搜索,用第K+1级的最小代价函数