中国科学技术大学 《现代控制理论》 最优控制部分 补充课件 王勇老师心血制作.ppt

6 1概述6 2研究最优控制的前提条件6 3静态最优化问题的解6 4离散时间系统的最优控制6 5连续时间系统最优控制的离散化处理6 6泛函及其极值 变分法6 7用变分法求解连续系统最优控制问题 有约束条件的泛函极值6 8极小值原理6 9Bang Bang控制6 10动态规划法6 11线性二次型最优控制问题 第六章最优控制 教学要求 1 学习泛函变分法 理解最优控制的一般概念2 掌握利用变分法求最优控制方法3 掌握状态调节器 极小值原理重点内容 最优控制的一般问题及类型 泛函与变分 欧拉方程 横截条件 变分法求有约束和无约束的最优控制 连续系统的极小值原理 有限和无限时间状态调节器 最优控制理论是现代控制理论的核心 20世纪50年代发展起来的 已形成系统的理论 4 主要内容 变分法 极小值原理 庞特里亚金1958 二次型调节器 动态规划 贝尔曼1957 6 1概述 1 最优化与最优控制 例1 最优分配问题 有甲乙两个仓库 分别有水泥1500和1800包 向A B C三个工地运送 问题 如何发运水泥 使运费最省 约束条件 例2 飞船软着陆 在月球表面着陆时速度 高度必须为零 由发动机的推力变化来完成 问题 如何选择推力 使燃料消耗最少 2 末端条件 1 初始条件 动态最优化问题 6 2研究最优控制的前提条件 1 给出受控系统的动态描述 状态方程 2 明确控制域 容许控制 3 始端条件 6 2 1前提条件 4 终端条件 5 性能指标 1 积分型性能指标 拉格朗日问题 2 终端型性能指标 梅耶问题 3 综合型性能指标 鲍尔扎问题 6 2 2常见的最优控制 1 最少时间控制 2 最少燃料 3 最少能量控制 状态调节器 任务 当系统状态由于某种原因偏离平衡状态时 能在不消耗过多能量的情况下 保证系统状态仍接近于平衡状态 有限时间 5 线性跟踪器 无限时间 6 2 3主要数学方法 6 3静态最优化问题的解 6 3 1一元函数的极值 则1 2 6 3 2多元函数的极值 设 6 3 3具有等式约束条件的极值 拉格朗日乘子法 设连续可微的目标函数 等式约束条件为 式中 6 4离散时间系统的最优控制 6 4 1基本形式 设离散系统 1问题提出 注意 对应变量增加N倍 构造拉格朗日函数 构造拉格朗日函数 6 5连续时间系统最优控制的离散化处理 1将系统离散化 2离散系统最优解 3连续系统最优解 6 6泛函及其极值 变分法 6 6 1变分法的基本概念 这里自变量仍是一个函数 故泛函也称函数的函数 注意 泛函的自变量是函数 函数的自变量是变数 求泛函的极值问题称为变分问题 其方法为变分法 泛函的一阶变分为 例6 6 1 3 泛函变分的计算 a 利用定义式计算 例6 6 1 续 b 利用下式计算 证明 4 泛函的极值 多元泛函的极值 多元泛函的变分 6 6 2泛函极值的必要条件 欧拉方程 极值的必要条件 即泛函的一阶变分 其中 故泛函取极值的必要条件 欧拉方程 横截条件 展开上式 例 如图求平面上两固定点连线最短的曲线 解 1 欧拉方程 四种边界条件 a 固定端点 b 两端自由 同理 c 始端自由 d 终端自由 说明 1 欧拉方程和横截条件只是泛函存在的必要条件 至于所求极值是极大值还是极小值应由充分条件来定 2 对于多数工程问题 可根据实际问题的物理含义直接作出判断 6 6 3多元函数的极值条件 故泛函取极值的必要条件 1 欧拉方程 拦截问题 待求量 6 6 4可变端点问题 求极值轨线 在上二次连续可微 已知 设泛函 固定始端 且具有连续的一阶导数 故泛函取极值的必要条件 求极值轨线 待求量 1 欧拉方程 终端横截条件 展开得 终端横截条件 分析 终端横截条件 3 若终端固定 始端沿给定曲线D t 变动 则有 例 求从到直线距离最短的曲线 1 欧拉方程 3 初始条件 最优轨线 最优终端时刻 2 终端横截条件 6 6 5具有综合型性能泛函的情况 综合型性能指标 积分型性能指标 终端型性能指标 状态矢量 泛函取极值的必要条件 求极值轨线 其中 综合型性能指标 泛函取极值的必要条件 1 欧拉方程 综合型性能指标 6 7用变分法求解连续系统最优控制问题 有约束条件的泛函极值 6 7 1拉格朗日问题 设性能泛函 有约束条件的泛函极值分析方法 1 写出约束方程 2 构造增广泛函 2 构造增广泛函 则 3 泛函极值的必要条件 其中 故 故 哈密顿函数 状态方程 受约束极小值原理 2 控制方程 a 固定端点 b 自由端点 终端自由 横截条件常应用于补充边界条件 3 边界条件 4 求最优控制的步骤 4 利用边界条件定解 1 构造增广泛函 哈密顿函数 2 由控制方程 6 7 2波尔扎问题 设性能泛函 均为连续可微的函数 状态约束 终端边界约束 维矢量函数 待求终端时间 1 构造增广泛函 状态方程约束 终端边界约束 2 泛函极值的必要条件 分部积分 边条与横截条件 2 泛函极值的必要条件 解 终端时刻 解 1 构造增广泛函 2 据泛函极值的必要条件 1 正则方程 3 边条与横截条件 6 8极小值原理 如果 开集 且对连续可微 如果 闭集 在的边界上不任意 极小值原理 1956年由前苏联学者庞特里亚金提出 是处理控制变量受约束情况的有力工具 另外它对的可微性要求也不过分严格 6 8 1连续系统的最小值原理 1 引入新维控制变量 目的 2 引入新维变量 二 构造增广泛函 故增广泛函的一次变分为 由图知 三 泛函极值的必要条件 1 欧拉方程 2 横截条件 3 讨论 2 由欧拉方程 沿最优轨线 说明控制相量在有不等式约束的情况下 沿最优轨线这个条件不成立 3 上述方程仅为求最优解的必要条件 连续系统的极小值原理 则实现最优控制的必要条件为 1 沿最优轨线满足正则方程 取哈密顿函数 3 函数在最优轨线终点处的值决定于 4 协态终值满足横截条件 5 满足边界条件 说明 求解无控制约束的最优控制问题是其特例 c 边值条件 d 极大值原理 e 极小值原理仅给出了最优控制的必要条件 而不是充要条件 可以证明 对于线性系统 极小值原理为充要条件 用极小值原理求解最优控制的步骤 2 写出正则方程 4 利用边界条件联立求解 例1 试求 时的 解 自由 定常系统 积分型性能指标 固定 受约束情况 2 列写正则方程 3 4 据横截和边界条件求解 求最优状态轨线 其中 若自由 求使 例2 已知系统 2 列写正则方程 3 4 据横截和边界条件求解 3 Bang Bang控制 又称开关控制 特点 1 控制矢量的各分量均取控制域的边界值 2 控制矢量可不断从一个边界值变换到另一个边界值 3 性能指标简单 6 9Bang Bang控制 设能控的线性定常系统 取哈密尔顿函数 得 1 时间控制是Bang Bang控制 即开关控制 2 最优控制是唯一的 证明略 3 最优控制的开关次数 6 10双积分系统的时间最优控制 设双积分系统 6 10 1根据极小值原理确定最优控制 1 取哈密尔顿函数 2 列写正则方程组 3 对于最优控制 取绝对极小值 得 直线 切换时刻 6 10 2状态轨线及开关曲线 系统 通向原点的曲线 6 10 3最优控制律 目的求 则最优控制律可简写为 开关函数 反相器 继电器R 6 10 4最优控制律的工程实现 开关曲线 6 10 5最优时间计算 6 11动态规划法 动态规划法处理控制变量受约束的最优控制问题的另一种方法 贝尔曼等人在上世纪50年代通过研究离散系统的多步决策问题 即过程最优问题 中提出来的 又称贝尔曼动态规划法 动态规划法的核心 最优性原理 最优决策问题 动态规划法的思想 P1 P2 P3 7 2 3 A B 4 4 6 8 3 2 4 3 2 Q1 Q2 Q3 所选的最优路线必须保证其后部子路线是最优的 P1 P2 P3 7 2 3 A B 4 4 6 8 3 2 4 3 2 Q1 Q2 Q3 动态规划法遵循最优化原则 从终点开始 按时间最短为目标 逐段向前逆推 每段最优决策 11 4 4 8 5 2 2 4 2 3 4 4 Q3 Q2 Q1 12 A P1 P2 P3 B 7 图6 21各站至终点站的最优路线 3 动态规划法体现了多段最优决策的一个重要规律 即所谓最优性原理 它是动态规划的基础 动态规划法的特点 1 与穷举算法相比 可使计算量大大减少 2 整体最优决策是从终点开始 采用逆推方法 通过计算 比较各段性能指标 逐段决策逐步延伸完成 最优性原理同样适用于连续系统 求最优控制及最优轨线 例 设一阶离散系统 解 为简单计 取N 2 状态转移图 已知 1 求 故有 2 求 最优控制 最优轨线 6 11 2离散系统的动态规则 设离散系统的状态方程为 k 0 1 N 1 式中 n维状态矢量在 k 1 T时刻的值 维容许控制矢量或决策矢量在kT时刻的值 n维矢量函数 状态初值 控制约束 性能泛函 1问题提出 性能泛函 寻求输入矢量 目标函数J最小 典型多段最优决策问题 逐段作出决策 选择最优控制 使目标函数J最小 2动态规划基本方程 贝尔曼泛函方程 2动态规划基本方程 贝尔曼泛函方程 据最优性原理 xk 1 xN 1 xN x1 1 2 K 1 u0 u1 uk uN 1 x0 x2 xk N 第一段子过程 后N 1段子过程 则对N段最优决策过程 同理得一般动态规划递推方程 一般动态规划递推方程 其中 应用动态规划递推方程式求解最优控制序列的解题过程 动态规划求解最优控制序列的解题过程 例 设一阶惯性系统如图所示 性能泛函自由 假定采用离散控制 把分成三段 求最优控制 x k 1 gx k hu k 解 系统的状态方程 进行离散化 得差分方程 6 11 3连续系统的动态规划 泛函为极小必要条件 设连续系统状态方程为 初始状态 终端约束 性能泛函 求最优控制 将轨线分成前后两半段 必定是最优轨线 设 时 状态为 若取 则 最优性原理 其中 当很小时 有 边界条件 令哈密尔顿函数为 则 则 控制矢量u t 不受限制时 则有 2 由贝尔曼方程可推导出协态方程和横截条件 3 用动态规划方法间接证明了最小值原理 结论 1 哈密顿 雅可比方程说明在最优轨线上 最优控制必须使H达全局最小 4 动态规划法需解偏微分方程 且要求J具有连续偏导 限制了应用范围 综上所述 可将连续型动态规划求解最优控制问题的步骤归纳如下 1 构造哈密顿函数 2 以取极值为条件求 即 当取值无限制时 由上述条件解出的是的函数 3 将代入哈密尔顿 贝尔曼方程 并根据边界条件 解出 4 将代回 即得最优控制它是状态变量的函数 据此可实现闭环最优控制 5 将代入状态方程 可进一步解出最优轨线 6 再将代入求得最优性能泛函 6 12线性二次型最优问题 在最优控制问题中 若系统是线性的 且性能指标为二次型函数 则称为线性二次型最优控制问题 简称线性二次型 6 12 1二次型性能泛函 二次型性能泛函的一般形式如下 6 12 2有限时间状态调节器问题 任务 当系统状态由于某种原因偏离平衡状态时 能在不消耗过多能量的情况下 保证系统状态仍接近于平衡状态 设线性时变系统的状态方程为 二次型性能泛函如下 设u取值不受限制 寻求最优控制 使J取极值 上述最优控制问题称为有限时间状态调节器问题 可以用极小值原理求解 构造哈密顿函数为 控制u不受约束 因此满足控制方程 所以取得极小值的充分必要条件 将上式代入正则方程 得 其边界条件和横截条件为 由于横截条件中存在线性关系 且正则方程又是线性的 因此 可以假设在任何时刻 均可能存在线性关系 维实对称正定矩阵 待定 维最优反馈增益矩阵 闭环系统方程如下所示 上式说明 线性二次型问题 最优控制律是一个线性状态反馈 因而可以方便地实现闭环最优控制 总结以上表达式有 黎卡提 Riccati 矩阵方程 是一个一阶非线性矩阵微分方程 2 最优控制规律为 3 求解最优轨线 4 计算性能泛函最优值 则最优控制存在且唯一 并由下式确定 其中 P为正定对称常数