最优控制(动态求解).ppt

第4章最优控制原理与应用 最优控制的基本概念 最优控制研究的主要问题 根据已建立的被控对象的数学模型 选择一个容许的控制率 使得被控对象按照预定的要求运行 并使给定的某一性能指标达到极小值 或极大值 从数学观点来看 最优控制研究的问题是 求解一类带有约束条件的泛函极值问题 最优控制问题 最优控制问题的一般提法 在满足系统方程的约束条件下 在容许控制域中确定一个最优控制律 使得系统状态从已知初态转移到要求的目标集 并使性能指标达到极值 最优控制的应用类型 I 积分型性能指标最小时间控制 最少能量控制 最少燃料控制 II 末值型性能指标III 复合型性能指标 4 1用变分法解最优控制 4 1 1泛函与变分4 1 2欧拉方程4 1 3横截条件4 1 4变分法解最优控制问题 返回主目录 在动态系统最优控制问题中 性能指标是一个泛函 性能指标最优即泛函达到极值 解决泛函极值问题的有力工具是变分法 所以下面就来列出变分法中的一些主要结果 大部分不加证明 但读者可对照微分学中的结果来理解 4 1 1泛函与变分 如果对某一类函数中的每一个函数 有一个实数值与之相对应 则称为依赖于函数的泛函 记为 粗略来说 泛函是以函数为自变量的函数 函数的函数 1 泛函 先来给出下面的一些定义 2 泛函的连续性 则 则线性泛函是连续的 称J x 为线性连续泛函 若对于收敛于点x0点列xn 其中x0 xn 均有则称泛函J在x0处连续 对于线性泛函J x 若 满足下面条件的泛函称为线性泛函这里是实数 和是函数空间中的函数 3 线性泛函 4 自变量函数的变分 自变量函数的变分是指同属于函数类中两个函数 之差 这里 t看作为参数 当为一维函数时 可用图4 1来表示 图4 1自变量函数的变分 这里 是的线性泛函 是关于的高阶无穷小 则称为泛函J x 的变分 可知泛函变分就是泛函增量的线性主部 当自变量函数有变分时 泛函的增量为 5 泛函的变分 当一个泛函具有变分时 也称该泛函可微 和函数的微分一样 泛函的变分可以利用求导的方法来确定 定理设J x 是线性赋范空间Rn上的连续泛函 若在x x0处J x 可微 则J x 的变分为 证明 由于是的线性连续泛函 又因为是的高阶无穷小 泛函变分的规则 举例 可见 计算泛函的变分如同计算函数的微分一样 6 泛函的极值 若存在 对满足的一切X 具有同一符号 则称在处有极值 极大值或极小值 定理 变分预备定理 设是时间区间 t0 t1 上连续的n维向量函数 是任意的连续n维向量函数 且有 若 则必有 4 1 2欧拉方程 假定t0与tf给定 且初态与末态两端固定 1 无约束泛函极值的必要条件定理设有如下泛函极值问题 1 已知x t0 x0 x tf xf 则极值曲线应满足如下欧拉方程 2 3 及横截条件 于是泛函J的增量可计算如下 以下将 号省去 上式中是高阶项 证明 与之间有如下关系 根据定义 泛函的变分是的线性主部 即 对上式第二项作分部积分 按公式 J取极值的必要条件是等于零 因是任意的 要使 3 2 中第一项 积分项 为零 必有 5 4 式中第二项即为结论中的式 3 举例 利用上面的结论求得 2 有等式约束泛函极值的必要条件定理设有如下泛函极值问题 6 已知x t0 x0 x tf xf 则极值曲线应满足如下欧拉方程和横截条件 其中 为拉格朗日函数 是待定拉格朗日乘子 4 1 3横截条件 末端时刻固定时的横截条件当tf固定时 在x t0 x0固定时 横截条件为如果末端状态也固定x tf xf时 边界条件退化为x t0 x0 x tf xf 当末端状态自由时 横截条件为 x t0 x0 x t0 x0 2 末端时刻自由时的横截条件 末端受约束时 存在如下近似关系 如果末端自由 则曲线c t 不存在 设性能指标为容许轨线x t 与极值曲线x t 之间有如下关系 7 当末端由 xf tf 移动到时 产生如下的泛函增量 8 将 8 右端的第二项在极值曲线泰勒展开 对上式右端的第二项分部积分 将以上结果代入 8 取增量的线性主部 得泛函的变分令 得欧拉方程和横截条件 9 10 末端时刻自由 末端状态变动时的横截条件1 末端状态自由时的横截条件当x tf 自由时 由 7 可知代入 10 可得到因为任意 所以tf自由 x tf 自由的横截条件和边界条件为 11 2 末端状态受约束时的横截条件设受约束方程为x tf c tf 由 7 可知代入 11 并考虑任意 得到tf自由 x tf 受约束的横截条件和边界条件为 11 1 如果t0也自由 x t0 受约束 即沿着曲线g t 则应满足以下横截条件 11 2 例子 求平面上给定两点A 0 1 B 1 3 间的最短弧长 若B点可沿曲线c t 2 t移动 求一连接A B两点且弧长最短的曲线 对于最短弧长问题 它是泛函在两端固定条件下的变分问题 欧拉方程的解为x at b带入边界条件可得解x 2t 1 2 属于末端受约束的变分问题 其最短弧长满足与 1 相同的欧拉方程 因此x at b 因为初始点没有变化 所以由x 0 1可得b 1 为了确定参数a 运用横截条件 11 1 可得解得a 1 因此可知极值曲线为 由末端约束条件 可知tf 0 5 带入弧长公式得到最短弧长 x t 1 不同边界情况下的横截条件 4 1 4变分法解最优控制问题 系统方程为性能指标为末端状态x tf 受约束 要求的目标集为最优控制问题是 确定最优控制u t 和最优曲线x t 使得系统 12 由已知初态x0转移到要求的目标集 14 并使性能指标 13 达到极值 14 13 12 可以利用拉格朗日乘子法将上述有约束条件的泛函极值问题化为无约束条件的泛函极值问题 再引入一个标量函数 它称为哈密顿 Hamilton 函数 在最优控制中起着重要的作用 1 末端时刻固定时的最优解对于如下最优控制问题 无约束且在 t0 tf 上连续 在 t0 tf 上 f 和L 连续可微 tf固定 最优解的必要条件为 1 x t 和满足正则方程 2 边界条件和横截条件3 极值条件证明 构造广义泛函 分部积分则对上式取一次变分 考虑到根据泛函极值的必要条件 可得到结论 当末端时间tf固定 末端状态x tf 自由时 不存在目标集因此 该下的泛函极值只需将上述结论中的去掉即可 当末端时间tf固定 末端状态x tf 固定时 正则方程不变 边界条件退化为x t0 x0 x tf xf 系统在可控的条件下 极值条件也不变 本例属于末端时刻固定 末端状态受约束的泛函极值问题 Hamilton函数协态方程极值条件 状态方程根据初始条件和目标条件可求出c3 c4 0 4c1 9c2 6再根据横截条件可求出c1 1 2 c2 可求出c1与c2的值 进而获得最优解 2 末端时刻自由时的最优解 对于如下最优控制问题 最优解的必要条件为 1 x t 和满足正则方程 2 边界条件和横截条件3 极值条件4 在最优曲线末端的Hamilton函数满足 证明 构造广义泛函当末端由 xf tf 移动到时 产生如下的泛函增量将上式在最优轨线展成泰勒级数并取主部 应用中值定理并考虑 可得到 将代入上式可得到令得到定理的结论 Page562 表10 2用变分法求最优解的必要条件 例子 解 本例属于tf自由 末端状态固定 控制无约束的泛函极值问题 常数 再由极值条件得由状态方程和初始条件得到利用末态条件得到最后根据末端时刻H的变化率可以求得这样 求得的最优解为 4 2极小值原理及其应用 4 2 1连续系统的极小值原理4 2 2离散系统的极小值原理4 2 3最小时间控制4 2 4最小能量控制 返回主目录 为解决控制有约束的变分问题 庞特里亚金提出并证明了极小值原理 其结论与经典的变分理论有许多相似之处 而且不要求哈密尔顿函数对控制量连续可微 4 2 1连续系统的极小值原理末端自由时的极小值原理定理对于如下定常系统 末值型性能指标 末端自由 控制受约束的最优控制问题式中为任意分段连续函数 末端状态自由 末端时刻固定或自由 假设f x u 和都是自变量的连续可微函数 且在有界集上f x u 对变量x满足 则对于最优解u x tf 必存在非零的 使如下必要条件成立 正则方程其中边界条件与横截条件极小值条件4 沿最优轨线哈密尔顿函数变化率 tf自由时用 极小值原理与经典变分法的区别 容许控制条件放宽 极小值条件对通常的控制约束均适用 最优控制使哈密顿函数取全局极小值 当满足经典变分法的应用条件时 其极值条件是极小值原理中极值条件的特例 极小值原理不要求哈密顿函数对控制向量的可微性 例子 解 已知由协态方程可得到 由横截条件解出由极小值条件由于可得到 定理对于如下时变系统 末值型性能指标 末端自由 控制受约束的最优控制问题式中末端时刻固定或自由 假设同前 则对于最优解u x tf 必存在非零的 使如下必要条件成立 正则方程其中 边界条件与横截条件极小值条件4 沿最优轨线哈密尔顿函数变化率 tf自由时用 于是该问题就变成了如下定常问题 利用定常系统的结论 可知协态方程为即 17 16 横截条件为即极小值条件为将式 16 代入可得即得结论3 沿最优轨线哈密尔顿函数变化率将 18 代入可得到本定理的结论4 18 定理对于如下定常系统 积分型性能指标 末端自由 控制受约束的最优控制问题式中末端时刻固定或自由 假设同前 则对于最优解u x tf 必存在非零的 使如下必要条件成立 正则方程其中 边界条件与横截条件极小值条件4 沿最优轨线哈密尔顿函数变化率 tf自由时用 于是该积分型问题就变成了如下末值型问题 把上面两个式子代入协态方程 可得 因此由横截条件可知因为 上式可表示为由 19 可得 19 则哈密尔顿函数为将它代入 19 可得从而也得到了极值条件3 和最优轨线末端应满足条件4 解 该题属于定常系统 积分型性能指标 tf固定 末端自由 控制受约束的最优控制问题 令 由协态方程解得再由横截条件可以求出c e 显然 当时u t 产生切换 由可以解出 0 307 因此将u 代入状态方程并利用初值条件可得到最优轨线为 2 末端受约束时的极小值原理定理对于如下定常系统 末值型性能指标 末端受约束 控制受约束的最优控制问题式中末端时刻固定或自由 假设同前 则必存在非零的 使如下必要条件成立 正则方程其中边界条件与横截条件极小值条件4 沿最优轨线哈密尔顿函数变化率 tf自由时用 定理对于如下时变系统 末值型性能指标 末端受约束 控制受约束的最优控制问题式中末端时刻固定或自由 假设同前 则必存在非零的 使如下必要条件成立 正则方程其中边界条件与横截条件极小值条件4 沿最优轨线哈密尔顿函数变化率 tf自由时用 4 2 2离散系统的极小值原理末端约束时的离散极小值原理定理设离散系统状态差分方程为性能指标为式中N固定 假设f 和L 都是自变量的连续可微函数 末端状态受如下目标集约束 则对于最优序列u x 必存在非零的 使如下必要条件成立 差分方程其中边界条件与横截条件极小值条件 若u k 无约束 则极值条件为 2 末端自由时的离散极小值原理定理设离散系统状态差分方程为性能指标为式中N固定 假设同前 末端状态自由 则对于最优序列u x 必存在非零的 使如下必要条件成立 差分方程其中边界条件与横截条件极小值条件 若u k 无约束 则极值条件为 该题属于控制无约束问题 构造由协态方程可得到由极值条件 得到将u k 代入状态方程并利用边界条件可得到 4 2 3最小时间控制最小时间的控制问题设线性定常系统完全可控 求满足下列不等式约束的容许控制 使系统从初始状态x 0 x0转移到x tf 0 并使性能指标极小 其中tf自由 2 正常情况与奇异情况构造根据极小值条件 可得则设可知 20 可表示为下式 20 3 奇异性的充要条件定理设矩阵式中bj中为矩阵B的列向量 当且仅当m个Gj矩阵中至少有一个是奇异矩阵 上述最优问题是奇异的 定理上述问题是正常的 当且仅当 3 Bang Bang控制定理对上述问题 若系统是正常的 则最优解的必要条件是 正则方程其中边界条件极小值条件 4 沿最优轨线哈密尔顿函数变化率 tf自由时用 4 经验证系统可控 因此系统正常 可用上述定理求解 由协态方程得取u 1 可以求得系统的解 并消去变量t可得到最优轨线方程 则满足末态要求的最优轨线方程可表示为取u 1 也可得到满足末态要求的最优轨线方程曲线组成曲线 称为开关曲线 表示为开关曲线将相平面分成两部分R 和R 则时间最优控制为 4 2 4最小能量控制设线性定常系统求满足下列不等式约束的容许控制 使系统从初始状态x0转移到x tf xf 并使性能指标极小 其中tf固定 构造定义开关向量函数由协态方程可得则开关向量可表示为 其分量为则将上式代入哈密尔顿函数 可得若uj t 无约束 则 解出由控制约束条件可得出下面的最优控制律 解 构造 则最优控制律应满足由协态方程可解出 因为末端固定 不能由横截条件确定c1 c2 这里采用试探法 通常情况下 如果使最小能量控制问题的控制量较小 首先选取线性最优控制函数 即将上式代入状态方程解得根据初始条件可得c3 c4 0 根据末态条件 可得 根据哈密尔顿函数沿最优轨线的变化率得将u tf x1 tf 和x2 tf 代入上式可得c1 c2 c1tf 2 0 综合以上方程 可以得出 因此 最优控制为经检验在 0 tf 区间上 满足 u tf 1 因此选择正确 则最优轨线为最优性能指标为 4 3线性二次型问题的最优控制 4 3 1线性二次型问题4 3 2有限时间时变状态调节器4 3 3无限时间定常状态调节器4 3 4有限时间时变输出调节器4 3 5无限时间定常输出调节器4 3 6有限时间时变输出跟踪系统4 3 7无限时间定常输出跟踪系统 4 3 1线性二次型问题设线性时变系统性能指标为其中u t 无约束 输出误差向量e t z t y t z t 为理想输出 F t Q t 非负定 R t 正定 t0 tf固定 确定最优控制u t 使得性能指标极小 21 在二次型性能指标中 其各项都有明确的物理含义 即末值项 若取末值项的物理含义表示在控制结束后 对系统末态跟踪误差的要求 2 积分项 若取 该项表示系统在控制过程中的动态误差跟踪的大小 积分项 若则该项表示在控制过程中所消耗的能量 线性二次型最优控制问题的类型 状态调节器问题如果C t I z t 0 则e t y t x t 并且性能指标为 最优控制问题为 当系统受扰动偏离原零平衡状态时 要求产生一控制向量 使得系统状态恢复到原平衡状态附近 并使上面的性能指标极小 称为状态调节器问题 2 输出调节器问题如果z t 0 则e t y t 并且性能指标为 22 23 最优控制问题为 当系统受扰动偏离原输出平衡状态时 要求产生一控制向量 使得系统输出保持在原平衡状态附近 并使上面的性能指标极小 称为输出调节器问题 输出跟踪系统问题若C t I z t 0 则最优控制问题为 当理想输入作用于系统时 要求产生一控制向量 使得系统实际输出向量始终跟踪理想输入的变化 并使性能指标 21 极小 称为输出跟踪系统问题 4 3 2有限时间时变状态调节器设线性时变系统其中u t 无约束 F t Q t 非负定 R t 正定 t0 tf固定 末端状态x tf 自由 确定最优控制u t 使得性能指标 22 极小 1 最优解得充要条件定理对于上述问题 其最优控制的充要条件是最优性能指标为 24 25 其中P t 为n n对称非负矩阵 满足下列Riccati方程边界条件为P tf F将最优控制代入系统方程 可知最优轨线应满足证明 必要性 若u t 为最优控制 可以证明 24 成立 因为u t 是最优控制 所以满足极小值原理 构造 26 由极值条件可得由正则方程可知因为末态自由 所以横截条件为假设 27 28 则将系统方程代入 可得再将 28 代入 27 可得比较上面两个式子 可知Riccati方程成立 在 28 中 令t tf 可得出P tf F 将 28 代入u t 可得到最优控制律的表达式 24 成立 进而得到最优轨线x t 充分性 若表达式 24 成立 可证明u t 比为最优控制 2 Riccati方程的性质 P t 是唯一的 P t 是对称的 P t 是非负的 3 最优控制解的存在与唯一性 4 3 3无限时间定常状态调节器 1 问题的描述设线性定常系统其中u t 无约束 要求确定最优控制u t 使得性能指标极小 2 最优解的结果定理在上述问题中 若对于任意矩阵D 有DDT Q 且是Riccati方程的解 则矩阵对 A D 完全可观的充要条件是为对称正定矩阵 定理若矩阵对 A B 完全可控 A D 完全可观 其中DDT Q 且D任意 则存在唯一的最优控制 最优性能指标为其中 为Riccati方程的唯一解 最优闭环系统的渐进稳定性定理由上面得到的闭环系统是渐进稳定的 对以上结论的说明 对可控性的要求是防止不可控不稳定模态包含于性能指标中 会使J 从而最优解不存在 A D 可观是为了保证最优闭环系统渐进稳定 系统可控假设和F 0意味着当tf 时 为正定矩阵 对于无限时间调节器 一般要求tf 时 x tf 0 即稳态误差为零 因此性能指标中不必加入终态性能指标 解 本题中可控性与可观性检测可知u t 存在 解Riccati方程 可得最优解为最后 检验闭环系统的稳定性 将最优控制代入状态方程 通过计算可知闭环系统确实是渐进稳定的 4 3 4有限时间时变输出调节器定理 设线性时变系统方程为性能指标为 23 其中u t 无约束 tf固定 则存在使J min的唯一最优控制最优性能指标为 最优轨线满足P t 满足在边界条件上的唯一解 证明 将y t C t x t 代入性能指标中 就可以将问题化为有限时间时变状态调节器问题 即可证得结论 定理说明 有限时间时变输出调节器的最优解与有限时间时变状态调节器的最优解具有相同的最优控制和最优性能指标表达式 仅在Riccati方程及其边界条件的形式上有微小差别 最优输出调节器的最优控制函数不是输出的函数 仍是状态的现行函数 所以 构成最优控制系统需要全部状态信息反馈 4 3 5无限时间定常输出调节器定理 设线性定常系统方程为性能指标为u t 无约束 若矩阵对 A B 完全可控 A D 完全可观 其中DDT CTQC 则存在使J min的唯一最优控制 29 最优性能指标为式中为对称正定矩阵 满足如下Riccati方程最优闭环系统渐进稳定 其解为最优轨线x t 证明 将y t C t x t 代入性能指标 29 可得其中Q1 CTQC 因为Q 0必有Q1 0 令Q1 DDT 由无限时间定常状态调节器定理可得本结论 由已知可得到检验系统的可控与可观性 可知满足可控与可观性的要求 利用Riccati方程求出得到最优控制将最优控制代入系统方程 检验闭环系统的稳定性 经检验闭环系统确实是渐进稳定的 4 3 6有限时间时变输出跟踪系统定理 设线性定常系统方程为性能指标为u t 无约束 则存在使J min的最优控制为其中P t 为对称非负实矩阵 满足 及边界条件的唯一解 g t 为伴随状态向量 满足方程及边界条件闭环最优跟踪系统 在初始条件下的最优轨线为x t 证明 利用极小值原理进行证明 构造哈密尔顿函数由极值条件 在u t 不受约束时 有则 由正则方程可知横截条件假设式中P t g t 待定 对上式求导可得 30 31 32 33 34 将 33 代入 30 再将得到的代入 34 可得再将 33 代入 31 可得比较上面两个式子可得到因为上式对任何状态x t 和任何理想输出z t 都成立 故等式两端对应项相等 可得到P t 和g t 满足的微分方程 在 33 中 令t tf 与 32 比较 可得结论中的边界条件 因为P t 与g t 均可解 所以将 33 代入u t 可得到最优控制表达式 再将最优控制代入状态方程中可得到最优轨线x t 4 3 7无限时间定常输出跟踪系统定理 设线性定常系统方程为性能指标为 e t 为输出误差向量 并且e t 若矩阵对 A B 可控 A C 可观 则使性能指标J极小的近似最优控制为式中为对称正定常阵 满足常值伴随向量为将最优控制代入系统方程 得到相应的闭环系统的解为最优轨线x t 解 由条件可知性能指标可表示为则因此 可控可观 解Riccati方程 得求伴随向量确定近似最优控制将最优控制律代入系统方程 得到闭环系统方程 然后判断是否稳定 通过计算闭环系统确实是渐进稳定的 4 4动态规划 4 4 1最优性原理4 4 2离散动态规划4 4 3连续动态规划 返回主目录 动态规划法与极小值原理一样 是处理控制变量受约束时 确定最优控制解的有效数学方法 4 4 1多级决策问题 最优性原理离散系统最优性原理 不论初始状态和初始决策如何 当把其中任何一级和状态再作为初始级和初始状态时 其余决策对此必定也是一个最优策略 连续系统最优性原理 若对于初始时刻t0和初始状态x 0 u t x t 是所讨论系统的最优控制和最优轨线 则对于时刻t1 t1 t0 和相应状态x t1 u t x t 仍是该系统的最优控制和最优轨线 2 动态规划的基本递推方程问题 设N级决策过程的动态方程为式中 控制决策约束u k k 0 1 2 N 1 代价函数 性能指标 为假设f 和L 连续 L 正有界 求最优控制序列 u 0 u 1 u N 1 使代价函数极小 35 说明 上述问题中 k表示N级决策过程中的阶段变量 x k 表示第k 1级的初始状态 u k 表示第k 1级采用的控制向量 问题中的假设是为了保证最优控制序列的存在 设有N k级决策过程 式中 j k N 1 u u k u N 1 则始自第k级任一容许状态x k 的最小代价为上式中右端第一项是第k级所付出的代价 第二项是从第k 1级到第N级的代价和 因此式中求极小的运算分 为两部分 在本级决策u k 作用下求极小 以及在剩余决策序列 u k 1 u N 1 作用下求极小 则上式变为 36 根据最优性原理 如下关系成立将上式代入 36 得到动态规划基本递推方程利用上式求解最优控制序列时 从过程的最后一项开始 逐级逆向递推 首先令k N 1则由式 37 可得到 37 式中J x N N 表示代价函数中的末项值 对于 35 问题 代价函数中无末值项 J x N N 0 故式 38 为单级最优决策问题 令k N 2 则由式 37 可得到式中J x N 1 N 1 已由式 38 确定 因此上式也是一个单级最优决策问题 38 根据 37 逆向逐级递推 最后可以得到J x 0 0 最后一步的递推解及最优策略正是我们要求的最优解 式中的状态及控制均不受约束 求最优控制序列 u 0 u 1 u 2 使代价函数极小 解 本题属于N 3级最优决策问题 根据递推方程 37 令k 2根据代价函数的末值项及系统方程 有所以因为u k 无约束 令可得 令k 1可得 令k 0可得 代入已知的x 0 按正向顺序求出因此最优控制 最优轨线及最优代价为 采用离散动态规划方法 可以方便地求出控制与状态变量均有约束时离散系统的最优控制问题 离散最优控制问题的动态规划解设非线性离散系统的状态差分方程为其中 k 0 1 N 1 代价函数为求最优控制序列u k 使代价函数最小 4 4 2离散动态规划 39 根据动态规划的基本递推方程 分以下步骤进行求解 求第N级最优控制u