最优控制--极大值原理

第三章极小值原理及应用 经典变分法缺陷 1 应用前提 a 控制量u t 的取值不受任何限制 没有任何不等式约束 b f L 等函数对其自变量有充分可微性 2 实际控制要求 a 控制量u受不等式约束 如 i 1 2 3 b 性能指标有时并不完全可微 如 燃料最优控制 若采用经典变分 若采用经典变分法 不再适用 求不出解来 实际应为 极小值原理 若在容许控制范围内 J或H有极值且唯一 用极小值原理与经典变分法 所得 结论一致 一 极小值原理 时变系统 时变受控系统 其中控制向量 为容许控制 域 U t 是在 内取值的任何分段连续函数 为使状态向量由初始 转移到末端 满足约束 未定 并使性能指标达 到极小值 设 和 是如上J为最小的最优解 为最优状态轨 为0的n维向量 满足 1 规范方程 2 边界条件 线 则必存在不 3 与 对应的哈密顿函数H取极小值 即 设 为满足 状态方程和协状态方程的最优解 在中 把H仅看作U的函数 若J为最小 必要条 使得 仅看作U的函数时也取最小值 极小值原理的证明 应用数学基础较多 有些书中用很大篇幅进行 二 极小值原理的意义 1 容许控制条件放宽 变分法 在整个控制域 对U没有约束 有时计算不易 极小值原理 H在U的约束闭集中取极小值 变分法仅为极小值原理的一个特例 件为 证明 省略 且即使U不受限制 2 最优控制 使哈密顿函数H取极小值 极小值原理由此得名 这一原理是苏联学者 庞特里亚金 等人首先提出 而后加以证明得 在证明过程中 与H得符号与这里所定义的相反 所以有的文献中也称为 极大值原理 3 H对u没有可微要求 因此应用拓宽 4 极小值原来是求取最优控制的必要条件 非充分条件 即 满足极小值原理不一定J取极小值 需进一步判断 一般 对于实际系统有最优解有唯一解最优解 三 几种边界条件得讨论 上面所讨论的是 和 已知 受约束 自由的最一般 情况 若 和末端状态不同 只需改变极小值原理的边界条件即可 1 已知 边界条件为 2 给定 自由 未给定 边界条件 确定 3 已知 给定 末端受约束 边界条件为 若 自由 外加 四 例题分析 设一阶系统状态方程 x 0 5 控制约束 试求使性能指标 为极小值的最优控制及最优性能指标 解 定常系统 固定 末端自由问题 根据极小值原理 使H绝对极小相当于使J为极小 所以 由协状态方程 由横截条件 显然 当 时 产生切换 所以 由x 0 5代入 得 所以 令t 0 307可得0 307 t 1时x t 的初始条件 解得 所以 将 代入J可得 例2 求 a 对U没有约束b u 解 a 0 解得 b u 由极小值原理 当t 1时 在 0 1 区间 所以 五 极小值原理中哈密顿函数H的性质讨论 用途 对于所求解的最优控制的验证 或帮助求解最优控制及 1 线性定常系统 固定 包括 与末端状态无关 则 常数 H中不显函t 自由 沿最优控制轨线 与末端状态无关 因为 中不显函t所以 常数 又因为 自由 2 对于时变系统 固定 自由 末端 若末端自由 证明 见胡寿松P91页 第四节最小值原理在实际中的应用 几个典型例子 1 时间最优控制问题2 最小燃料消耗问题3 最小能量控制问题4 线性调节问题 介绍重点 时间最优控制问题 其他求解思想与此类似 一 时间最优控制问题 所谓时间最优控制 就是把系统从初始状态转移到目标状态的时间作为性能指标 即使转移时间为最短 这也是发展得最早的最优控制问题之一 1 问题提出 时变系统 已知受控系统并设f和B对X t 和t连续可微 X n 1状态向量u r 1控制向量f n 1函数向量B n r函数值矩阵 控制向量约束条件 末端状态 g p 1维函数向量 目标函数 自由 问题 寻求最优控制u t 使系统由初态到终态 目标函数J为最小 应用最小值原理进行问题的求解 步骤 列写哈密顿函数 由控制方程求u t u有约束 H在u 上取得极小值 即 令q r 1维向量函数 注 则有 j 1 2 r最优控制u t 是使为极小 则 不定 可见 当时 有确定值 正常情况当时 不定 奇异情况 t 1 1 u t 奇异 我们仅研究正常情况u t 写成符号函数sgn 形式则j 1 2 r向量形式 u t sgn q t sgn 根据规范方程 及初始条件和横截条件 可求得x t 及 求最优控制u t 砰一砰控制 2 砰一砰控制定理 要求控制量始终为最大或最小设u t 是上述问题提出的解 x t 是相应的状态轨线和协状态轨线 若问题正常 非奇异 则这是一个继电器控制方式 称为砰一砰控制 3 线性定常系统的最小时间控制问题的解法 如何确定最优控制u t 设线性定常系统的状态方程为 其中 X n 1维状态向量u 控制变量A B分别为n n n 1矩阵约束条件 末端条件 求 使系统状态从转移到所用时间最短 即使为最小 问题的求解 首先列写哈密顿函数 根据极小值原理分析可得 有规范方程 注 为标量函数 题意要求 代入得 可见 的值完全由的符号决定但是 的确定是不容易的 因为它还和系统的状态变量有关系 通常采用的方法是 先设一个 求出 求出 判定若为 则即为所求 否则修正重复上述过程 开关次数定理 设线性系统是正常的 不存在非奇异问题 若矩阵A的特征值均为实数 假定时间最优控制存在 并令其为则u t 的切换次数最多不超过 n 1 次 n为系统的维数 以下将根据极小值定理 开关次数定理及相平于状态空间分析 求u 例题分析1 时间最优控制问题 求u t 解 对象为二阶线性系统 双积分模型的时间最优控制 应用最普通最广泛的一种 由规范方程 则 由 C1 C2的取值要求 保证 由开关次数定理知 切换一次 设切换时间为ts 则令为了求出ts 必须首先找出状态在平面上的转移轨线 ts tf 由 设u 1 则 则 如图 a 所示 为一组抛物线 当K 0时经过原点 pos 其中 t s p 0 X2 若u 1 则 为一组抛物线 如图 b 当K1 0时过原点 NOT X1 X2 u 1 N T o 显然 若初始状态在NO或在PO上 可进一步转移到目标原点 称NOP为开关曲线 由题意假设它落在u 1相应抛物线组中的一条上 即AQB 这时在u 1的作用下 状态由沿AQB转移到B 进行切换 B位于PO上 一步可到达原点 N X2 o p X1 B u 1 u 1 A 1 1 因此 问题的解为 先以u 1控制到达Po曲线上的B点 以u 1沿开关曲线Po到达原点从初始状态到达末端状态的轨迹为AQBO 即u 进而 可求出转移时间ts及最优时间把状态轨线控制序列分成若干段 逐步算出所需时间 最后相加 求及ts在AQB段 u 1 切换次数为1 1 1 到达B点 t ts BO段 u 1 当时 则 在B点应有 联立求解 即 例题分析2 二阶积分系统的最小时间控制系统 最小时间控制问题 求u t 使系统由初态 转移到末端状态的时间为最小 且满足 解 列写哈密顿函数 求解协状态方程 设 则 确定控制序列 显然 由 知 为一条直线 其形式有可能为4种 因此 u相应的控制序列为 1 1 1 1 1 1 1 1 u u u u 1 状态轨线 由 知 u有4种可能的取值 其值为 1 代入状态方程 注 利用上式 消去中间变量t 可导出x1和x2的关系为 其在X1 X2平面上为一组抛物线如图 u 1为实u 1为虚 X1 X2 B A u 1 u 1 确定开关曲线 使系统状态直接回到末端状态的曲线AO和BO总的开关曲线 AOB显然 AOB将状态平面分为两部分和 显然 X1 X2 B A O u 1 确定最优控制作用u u 与初始状态有关 分析 若位于BO上 则u 1 若位于AO上 则u 1 若位于内 则u 1 1 若位于内 则u 1 1 在开关曲线上为转折点 例3 升降机的快速降落问题 设有一升降机W 它的质量为1 升降机一方面受重力g的作用 另一方面受控制器的作用力u t 的作用 且 M g是常数 设x t 为升降机离开地面的距离 当t 时 离地面距离 垂直运动速度 问题 求u t 使升降机最快的到达地面 并且到达地面时的速度为零 即 最小 自由 W u g X t 解 建立升降机系统的数学模型 F ma即 令 即 哈密顿函数 显然 为了使H为最小 则 即 不确定 协状态方程 即 常数 相应于的4种可能 u 的取值有4种可能 M M M M M M 因此 下面只研究u M时升降机的状态轨线 设u M 则状态方程为 是一组抛物线 图中实线箭头表示状态运动的方向 在此族曲线中 只有到达原点 设u M 同理可得 如图虚线所示 只有到达原点 开关曲线 r将相平面分为两部分 在r下半部的记为 包括在r上半部的记位 包括 u 只取 M或 M 切换最多一次 因此可得到结论 初始状态在上 状态沿回原点 当在曲线上时 状态沿回原点 当时 沿相应的虚线抛物线运动到时 沿回到原点 马上切换 当时 沿相应的实抛物线运动到时 马上切换 总之 沿回到原点 对于实际问题升降机的分析 它在地面之上 处于相平面的右半部分 且设 a 若 而时状态沿实抛物线运动与轴交于N 这意味着升降机到达地面时 速度不为0 不合要求 当即开始以最大推力向下最用 使升降机尽快下降 当其状态检测到达时 马上改变控制 使它以的最大推力向上作用 这样升降机将以速度0到达地面 N 从上例可以看出 快速最优控制有如下特点 u 要么最大 要么最小 u 的取值经过有限的 n 1 次 可为最多次 数切换可到达平衡点 u 的取值仅在开管曲线上切换 注意 时间最优控制的应用中 有些实际问题并不要求将相点控制到状态空间原点 而是到某一集合 其分析方法与上类似 若二阶系统为一般的二阶系统 特征值为实数时 分析方法类似 为复数或纯虚数时 开关次数定理不成立 问题较为复杂 如无阻尼振荡二阶系统 二 燃料最优控制问题 节约能源 减少燃料消耗在国民经济各部门中都是一项重要的技术经济课题 在航空和宇航中使用的原料是由地面起飞时带到空间去的 在空中携带的燃料是有限的 要保证长时间的飞行计划 就希望空中的控制系统消耗的燃料最小 而燃料的消耗一般是和控制力u的大小成正比的 U有正有负 因袭燃料消耗的性能指标 也可以以升降机系统分析 只是相应于时间最优控制 要求到达地于所用时间最小 相应于燃料最优控制 要求达到目的地时所用燃料最小 1 数学描述 以二阶级分模型的燃料最优控制为例 系统 约束 要求 系统从初始状态转移到 0 0 使最小 给定 解 应用极小值原理 正常 仅在有限个点上奇异 至少在一段时间 t1 t2 间隔内 正常 u 可取 1 1 0随着t增大 u 在三个值上切换 是一种三位控制 开关控制 奇异 不能用极小值 死区函数 为使 为最小 则使为最小 分析 若 则若使 最小 则 若 则若使 最小 则 若 由 和相应的最优控制之间的关系 显然 燃料最优控制也是开关式控制 控制器应为一个具有死区的继电器 1 1 1 1 1 1 1 1 tb ta tf 和的计标 当时 相平面上一组抛物线 实线 当时 相平面上一组抛物线 虚线 当时 以下两个图形画出了不同初始状态转移轨线 仅为 进行分析 在 处应满足 相对于 而言 点 相对于 而言 点 1 0 1 1 1 a b 1 1 a 0 0 1 1 b b a 在 处应满足 解方程可得 的值 习题 设系统为 求最短时间控制及最短时间 提示 开关曲线 对于 段 对于 段 切换点为 A 10 0 1 1 B ts 当t ts时 BO段 u 1 当时 X1 X2 0 则 在B点应有 联立求解 习题2分析 设线性状态方程为 边界条件 容许控制为 求最短时间控制u t 及开关曲线 做出大致图形 分析 根据最小值原理 则 切换周期为 当u 1时 是一组同心圆 圆心为 0 1 同理 当u 1时 可得 只有NO右半圆及MO坐半圆弧能够到达原点 u 的切换周期为 曲线如图 是一组同心圆 圆心为 0 1 箭头方向 以u 1为例 当X2 1时 X1 X2 当X2 1时 X1 X2 所以箭头如图 当相点运动到或上的任意一点时 均可在相应的控制律u 1或u 1作用下 沿或最快地到达原点 现在改查最优轨线的倒数第二段 设u t 的最后一次切换发生在上的A点 则倒数第二段的控制必有 u 1 其最优轨线必为 0 1 为圆心的圆弧 由于时间持续不超过 故改圆弧的长度最多等于半圆 到达A 点 发上第二段转换进而进入倒数第三段 由于A点为上的任一点 因此A 点形成以 3 0 为圆心 1为半径的半圆 显然 是u 1到u 1的开关曲线 而则为u 1到u 1的开关曲线 同理可取 一次类推 可得一系列圆弧 可谓开关曲线 极小值原理的证明 基础证明 针对定常系统 末端自由 得出的极小值原理的结论 二 对于时变系统 及 引入新状态变量的方法 将时变系统化为定常系统 利用定常系统极小值原理定理的结论进行证明 等情况 可通过 极小值原理的应用 时间最优 已知无阻尼振荡二阶系统的状态方程为 其中 试求最优控制 使系统由任意初态 以最短时间转移到状态空间原点 解 由极小值原理 可求取最优控制的必要条件为 正则方程 例 边界条件 极小值条件 解协状态方程为 所以 最优控制特点 a 只在某些孤立时刻为0 不存在奇异段 故 为砰 砰控制 b 的切换次数与系统阶数无关 c 除首尾两端外 最优控制每隔 时间切换一次 下面分析开关曲线 首先考虑相平等方程 若则 是一组 1 0 为圆心的同心圆 若则 是一组 1 0 为圆心的同心圆 方向如图 显然 只有c 1及 两条曲线可到达末端而考虑到最优控制最优一段的时间 间隔 则最优轨线最后一段必位于下列两条半圆形开关线上 当相点运动到 上的任一点时 均可在相应的控制律U 1或U 1作用下 沿 很快地到达原点 现在考查最优轨线的倒数第二段 设 的最优一次切换发生在 的A点 则倒数第二段的控制必为 轨迹为 1 0 为圆心的圆弧 考虑到第二段在时间上不大于 故设圆弧最多等于 半圆 到达 发生倒数第二段转换 进入倒数第三段 最优控制在某曲线上进行切换的曲线称为开关曲线 由于A点可为 上的任一点 所以 点形成 3 0 为圆心 1为半径的半圆 显然 到的开关曲线 到的开关曲线 同理 对亢于 可得 依上述过程类推可得一系列圆弧 开关曲线r将相平等分为两部分 所以 起点 的最优轨线 这些圆弧的全体构成了所求问题的开关曲线 所以总的控制作用 共转换四次 EO弧 回到终点 DE弧 1 0 为圆心 为半径 交开关曲线于E CD弧 1 0 为圆心 为半径 交开关曲线于D BC弧 1 0 为圆心 1 0 为圆心 为半径圆弧 交开关曲线于C AB弧 为半径的圆弧交于开关曲线B 习题 已知线性定常系状态方程 其中 求 使系统由任意初态 以最短时间转移到目标集 习题 已知受控系统 目标集 求满足约束条件的时间最优控制函数 求开关曲线 注 在时间最优控制中 我们知道 可知 之间的关系 由前分析知 时 可由极值条件确定 正常情况 时 可为满足约束条件的任意值 为不定状态 异步情况 但是 奇异状态并不表示时间最优控制不存在 只表明用极小值原理 不能确定最优解 需采用奇异最优控制方法 以下介绍 若在区间 内 存在时间的可数集合 即 使得对所有的 均有 则称时间最优控制是正常的 若在区间 内 存在一个 或多个 子区间 使得对所有 有 则称时间最优 控制异步 奇异区间 如何判定系统是正常的 还是奇异的 设计时间最优控制之前总希望知道问题是否有解 是否有唯一解 问题是正常的 还是奇异的 初次之外 我们还希望了解时间最优控制的共同特点和性质 这种一般规律的认识和了解会有助于具体系统的设计计算 然而 对任意的非线性系统和任意的目标集 没有明确结论 对于线性定常系统 可以回答上述问题 目标集假设为坐标原点 至于线性时变系统及一般性目标集问题 只有其中的部分结论适用 已知线性时不变系统 时完全能控的 求满足下列不等式或约束的r维容许控制向量U t 由已知初态 转移到状态空间原点的时间最短 根据极小值原理 使系统 最优控制的必要条件如下 或 为B的第j列向量 从上述必要条件出发 可得一些有用的结论 当且仅当个矩阵 中至少有一个奇异矩阵时是奇异的 证明 由已知条件 由6式知 否则1 0错 若问题正常 则对于给定的初协态 可唯一确定砰 砰控制 怎样知道是正常还是奇异呢 推证定理 假定是奇异的 至少存在一段时间 使某 对所有 均成立 由此 考虑到A与 可前后交换顺序 则有 令 则关于n维待定向量 的代数方程组可写成 所有 由于 为奇异矩阵 为使 则 必为奇异矩阵 即 奇异控制问题的必要条件 可以证明其为充分条件 得证 由设定理可进一步得出为正常得充分必要条件 当且仅当 全部为非 奇异矩阵 则时间最优控制是正常得 和得推证过程都没有设计到目标集 因此 不论目标集如何 只 要受控系统是线性时不变得 因此两个定理可用 将满足得系统叫做正常系统 正常受控系统 其时间最优控制问题也是正 常得 对于正常问题 由下列存在性与唯一性定理 若受控系统 是正常的 且时间最优控制存在 则最优控制 必定唯一 证明 见 百年学书 p176页 另外 我们知道 一个完全能控的线性定常系统 必需满足 n 系统维数 若把系统表征为 其中 控制分量 正常问题要求 都是完全能控 即 说明 每一个控制分量 均能单独使受控系统由任意初态在有限时间内转 移到坐标原点 据此 常可很容易地判断问题的时间最优控制是否属于正常情况 显然 一个输入完全能控的线性不变系统 其时间最优控制问题也一定是正常的 燃料最优控制的一般情况 接 已知线性定常系统 求最优控制 使系统由任意初态 转移到目标集 且使性能指标 为最小 T未知 分析 若记 为B的第j列向量 则H种与U t 由关的部分R u 为 根据极小值原理 应使H或R u 取极小 则 求出 这就是燃料最优控制 如何判定燃料最优控制是正常还是奇异 为正常得充分条件为 对所有j 1 2 3 r 均有 其中 为奇异得必要条件为 对于某个或某些有 证明从略 注意 在燃料最优控制中 区分正常情况与时间最优控制不同 首先 对时间最优 系统正常时 最优控制问题一定是正常的 2 对燃料最优 即使系统正常 如果系统矩阵A是奇异得 A有零 特征值 即系统中含有积分环节 问题仍可能属于奇异情况 只有当系统是正常得 且A有事非奇异矩阵 才能保证燃料最优控制有正常解 3 另外 1 式为系统正常得充分条件 次条件不满足时 系统仍可能有正常解 有可能正常或有可能奇异 视初始状态而定 1 试证明系统由初态 2 欲求系统由初态X 0 最快地转移到终态 习题 设二阶系统 所消耗燃料为最小得最优控制 为 2 二阶空间控制系统的状态方程为 不等式控制约束 试求使系统由初态 达到平衡状态 的最短时间最优控制 关于 二次积分模型 的燃料最优控制问题的进一步讨论 系统 求 使系统由任意初态 转移到状态空间原点 且使性能指标 为最小值 T自由 解 求解最优解的必要条件 1 正则方程 则 2 边界条件 3 极小值条件 4 H函数变化率 则 仅在有限个点上为1 则正常 在一段区间上为1 则奇异 具体分析 解协状态方程 常数 的不同 系统有可能为正常或奇异 奇异情况 若 使系H的变化规律 成立 必有 奇异 无法用极小值原理求解 当 时 是时间的线性函数 这时至多有两个 点满足 正常情况 最优控制必为三位式控制 且至多有两次切换 候选解为 0 1 1 1 0 1 1 0 1 1 0 1 0 0 1 0 1 由于结尾的三种控制序列不可能为最优 控制 因为有状态方程知 是一组不通过原点的平行线或轴上的孤立点 所以可能的最优控制序列为 六种可能 1 1 0 1 0 1 1 0 1 1 0 1 为了进一步分析燃料最优控制解的性质 转向相平等分析 当u 1 u 1时 有初态转移到原点的两条轨线为 及 轴将相平等分为四部分 当系统初始状态位于不同区域时 解大不相同 1 位于 上 是唯一的燃料最优控制 且 位于 时 时燃料最优控制 且时间最短 分析 的可能选择 0 1 1 0 1 分别计算两