华中科技大学现代控制理论_7.3_变分法在最优控制中的应用.ppt

Ch 7最优控制原理 目录 1 1 目录7 1最优控制概述7 2变分法7 3变分法在最优控制中的应用7 4极大值原理7 5线性二次型最优控制7 6动态规划与离散系统最优控制7 7Matlab问题本章小结 变分法在最优控制中的应用 1 2 7 3变分法在最优控制中的应用7 1 2小节所定义的动态系统的最优控制问题是一类有状态方程 微分方程 约束 目标集的等式或不等式约束 以及容许控制的开集或闭集性约束的泛函极值问题 本节将基于泛函极值问题的欧拉方程和横截条件 讨论最优控制中的泛函极值问题求解 内容为 变分法在最优控制中的应用 2 2 具有等式约束条件下的变分问题末态时刻固定 末态无约束的最优控制问题末态时刻和末态固定的问题末态时刻固定 末态受约束的问题末态时刻未定的问题 具有等式约束条件下的变分问题 1 10 7 3 1具有等式约束条件下的变分问题具有等式约束条件下 多个宗量函数的泛函极值问题可表示如下 等式约束变分问题寻找一条连续可微的极值曲线 使性能泛函达到极值 极值曲线x t 满足微分方程形式的等式约束式中 为m维 m n 关于t x和的非线性向量函数 具有等式约束条件下的变分问题 2 10 这里 极值曲线x t 除满足边界条件和古典变分学中规定的连续可微条件外 还须满足该等式约束条件 由于动态系统的状态方程可归为等式约束 因此该等式约束变分问题是研究最优控制的基础 下面就给出并证明处理等式约束变分问题的等式约束变分定理 具有等式约束条件下的变分问题 3 10 定理7 4 定理7 4 等式约束变分定理 如果n维向量函数x t 能使等式约束变分问题取极值 那么 必存在待定的m维拉格朗日乘子向量函数 t 使泛函达到无条件极值 即极值曲线x t 是上述泛函所满足的欧拉方程和等式约束条件 7 47 的解 其中 具有等式约束条件下的变分问题 4 10 引进拉格朗日乘子可以将泛函的条件极值问题化为一个无条件的极值问题 基于前面的变分法原理可以证明等式约束变分定理 略 引入该定理的作用 仅仅是表明泛函J在等式约束条件下的极值曲线x t 同时使得泛函J和J1达到无条件极值 在后面还要详细讲解具有约束条件下求解极值问题的泛函变分问题 具有等式约束条件下的变分问题 5 10 例7 6 上述欧拉方程和约束条件共有n m个方程 恰好可以解出n m个未知函数x t 和 t 通过边界条件确定x t 和 t 中的积分常数 随着终端条件的不同 边界条件也不同 在7 2 4节和7 2 5节所讨论横截条件就能解决这个问题 例7 6火箭在自由空间里的运动作用可用下列微分方程描述式中 u t 为推力 t 为角位移 具有等式约束条件下的变分问题 6 10 令x1 t t x2 t t 可建立状态方程如下试求控制函数u t 使系统从初始状态经过t 2s转移到状态空间原点 即且使如下性能指标取极小 具有等式约束条件下的变分问题 7 10 解该问题属于终端固定的极值问题 选择向量拉格朗日乘子函数 t 1 t 2 t 由定理7 4 利用拉格朗日乘子法可得如下辅助泛函指标式中 式中状态变量x t 控制函数u t 和向量拉格朗日乘子函数 t 都为该泛函的宗量 在一般形式中没有宗量u t 实际上 我们可以把u t 和x t 一样来处理 比如 在本例中可以定义u t x3 t 具有等式约束条件下的变分问题 8 10 那么 这些泛函的宗量必须满足如下欧拉方程 具有等式约束条件下的变分问题 9 10 联立求解上述欧拉方程 可得 具有等式约束条件下的变分问题 10 10 利用边界条件可解得因此 最优控制函数和状态的最优轨线 末态时刻固定 末态无约束的最优控制问题 1 12 7 3 2末态时刻固定 末态无约束的最优控制问题这一节着重讨论末态不受约束的最优控制问题 所谓末态不受约束 是指末态x tf 可在Rn空间中取任何值 即目标集为整个状态空间 因此 该问题可描述如下 末态无约束最优控制问题求一容许控制u t U t t0 tf 在末态时刻tf固定 状态x tf 无约束 初始状态x t0 x0以及被控系统等约束条件下 使如下复合型性能泛函指标达到最小值 末态时刻固定 末态无约束的最优控制问题 2 12 对该最优控制问题 若将动态系统的状态方程改写成等式约束条件则可根据等式约束变分定理 定理7 4 求解该泛函极值问题 两问题只是边界条件不同而已 引入拉格朗日乘子向量函数 t 将等式约束条件和原有的性能指标泛函结合成一个新的泛函泛函J1的极值问题与原泛函J的极值问题等价 末态时刻固定 末态无约束的最优控制问题 3 12 为方便起见 定义一标量函数如下该标量函数H称为哈密顿 Hamilton 函数 因此 泛函J1可记为 末态时刻固定 末态无约束的最优控制问题 4 12 求泛函J1的极值问题 可以直接用欧拉方程 7 49 来求得极值条件 并且通过边界条件确定由极值条件得到方程解的积分常数 如例7 6中 边界条件为系统起点和终点状态 后面将会给出不同情况下的边界条件 当然在确定泛函J1的极值条件时 不是一定要利用欧拉方程 7 49 来求解 可以根据实际情况进行必要的简化 就泛函J1而言 其宗量有以及u t 和 t 前面已经指出 不必对宗量 t 变分 因为对 t 的变分结果就是约束条件 系统状态方程 末态时刻固定 末态无约束的最优控制问题 5 12 考虑到初始状态 t0 x t0 末态时刻tf固定以及x tf 自由 泛函J1对其所有的可变宗量的一阶变分为当选择 t 满足时 可惟一确定拉格朗日乘子函数 t 于是 泛函J1的一阶变分可变为 末态时刻固定 末态无约束的最优控制问题 6 12 根据泛函极值的必要条件 J1 0 考虑到变分 u t 的任意性 由变分学的基本预备定理可得联立上述方程以及动态系统的状态方程和初始状态条件x t0 x0 可解得最优控制函数u t 最优状态轨线x t 和适当的拉格朗日乘子函数 t 上述结果可归纳成如下定理 末态时刻固定 末态无约束的最优控制问题 7 12 定理7 5 定理7 5 末态无约束最优控制定理 末态无约束最优控制问题的最优控制函数u t 最优状态轨线x t 和适当选择的拉格朗日乘子函数 t 须满足如下条件 1 规范方程2 边界条件3 极值条件 末态时刻固定 末态无约束的最优控制问题 8 12 在末态无约束最优控制定理的结论中 由上述微分方程以及边界条件可惟一确定出最优状态轨线x t 和适当选择的拉格朗日乘子函数 t 上述关于x t 和 t 的微分方程通常被称为规范方程 其中 t 的微分方程又称为协态方程 或共轭方程 伴随方程 相应地 拉格朗日乘子函数 t 又称为协态变量或共轭变量 极值条件 H u 0是一代数方程 由它联立规范方程的解可求得具体的最优控制函数u t 和最优状态轨线x t 末态时刻固定 末态无约束的最优控制问题 9 12 下面讨论哈密顿函数的一个重要性质 哈密顿函数对时间t的全导数为考虑到规范方程 则有再考虑到极值条件 H u 0 于是哈密顿函数对时间t的全导数可表示为 末态时刻固定 末态无约束的最优控制问题 10 12 例7 7 上式表明 沿最优轨线哈密顿函数H对时间的全导数等于对时间的偏导数 因此 当哈密顿函数H不显含时间变量t时 则有H t 常数t t0 tf 例7 7已知被控系统为求最优控制u t 使如下性能指标泛函取极小 末态时刻固定 末态无约束的最优控制问题 11 12 解这是一个具有tf固定 x tf 自由的终端约束的极值问题 首先构造哈密顿函数如下 由极值条件 H u 0可解得u 将其代入规范方程 可得并满足如下边界条件x t0 x0 tf Cx tf 从而解得 末态时刻固定 末态无约束的最优控制问题 12 12 式中 tf为某一确定的常数 将u t 代入哈密顿函数H得其中 t 为常数 末态时刻和末态固定的问题 1 5 7 3 3末态时刻和末态固定的问题对末态的要求不同将导致最优控制问题的结论不同 上面讨论了无末态约束的问题 这一小节将研究末态时刻tf和末态x tf 固定的最优控制问题 由于末态时刻tf和末态x tf 已固定 即x tf xf 因此 性能指标泛函中的末值项S x tf tf 就没有存在的必要 在这种情况下 最优控制问题的性能指标泛函为如下积分型泛函 末态时刻和末态固定的问题 2 5 因此 该最优控制问题描述如下 末态固定最优控制问题对于被控系统 7 51 始端状态 t0 x t0 和末态 tf x tf 固定时的性能指标泛函 7 68 极小的最优控制问题 与前面的推导过程类似 考虑到末值项S x tf tf 0 辅助泛函J1可定义为 就泛函J1而言 其宗量有以及u t 和 t 前面已经指出 不必对宗量 t 变分 因为对 t 的变分结果就是系统状态方程 末态时刻和末态固定的问题 3 5 因此 考虑到始端和末端固定 即 x tf x t0 0 泛函J1对其所有宗量的一阶变分为根据泛函极值的必要条件 J1 0 同样可以导出 末态时刻和末态固定的问题 4 5 当x tf 固定 即 x tf 0时 变分 u t 不再是任意的 但x tf 固定是相对的 其值的确定具有任意性 因此 末态x tf 固定时的最优控制问题的极值条件仍然为同上一节末态时刻tf固定 末态x tf 无约束的变分问题相比 边界条件在这里被取而代之的是x tf xf 综合上述结论 有如下关于末态固定最优控制问题的定理 末态时刻和末态固定的问题 5 5 定理7 6 定理7 6 末态固定最优控制问题 末态固定最优控制问题的最优控制函数u t 最优状态轨线x t 和适当选择的拉格朗日乘子函数 t 在边界条件x t0 x0 x tf xf下须满足规范方程以及极值条件 末态时刻固定 末态受约束的问题 1 10 7 3 4末态时刻固定 末态受约束的问题本小节讨论末态时刻tf固定 末态x tf 受等式约束的最优控制问题 该问题可描述为如下 末态约束最优控制问题对于被控系统 末态时刻tf固定 末态x tf 受等式g x tf tf 0约束 如下复合型性能指标泛函取极小的最优控制问题 末态时刻固定 末态受约束的问题 2 10 所谓末态约束 即末态只允许在末端流形 7 73 上变化 上述约束条件中向量函数g x tf tf 的维数为p 为使该最优控制问题的解存在 当性能指标泛函中L 0时 p n 1 当L 0时 p n 上述最优控制问题与7 3 2所讨论的末态x tf 无约束的问题相比 只是增加了末态约束条件 7 73 对该约束条件 可引入待定拉格朗日乘子向量 1 2 p 定义如下新的辅助泛函式中 哈密顿函数H的定义与前面一致 g x tf tf 0 7 73 末态时刻固定 末态受约束的问题 3 10 若令则泛函J1可表示为与7 3 2所讨论的末态x tf 无约束的问题一样 可得规范方程 极值条件和边界条件 其中边界条件为 末态时刻固定 末态受约束的问题 4 10 定理7 7 泛函J1对其宗量的变分结果是x tf 所满足的等式约束条件g x tf tf 0 所以 在求泛函J1的变分 J1时 和不需要对变分一样 也不需要对的变分 综上所述 末态时刻tf固定 末态x tf 受约束的最优控制问题的结论可以归纳为以下定理 定理7 7 末态约束最优控制定理 末态约束最优控制问题的最优控制函数u t 最优状态轨线x t 和适当选择的拉格朗日乘子函数 t 在边界条件下满足规范方程 7 61 7 62 以及极值条件 7 64 末态时刻固定 末态受约束的问题 5 10 从定理7 7可知 末端受约束不改变该问题求解中的规范方程 只影响边界条件 与7 2节相比 增加了边界条件中的末态条件 而且引入了拉格朗日乘子向量 其变量数和末态受约束条件个数相等 当复合型性能指标泛函中末值型指标S x tf tf 0时 边界条件可记为 末态时刻固定 末态受约束的问题 6 10 由于 g x tf tf x tf 为最优轨线的末端约束流形上的方向场 即方向梯度 因此式 7 80 表明 在最优轨线的末端 tf 与末端目标集正交 即与g x tf tf 0规定的n p维末端约束流形正交 所以 边界条件 7 80 常称为横截条件 而边界条件 7 79 表示 tf 既不与末端目标集正交 亦不与之相切 因此 它常被称为斜截条件 最后值得指出的是 由于末态固定x tf xf可以视为末端约束条件g x tf tf 0的一种特例 因此 本小节方法同样适用于上一小节的末态固定的情况 末态时刻固定 末态受约束的问题 7 10 例7 8 例7 8对被控系统试求控制函数u t 使系统从初始状态x1 0 0 x2 0 0经过1s转移到目标集x1 1 x2 1 1且使如下性能指标取极小 末态时刻固定 末态受约束的问题 8 10 解本例中末态约束条件为g x tf tf x1 1 x2 1 1 0因此 相应的哈密顿函数和辅助性能指标泛函中的末值项分别为根据定理7 7 可得该最优控制的如下方程和边界条件 末态时刻固定 末态受约束的问题 9 10 末态时刻固定 末态受约束的问题 10 10 由上述方程可求得如下解析解 末态时刻未定的问题 1 8 7 3 5末态时刻未定的问题末态时刻tf未定时 末态x tf 又可分为自由 固定和受约束3种情况 这里仅讨论末态x tf 受约束的情况 末态x tf 固定和自由两种情况可以视为这一类情况的特例 此外 这种情况下的优化问题可视为前面末态时刻tf固定情况的一般化 通过本节的结论可以得到前几节的结论 末态时刻未定的问题 2 8 末态时刻未定最优控制问题对于被控系统 末态时刻tf未定 末态x tf 受等式g x tf tf 0约束 如下性能指标泛函取极小的最优控制问题 与前面一样 引入状态约束的拉格朗日乘子函数 t 和末态x tf 约束的拉格朗日乘子向量