最优控制总结

C11.最优控制问题三个根本要素：被控对象/系统的数学模型,物理约束条件及性能指标。数学描述:设被控对象的状态方程及初始条件为；其中,为状态向量，为状态向量的可容许集；为控制向量，为控制向量的可容许集。试确定容许的最优控制和最优状态轨迹，使得系统实现从初始状态到目标集的转移,同时使得性能指标到达极值。:(1)系统状态方程形式(连续,离散)(2)最优控制形式(开环,闭环)(3)实际应用(时间,燃料,能量,终端)(4)终端条件(固定,自由)(5)被控对象形式(精确,随机)。由优化变量、目标函数及约束条件组成的静态优化问题可以描述为：在满足一系列约束条件的可行域中，确定一组优化变量，使目标函数到达最优值(极大值或极小值)。数学描述：，静态、动态最优化区别：静态最优化问题，也称为参数最优化问题，它的三个根本要素是优化变量、目标函数和约束条件，其本质是解决函数求极值的问题。动态最优化问题，也称为最优控制问题，它的三个根本要素是被控对象数学模型、物理约束条件和性能指标，其本质是解决泛函求极值的问题。C2〔静态〕1.最优梯度法(1)多变量目标函数沿着初始搜索点的负梯度方向搜索,函数值下降最快,又称最速下降法;(2)多变量无约束。(1)根据具体的最优换问题构造适宜的惩罚函数,将多变量有约束最优化问题转换为一系列多变量无约束最优化问题,从而采用适宜的无约束优化方法继续完成求解;(2)多变量有约束(外点法:等式约,不等式约束;内点法:不等式约束)。(1)通过构造拉格朗日函数,将原多变量有约束最优化问题转化为一个多变量无约束最优化问题,从而采用适宜的无约束方法继续完成求解;(2)多变量有约束(等式约束,不等式约束)。梯度定义，Hessian矩阵,最优梯度法(无约束)：迭代，，终止误差例：；；；，是极小值点。有约束最优化：约束为：(1)等式约束：，利用解出极大值点或极小值点。(2)不等式约束：，引入附加变量使得不等式约束变为等式约束：，再有等式拉格朗日乘子法.6.惩罚函数法计算(1)外部：1)等式约束,用求解出,令求出;2)不等式约束：3)复合形式：(2)内部：只适用于不等式约束，惩罚函数，，利用求解出，令求出C3〔变分法〕，变分规那么：，2.泛函取极值必要条件欧拉方程,横截条件方程问题描述边界条件横截条件固定，固定无固定，自由自由，固定自由，自由且互相独立自由,自由,且通过，3.欧拉方程特殊结果(1)被积函数只依赖于：直线(2)被积函数只依赖于t和：，先求，再积分求(3)被积函数只依赖于和：(4)常用积分：1)原点到直线的距离为；到平面的距离为；2)曲线长度4.角点条件(1),不相关:(2),相关:5.有约束泛函极值(1)微分方程约束:存在约束，引入拉~乘子,拉格朗日函数:，变为无约束。(2)等周约束:存在约束，引入，拉格朗日函数为，必要条件为：a)对L的欧拉方程b)c)。6.离散欧拉方程，离散欧拉方程，自由时横截条件为：7.变分法求解最优控制问题目标：，约束，构造哈密顿函数，正那么方程：，控制方程：〔哈密顿函数性质:,当中不显含t，恒为常数〕末端时刻固定时的最优解通式：横截条件末端时刻自由时的最优解通式：横截条件，问题描述边界条件横截条件H在终端时刻处满足固定固定无无自由受约束自由固定无自由受约束C4〔极小值原理〕及核心结论意义：变分法求解最优控制问题基于假设(1)容许控制量和容许状态量都是没有任何约束的;(2)哈密顿函数对是连续可微的.这在实际系统中往往不能满足。极小值原理有效地克服了经典变分法的局限性，除了可以很好地处理控制向量受约束的情况,还不要求哈密顿函数对控制向量的连续可微性。核心结论:使泛函取得极小值的最优控制满足的必要条件:，，即在区间内，对于任意的可容许控制变量，都有最优控制使得哈密顿函数取得极小值。问题描述:状态方程：，要求在容许控制域中，确定一个分段连续的容许控制，使得系统产生满足目标约束集的容许状态轨迹，同时使得性能指标取得极小值。(1)状态无约束——相比变分法的求解，只有控制方程发生变化。即求解使得取得极小值。(2)状态有约束——有l个约束，定义新的状态变量，其中，是单位海威赛德阶跃函数，定义如下：，那么有，并且当所有的约束条件都满足时。构造哈密顿函数，必要条件：a)b)原正那么方程，c)，d)，e)控制方程，f)边界条件增加，其余横截条件由上表决定。状态方程，终端时刻和终端状态满足约束方程，性能指标为。必要条件：哈密顿函数：，正那么方程：，控制有约束：取极小值，控制无约束：；边界条件：终端状态自由或固定：；终端状态受约束增加4.连续系统和离散系统极小值原理比拟连续系统极小值原理离散系统极小值原理系统初始条件性能指标极值问题求，使求，使方法特点引入协态向量引入协态向量序列哈密顿函数正那么方程终端固定边界条件终端自由横截条件终端受约束横截条件,,极值条件(控制无约束〕极值条件(控制有约束〕5.时间最优控制：性能指标：。定理：如果系统是正常的：。线性定常系统正常的充要条件：都是满秩的。双积分系统：解题步骤。解：判断正常，，，推出，协态方程：当，其相轨迹为：，当，其相轨迹为：，根据终端状态，可以通过上述的两个相轨迹得出切换曲线：。根据初始状态可以得到初始相轨迹，两个方程联立，即可得到切换时间。6.燃料最优：性能指标：。，当为奇异状态。7时间--燃料最优，性能指标：，为时间加权系数。8.能量最优:性能指标：。。C5〔动态规划〕1.最优性原理一个多级决策过程的最优决策具有这样的性质：当把其中任何一级及其状态作为初始级和初始状态时，不管初始状态是什么，以及到达这个初始状态的决策是什么，余下的决策对此初始状态必定依然构成最优决策。动态规划是一种始于末端，终于始端、逆向递推的方法。离散二次型最优控制问题——动态规划证明充分性离散线性二次型最优控制问题，就是针对线性离散系统，设计容许的最优控制序列，使得某一离散二次型性能指标到达最优。问题描述：,，到达极小值结论：迭代：(1)(2)，(3)(4)证明：首先给出动态规划的根本递推方程…边界条件为…当k=N-1时，有…那么在第级根底上逆向递推一级可得：。将离散方程带入可得：。由于对无约束可得：，进而可得：其中：，将其带入中可得其中：由定义可进一步化简为：同时由边界条件知：，可知方程的边界条件为说明：(1)当系统定常时，即为定常矩阵时，假设矩阵对可稳，那么当时，S满足方程且，该方程为离散形式的代数Riccati方程。(2)对标量情况的迭代，有，当对末端状态的加权足够大时，即足够大时，或对控制的加权足够小，即R很小时，有，进而有5.连续系统动态规划〔充分条件〕问题描述：，HJB方程：，边界条件：。哈密顿函数定义：，如果无约束:说明：对于线性二次型问题是充要条件，可假设，代入HJB。特别的，对于无限时间线性二次型问题，不显含时间t，故。问题描述：，。证明：取该问题的哈密顿函数如下，那么有HJB方程如下：，根据，以及控制u无约束可得，故最优控制为。另外，由，不难断定，该最优控制使二次型性能指标取极小值。假设满足如下二次型形式：，其中为待定的正定对称矩阵。那么有，以及最优控制。代入HJB方程，整理可得上式对于任意均成立，故必有矩阵满足方程另外，由性能指标可知，故矩阵满足的边界条件为C6〔线性二次型状态最优〕统一描述、性能指标组成考虑线性时变连续系统，其中，状态向量，控制向量且无约束，输出向量，为维数适当的时变矩阵，在特殊情况下可以使常数矩阵，。同时考虑下式定义的二次型性能指标，，，，固定。，。控制目标：确定最优控制，使J到达极小。2.二次型状态最优调节器问题描述二次型最优控制问题：，。3.微分、代数、逆Riccati方程微分Riccati：，适用于终端状态自由的有限时间连续时变状态调节器，和无限时间时变状态调节器。微分逆Riccati：，适用于终端状态固定的有限时间连续时变状态调节器。代数Riccati：，适用于无限时间定常状态调节器。差分Riccati：，适用于离散状态调节器4.微分Riccati方程解P(t)的性质(1)是唯一的。(2)是对称的，即。(3)是非负的，即。5.存在唯一最优控制的两个条件(1)完全可控或至少是可稳的。——为了保证最优控制的存在性。即保证性能指标的积分为有限值，要求,假设系统完全可控，那么可通过状态反应实现任意的极点配置，使得系统渐进稳定；假设系统可稳，其不可控状态也是渐进稳定的。(2)或，完全可观或至少是可检的，其中D为满足的任意矩阵。——为了保证最优反应闭环调节系统的渐近稳定性。6.有限时间，终端状态自由，连续，时变，状态调节器最优控制为：，其中满足Riccati微分方程：，最优性能指标：。7.有限时间状态调节器一般形式，过程：对被积函数的二次型进行配方得到：其中：，这样系统化为：性能指标为，进而得到最优控制为：结论：进而得到原系统的最优控制为：，其中满足新的黎卡提方程：边界条件依然为：。8.有限时间，终端状态固定，连续，时变，状态调节器〔以为例〕满足微分逆Riccati方程：。9.无限时间，连续，时变，状态调节器，假设完全可控。满足微分R~方程，，那么，最优指标：10.无限时间，连续，定常，状态调节器，，条件：(1)完全可控或至少可稳，(2)完全可观或至少可检，。那么存在唯一的最优控制：，满足代数Riccati方程：，最优指标：。11.具有给定稳定裕度a，无限时间状态调节器——闭环调节系统的特征值实部小于-a，，条件：(1)完全可控(2)完全可观，满足代数黎卡提方程：，最优控制，性能指标：。12.无限时间，离散，定常，状态调节器，，满足条件：(1)完全可控或至少可稳，(2)完全可观或至少可检。最优控制序列为：，满足差分黎卡提方程：，最优性能指标：-有限时间连续时变系统状态调节器定理，证明：充分性：，。那么：HJB方程：。令，，代入HJB方程：整理得：。推出：，是黎卡提方程。通过动态规划求得最优控制。边界条件：。充分性得证。必要性：构造哈密顿函数，，，正那么方程：，边界条件：，假设，那么有：，推出：推出黎卡提方程，并且边界条件：。必要性得证。无限时间定常系统状态调节器-大范围渐进稳定性证明选取Lyapunov函数：，那么，是Lyapunov稳定。假设，那么必有：，进而有：，由于，故，因此系统的零输入响应为：，将其代入到式中得到：，而这与可观的假设是矛盾的。故假设不成立，即有：，因此系统是大范围渐进稳定的。15.给定稳定度证明证明：定义新的状态变量和控制变量，令。那么。，利用二次型相应的定理可得：，这里满足：，解得P，可得。得证。有限时间离散二次型状态调节器证明——用极小值原理证明必要性问题描述：必要性证明：构造哈密顿函数由于无约束，最优控制方程可写为：，因此：。协态方程为：，横截条件：将代入可得离散正那么方程：将该方程改写为齐次方程形式，有：其中为辛矩阵，其各项为：假设为齐次方程的状态转移矩阵，那么可求出：最优控制序列：，将其代入状态方程得：，故最优控制序列：。由可得：上式对于所有成立：可得：或者也可写为：C7〔输出调节器和输出跟踪〕1.无限时间，连续，定常，输出调节器，，满足条件:(1)完全可控或至少可稳(2)完全可观或至