最优控制理论的发展与展望.

1、最优控制理论的发展与展望1 最优控制理论是 20 世纪 60 年代迅速发展起来的现代控制理论中的主要内容之一 ,它 研究和解决的是如何从一切可能的方案中寻找一个最优的方案。 1948 年维纳等人发表论文 提出信息、反馈和控制等概念 ,为最优控制理论的诞生和发展奠定了基础。我国著名学者钱 学森在 1954 年编著的 工程控制论 直接促进了最优控制理论的发展。 美国著名学者贝尔 曼的“动态规划”和原苏联著名学者庞特里亚金的 “最大值原理” 是在最优控制理论的形成 和发展过程中 ,最具开创性的研究成果 ,并开辟了求解最优控制问题的新途径。此外,库恩和图克共同推导的关于“不等式约束条件下的非线性最优必

2、要条件(库恩 图克定理 ) ”及卡尔曼的关于 “随机控制系统最优滤波器” 等是构成最优控制理论及现代最优化技术理论基 础的代表作。 11 鲁棒控制是针对不确定性系统的控制系统的设计方法,其理论主要研究的问题是不确定性系统的描述方法、 鲁棒控制系统的分析和设计方法以及鲁棒控制理论的应用领域。 鲁棒控 制理论发展的最突出的标志之一是控制。控制从本质上可以说是频域内的最优控制理论。 鲁棒控制与最优控制结合解决许多如线性二次型控制、 电机调速、跟踪控制、采样控 制、离散系统的镇定、扰动抑制等实际问题。2 近年来，最优控制理论 1,2的研究， 无论在深度和广度上，都有了很大的发展，已成为系 统与控制领域

3、最热门的研究课题之一，取得了许多研究成果。同时，也在与其他控制理论相互渗透，出现了许多新的最优控制方式，形成了更为实用的学科分支。例如鲁棒最优控制3 、随机最优控制 4、分布参数系统的最优控制 5、大系统的次优控制 6 、离散系统的 最优控制及最优滑模变结构控制 7,8 等。 而对于非线性系统， 其最优控制求解相当困难， 需 要求解非线性 HJB 方程或非线性两点边值问题，除简单情况外9 ，这两个问题都无法得到解析解。 因此，许多学者都致力于寻求近似的求解方法1013 ，通过近似解得到近似的最优控，即次优控制。1 非线性最优控制理论研究成果分类 目前，较为流行的近似最优控制求解方法主要有以下几

4、类 6 13。11 幂级数展开法：幂级数展开方法通过一个幂级数来构造控制律，得到序列形式的近似 最优解， 或者将系统中的非线性项以幂级数形式分解， 或者通过引进一个临时变量并围绕它 展开。V (x) =8i =02 V (i) (x), Vx ( x) =8i = 02 V (i) (x) , f ( x) =i = 02 f (i) (x) 将上式代入 HJB 方程求得级数近似解， 也可利用 Adomian 分解将非线性项进行分解，由 此寻求非线性 HJB 方程级数的近似解。12 Galerkin 逐次逼近方法：由动态规划得到的一般性偏微分HJB 方程， 引入一个迭代过程来求解一般非线性 H

5、JB 方程的一个近似解序列。u ( k+ 1)=- 12R 1BT坠V (k )坠x (x), k= 0, 1, 21 . 3广义正交多项式级数展开 法： 其主要思想是将最优控制问题中的状态变量，控制输入，性能指标和各个参数分别用 广义正交多项式展开，利用广义正交多项式的积分、乘积运算阵ttO 乙 B (t) dt = P0 (t) , ti 0(t)= LiQ (t)将描述系统的微分方程转化为一系列的代数方程X= MU + No然后，得到TU=V, T非奇异时由U=T-1V得到的控制律是一个多项式级数解u (t)=0 pt (t) Uo该方法将最优控制问题转化为代数极值问题，从而避免了求解时

6、变非线性Riccati方程。1 . 4 有限差分和有限元方法： 经典的有限差分和有限元方法可以用来近似求解非线性 HJB方程。 近年来，这类方法用来近似求取非线性HJB方程的粘性解。15 状态相关 Riccati 方程方法： 这种方法适用的模型是仿射非线性系统，通过极大值原 理假设最优控制律具有如下形式u* (t )=- R 1BT (x) P ( x) x其中P(x)为下式所述里卡提方程的解一P(x)=AT (x)P (x) + P ( x)A(x) P(x)B(x) R 1BT (x) + QP (x (tf) = Qf这样，问题的关键归结于近似求解P (x)。状态相关里卡提方程方法通过在

7、P( x)中引入灵敏度参数变量 ,在 = 0邻域内将P (x )展为幕级数P (x, )= P (x) = 0+ P (x) 2/ 2 = 0+=mn = 0 2 nLn (x) 通过比较幂级数同次项系数将状态相关里卡提方程分解为一 组矩阵微分方程序列， 由此求得其近似解。 状态相关里卡提方程方法所设计的近似最优控制律是一种级数形式的状态反 馈控制律。1 6 Riccati 方程近似序列法： 该方法对非线性系统构造线性时变序列以及相应的线性二次 型时变性能指标，得到线性时变序列的最优反馈控制序列ui= R 1BT (x (i 1) P (x (i) x (i), i 0其中P (x (i) R

8、nx n是里卡提方程近似序列的解。此方法计算量较大，但是当系统的 维数不是很大时， 较里卡提方程近似序列方法具有很快的收敛速度，并表现出很好的鲁棒性。1 7 逐次逼近法： 该方法是针对非线性的一次项和高次项可分离的一类非线性系统进行近似最优控制问题的求解，给出了一种逐次逼近的近似求解方法。该方法针对由极大值原理导致的两点边值问题，构造近似的等价序列将其转化为一组线性非齐次两点边值问题序列， 通过迭代求解一系列的向量微分方程， 包括状态向量方程序列和共态向量方程序列， 得到原 非线性系统近似最优控制问题的解。 该方法被广泛应用到各类非线性系统，其最大优点是 在迭代过程中每次计算的不是矩阵微分或代

9、数方程， 而是向量微分或代数方程， 计算量大大 减少，而且实时性很高。2 非线性最优控制理论研究成果对比比较以上方法，各有优缺点。其中，幂级数展开方法要求系统关于状态向量 x 解析，才能够进行展开， 这在实际工程应用中是不现实的。 Galerkin 逐次逼近法的收敛性过于依赖系统的初值，收敛性在很多情况下是无法保证的。广义正交多项式级数展开法和有限差分、 有限元方法都是采用不同的数学工具来解决近似求解非线性 系统的最优控制问题， 但这两种方法的计算收敛性不好， 所需的巨大计算量也使得它们离工 程实际应用有很大一段距离。 状态相关里卡提方程适用于一类仿射非线性系统。里卡提方程近似序列方法同样适用

10、于一类仿射非线性系统， 当处理高维系统时， 其计算量将很大。 而 逐次逼近法， 从计算复杂度看， 是对向量迭代， 得到的最优控制律是由精确的线性反馈项和 非线性补偿项组成， 将最优控制的求解转化为非线性补偿向量序列的求极限过程，大大减少了计算量， 容易被实际工程所应用。 简言之， 逐次逼近法通过较为简单的计算设计得到系 统的近似最优控制律，具有计算量少，易于工程实现的优点，有很好的工程应用前景。然而，逐次逼近法的缺点在于其对外部扰动和系统内部参数摄动以及未建模动态敏感，因此提高最优控制的鲁棒性是非常必要的。3 结束语对于非线性系统， 其最优控制的解一般是不存在的。 再加上非线性系统的复杂性和多

11、样性， 这方面的研究成果还很少， 尚待解决的问题还很多， 本文对非线性最优控制理论现有研究成 果对比进行了详细的阐述， 并对其优缺点进行了客观的对比， 为非线性最优控制理论的进一 步研究提供参考。3 2 最优控制理论的基本内容和常用方法众所周知 ,动态规划、最大值原理和变分法是最优控制理论的基本内容和常用方法。动态规划是贝尔曼 20 世纪 50 年代中期为解决多阶段决策过程而提出来的。这个方法的关 键是建立在他提出的所谓“最优性原理”基础之上的,这个原理归结为用一组基本的递推关系式使过程连续的最优转移。 它可以求这样的最优解 ,这些最优解是以计算每个决策的后果 并对今后的决策制定最优决策为基础

12、的,但在求最优解时要按倒过来的顺序进行,即从最终状态开始到初始状态为止。动态规划对于研究最优控制理论的重要性在于 : 它可以得出离散时间系统的理论结果 ;用动态规划方法可以得出离散时间系统最优解的迭代算法 ; 动态规划的连续形式可以给出它与古典变分法的联系,在一定条件下 ,也可以给出它与最大 （小） 值原理的联系。这样就使得三种解决最优控制问题的基本方法在一定条件下得以沟 通。庞特里雅金于 19561958年间创立的最大值原理是经典最优控制理论的重要组成部分和 控制理论发展史上的一个里程碑。 它是解决最优控制问题的一种最普遍的有效方法。 由于它 放宽了求解问题的前提条件 ,使得许多古典变分法和

13、动态规划无法解决的工程技术问题得 到了解决。同时庞特里雅金在他的著作中已经把最优控制理论初步形成了一个完整的体系。 当然 ,许多控制问题还是能用古典变分法解决的。在这种情况下,采用古典变分法解决问题会更加简便和容易。3 最优化技术最优控制的实现离不开最优化技术 ,最优化技术是研究和解决最优化问题的一门学科,它研究和解决如何从一切可能的方案中寻找最优的方案。 也就是说 ,最优化技术是研究和解决如 何将最优化问题表示为数学模型以及如何根据数学模型尽快求出其最优解这两大问题。一般而言 ,用最优化方法解决实际工程问题可分为三步进行: 根据所提出的最优化问题 ,建立最优化问题的数学模型 ,确定变量 ,列

14、出约束条件和目标 函数; 对所建立的数学模型进行具体分析和研究,选择合适的最优化方法 ; 根据最优化方法的算法列出程序框图和编写程序,用计算机求出最优解 ,并对算法的收敛性、通用性、简便性、计算效率及误差等作出评价。4 最优化问题的基本求解方法所谓最优化问题 ,就是寻找一个最优控制方案或最优控制规律,使系统能最优地达到预期的目标。在最优化问题的数学模型建立后,主要问题是如何通过不同的求解方法解决寻优问题。一般而言 ,最优化方式有离线静态优化方式和在线动态优化方式,而最优化问题的求解方法大致可分为四类 :4. 1 解析法对于目标函数及约束条件具有简单而明确的数学表达式的最优化问题,通常可采用解析

15、法来解决。其求解方法是先按照函数极值的必要条件,用数学分析方法求出其解析解 ,然后按照充分条件或问题的实际物理意义间接地确定最优解。4. 2 数值解法 （ 直接法 ） 对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题,通常可采用直接法来解决。 直接法的基本思想 ,就是用直接搜索方法经过一系列的迭代以产生点的 序列 ,使之逐步接近到最优点。直接法常常是根据经验或实验而得到的。4. 3 解析与数值相结合的寻优方法4. 4 网络最优化方法这种方法以网络图作为数学模型 ,用图论方法进行搜索的寻优方法。5 优化方法的新进展5. 1 在线优化方法基于对象数学模型的离线优化方法是一种理

16、想化方法。 这是因为尽管工业过程 （对象 ） 被设计得按一定的正常工况连续运行,但是环境的变动、 触媒和设备的老化以及原料成分的变动等因素形成了对工业过程的扰动,因此原来设计的工况条件就不是最优的。解决此类问题的常见方法。5. 1. 1 局部参数最优化和整体最优化设计方法 局部参数最优化方法的基本思想是:按照参考模型和被控过程输出之差来调整控制器可调参数 ,使输出误差平方的积分达到最小。这样可使被控过程和参考模型尽快地精确一致。此外 ,静态最优与动态最优相结合,可变局部最优为整体最优。整体最优由总体目标函数体现。整体最优由两部分组成 :一种是静态最优 （或离线最优 ） ,它的目标函数在一段时间

17、或一定 范围内是不变的 ;另一种是动态最优 （或在线最优 ） ,它是指整个工业过程的最优化。工业过程 是一个动态过程 ,要让一个系统始终处于最优化状态,必须随时排除各种干扰 ,协调好各局部优化参数或各现场控制器,从而达到整个系统最优。5. 1. 2 预测控制中的滚动优化算法预测控制 ,又称基于模型的控制 （Model - based Control） ,是 70 年代后期兴起的一种新型优 化控制算法。但它与通常的离散最优控制算法不同,不是采用一个不变的全局优化目标,而是采用滚动式的有限时域优化策略。 这意味着优化过程不是一次离线进行 ,而是反复在线进 行的。这种有限化目标的局部性使其在理想情况

18、下只能得到全局的次优解,但其滚动实施 ,却能顾及由于模型失配、时变、干扰等引起的不确定性 ,及时进行弥补 ,始终把新的优化建 立在实际的基础之上 ,使控制保持实际上的最优。这种启发式的滚动优化策略 ,兼顾了对未 来充分长时间内的理想优化和实际存在的不确定性的影响。 在复杂的工业环境中 ,这比建立 在理想条件下的最优控制更加实际有效。预测控制的优化模式具有鲜明的特点 :它的离散形 式的有限优化目标及滚动推进的实施过程 ,使得在控制的全过程中实现动态优化 ,而在控制 的每一步实现静态参数优化。用这种思路,可以处理更复杂的情况 ,例如有约束、多目标、非线性乃至非参数等。吸取规划中的分层思想,还可把目

19、标按其重要性及类型分层,实施不同层次的优化。显然 ,可把大系统控制中分层决策的思想和人工智能方法引入预测控制,形成多层智能预测控制的模式。 这种多层智能预测控制方法的,将克服单一模型的预测控制算法的不足 ,是当前研究的重要方向之一。5. 1. 3 稳态递阶控制 对复杂的大工业过程 （对象 ） 的控制常采用集散控制模式。这时计算机在线稳态优化常采用 递阶控制结构。这种结构既有控制层又有优化层,而优化层是一个两级结构 ,由局部决策单元级和协调器组成。其优化进程是:各决策单元并行响应子过程优化,由上一级决策单元 （协调器 ） 协调各优化进程 ,各决策单元和协调器通过相互迭代找到最优解。这里必须提到波

20、兰 学者 Findeisen 等所作出的重要贡献。 由于工业过程较精确的数学模型不易求得,而且工业过程 （对象） 往往呈非线性及慢时变性,因此波兰学者 Findeisen 提出 :优化算法中采用模型求得的解是开环优化解。 在大工业过程在线稳态控制的设计阶段,开环解可以用来决定最优工作点。但在实际使用上,这个解未必能使工业过程处于最优工况,相反还会违反约束。他们提出的全新思想是 :从实际过程提取关联变量的稳态信息,并反馈至上一层协调器 （全局反馈 ） 或局部决策单元 （局部反馈 ） , 并用它修正基于模型求出的的最优解,使之接近真实最优解。5. 1. 4 系统优化和参数估计的集成研究方法 稳态递

21、阶控制的难点是 ,实际过程的输入输出特性是未知的。波兰学者提出的反馈校正机 制 ,得到的只能是一个次优解。 但其主要缺点在于一般很难准确估计次优解偏离最优解的程 度 ,而且次优解的次优程度往往依赖于初始点的选取。一个自然的想法是将优化和参数估计分开处理并交替进行 ,直到迭代收敛到一个解。 这样计算机的在线优化控制就包括两部分任 务: 在粗模型 （粗模型通常是能够得到的 ） 基础上的优化和设定点下的修正模型。这种方法称为系统优化和参数估计的集成研究方法。 （ Integrated System Optimiza2tion and Parameter Estimation）5. 2 智能优化方法

22、对于越来越多的复杂控制对象,一方面 ,人们所要求的控制性能不再单纯的局限于一两个指标; 另一方面 ,上述各种优化方法 ,都是基于优化问题具有精确的数学模型基础之上的。 但是 许多实际工程问题是很难或不可能得到其精确的数学模型的。 这就限制了上述经典优化方法 的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。近年来 ,智能式的 优化方法得到了重视和发展。5. 2. 1 神经网络优化方法 人工神经网络的研究起源于 1943 年 McCulloch 和 Pitts 的工作。在优化方面 ,1982 年 Hopfield 首先引入 Lyapuov 能量函数用于判断网络的稳定性,提出了 Ho

23、pfield 单层离散模型 ;Gohen 和 Grossberg 又发展了 Hopfield 单层连续模型。 1986 年 ,Hopfield 和 Tank 将电 子电路与 Hopfield 模型直接对应 ,实现了硬件模拟 ; Kennedy 和 Chua 基于非线性电路理 论提出了模拟电路模型 ,并使用系统微分方程的Lyapuov 函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。 根据神经网络理论 ,神经网络能量函 数的极小点对应于系统的稳定平衡点,这样能量函数极小点的求解就转换为求解系统的稳定平衡点。随着时间的演化,网络的运动轨道在空间中总是朝着能量函数减小的方

24、向运动,最终到达系统的平衡点 即能量函数的极小点。因此如果把神经网络动力系统的稳定 吸引子考虑为适当的能量函数 （或增广能量函数 ） 的极小点 , 优化计算就从一初始点随着系 统流到达某一极小点。 如果将全局优化的概念用于控制系统,则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。与一般的数学规划一样 ,神经网络方法也存在着重分析次数较多的弱点,如何与结构的近似重分析等结构优化技术结合, 减少迭代次数是今后进一步研究的方向之一。由于Hopfield模型能同时适用于离散问题和连续问题,因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。,根据“优胜劣,遗传算

25、法明显 ,并能从整个可行解5. 2. 2 遗传算法 遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传 汰”原则 ,使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下 优于传统的优化方法。 该算法允许所求解的问题是非线性的和不连续的空间寻找全局最优解和次优解,避免只得到局部最优解。 这样可以为我们提供更多有用的参考信息 ,以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的,避免了一般优化算法的维数灾难问题。 遗传算法的这些优点随着计算机技术的发展,在控制领域中将发挥越来越大的作用。目前的研究表明,遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、

26、动力结构优化、形状优化、拓扑优化等复杂优化问题,具有较大的优势。5. 2. 3 模糊优化方法 最优化问题一直是模糊理论应用最为广泛的领域之一。 自从 Bellman 和 Zadeh4 在 70 年 代初期对这一研究作出开创性工作以来,其主要研究集中在一般意义下的理论研究、 模糊线性规划、 多目标模糊规划、 以及模糊规划理论在随机规划及许多实际问题中的应用。 主要的 研究方法是利用模糊集的 a截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规 划问题来解决。模糊优化方法与普通优化方法的要求相同,仍然是寻求一个控制方案 （即一组设计变量 ） ,满足给定的约束条件 ,并使目标函数为最优值 ,区别

27、仅在于其中包含有模糊因素。普通优化可 以归结为求解一个普通数学规划问题,模糊规划则可归结为求解一个模糊数学规划（fuzzymathematical program2ming) 问题。 包含控制变量、 目标函数和约束条件,但其中控制变量、目标函数和约束条件可能都是模糊的, 也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件(如几何约束、性能约束和人文约束等) 中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。 方法可 分为两类 : 一类是给出模糊解(fuzzy solution) ; 另一类是给出一个特定的清晰解 (cri

28、spsolution) 。必须指出 , 上述解法都是对于模糊线性规划(fuzzy linear programming) 提出的。然而大多数实际工程问题是由非线形模糊规划 (fuzzy nonlinear programming) 加以描述的。 于是有人提出了水平截集法、限界搜索法和最大水平法等,并取得了一些可喜的成果。在控制领域中,模糊控制与自学习算法、模糊控制与遗传算法相融合,通过改进学习算法、遗传算法 ,按给定优化性能指标,对被控对象进行逐步寻优学习,从而能够有效地确定模糊控制器的结构和参数。6 结束语 最优控制理论的应用领域十分广泛,如时间最短、能耗最小、线性二次型指标最优、跟踪问题、

29、调节问题和伺服机构问题等。但它在理论上还有不完善的地方,其中两个重要的问题就是优化算法中的鲁棒性问题和最优化算法的简化和实用性问题。 大体上说 ,在最优化理论研 究和应用方面应加强的课题主要有 : 适合于解决工程上普遍问题的稳定性最优化方法的 研究；智能最优化方法、最优模糊控制器设计的研究；简单实用的优化集成芯片及最优化控制器的开发和推广利用；复杂系统、模糊动态模型的辩识与优化方法的研究；最优化算法的改进。 相信随着对这些问题的研究和探索的不断深入,最优控制技术将越来越成熟和实用。4 什么是自寻最优控制 自寻最优控制是一种最优控制,经典的最优控制是 : 按照被控对象的动态特性 ,找出一个容许控

30、制方案 ,使被控对象按照性能要求运转,并最终使某一性能指标在某种意义下达到最优值。这种理论已成功地应用于各种领域。但是,在最优控制器的设计中 ,首先要建立被控对象(系统) 的数学模型 , 一般地 ,建立某个特定系统的精确数学模型是一件非常困难的工作,这不仅是因为系统本身的复杂性 , 而且一般来说系统的参数是时变的。 在这种背景下 , 针对工业 应用中的一类对象，美国自动控制学家 D r aP e r和L a n in g等人为了能使被控对象处在最优 工作状态或次优工作状态 , 设想把本来由设计人员事先应了解与掌握的被控对象的性质与 特性这一任务 ，由控制系统在系统运行的过程中来完成。基于这一思

31、想 ， 在进行控制系统设计时就不需要有关被控对象的确切知识 ， 而是采用在运行过程中 “ 不断测量” 和“ 不断理解” 的方法 ， 由系统本身去摸清当时系统运转的条件 ， 按某种优化准则 ，最优地修改控制动作。 这 种自动寻找最优工作运转点的自动控制系统，称为“自寻最优点” 的控制系统 ，或简称“自寻最优控制”。自寻最优控制的实现方法自寻最优控制是 50 年代初提出来的一种控制方法 ，早期对它的研究是针对一些实际间题进 行的 ，通过大量的试验和研究 ， 有一些成功的应用实例。 搜索极值点的方法分为静态搜索法和 动态搜索法两大类。L 静态搜索法根据加到被控对象的输入信号或从被控对象输出所取信号的

32、方式不同，静态搜索法主要有以下几种闭 :(1) 测量导数法 (微商判断法 ) 利用被控对象静态特性 y 一 f (u) 的微商 d y / d u 的符号和大小进行控制。如图 2 中在最优点A附近的输入 u和输出y的关系可以近似地用抛物线y - K (u 一 a )2+ b表示,K o,在A,点处,d y /du 0,贝U u应向增大方向走 AZ点处,d y / d u o ,贝U u应向减小方向 走。(2 )谐波调制法 (相位判断法 )如果输入u由一个变化缓慢的量 u。和一个振幅为 A,频率为 W的正弦函数组成，即u = u。+ A s inw t 若系统的线性特性为 y 一 K u Z ,

33、贝U K 一 2+y = 一 K (u a Z+ ZK u aA s inw tAZ e o s ZW t将上式二次谐波滤去，利用一次谐波作为搜索最优工作点的判断信号。当工作点位于最优点左边时 ,其系统输出的一次谐波相位与输入的正弦信号完全一致 ; 而当工作点位于最优 点右边时 , 它们的相位相差 1 80。 因此,可以在被控对象上加入正弦波试探信号 ,据系统输出信号产生的不同相位移来确定优化控制方向 ,从而搜索到被控对象的最优工作点。(3) 极值记忆法在极值记忆法中 ,控制系统将输出的最大值 yma 二记忆下来 ,然后与实时控制中的y 进行比较。 当 yma 二与 y 差值达到工作的临界值

34、,改变执行机构的调节方向 ,同时清除记忆装置原 来记下的最大值。 随着 y 值的增大重新开始记忆 ,这一过程将不断重复 ,输出 y 将围绕最优 点附近波动 ,越来越接近最优工作点。(4) 步进搜索法 它的工作原理在于输入信号不作连续的变化 ,而是在起始状态的基础上做一个有限的变化 ,即 所谓“走一步” , 然后测量由于输入信号的改变引起输出量变化的大小和方向,等到辨别了方向以后，再命令被控对象的输入按需要的方向调节。调节规律一般可写成厶u + , = K y卜s ig n ( y; u :)式中si g n X表示X的符号,K为一增益常数， u ;为第i 步时的输入变化量 , y, 为第 i

35、步的输出变化量 , u ; + 1为第 i+ 1 步的优化输入变化量。. 动态搜索法 在前面讨论的静态搜索方法中,均忽略了控制对象的动力学现象的影响。因此,要正确地判别优化方向 ,就必须等待系统的主要动态过程趋于结束时进行,这样带来的后果就是优化比较缓慢。 而动态搜索方法正是考虑了控制对象的动态特性 , 因而具有优化时间短等优点 。下面仅说明其思想 , 不作数学推导 ,有兴趣的读者可参阅相关文献。(1) 预估比较动态寻优算法如图 1 中的单输入单输出系统 , 其控制对象可分解为一个具有单峰极值特性的非线性环节 和一个线性环节。 假定在线性环节加入控制量后利用系统前期的动态响应输出值估计出未来

36、的响应结果 ,从而判别其下一步的优化方向。虽然这种方法的抗干扰能力较差,但其代表了动态优化的基本思想方法。(2 ) 相关分析法 , 在对象的输入信号 u (t )上叠加一个伪随机信号 M (t ),通过计算输出信号 Z (t )与u (t ) 的互相关函数 R uz (u ) 来判断搜索方向 ,逐步向最优点逼近。这个算法具有较强的抗干扰能 力,搜索方向错误率小。 但一次寻优所需信息较多 ,时间较长 ,所以搜索速度较慢 ,不能迅速找到 最优点 ,从而也就造成了大的搜索损失。(3) 辨识稳态值寻优算法系统仍为图 1 所示,本算法考虑了测量噪声对系统的影响,利用最小二乘原理估计出探索信号对系统的稳态

37、响应值。 以此来判别寻优方向。 这个算法本身就有对噪声的抑制作用以及对 系统参数变化的适应能力 , 它具有一次性预估比较算法速度快与相关分析法抗干扰性能好 的优点 ,在一定程度上克服了以前算法的不足 ,具有较好的实用性。(4) 动态黄金分割寻优算法在算法中所研究的调节对象的非线性环节是具有单个极值点(不妨设为具有极大值点 ),且所在的区间已知的单峰函数 ,极大值 u 两边的 f(u ) 是下降的。若取两点 u l 、u :在 u 的左边 ,且 u l u Z u ,则 f(u l ) f(u Z) 。 只有 u l 、u :在 u 的两边 , 才会有f(u I) f (u Z)的可能，由此特性

38、，搜索过程不断缩小极大值点u 所在的区间，最后确定其位置。每次区间收缩比例为 0.6 1 8, 即数学中的黄金数 ,所以将此算法称为黄金分割法。 该方法搜索速度很快 ，但控制量变化幅度大 ， 不利于现场执行机构的保护。5 现代控制理论研究的问题主要包括以下几方面”最优控制规律的寻求。如何根据给定的目标函数和约束条件 ， 寻求最优的控制规律的问题 ，即最优控制问题。 在解决最优控制问题的 方法中 ，庞特里亚金的“最大值原理”和贝尔曼的“动态规划法”得到了较为广泛的应用系统数学模型的确定。 如何根据系统的输入和输出确定系统的数学模型，即系统辨识问题状态向量的求得。 在系统数学模型已经建立的基础上

39、， 如何根据受随机干扰的输出来求状态向 量， 即最优估计问题最优控制和自适应控制的实现。如何用辨识系统动态特性的方法随时调整控制规律以实现最优控制，即自适应控制的问题。从理论上讲 ， 施加于系统的控制作用 ， 在于影响系统的行为 ， 以达到某种预定的目 标。 当控制作用是为了系统的性能按某种指标达到最小或最大时 ， 就是最优控制问题。 显然 ， 人们设计控制系统总希望它达到某种最优的性能。最优控制问题从数学上来说，是一个变分学问题。但是经典变分理论只能解决一类简单的最优控制问题 ， 因为它只对无约束或开集性约束是有效的。 而实际上碰得更多的却是容许 控制属于闭集的一类最优控制问题。最优控制理论

40、中最基础、最成熟的部分是线性控制系统的理论，特别是线性二次(LQ)控制理论，它是最优控制理论中用得最广最有成效的部分，LQ是进行系统最优控制研究的基础。6 在实际物理系统中， 控制器的输出能量总是有限的， 并希望所需的控制能量越小越好 . 因此，研究在此条件下实现混沌系统的最优控制方法更具有实际意义.本文对于混沌系统的控制问题， 考虑到控制系统能量限制的要求， 首先确立一个二次目标函 数，然后给出了求解最优控制律的一个简单方法， 该方法通过求解线性二次最优控问题，获得了混沌系统的最优控制律，避免了求解非线性 HamiIton-Jacobi-BeIIman 偏 微 分 方 程 ( HJB 方 程

41、 ) 的 困 难，利 用 Lyapunov 方法证明了闭环系统的稳定性 . 该方法不仅实现 了对混沌系统的控制，而且在整个控制过程中消耗的控制能量最小.7 最优控制理论 1是现代控制理论的一个重要部分， 这个从上个世纪 50 年代发展起来的理 论正逐渐称为现代控制理论的核心。 最优控制理论的主要内容就是在一定的约束条件下， 寻 泛。在当前的控制系统领域中， 有几种最优控制方法应用的比最优值， 并使得系统从初态转 移到终态时使其性能指标达到极值。8 针对无约束最优控制问题， 建立求其近似解析解的微分变换法。 对哈密顿正则方程组中状态方程、 协态方程和控制方程构造基于初值的微分变换形式或基于终端的

42、微分变换形式， 将最优性条件化为相应的代数方程 ， 得到最优控制问题的近似解析解。在特定条件下 ， 对结构 复杂的非线性最优控制问题 ， 依据插值逼近原理 ， 结合微分变换法 ， 可构建离散型代数方程 组得到其近似解析解。 利用微分变换法将微分方程初边值问题和泛函优化问题构成的复杂系 统化为易于求解的代数方程形式 ， 简单可行 ， 易于实现。 最后， 通过算例验证方法的有效性。1 微分变换法定义1设函数f (x )的定义域为D，令x = x0为D中的任意一点，函数f (x )的k阶导数在x0处 的微分变换为 :F ( k ) =1(k!)dAkf (x )/dxAk_x=x_0 ( 1)F心Z

43、_k=N + 1Aoo ( x -式中：f ( x )是原函数；F ( k是变换后的函数。 定义2微分变换F ( k )的逆变换定义如下：f(x) = Sfr -A - (JA 1 f (x ) =_k= 0Aoo( x - x0 )AkF ( k )综合定义1和定义2有：f( x ) =E_k= 0Aoo (x - x 0 )Ak/(K!) dAkf (x )/dxAk_x=x_O ( 3) f (x ) =E_k= 0a=o( x - x0 )AkF ( k ) ( 4)对充分大的N,可忽略截断项9 具有给定稳定度的最优控制对一个控制系统来说，设计控制律有两个目的：一是保证系统稳定，二是使

44、系统满足一 定的性能指标。稳定性有多种，如渐近稳定、指数稳定等，其中指数稳定的收敛速度较快，因此，可以考虑在网络控制系统中实现指数渐近稳定。对于指数渐近稳定的最优控制，文献12给出了详细的分析，并给出了无限时间与有限时间指数稳定最优控制律。于之训在文献13中也提出到了指数最优控制的问题，其中主要的方法是提出性能指标为：(1) 有限时间情况J=E&A2NxAT_NQ_0x_N+2；AN-1_k=0 o(A2k( xAT_kQ_1x_k+o(A2uAT_kRu_k) N- Ik-G(2) 无限时间情况：J=E工州x：k-0j=Eo_k=0(A2k( xAT_kQx_k+o(A2uAT_kRu_k)

45、 10 拟哈密顿系统非线性随机最优控制主要介绍近十几年来拟哈密顿系统非线性随机最优控制理论方法及其应用的研究成果，包括基于拟哈密顿系统随机平均法与随机动态规划原理的非线性随机最优控制基本策略，即响应极小化控制、随机稳定化、首次穿越损坏最小化控制、以概率密度为目标的控制，为将它们应用于工程实际而作的部分可观测系统最优控制、有界控制、时滞控制、半主动控制、 极小极大控制的进一步研究，以及综合考虑这些实际问题的非线性随机最优控制的综合策 略，非线性随机最优控制在滞迟系统、分数维系统等中的若干应用，介绍与这些研究有关的背景，并指出今后有待进一步研究的问题自20世纪60年代以来，随机最优控制的基本数学理

46、论已较成熟，随机动态规划与随机极大值原理是随机最优控制两大基本方法随机极大值原理将导致前后向随机微分方程组，因该方程组求解极其困难而限制了其应用随机动态规划原理则导致一个动态规划方程(又称Hamilton - Jacobi - Bellman方程，或简称 HJB方程)，由于黏性解理论的 发展提供了求解HJB方程的数学基础，动态规划原理得到较广泛的应用1-5.但是，基于 随机动态规划原理的一般系统最优控制解主要是棒棒 (bang-bang) 控制解与线性系统的线 性二次高斯 (LQG) 控制解 , 它们被广泛应用于结构工程领域 . 而在工程、经济等领域 , 非 线性随机最优控制研究 , 包括动态

47、规划方程求解、系统状态部分可观测、控制的时滞与有界 性、系统模型与参数的不确定性等方面问题的研究进展甚微 .过去十几年中 , 国际上关于动力学系统随机最优控制的研究主要有 , Socha 6-7 用统计线 性化法将非线性随机系统转化为拟线性系统 , 再进行控制并设计迭代解法 ; Crespo 和 Sun 8 用胞映射法求解受控非线性随机系统的动态规划方程 ; Dimentberg 等 9提出线性随 机振动系统最优有界控制问题的动态规划方程的混合解法 ; 李杰等 10 将广义概率密度演 化方程用于随机结构系统的最优控制. Kovaleva 11证明 , 对拟线性随机振动系统 , 由平均系统运用动

48、态规划确定的最优控制对原系统是拟最优的 . 本文作者及合作者提出并系统地发 展了基于拟哈密顿系统随机平均法与随机动态规划原理的非线性随机最优控制策略 , 包括 分别以响应最小、 稳定度最大、 可靠度最大、 及给定概率密度为目标的非线性随机最优控制 的理论方法 4, 为计及控制执行中实际问题, 又研究了部分可观测系统最优控制、有界控制、时滞控制、半主动控制、及极小极大控制 , 以及综合考虑这些问题的非线性随机最优控 制的一般策略 12. 上述研究成果构成一个非线性随机最优控制的哈密顿理论体系框架 . 2 拟哈密顿系统非线性随机最优控制基本策略2.1 拟哈密顿系统随机平均法 4按 其 可 积 性

49、与 共 振 性, 哈 密 顿 系 统 可 分成 5 类：不可积、可积非共振、 可积共振、部分可积非共振、部分可积共振 . 不同类的哈密顿系统的性态是不同的 . 方程 (1) 所描述的受控的、随机激励的耗散的哈密顿系统也可按其相应哈密顿系统的可积性与共 振性分成 5 类 . 这一分类极为重要 , 因为已证明系统的精确与近似平稳解的泛函形式取决 于相应哈密顿系统的可积性与共振性 4.高斯白噪声激励下的拟可积哈密顿系统的随机平均法 , 已推广于非白噪声激励 , 包括宽带随机激励39-40 、 谐和与高斯白噪声共同激励 41-42 、窄带有界噪声 (具有常数幅值与随机频率和相位的谐和函数) 激励 43

50、等 , 及非高斯激励情形 44-45. 对拟线性系统 , 拟哈密顿系统随机平均法可化为古典随 机平均法 . 对单自由度强非线性系统 , 拟哈密顿系统随机平均法可化为拟保守随机平均法 或能量包线随机平均法 . 上述高斯白噪声与非白噪声激励下的拟可积哈密顿系统的随机平 均法已进一步推广至包含时滞反馈控制的拟可积哈密顿系统 46-47 与分数维系统 48-50 . 拟哈密顿系统随机平均法及其推广的一个优点是它可被应用于多自由度强非线性随机动力 学系统 .2.2 响应最小化 考虑弱受控拟哈密顿系统 , 即具有小阻尼、弱随机激励与弱控制的系统 (1), 研究的目的 是 设计最优控制律ui = ui(Q,

51、 P )使响应最小.为简化叙述，设E k(t)为高斯白噪声，对非白噪声激励 , 步骤相似 , 只是无需加 Wong-Zakai 修正项 , 应用相应的随机平均法即 可. 所提出控制策略的一个特点是将控制力分成保守部分u(1)i 与耗散部分 u(2)i.u(1)i 用以改变相应哈密顿系统的可积性与共振性,从而改变能量与响应在系统内的分布. 迄今 , 尚无求最优 u(1)i 的一般步骤 . 将 u(1)i 与 Wong-Zakai 修正项中的保守部分同原系统保守力合并 . 控制目标用一个性能指标的最小化表示 , 它取决于控制的时间区间与控制约束 . 若与系统 (20) 相应的哈密顿系统可积或部分可

52、积 , 确定最优控制力与最优控制系统响应 的步骤类似 59-60. 唯一的区别 是平均 It?o 方程与动态规划方程的维数 , 当然 , 这些 情形动态规划方程与 FPK 方程由于维数高而难解一些 .为评价控制策略 , 引入 两个准则 . 一是控制效果k_h =(T Au_h 出c_h)/ cr Au_h(29)ah式中c表示标准差,下标h = h(Q, P )表示某动力学量,上标u, c分别表示未控与已控. 另一准则是控制效率g 卩 _h =k_hC_uA?(30)%*式中cU表示无量纲化的总控制力的标准差. 显然，Kh,卩h越大，控制策略越好.无界控制策略已被应用于高斯白噪声外激励下的Du

53、?ng振子、两个非线性阻尼耦合的线性振子、分数维系统61、滞迟系统62-69、耦合结构70等.对线性随机系统，数值结果表明，所 提出的控制策略优于普遍采用的线性二次高斯(LQG)控制，这是所提出控制策略的一个显著优点.2.3 反馈稳定化一个动态系统可由于参数随机激励而失去稳定性使该系统稳定化的一个有效办法是反馈控制.虽然随机稳定化的基本提法与基本方程早已于20世纪60年代就有了，很长时间内所有的重要结果属线性二次控制.只在最近十来年中，非线性随机反馈稳定化才引起 较多注意，并已用控制Lyapunov函数得到了一些结果71.最近，本文作者及其合作者为拟哈密顿系统提出了应用遍历控制与最大Lyapu

54、nov指数的崭新的随机稳定化策略72-74,并已应用于风激励下桥梁拉索的反馈稳定化.考虑纯随机参激下拟哈密顿系统， 假定未控系统的平凡解是不稳定的 (其最大Lyapu nov指数为正), 目标是设计反馈控制使系统稳定化,即 使其最大Lyapu nov指数为负. 由于通常最大Lyapu nov指数不能用系统响 应与控制力的显式表示，难以用最大Lyapunov指数作性能指标.另一方面，随机稳定化需要半无限时间区间上的反馈控制，而遍历控制能满足这一要求，于是，随机稳定化可提为具有待定成本函数的遍历控制问题，其后成本函数由最大Lyapunov指数最小这一要求确定.对拟不可积哈密顿系统，性能指标形式如式

55、(26),其中f1为待定函数， 动态规划方程形式如式(27).最优控制系统的平均lt?o方程形式为75dH =- m(H)dt + 一 c (H)dB(t) (31)式中-m(H) = - m(H) ?jA?_frac ?H ?P_i ? (32)最优控制的与未控的系统的最大Lyapunov指数之差为59入 Ac_1 Au_1=frac12 - m (0)- frac12 m (0) = fracddH ?_ifrac ?H?P_i?H=0(33)因此，拟不可积哈密顿系统的随机稳定化的任务是确定作为H与u的函数的fl使得入cl为负且绝对值尽可能大(负最大Lyapunov指数的绝对值可作为稳定裕

56、度的一种度量).这一控制策略已被应用于高斯白噪声参激的Du?ng振子及两个非线性耦合的 van der Pol振子，结果表明总可达到稳定化的目的 .对拟可积与拟部分可积哈密顿系统，随机稳定化的步骤类似73-74.差别在于此时平均方程的维数高一些，并且没有最大 Lyapunov指数的显式.虽然任务更困难但仍可完成.该 策略已被应用于由线性阻尼与随机参激耦合在一起的一个线性振子与一个非线性振子，及高斯白噪声参激下的三自由度拟部分可积哈密顿系统.用最大Lyapunov指数稳定化的优点是比用控制 Lyapunov函数的稳定化简单，而且受控系统的稳定裕度可度量.此外，还提出了设计反馈控制使拟不可积的哈密顿系统渐近概率稳定化的步骤76.问题也提为具有待定成本函数的遍历控制.代替最大Lyapunov指数，此处考察平均哈密顿过程在其两 端