智能控制 课件 第六章-学习控制

学习控制目录01学习控制概述02重复控制03迭代学习控制04强化学习控制05方法对比与工程选型前沿发展与研究展望学习控制概述PART01学习控制的定义与内涵学习控制本质上是对未知不确定信息进行估计，通过这种估计逐步改善控制性能，降低不确定性对系统的负面影响，实现系统性能的优化。未知信息估计与性能提升从数学角度看，学习问题可视为函数未知量的估计或逐次逼近，该函数反映被控系统特性，通过不断逼近实现对系统的有效控制。函数未知量的逐次逼近学习控制借鉴《韦氏词典》中“基于经验对行为的修正”理念，在系统运行时学习环境与被控对象的未知信息，将其转化为“经验”用于后续决策与控制，以改善控制性能。基于经验的行为修正01、02、03、研究动机与工程挑战在工程实践中，物理系统受环境影响大，其先验信息往往未知或局部已知，难以获得精确数学模型，导致经典控制策略应用受限。模型不确定性的挑战经典控制策略在被控对象先验知识完全已知时效果良好，但面对不确定性时，直接忽略未知信息或基于猜测值设计系统，只能获得一般或次优控制效果。传统控制策略的局限为解决上述问题，学习控制通过在运行过程中估计未知信息，采用优化控制方法，逐步提升控制性能，满足工程实际需求。学习控制的应运而生四大核心特征解析自主性：自我改进的性能学习控制系统具备自主性，其性能能够自我改进，不依赖外部过多干预，可根据学习到的信息自主调整控制策略。0102动态性：随时间变化的过程学习控制是一个动态过程，系统性能随时间不断变化，在与外界反复交互中持续优化，以适应不同的环境和任务需求。四大核心特征解析学习控制系统拥有记忆功能，能够积累在运行过程中获得的经验，这些经验成为后续控制决策的重要依据，助力性能提升。记忆性：经验积累的能力学习控制系统通过明确当前性能与目标性能的差距，以此为依据施加改进操作，实现控制策略的不断优化。反馈性：基于性能差距的优化学习控制的分类体系在有外部监督的学习控制中，期望答案被认为是精确的。控制器在已知答案指导下，修改控制策略或参数，提高系统性能，常用于离线学习场景。有外部监督的学习控制01无外部监督时，期望答案不完全已知。设计控制器可通过考虑所有可能答案或利用性能指标指导学习，学习信息作为“经验”改善控制质量，常用于在线学习。无外部监督的学习控制02强化学习控制利用训练信息评估动作，根据奖励自行改变控制规则。它结合了“探索-利用”机制，在复杂环境中能有效学习最优策略。强化学习控制03重复控制PART02周期信号控制原理基于内模原理，构建时滞反馈机制。在周期信号控制中，时滞环节起着关键作用，它使得控制器能够学习前一周期的信息，例如误差信号，以此来调整当前周期的控制作用，从而实现对周期信号的渐进跟踪控制。时滞反馈机制构建内模原理是周期信号控制的核心理论，它为实现对特定信号的精确跟踪和抑制提供了理论依据。通过在控制器中引入与参考信号或扰动信号相同形式的“模型”，系统能够更好地应对这些信号。内模原理基础原型与改进型控制器设计原型重复控制器结构相对简单，从控制结构上看，通过学习上一周期的误差信号实现对周期信号的控制。在频域中，其在周期信号的基频和倍频率处具有无穷大的控制增益，理论上能实现对周期信号的有效跟踪或抑制，但对严格正则系统存在局限性。原型重复控制器剖析对于严格正则的被控系统，原型重复控制系统无法被镇定。这是由于其系统特性导致在某些情况下，系统的稳定性难以保证，需要对控制器进行改进以适应这类系统的控制需求。严格正则系统的挑战原型与改进型控制器设计在时滞正反馈控制回路中串联低通滤波器q(s)构造改进型重复控制器。低通滤波器将原型重复控制器的无穷多个虚轴极点转移到了s平面的左半平面，提高了系统的可镇定性，虽无法实现周期信号的完全跟踪或抑制，但在工程上能满足一定精度要求。低通滤波器的改进作用旋转系统控制案例基于改进型重复控制器设计旋转控制系统，该系统主要由被控对象、改进型重复控制器和状态反馈控制器三部分组成。通过状态反馈建立控制律，如u(t)=Kev(t)+Kpx(t)，其中Ke为重复控制器增益，Kp为状态反馈增益。以由两台直流电机组成的旋转系统为例，电机的轴承通过联轴器耦合在一起。基于机理建模和参数辨识技术，可得到旋转系统的状态空间模型，明确状态变量、控制输入、扰动输入以及系统输出之间的关系。状态反馈重复控制策略双电机耦合系统建模旋转系统控制案例在给定周期性参考输入和干扰的情况下，如r(t)=sinπt+0.5sin2πt+0.5sin3πt，d(t)=3sinπt+2sin2πt，经过设计反馈控制器增益，系统仿真结果显示，闭环控制系统稳定，且经过两个周期后，旋转控制系统的输出进入稳定状态，稳态误差趋于0，体现了重复控制在该系统中的有效性。误差收敛过程展示迭代学习控制方法PART03有限区间轨迹优化原理在有限区间轨迹优化中，系统会收集每次运行产生的误差信息。这些误差反映了实际轨迹与期望轨迹的偏差，是后续优化的关键依据。基于历史误差，系统通过特定算法对控制输入进行调整。随着迭代次数增加，控制输入不断优化，使实际轨迹逐渐接近期望轨迹，实现渐进逼近。历史误差修正机制渐进逼近过程解析PID型迭代算法演化D型迭代学习控制律是PID型算法的基础形式，如uk+1(t)=uk(t)+Γek(t)，通过当前误差对控制输入进行简单修正。D型控制律基础01P型在D型基础上增加了对误差比例项的考虑，PI型则进一步引入积分项，使控制更加精确，能更好应对复杂系统动态变化。P型与PI型的改进02PD型控制律结合了比例和微分项，uk+1(t)=uk(t)+Γek(t)+Φek(t)，能快速响应误差变化，有效改善系统的动态性能和稳定性。PD型控制律的优势03机械手轨迹跟踪应用以双关节串联机械手为研究对象，其动力学模型由二阶非线性微分方程描述，涉及惯性矩阵、离心力、哥氏力和重力项等参数。双关节机器人模型01在迭代学习控制过程中，双关节机器人的角度误差随着迭代次数增加逐渐减小。经过20次迭代后，误差明显收敛，表明控制策略的有效性。迭代过程中的误差变化02从仿真结果可以直观看到，经过20次迭代学习，双关节机器人各关节能够较好地跟踪期望轨迹，实现了高精度的轨迹跟踪控制。控制效果展示03强化学习控制PART04马尔可夫决策过程建模马尔可夫决策过程以状态、动作、奖励为核心元素构建交互框架。个体在某状态下执行动作，环境基于此给出奖励并转移到新状态。例如在机器人探索环境任务中，机器人所处位置是状态，选择的移动方向为动作，到达新位置获得的能量补充为奖励。贝尔曼方程是求解马尔可夫决策过程的关键。它描述了状态价值函数或动作价值函数的递归关系，通过当前状态、动作、即时奖励以及下一状态的价值来计算当前价值。如在路径规划问题中，可利用贝尔曼方程计算从当前节点到目标节点的最优路径价值。状态-动作-奖励交互框架贝尔曼方程原理马尔可夫决策过程建模基于贝尔曼方程的求解通过迭代计算贝尔曼方程，可找到最优策略和最优价值函数。常见方法有策略迭代和值迭代。策略迭代先评估策略，再改进策略；值迭代则直接寻找最优状态动作值函数对应的动作。以网格世界游戏为例，利用这些方法能找到从起点到终点的最佳移动策略。深度Q网络技术突破目标网络是独立于主Q网络的结构，参数更新相对缓慢。它用于生成Q-Learning的目标值，降低预测Q值和估计Q值的相关性。在训练过程中，主Q网络实时更新参数，目标网络定期同步主网络参数，提高了算法的稳定性和收敛性。目标网络的作用经验回放是深度Q网络的重要创新。它将个体与环境交互产生的状态转移元组存储在经验池中，训练时随机采样。这打破了数据间的相关性，使训练数据满足独立同分布，提升网络训练稳定性。如在Atari游戏中，通过经验回放有效避免了网络过拟合问题。经验回放机制深度Q网络技术突破深度Q网络通过经验回放和目标网络，有效解决了训练过程中的不稳定问题。传统Q-Learning在处理高维状态空间时易出现震荡，而深度Q网络利用神经网络拟合Q值，并借助这两个技术手段，使得训练更加稳定，能更好地学习到最优策略。解决训练稳定性问题策略梯度算法演进Actor-Critic算法结合了策略网络（Actor）和价值网络（Critic）。Actor负责生成动作，Critic评估状态价值，为Actor提供反馈。通过这种方式，算法能更有效地学习到最优策略，在复杂的连续控制任务中表现出色，如机器人的行走控制。Actor-Critic算法原理蒙特卡洛策略梯度是策略梯度算法的基础形式。它通过直接采样个体与环境交互的轨迹，计算策略网络参数的梯度，采用梯度上升方法更新参数。例如在简单的迷宫探索任务中，利用蒙特卡洛策略梯度可逐步优化智能体的探索策略。蒙特卡洛策略梯度策略梯度算法演进从蒙特卡洛策略梯度到Actor-Critic算法，策略梯度算法不断演进。蒙特卡洛策略梯度直接基于采样轨迹优化策略，而Actor-Critic引入价值网络，利用价值估计来指导策略更新，提高了策略优化的效率和稳定性，推动了强化学习在更多领域的应用。策略优化路径倒立摆控制实验实验采用MATLAB中预定义的“CartPole-Discrete”环境模拟倒立摆系统。环境状态包含小车位置、速度、杆角度和角速度，个体可选择向左或向右推动小车。同时设置了奖励机制，平衡时给予奖励，失衡或超出范围则给予惩罚，确保实验可重复性。设计基于DoubleDQN的个体来控制倒立摆系统。通过构建神经网络作为Critic网络，设置超参数并创建agent对象。在训练过程中，指定训练超参数，利用train函数进行训练，使个体学习到有效的控制策略。实验环境设置DoubleDQN的应用倒立摆控制实验经过训练，DoubleDQN个体能使倒立摆在仿真环境中保持平衡。从仿真经验数据提取的小车位置、速度、杆角度等信息表明，该算法在连续动作空间的平衡控制任务中取得了良好效果，验证了其有效性和可行性。实验效果验证方法对比与工程选型PART05三类方法特性对比表计算复杂度上，重复控制结构相对简单，计算量较小；迭代学习控制随着迭代次数增加，计算量会有所上升；强化学习控制尤其是深度强化学习，涉及神经网络等复杂模型，计算复杂度较高。在响应速度方面，重复控制由于其连续的控制过程，能较快地对周期性信号做出响应；迭代学习控制在多次迭代后可实现较好的跟踪，但初始阶段响应相对较慢；强化学习控制需通过不断与环境交互学习，响应速度受学习过程影响，初期较慢，学习后可快速响应。计算复杂度响应速度三类方法特性对比表适用场景各有不同，重复控制适用于处理周期性控制任务或周期性信号，如数控车削、工业机械臂周期性轨迹跟踪；迭代学习控制适合在有限区间上重复运行的非线性动态系统，像机械手的轨迹控制；强化学习控制则在复杂动态环境、不确定性高的场景中表现出色，如倒立摆小车控制。适用场景工业场景选型指南当对模型精度要求较高且系统先验信息未知时，迭代学习控制是较好选择。它通过多次迭代修正控制输入，不依赖精确数学模型，能在运行中逐渐提高控制精度。若对模型精度要求不