CN119439756A 基于强化学习的速调管状态反馈控制方法 （中国科学技术大学）

本发明提供一种基于强化学习的速调管状前与理想状态的偏离程度及动作后偏离程度的以上述模型为反馈算法的低电平控制系统对实方法能提升低电平控制系统对速调管状态的控2步骤S1：建立具有智能体和环境的强化学习模型；所述强中至少基于速调管的当前状态相对于速调管的理想状态的偏离程度以及采取动作后偏离步骤S2：在环境内设置引擎，使得所述引擎接收来自于作为反馈控制算法的低电平控制系统实现对实际加速器中速调管状态的动作是下一步低电平控制系统输出的幅度与相位的设置值与当前的低电平控制系统的幅;t;k是缩放因子；;的状态与理想状态的偏离程度，为第t_1步时速调管的状态与理想状态的偏离程度，[i]表示向量的第i个元素，m表示若采取的动作使速调管状态相比上一步更加靠近理想状3步骤S22：在真实加速器中设置并记录多组不同的低电平控制系统的幅度与相位的设4[0001]本发明涉及加速器测控领域，是一种基于强化学习的速微波场的幅度与相位稳定对加速器性能的提升有制系统输出的幅度与相位的设置值进而改变速调管输出5[0009]为了实现上述目的，本发明提供一种基于强化学习的速中至少基于速调管的当前状态相对于速调管的理想状态的偏离程度以及采取动作后偏离作为反馈控制算法的低电平控制系统实现对实际加速器中速调管状态的[0010]所述动作是下一步低电平控制系统输出的幅度与相位的设置值与当前的低电平;t;表示向量的第i个元素，因此、Ee[1]分别表示状态差值中的第一个元素和第二个;调管的状态与理想状态的偏离程度，为第t_1步时速调管的状态与理想状态的偏离程6[0015]所述拟合模型采用多层感知机网络，其含有至少一个隐S22：在真实加速器中设置并记录多组不同的低电平控制系统的幅度与相位的设7图2A和图2B是本发明的基于强化学习的速调管状态反馈控制方法采用的拟合模图3为本发明的基于强化学习的速调管状态反馈控制方法的强化学习所用算法的动作a：下一步低电平控制系统输出的幅度与相位的设置值与当前的低电平控制8值）选择动作a（动作为下一步低电平控制系统设置值与当前低电平控制系统设置值的差与相位设置值的调整，速调管输出的实际幅度与相位会稳定在人为设定的理想状态附近。;当前状态相对于速调管的理想状态的偏离程度以及采取动作后偏离程度的变化量来定义（即希望速调管输出的幅度与相位值一轮训练完成的判断条件（即速调管当前状态在哪个区间中时可以视为完成任务一轮中的最大步数等这些参数的初始化。9离线训练得到的模型在第二天的加速器上就无控制系统输出的幅度与相位的设置值与当前的低电平控制系统的幅度与相位的设置值的差值（即幅度与相位的设置值的变化量状态s为速调管的状态与理想状态的差值。相应学习模型作为反馈控制算法的低电平控制系统实现对实际加速器中速调管状态的反馈控加速器为FELiChEM加速器装置。FELiChEM装置中对低电平系统的控制是基于EPICS[0044]在图1中的左右两侧的加速器是同一个加速器，只不过右侧加速器用来采集拟合;[0049]步骤S22：在真实加速器中设置并记录多组不同的低电平控制系统的幅度与相位时，只需将低电平控制系统幅度设置值由3变为3.1即可使速调管输出幅度由12850变到变为2.9即可使速调管输出由13050变到12950附近。同理，加速器正常运行期间调速管具间隔为1s，采样3次正好为噪声的一个周期这样得到训练数据集的样本组数为100×100传播得到输出，再通过下式计算出多层感知机网络的当前输出值与预测值的均方误差;管一段时间的输出后可知其输出的幅度以及相位噪声都近似于正弦函数。因此，在步骤控制系统设置值一速调管输出的相位为另外一张图此时滤波后的低电平控制系统设置值速调管输出的幅度的曲线在滤波前的低电平控制系统设置值速调管输出的幅度的曲;如图3所示。PPO强化学习算法由策略网络和价值网络两个网络组成，这两个网络都是基于值V越高则说明策略越好。环境状态s输入到旧策略网络得到策略分布，根据策略分布进行概率采样以得到一个动作[0066]根据经验池中储存的数据以及当前的价值网络可以使用广义优势估计计算出每;[0068]假设某时刻t取出的一组训练数据为(st,at,rt,st_)，则将当前状态st分的概率比率记为r"()。取新旧策略分布的概率比率r:(e)以及裁剪后的概率比率r(o与当前状态st对应的优势函数的估计值相乘的较小值作为当前策略网络的损络实际输出V(st)之间的均方误差作为价值网络的损失，通过反向传播算法和Adam算法对。;tdiff的具体定义为：;[0074]奖励项是基于智能体采取的动作产生的，具体是基于采取动作a后新状态相较于上一状态偏离理想值程度的变化量D:产生的。在每次智能体采取动作后，奖励项具体表示为：;其中为在第t步时速调管的状态与理想状态的偏离程度，