CN119493368A 基于多智能体强化学习的原料混合控制方法和控制系统 （梅特勒-托利多(常州)精密仪器有限公司）

基于多智能体强化学习的原料混合控制方本申请提供了一种基于多智能体强化学习则给予正奖励；训练所述多智能体强化学习模的n个料罐的当前状态，将所述当前状态输入所2将每个所述料罐作为一个独立的智能体，构建多智能体强化获取所述原料混合装置中的n个料罐的当前状态，将所述当前状态输入所述经训练模根据所述n个策略计算每个所述智能体的累根据所述累积期望奖励推算所述智能体的策略梯度，所述策略梯度采用所述预测函数获得确定性策略下的确定策3.如权利要求2所述的原料混合控制方法，其述智能体的策略梯度的步骤包括：采用下面的公式计算推算的第i个智能体的策略梯度Jj()表示所述5.如权利要求4所述的原料混合控制方法，其特征在于，采用下面的公式获得预测函3采用下面的公式计算第i个智能体的确定策略梯度J(ma):在状态x下执行动作a1,…,an时所获得的奖励r1,…,rn以及在下一个状态x,处所采取的行梯度的优化函数对应的损失函数为L(9):8.如权利要求5所述的原料混合控制方法，其特征在于，采用将所述状态x输入至所述Transformer网络，所述Transformer网络将每个智能体的动作ai表示为一个独热编码向量bi，并将所述独热编码向量bi与所述TT"(x,a1,…,an),其中所述Transformer网络包括所述Transformer注意力模型和所述全连接层。9.如权利要求8所述的原料混合控制方法，其特征在于，所述状态x输入至所述Inputnew＝TEM(Inputorigin)+(PEXOutputEPL)预处理之后进入所述Transformer网4注意力模块采用下面的公式处理所述新状态括正则化层NL和前馈网络层FFN，所述多头注意力模块的输出还经过下面的公式所表示的Output＝NL(RC(NLoutput)+19.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器56[0004](2)原料混合池的搅拌速率通常是恒定的，目前缺少智能手段来自动控制搅拌速[0005](3)一旦某一料罐发生异常，会使整个系统处于宕机状态，需要人工排查解决问[0011]在本申请的一实施例中，根据所述n个策略计算每个所述智能体的累积期望奖励7i个智能体的策略参TT"(x,a,,…,an)表示所述预测函数，能体在状态x下执行动作a1,…,an时所获得的奖励r1,…,rn以及在下一个状态x,处所采取[0025]在本申请的一实施例中，所述第i个智能体的确定策略梯度的优化函数对应的损失函数为L(9):[0029]在本申请的一实施例中，采用Transformer网络预测所述动作价值函数的步骤包8体的动作ai表示为一个独热编码向量bi，并将所述独热编码向量bi与所述状态编码向量hx其中所述Transformer网络包括所述Transformer注意力模型和所述经过预处理之后进入所述Transformer[0033]在本申请的一实施例中，所述Transformer网络包括至少2个多层感知机和至少2[0038]在本申请的一实施例中，所述Transformer网络还包括正则化层NL和前馈网络层[0042]在本申请的一实施例中，所述Transformer网络执行多次之后输出所述状态编码9[0047]本申请为解决上述技术问题还提出一种基于多智能体强化学习的原料混合控制[0048]本申请为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介[0049]本申请的原料混合控制方法通过多智能体强化学习模型来高度智能化的控制每[0050]包括附图是为提供对本申请进一步的理解，它们被收录[0061]本申请的原料混合控制方法用于控制原料混合装置，该原料混合装置包括n个料状态转移概率转移到下一个状态，与此同时根据此时状态的好坏反馈给智能体一个奖励。n]表示n个智能体的策略参数，θi表示第i个智能体的策略2TT"(x,a,,…,an)表示所述预测函数，施例的Transformer网络，其中的两路多层感知机和多头注意力模块分别作为编码器和解[0100]步骤S243：将输入向量vi输入到Transformer网络中，用于获得预a1n)，其中Transformer网络包括Transformer注意力模型和全连接层。参考图3，[0104]其中，Inputorigin表示状态x，TEM表示词嵌入模块331，PE表示位置编码332，OutputEPL表示外部参数层333(EPL)的输出，外部参数层333在模型训练时得到实时更新，[0105]在一些实施例中，多层感知机和多头注意力模块采用下面的公式处理新状态控制系统400包括n个料罐和系统控制端410。该系统控制端410与每个料罐建立通信连接，Time_SensitiveNetwork)，将每个料罐作为时间敏感网络中的一个从节点，设置一主节存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的原料混合控制方储器(ROM)503和随机存取存储器(RAM)504，能够存储计算机处理和/或通信使用的各种数能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储