CN119494504A 基于双深度强化学习和多层智能体的分布式柔性作业车间调度方法及系统 （昆明理工大学）

基于双深度强化学习和多层智能体的分布种基于双深度强化学习和多层智能体的分布式对分布式柔性作业车间的不同调度任务进行分2S2，所述中间层智能体从所述调度环境中获取当前S3，所述底层智能体从所述调度环境中获取当工件加工平均耗时特征TPTi(st)，表征为工件i在t时刻可加前置工序特征OCTi(st)，其中，若在t时刻工件i的可加工工序的前置3.如权利要求1所述的方法，其特征在于，所述中间层智能体中的中间层状态特征包3底层智能体在集中训练过程中均采用双深度强化学习算法进行参在进行预决策处理完成，通过缓冲控制器分别将所述顶层经验当所述经验缓冲区大于其对应的缓冲区预设下限时，随机采样所述经验缓冲区中的D从调度环境中获取t+1时刻的顶层状态特征，预加载所述顶层智能体的当前顶层网络通过所述顶层智能体对应的动作，从所述调度环境获取所述中间层态特征，预加载所述中间层智能体的当前中间层网络参数对所述中间层状态特征进行处通过所述中间层智能体对应的动作空间，从所述调度环境获取所述底4获取目标网络参数，所述目标网络参数包括目标顶层网络参根据所述目标网络参数计算其对应智能体下一状态为最大Q值，st+1为智能体在t+1时刻的当前状态特征，在计算完所述TD误差以后，根据loss(y_Q(st,at；θ))2进行梯度下降更新在线网络参在更新次数满足预设的目标网络更新频率之后，将当前得9.一种分布式柔性作业车间调度系统，其特征在于，所能体的分布式柔性作业车间调度程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于双深度强化学习和多层智能体的分布式柔性作业车间调度方5[0005]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技[0006]本申请的主要目的在于提供一种基于双深度强化学习和多层智能体的分布式柔6t)＝0；7[0035]从调度环境中获取t+1时刻的顶层状态特征，预加载所述顶层智能体的当前顶层底层状态特征，预加载所述底层智能体的当前底层网络参数对所述底层状态特征进行处验缓冲区中的D个中间层经验元组对中间层网络参数进8为最大Q值，st+1为智能体在t+1时刻的当前状态特征，双深度强化学习和多层智能体的分布式柔性作业车间调度程序被所述处理器执行时实现如上任一项所述的基于双深度强化学习和多层智能体的分布式柔性作业车间调度方法的[0057]图1为本申请实施例涉及的分布式柔性作业车间调度系统的硬件运行环境的架构[0059]图3为本申请基于双深度强化学习和多层智能体的分布式柔性作业车间调度方法[0062]图6为本申请第二实施例涉及的在2×6×10的分布式柔性作业车间调度系统实例9[0067]作为一种实现方案，图1为本申请实施例方案涉及的分布式柔性作业车间调度系组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘[0069]本领域技术人员可以理解，图1中示出的分布式柔性作业车间调度系统架构并不[0070]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于双深度强化学习和多层智能体的分布式柔性作业车间调度程基于双深度强化学习和多层智能体的分布式柔性作业车间调度程序以及其他软件或程序理器1001可以用于调用存储器1005中存储的基于双深度强化学习和多层智能体的分布式储在所述存储器上并可在所述处理器上运行的基于双深度强化学习和多层智能体的分布[0073]处理器1001调用存储器1005中存储的基于双深度强化学习和多层智能体的分布[0079]处理器1001调用存储器1005中存储的基于双深度强化学习和多层智能体的分布[0083]处理器1001调用存储器1005中存储的基于双深度强化学习和多层智能体的分布[0084]从调度环境中获取t+1时刻的顶层状态特征，预加载所述顶层智能体的当前顶层底层状态特征，预加载所述底层智能体的当前底层网络参数对所述底层状态特征进行处[0087]处理器1001调用存储器1005中存储的基于双深度强化学习和多层智能体的分布验缓冲区中的D个中间层经验元组对中间层网络参数进[0091]处理器1001调用存储器1005中存储的基于双深度强化学习和多层智能体的分布Q(s,,argmax。⃞,Q((s,an;0):0')为最大Q值，st+1为智能体在t+1时刻的当前状态特征，基于双深度强化学习和多层智能体的分布式柔性作业车间调度方法据自身需查找的目标状态特征去调度环境获取当t)＝0；标志着调度结束。中间层动作空间Af由F个工厂组成，每个工件可分配给任何工厂进行加[0129]状态转换机制则是根据一定判断条件将状态空间中的状为当前时刻的t时刻的当前顶层状态特征，并由顶层智能体根据当前状态特征确定工件决[0154]在本实施例中，顶层仅需根据自身当前状态特征s:即可做出当前决策a',接着将间层的状态特征s",独立的进行决策并将决策信息af传递给底层，底层在接收到全部的决决策信息(a;',af,at"),并对环境进行一次状态转移，得到下一个时刻的状态s:和rt，重复上[0156]示例性地，参照图4示出的一个2×3×3的分布式柔性作当前顶层网络参数对所述顶层状态特征进行处理，得到t+1时刻所述顶层智能体对应的动标志着调度结束。中间层动作空间Af由F个工厂组成，每个工件可分配给任何工厂进行加顶层当前的在线网络参数对处理得到t+1时刻顶层的动作a',其中，再通过a;:从环境中获取中间层的对中间层进行重复的操作来获取底层的,",从而完成预决策处理。[0171]进一步的，在进行预决策处理完成后，缓冲控制器分别把每层对应的经验元组(s:,a',r,s),(s,",af,r,s⃞),(s,",a",r,s)存入对应的经验缓冲区，经验缓冲区用于供智能体在需要更新参数的时候均匀地从其对应的经验缓冲区中抽取样本来进行集中训[0178]作为一可选实施方式，下面给出基于上述集中训练逻辑所设置的伪代码执行逻Q(s,,argmax。⃞,Q((s,an;0):0')为最大Q值，st+1为智能体在t+1时刻的当前状态特征，[0194]示例性地，图6为在2×6×10的分布式柔性作业车间调度系统实例上的训练曲线式柔性作业车间调度系统中的至少一个处理器执行，以实现上述方法的实施例的流程步学习和多层智能体的分布式柔性作业车间调度程序被处理器执行时实现如上实施例所述的基于双深度强化学习和多层智能体的分布式柔性作业车间调度方[0198]其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read_Only在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指[0202]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设