版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(12)发明专利学花溪北校区科技处(72)发明人干雪梅李少波张钧星张安思左颖一种基于深度强化学习的作业车间自适应logpro(A)ologpro(A)obuffer8本发明公开了一种基于深度强化学习的作神经网络与原始状态信息的分层非线性细化相效探索和异步更新近端策略优化算法具有高级鲁棒性,调度得分比近端策略优化算法提高5.6%,最小完成时间比深度Q网络算法降低8.9%。实验结果证明了所提出的自适应调度策21.一种基于深度强化学习的作业车间自适应调度方法,其特征在于:该方法包括以下(1)构建作业车间调度问题的调度函数模型:设有以n个作业和m台机器,每个作业包括件b在M机器上的开始处理时间,一个工件在它最后一个工序完成之后就全部完成,所有的调度目标都取决于所有工件的完成时间;最小化最大完工时间的目标函数对应调度的长度;作业车间调度问题的调度函数模型定义为:其中,M是一个极大值,b=1,2……n;h,k=1,2……,m;Ck完成时间;t6,k表示工件b在机器M上的处理时间;Ch表示工件b在M机器上的实际完成时其中,M是一个极大值,a,b=1,2……n;k=1,2完成时间,Ck表示工件b在M机器上的实际完成时间;ta,k表示工件a在机器M.上的处理时式(1)是使所有工件完成时间最小的总目标函数;公式(2)-(3)是调度过程的约束条件;公式(2)表示工件b在机器h上先于机器k处理,公式(3)表示工件b在机器k上加工先于工件a;(2)在近端策略优化算法引入优化策略和异步更新机制后形成直接高效探索和异步更新近端策略优化算法;(3)将图神经网络与原始状态信息的分层非线性细化相结合,并基于步骤(2)直接高效探索和异步更新近端策略优化算法,给出一种端到端的深度强化学习方法;(4)基于步骤(3)端到端的深度强化学习方法对步骤(1)作业车间进行自适应调度决直接高效探索和异步更新近端策略优化算法的步骤如下:(2.2)生产环境的马尔科夫过程建模,设计环境状态(st),动作集合(a),奖励值(r);3(2.3)对1-N轮调度训练;对该轮训练中的1-J步;感知状态s,基于动作策略选择动作a;获得即时奖励r和下一状态st+1;收集以上的参数{st,rt,a}到经验池,判断该轮调度是(2.4)调度完成后,通过将经验池数据输入C网络,评估该轮训练的优势函数(2.5)反向传递更新C网络w←∑min(y-Qo₁(s,a))²;2.根据权利要求1所述的一种基于深度强化学习的作业车间自适应调度方法,其特征在于:动作策略采用新型探索策略3.根据权利要求1所述的一种基于深度强化学习的作业车间自适应调度方法,其特征其中x,y分别表示目标值与预测值,在误差接近0的区域使用目标值和预测值之差的平方的平均值,在误差远离0的区域使用目标值和预测值之差的绝对值的平均值。4.根据权利要求1所述的一种基于深度强化学习的作业车间自适应调度方法,其特征5.根据权利要求1所述的一种基于深度强化学习的作业车间自适应调度方法,其特征4技术领域[0001]本发明属于作业车间自适应调度技术领域,涉及一种基于深度强化学习的作业车间自适应调度方法。背景技术[0002]随着信息技术在制造业中的发展,智能制造和可重构制造应运而生。作业车间调度问题由于能够最优地分配有限的资源,提高生产效率而备受关注。JSSP本质上是一个组合优化问题,传统上区分精确算法(数学方法)和近视算法方法。解决JSSP的精确算法主要基于运筹学产生,如数学规划法,拉格朗松弛法以及分支界限法等。这些方法从理论上可以得出最优解。然而因为该方法需要精准的建模和大量的计算,所有多数还停留在理论层面而不能应用于实际生产。[0003]为了解决这一问题,许多学者将目光转移到了近似算法,如优先规则或元启发式算法。这些优先规则,如先进先出(FirstInFirst,FIFO)、最长处理时间(Longest处理时间(MostWorkRemaining,MWKR)等,计算速度更快,自然能够处理实践中的不确定性,但容易短视而陷入局部最优,难以获得全局最优解。当调度规模扩大时会导致调度解得质量下降。学者也提出了许多基于领域知识的复合规则,表现出了良好的调度性能。设计一个有效的复合调度规则需要大量的先验知识和大量的时间。在元启发式算法方面,有许多的群智能算法,如遗传算法、粒子群算法和蚁群算法等。这些算法通过不断的探索和迭代可以获得相对较优解。然而,元启发式和优先规则面临的相同问题是,一旦调度问题的规模发生变化,调度方案即不适用需要重新运算求解,在大规模生产下,难以想象将生产资源停工长时间甚至几个小时等调度方案。[0004]为了寻求时间成本和算法质量之间的平衡,强化学习(reinforcementlearning,RL)被提出来训练调度模型,并在实际调度案例中获得了许多成功的应用。还有两个问题需规则作为动作空间,由于工作顺序的选择回到了规则的选择,必然会耗费更多的时间。[0005]许多学者将强化学习(reinforcementlearning,RL)应用于调度策略的研究,为作业车间调度的高效决策提供了新的途径和方向。强化学习(reinforcementlearning,RL)是不需要预先准备标签数据的无监督学习。在标签数据难以收集和获取的情况下,具有独特的优势。作业车间可以看作是一个类似的场景,其中代理根据当前车间状态选择操作。车间调度过程可以转化为如图1所示的马尔可夫决策过程(Markovdecisionprocess,[0006]RL在调度中的应用主要可以分为以下四类。首先,将强化学习(reinforcementlearning,RL)与启发式算法相结合,通过优化算法参数来提高算法性能;其次,将强化学习(reinforcementlearning,RL与优先级规则相结合,将规则集合设计为动作空间;强化学习(reinforcementlearning,RL)用于在每个调度点上寻找最优规5三,将工件加工的工序直接设计为动作空间。强化学习(reinforcement选择每个调度点上的工序,即得到最优解。最后,将机器ID或传输材料定义为智能体(agent)选择的动作空间。上述类别通常对应于强化学习(reinforcementlearning,RL)的[0007]本发明提出了基于作业车间调度问题(Jobshopschedulingproblem,JSSP)的直接高效探索和异步更新的近端策略优化算法(explicitexplorationandasynchronousupdateproximalpolicyoptimi工时间为优化目标。本文的主要工作如下:(1)通过设计一种动态优化谈索策略和异步更新机制,构建直接高效探索和异步更新近端策略优化算法(explicitexplorationandasynchronousupdatep产状态和动作概率分布的映射关系以获取最优工序序列。(2)针对不同的生产状态,特别是不同的算例规模,构建了一种自适应调度方案。(3)建立实时调度系统,实现离线训练和在线执行;该系统能够分配训练有素的模型来应对不确定的车间环境,以提高调度效率。(4)数值实验结果证明了所提出的直接高效探索和异步更新近端策略优化算法(explicitexplorationandasynchronousupdaE2APPO)的有效性和通用性。发明内容[0008]本发明要解决的技术问题是:提供一种基于深度强化学习的作业车间自适应调度方法,以解决现有技术中存在的技术问题。[0009]本发明采取的技术方案为:一种基于深度强化学习的作业车间自适应调度方法,该方法包括以下步骤:[0010](1)构建作业车间调度问题的调度函数模型:设有以n个作业和m台机器,每个作业包括m个不同的工序,在作业车间调度中,n个作业J={J₁,J₂……,J}必须在m台机器m={M₁,M₂……,M}上按照预先知道的不同顺序进行处理,设0k,₆表示为工件b第k个工序,每个工序0k,都必须在特定的时间段内在特定的机器上执行,工件b在机器M上的处理时间用t₆,k标记,tb,k是预先确定的,工件b在M机器上的实际完成时间用Cb,k表示,它等于A₆,k+t6,k,,其中A₆,k表示工件b在M机器上的开始处理时间,一个工件在它最后一个工序完成之后就全部完成,所有的调度目标都取决于所有工件的完成时间;最小化最大完工时间的目标函数对应调度的长度;作业车间调度问题(Jobshopschedulingproblem,JSSP)的调度函数模型定义为:实际完成时间;t6,k表示工件b在机器M上的处理时间;C表示工件b在M机器上的实际完成时间;ybhk表示条件函数如(4),若工件b在机器h上加工先于机器k,ybhk等于1,否则等于0.6决策。[0028]其中x,y分别表示目标值与预测值,在误差接近0的区域使用目标值和预测值之[0032]A网络和C网络更新采用异步更新机制:K=2表示在C网络更细2次后A网络更新1算法提高5.6%,最小完成时间比传统深度Q网络算法降低8.9%。实验结果证明了所提出的自适应调度策略的有效性和通用性;7为最佳动作,如式(8)所示。该方法减少了无意义的搜索,增强了搜索方向和小尺度遍历。该策略可以更快地学习最优调度策略,更适合车间的动态复杂性、可变性和不确定性;[0036]3)评估了优势函数,并引入了一个延迟策略,形成了C网络和A网络之间的异步更新机制。异步更新机制减少了A网络错误的更新,因为A网络的更新速度比批评网络慢。这样的优点可以避免不必要的重复更新,减少重复更新的累积误差。K为AC网络间的更新延迟系[0037]4)使用的光滑损失函数,而不是均方误差损失函数;该损失函数对异常值不敏感,并保证稳定性。在作业车间调度中,空间值的探索不可避免地会出现离群值。由光滑损耗函数生成的模型更适用于复杂制造,具有更好的鲁棒性,能够适应不同的调度情况。为了使模型性能最大化,神经网络采用的激活函数,它可以看作是介于线性函数和Relu函数之间的平滑函数,结合了两者的优点。该激活函数比Relu激活函数有更好的性能。附图说明[0038]图1为生产调度的马尔科夫链示意图;[0039]图2为基于PPO2的算法流程图;[0040]图3为基于E2APPO的实时调度系统图;[0041]图4为ε-greedy策略和softmax策略的收敛对比图;[0042]图5为不同ε参数的收敛对比图;[0043]图6为不同k系数下的收敛对比图;[0044]图7为E2APPO和GA算法对比图;[0046]图9为E2APPO对大规模算法的泛化测试图;[0047]图10为E2APPO和基础PPO的调度得分图;[0048]图11为E2APPO和MDQN在训练稳定上的对比图。具体实施方式[0049]下面结合具体的实施例对本发明进行进一步介绍。[0050]实施例1:如图1-11所示,一种基于深度强化学习的作业车间自适应调度方法,该方法包括以下步骤:[0051]正确的加工顺序和工序调度对车间最大化生产力而言至关重要。作业车间调度问题可以看作是一个序列决策问题。调度的目标是确定每台机器上各个工序的处理顺序和每个工序的开始时间,以最小化最大完工时间。[0052]为了便于建模,为这个问题约定了几个预定的约束。这些约束与现有技术中的方法相同,如下所示:(1)提前知道同一工件不同工序的顺序关系和加工时间;(2)每台机器一次最多只能进行一个操作;(3)每次操作只能在一台机器上进行;(4)任何已经开始的加工都应连续进行,不中断,直至完成;(5)不同工件的工序之间没有顺序约束;(6)所有工件在0时刻到达可用。[0053](1)构建作业车间调度问题的调度函数模型:设有以n个作业和m台机器,每个作业包括m个不同的工序,在作业车间调度中,n个作业J={J₁,J₂……,J}必须在m台机器m=8工序0k,都必须在特定的时间段内在特定的机器上执行,工件b在机器M.上的处理时间用[0063]采用的算法是改进传统的近端策略优化算法(proximalpolicyoptimization9化算法引入贪婪策略和异步更新方法后形成直接高效探索和异步更新近端策略优化算法,[0072](2.2)生产环境的马尔科夫过程建模,设计环境状态(st),动作集度是否完;[0074](2.4)调度完成后,通过将经验池数据输入C网络,评估该轮训练的优势函数[0075](2.5)反向传递更新C网络w←∑min(y-Qo₁(s,a))²;程(Markovdecisionprocess,MDP)框架用5元组<S,a,P,r(S,a),γ来描述环境,S表示环前状态转换到当前状态的概率。回报r(s,a)代表在状[0094]作业车间调度很适合转化为马尔可夫决策过程。智能体(agent)观察车间调度状[0095](1)基于图神经网络(GraphNeuralNetworks,GNN)方法的作业车间状态特征提11取[0096]车间调度状态可以用选取图表示,选取图提供了一个综合的视图,包括每台机器上的加工时间、预约束序列。在车间调度的决策点表示为一个析取图G=(N,A,E),节点N描述全部工件所有工序的集合,包括开始和结束虚拟节点,N=0U{0s,0}={0s,01,1,...,01,v₁…,0n,1…0n,vn,0e};连接弧集A表示同一工件的所有工序的集合,对于每个节点A包含有向边0(j,k)→0(j,k+1);析取集合E反映了无向弧,每一弧连接一对需要同一台机器进行处理的工序。因此,为作业调度实例寻找解决方案与确定每个分离点的方向是一样的,从而产生有向无环图(DAG)。在析取图中最小化最长路径恰好是最大完工时间最小化的最优解。[0097]基于图神经网络(GraphNeuralNetworks,GNN)方法是提取析取图特征,并作为输入又更新析取图的有效方法。基于空间域的方法通过邻域采样、目标节点与邻域节点之间的相关性计算、接收到的消息聚合单个向量来表示车间状态获取特征。以G=(N,A,E)为例,使用图神经网络(GraphNeuralNetworks,GNN)对每个节点进行迭代以获得多维嵌入,第k次迭代的更新方程描述为公式(11)。单一启发式规则仅根据单个属性作为调度序列的基础。它只考虑了局部信息,在不同的情况下会产生不同的调度性能。相比之下,图神经网络(GraphNeuralNetworks,GNN)方法提取的特征是基于原始数据的,可以更好地表达当[0100](2)作业车间中智能体的动作空间建模[0101]A表示在每个调度点上可以选择的动作集合。在车间调度领域中,动作空间一般是指可以执行的操作或启发式规则。此外,还有一些不同的形式,如设备设置和参数选择。在本发明中,将工序设计为动作空间。选择0∈A作为决策步骤t的动作,假设每个工件在t时刻只能有一个可加工工序,那么动作集的大小等于工件的数量,随着工件的完成而减小。[0102](3)作业车间中智能体执行动作的奖励建模[0103]奖励函数本质上是为了引导智能体(agent)获得最大的累积奖励。我们的代理目标是在最优调度策略下最小化最大完工时间CmaxCmax是所有作业的最大完成时间,与整个进度表的范围相同。奖励函数定义为公式(12),其中r(a,s)表示智能体在执行动作a后得到的奖励值,也是状态s与状态s(t+1)之间的值差,最大化即时奖励的累积与最小化完成时间的效果一致。奖励设计是生产调度成功的关键,本发明将完工时间作为生产调度中最关键的因素。[0104]r(a,st)=T(s)-T(st+1)[0105]其中,T(s)表示s状态下的完成时间,T(st+)表示下一状态的完成时间。[0106]实例仿真:建立了一个实时调度系统来验证算法的性能,并在系统下进行了算法测试和比较。首先建立了具有深度强化学习算法模型的实时调度系统,以增强生产车间的即时调度能力。训练和测试过程的参数优化和设置将在后面介绍。然后,将提出的直接高效探索和异步更新近端策略优化算法与经典启发式算法以及其他可信调度规则的性能进行了比较。为了进一步验证所提出的自适应调度策略的优势,还将直接高效探索和异步更新近端策略优化算法与其他两种采用强化学习训练的方法进行了比较。对比实验结果验证了所提出的自适应调度策略的有效性和通用性。CN114707881B说明书9/13页[0107]基于该方法的作业车间实时调度系统:实时性是基于深度强化学习的车间生产调度系统与传统调度算法的显著区别。我们的目的不仅是开发一个适用于小型实例的高级解决方案,而且还需要找到一个解决方案,该解决方案可以快速地在大规模的最佳情况下获得近似的解决方案。本发明提出的系统如图3所示。一方面,系统可以利用历史数据或仿真数据来描述作业车间的状态,并提前对模型进行离线训练,然后将训练好的模型存储起来供以后使用。另一方面,系统可以通过车间实时传感技术或物联网技术来评估作业车间的当前状态,然后选择训练良好的模型进行实时调度。同时,训练后的模型对于调度不同大小的实例具有较强的泛化能力,避免了再训练的时间消耗,与传统方法相比,具有实时调度性[0108]实验参数:培训过程在上述调度系统下进行;在1-99范围内随机生成各种大小的训练实例的工序加工时间和机器任务分配。实验表明,10000次训练轨迹后可以达到收敛。提议的直接高效探索和异步更新近端策略优化算法运行在具有Intel酷睿i7-6700@4.0GHzCPU、GEFORCERTX2080TiGPU和8gbRAM的计算机上。表1显示了训练过程的参数。在每一轮的训练中随机生成新的实例,提高了直接高效探索和异步更新近端策略优化算法在训练过程中的通用性,类似于复杂的制造环境。在每个训练阶段之后,在一个验证实例上测试训练过的直接高效探索和异步更新近端策略优化算法,以评估训练过的模型的有效性。表1算法在训练中的参数设置参数名称值训练次数裁剪系数∈创新探索策略参数ε学习率1r2折扣因子γ1GAE参数λ创新探索策略集中了随机策略和确定性策略的优点。与索策略可以避免陷入局部最优;另一方面,与随机策略相比,创新探索策略具有更精确的勘探方向,防止无意义的勘探和消费。图4为创新探索策略和softmax策略在训练过程中的收敛情况。创新探索策略的奖励曲线基本高于其他策略,说明创新探索策略的累计奖励值大于softmax。创新探索策略的性能优于Softmax策略在过程中寻找行动空间。有逐渐增大的趋势。在大约3000回合后,ε=0.1曲线已经到达顶部,ε的最优值为0.1。[0113]在延迟更新机制中,参数K表示行动者网络相对于批评网络的延迟更新频率。从1-3中选取K倍数的最佳值。为了更好地显示在不同系数K下的收敛性,本实验的训练次数扩大到16000次。如图6所示,K=1和K=2时的收敛曲线始终较高。K=1在训练阶段开始时处于较以得出,系数K=2的异步更新策略相对于K=1而言,使整个训练稳定下来,并在训练后期收敛到最高点。[0114]性能指标和测试数据集:对于本发明,目标是找到一个调度方案,使最大完工时间最小化。为了对各种调度方法进行综合评价,如式(13)所示,性能评分代表了不同方法得到的最小makespan与最优方案(OR-Tools)之间的差距。表现分数越高,说明该方法越有效。[0115]性能分数=(1-(T;-Tbest)/Tbest)*100%(13)problem,JSSP)数据集和生成的实例;从公共基准中选取了近90个案例。其中,中小规模的Y.-L.Chih,andH.-T.Chiu(2019)SmartManufactuComputingUsingMulticlassDee4276-4284”进行比较。采用文献“C.Zhang,W.Song,Z.Cao,J.Zhang,P.S.Tan,andC.Xu(2020)LearningtoDispaLearning.NeurIPS1:1[0118]与启发式算法的比较:为了证明本发明提出的直接高效探索和异步更新近端策略优化算法相对于启发式算法的优越性,将其与文献“Y.ZhanandC.Qiu(2008)GeneticalgorithmapplicationtoInt.Conf.MechatronicsAutom.ICMA2008”中的遗传算法(GA)进行了比较。选择了几个常用的高性能优先级规则来比较文献“V.Sels,N.Gheysen,andM.Vanhoucke(2012)Acomparisonofpriorityrulesforthejobshopschedulingproblemunderdifferentflowtime-andtardiness-relatedfunctions.Int.J.Prod.Res.50(5):4255-4270”。遗传算法对于解决JSSP问题具有良好的性能;缺点是它需要在遇到不同的作业车间调度问题(Jobshopschedulingproblem,JSSP)实例时进行解决,并且再次花费大量时间。[0119]对于15*15的尺度,选择了25个例子与遗传算法(GA)进行比较。如图7所示,本发明方法在15种情况下优于遗传算法,在5种情况下等于遗传算法,在其余5种情况下略低于遗传算法。由以上结果并结合图8可以看出,直接高效探索和异步更新近端策略优化算法与遗传算法(GA)相比在质量上并没有绝对优势。直接高效探索和异步更新近端策略优化算法的主要优点是可以在不同大小的情况下获得近似优秀的结果,而无需重新训练,在大尺寸的实例中具有明显的优势。[0120]对比的优先规则如下所示。[0121]最短处理时间(SPT):选择处理时间最短的下一个操作;[0122]先进先出规则FIFO(FirstInFirstOut):选择最早到达的作业的下一个操作。[0123]最长处理时间(LPT):选择下一个处理时间最长的操作[0124]MOPR(MostOperationRemaining):剩余操作最多的作业先处理。[0125]大部分剩余工作(MWKR):最高优先级给予属于该工作的操作,该操作需要完成的总处理时间。[0126]流程截止日期与大部分剩余工作的最小比例(FDD):截止日期越早的任务优先级[0127]表2优先规则与E2APPO在不同算例下的求解(算例)(最优值)610(97.1)[0129]调度规则与直接高效探索和异步更新近端策略优化算法的比较如表2所示。在25个测试算例中,直接高效探索和异步更新近端策略优化算法在18个案例中优于规则的调度解,有72%的超过率,说明直接高效探索和异步更新近端策略优化算法优于规则调度。为了证明直接高效探索和异步更新近端策略优化算法在泛化能力方面的优势,从benchmark中选取70个大规模算例,对训练良好的30*20尺度模型进行泛化性测试,并将结果的平均值与已知的规则进行比较。如图9所示,直接高效探索和异步更新近端策略优化算法的曲线始终在左下角。与已知规则相比,30*20模型还可以快速求解相似尺度的最优值。直接高效探索和异步更新近端策略优化算法具有较强的泛化能力和自适应性能,更适合复杂和不确定的生产环境。[0130]与现有强化学习(reinforcementlearning,RL)调度算法的比较:为了进一步确认直接高效探索和异步更新近端策略优化算法,E2APPO)相对于传统强化学习算法的优势,选择基本近端策略优化算法(proximalpolicyoptimizationalgorithm,PPO)和深度Q网络算法(deepQ-network,DQN)算法进行比较。首先可以观察到,本发明提出的调度算法可以进一步提高基本近端策略优化算法(proximalpolicyoptimizationalgorithm,PPO)数提高了5.6%,体现了异步更新和策略的效果。同时,表3给出了几种知名规则、改进的深最好的值用粗体表示;与改进的深度Q网络算法(modifieddeepQ-network,MDQN)相比,所有实例的完成时间均显著减少,平均减少8.9%。每个实例的结果及其平均值表明了直接高效探索和异步更新近端策略优化算法的优越性。由图11可以看出,直接高效探索和异步更新近端策略优化算法训练分布均匀,在考虑个体实例结果的稳定性方面具有明显的优势。[0131]表3MDQN和E2APPO在DMU算例上的对比(算例)[0134]仿真结论:针对作业车间调度问题,提出了一种直接高效探索和异步更新近端策略优化算法,该算法采用动态贪婪搜索策略和异步更新机制,以最小化总完成时间。提出的搜索策略提高了搜索效率,避免了不必要的搜索,异步更新机制使参与者网络更新更加稳定。行动者网络根据环境状态自适应地选择当前的操作。基于所提出的直接高效探索和异步更新近端策略优化算法,在实时调度系统中提出了一种自适应调度策略,包括离线训练和在线实现。自适应调度策略提高了对复杂车间环境的适应性。结果表明,训练良好的基于直接高效探索和异步更新近端策略优化算法的模型在不同尺度上具有比启发式算法更好的泛化性能,能够在调度质量和调度速度之间实现最优平衡。[0135]通过对大量的实例进行数值实验,包括众所周知的基准和随机生成的实例作为实际制造的真实再现,验证了所提出的直接高效探索和异步更新近端策略优化算法的优势。通过与启发式算法的比较,验证了直接高效探索和异步更新近端策略优化算法的优越性,特别是在不同尺度下的泛化性能。与现有的强化学习算法相比,直接高效探索和异步更新近端策略优化算法达到了我们的目的。[0136]综上所述,在现代多变复杂的制造业中,传统的调度方法由于响应时间的限制,已经不能满足高效率的要求。为此,在近端策略优化算法(proximalpolicyoptimizationalgorithm,PPO)中设计优化的动作策略和异步更新机制,形成直接高效探索和异步更新近端策略优化算法(explicitexplorationandasynchronousupdateproximalpolicyoptimizationalgorithm,E2APPO),结合了探索方向更明确、训练过程更稳定的优点。基于直接高效探索和异步更新近端策略优化算法(explicitexplorationandasynchronousupdateproximalpolicyoptimizationalgorithm,E2APPO),将图神经网络与原始状态信息的分层非线性细化相结合,设计了一种端到端的强化学习方法。在此基础上,我们实现了一个自适应调度系统,该系统由两个子系统组成:一是离线系统,对训练好的模型进行提前训练和存储;二是实时调用模型的在线系统。在该系统下,对训练后的直接高效探索和异步更新近端策略优化算法(explicitexplorationandasynchronousup
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初一年级心理健康教育课《你好新生活》教学设计
- 小学五年级德育教学设计《我爱我班 团结互助-共建温暖班集体》
- 初中九年级物理比热容的应用及计算教学设计
- 初中人文地理七年级下册乡村聚落空间演变教学设计
- 小学三年级书法《短捺》教学设计
- 初中七年级音乐唱脸谱教学设计
- 九年级生物教学设计:神经调节与人体运动专题复习
- 初中七年级英语Understanding ideas语法项目教学设计
- 八年级综合实践活动《制作风力发电机》教学设计:基于工程思维的清洁能源探究实践
- 小学三年级英语“Starter-Unit英汉互译背默清单”单元复习教学设计
- (一模)温州市2027届高三第一次适应性考试英语试卷(含答案解析)
- 2026年社区工作者公开招聘考试试题(含详细答案解析)
- 陕西环保集团招聘笔试题库
- 2026年华东理工大学辅导员招聘笔试试题(附答案)
- 铁路驻站联络员应知应会培训
- 原材料进场验收监理细则
- 学院专升本报名工作方案
- 木屋研学设计体系构建与实践
- 世界卫生组织《老年整合照护手册:初级保健中以人为本的评估和路径指南》(第二版)解读
- 2026中国土地二级市场规范化发展路径报告
- 对外投资合作国别(地区)指南 2025 利比里亚
评论
0/150
提交评论