CN119493669A 一种基于深度强化学习的算力网络调度方法、装置及介质 （湘江实验室）

一种基于深度强化学习的算力网络调度方本发明公开了一种基于深度强化学习的算标调度模型信息包括M个目标资源调度模型；目标资源调度模型包括第一目标资源调度模型，明的算力网络调度方法能够基于深度强化学习2基于所述算力网络环境信息和初始调度模型信息，确定出标调度模型信息包括M个目标资源调度模型，所述目标资源调度模型包括第一目标资源调基于所述目标调度模型信息和所述算力网络环境信息，确定出目标判断所述目标调度模型信息中所有的目标资源调度模型中是否存在第一目标资源调对所述算力网络环境信息进行转换处理，得到算力网络空间状利用所述第一目标资源调度模型中的第一资源调度模型对所述算力网络空间状态信述第三子资源调度模型并行连接于所述第一子资源利用所述第一子资源调度模型对所述算力网络空间状态信息进行N次卷积处理，得到3信息进行第一次转换处理是基于所述第三子资源调度模型中的全连接神利用所述第三子资源调度模型对所述特征向量信息基于资源调度关系表对所述算力资源调度概率信息进行匹配筛选获取所述目标算力网络资源调度结果信息对应的算;4A利用所述第一目标资源调度模型中的第二资源调度模型对所述使用评估值进行误差对所述算力资源调度任务信息进行分解处理，得到目标调度任务信息基于所述目标调度任务信息中各所述目标调度任务的任务关基于基础调度模型信息对所述调度任务树中各所述任务节点进行模型调构建总优化目标，并基于所述总优化目标对所述目;i被调度到服务节点j第一确定模块，用于基于所述算力网络环境信息和初始调度模型信息第二确定模块，用于基于所述目标调度模型信息和5[0001]本发明涉及调度技术领域，尤其涉及一种基于深度强化学习的算力网络调度方学习的算力网络调度方法及装置，可基于深度强化学习方式来对算力网络资源进行调度，度模型信息包括M个目标资源调度模型；目标资源调度模型包括第一目标资源调度模型，6[0007]本发明第三方面公开了另一种基于深度强化学习的算力网络调度装置，装置包图2是本发明实施例公开的一种基于深度强化学习的算力网络调度方法的流程示图3是本发明实施例公开的一种基于深度强化学习的算力网络调度装置的结构示图4是本发明实施例公开的另一种基于深度强化学习的算力网络调度装置的结构7本发明所公开的原理和特征的最广范围相一致。度模型信息包括M个目标资源调度模型，目标资源调度模型包括第一目标资源调度模型，8[0022]可以理解的是，本发明实施例中所使用的计算机设备100可以是既包括接收和发明实施例描述的算力网络调度系统以及场景是为了更加清楚地说明本发明实施例的技术[0026]本发明公开了一种基于深度强化学习的算力网络调度方法及装置有利于提高算9根据实际需要设定，也可以是由系统根据生成信息的时间先后顺序进行从高到低设定的，其中表示epsilon衰减贪婪策略中的参数，一般是0到1之间的数值，rand(0,1)其中expert(s)表示专家经验策略，以来控制强化学习的策略和探索策略的权的强化学习模型引入专家经验的模式，但是还有一类基于策略的强化学习模型，主要以其中表示最终动作选择的概率，pexpert(s)表示专家动作输出的概率，判断目标调度模型信息中所有的目标资源调度模型中是否存在第一目标资源调利用第一目标资源调度模型中的第一资源调度模型对算力网络空间状态信息进利用第一子资源调度模型对算力网络空间状态信息进行N次卷积处理，得到第一利用第二子资源调度模型对第三状态特征信息进行卷积处理，得到算力参数信换处理是基于第三子资源调度模型中的全连接神选比较分析结果为可调度的算力资源时，确定该待处理比较分析结果为目标比较分析结获取目标算力网络资源调度结果信息对应的算;的评估值，Aim为使用第1个算力参数信息中第aa个算力资源的评估值，A,w为使用第2个A利用第一目标资源调度模型中的第二资源调度模型对使用评估值进行误差计算息中第aa个算力资源的评估值；AYS为使用第2个算力参数信息中第bb个算力资源的评估当未检测到历史调度数据时，对于用户预置的调度数据池中的任一调度经验数对所有调度训练数据进行克隆学习以构建第二资源[0071]需要说明的是，奖励函数值是利用预设的奖励函数对经过基础调度模型信息中的第一基础资源调度模型和第二基础资源调度模型对任务节点进源调度模型的模型参数进行调整，或对第一基础资源调度模型的逻辑控制规则进行调整，资源调度模型的模型结构为上文中介绍的目标资源调度模型的模型[0086]可见，实施图3所描述的算力网络调度装置有利于提高算力网络资源调度的效率判断目标调度模型信息中所有的目标资源调度模型中是否存在第一目标资源调[0088]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效利用第一目标资源调度模型中的第一资源调度模型对算力网络空间状态信息进[0090]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效利用第一子资源调度模型对算力网络空间状态信息进行N次卷积处理，得到第一利用第二子资源调度模型对第三状态特征信息进行卷积处理，得到算力参数信[0092]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效换处理是基于第三子资源调度模型中的全连接神[0094]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效获取目标算力网络资源调度结果信息对应的算;的评估值，Aim为使用第1个算力参数信息中第aa个算力资源的评估值，A,w为使用第2个A利用第一目标资源调度模型中的第二资源调度模型对使用评估值进行误差计算i被调度到服务节点j;;i被调度到服务节点ji任务点i;;;ii到服务节点jji在当前服务节点排序为u的容量，v表示服务节点j[0099]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效[0100]在又一个可选的实施例中，如图3所示，初始调度模型信息是基于以下方式得到[0101]可见，实施图3所描述的算力网络调度装置有利于提高算力网络中资源调度的效上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，存储介质包括只读存储器（Read_OnlyMemory，ROM）、随机存储器（RandomAccessMemory，RAM）、可编程只读存储器（ProgrammableRead_onlyMemory，PROM）、可擦除可编程只读存储器（ErasableProgrammableR