CN119396555A 计算资源动态分配方法、装置、电子设备及存储介质 （中国平安财产保险股份有限公司）

层2获取预构建的资源调度者集群，对所述资源调度者集群进行初获取所述资源调度者集群中每个节点的状态信息，根据所述状态信息构建定义所述资源调度者集群的执行动作，根据所述执行动作获取预设的奖励函数，根据所述状态空间、所述动作空间及所在所述初始化调度者集群中的动作空间选取执行动作，获取利用所述动作选取模型计算所述执行状态的模型评根据所述初始评价值对所述执行状态进行迭代更新，直至迭代更计算所述更新状态对应的模型评价值，将所述模型评价值对应的执根据所述资源调度动作监测所述初始化调度者集根据所述梯度对所述模型参数进行更新，直至所述损失函数不大3初始环境建模模块，用于获取预构建的资源调度者集资源调度动作选取模块，用于利用预设的强化学习模模型优化模块，用于根据所述资源调度动作对所述强化学习模型进行模型优资源调度策略生成模块，用于根据所述目标调度模型计所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述理器执行时实现如权利要求1至7中任意一项所述的一种计算资源动态4[0001]本发明涉及人工智能技术及金融科技领域，尤其涉及一种计算资源动态分配方YARN(YetAnotherResourceNegotiator，另一种资源调度者)作为资源管理和调度的核[0003]YARN(YetAnotherResourceNegotiator，另一种资源调度者)默认采用的FIFO的利用率和计算任务的处理效率已经成为亟[0013]模型优化模块，用于根据所述资源调度动作对所述强化5[0026]图5是本发明一实施例提供的一种计算资源动态分配的电子设备的另一结构示意6[0031]本发明实施例提供的计算资源动态分配方法，可应用在如图1的应用环境中，其[0032]参照图2所示，为本发明一实施例提供的一种计算资源动态分配方法的流程示意[0035]本发明实施例中，资源调度者集群是YARN(ApacheHadoopYARN，YetAnother7括esourceManager(RM)组件以及NodeManager(NM)组件，esourceManager(RM)组件是整个机器，每台机器上运行多个NodeManager以及多个负责存储HDFS(HadoopDistributed器上运行一个NodeManager和一个Data8[0047]本发明实施例中，强化学习模型可以是Q_Learning、DeepQ_Network(DQN)或化累积奖励，进而从初始化调度者集群中选择当前认为最佳的动作，即为资源调度动作；DeepQ_Network(DQN)是一种结合了深度学习和强化学习的算法，它使用深度神经网络来是通过Critic提供的即时反馈来指导Actor的策略更新，Actor_Critic方法这种方法结合体探索更多的状态_动作对，有助于发现更好的策略，但过多的探索可能导致学习过程缓[0053]进一步地，可以利用ε_greedy策略在初始化调度者集群中的动作空间中选取一9吗，超参数中可以包括学习率(LearningRate)：控制模型权重更新的步长，批次大小[0066]本发明实施例中，所述根据所述资源调度动作对所述强化学习模型进行模型优[0080]优选地，可以通过AdaGrad算法进行梯度对所述强化学习模型进行参数优化，其据每个参数的历史梯度信息动态调整学习率，AdaGrad算法的关键在于自适应地调整每个AdaGrad算法通过跟踪每个参数的梯度平方和来调整学习率，实现对每个参数的自适应调模模块101、资源调度动作选取模块102、模型优化模块103、以及资源调度策略生成模块[0093]所述资源调度动作选取模块102，用于利用预设的强化学习模型在所述初始化调[0094]所述模型优化模块103，用于根据所述资源调度动作对所述强化学习模型进行模[0095]所述资源调度策略生成模块104，用于根据所述目标调度模型计算所述资源调度处理器执行时以实现上述计算资源动态分配方法服务端侧的功能以实现上述计算资源动态分配方法客户端侧的[0139]计算机可读存储介质还可以存储至少一个计算机可执行程序/指令，计算机可执行程序/指令例如是计算机可读指令。计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓件产品/计算机程序产品，其中一个或多个计算机可执行指令被处理器运行时执行本技术包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(R