CN119200811B 基于能耗的异构计算系统任务处理方法、系统以及产品 （浪潮电子信息产业股份有限公司）

US2022308927A1,2022.0本发明公开了一种基于能耗的异构计算系过程中能够顺利完成的前提下确定的预选异构预选异构算力设备与各预先存储设备之间的各选存储设备下的不同组合关系确定的优化处理2获取当前训练任务的任务需求参数、异构计算系统下各异构选取与所述预选异构算力设备的数量相同的预选基于各预选异构算力设备与各预选存储设备之间的各组合关系和所述能耗确定最终中的预选异构算力设备和预选存储设备对应的子根据所述最终能耗对应的预选异构算力设备与预选存储设备的组合关系执行所述当将所述任务数据量与所述内存容量最小值进行相除处理确定所述异构算力设备的数根据所述异构算力设备的数量确定所述预选在各能耗中选取各所述预选异构算力设备对应的能耗最根据能耗优先级最高对应的目标能耗确定各预选异构算力设备对应的目标能耗最小选存储设备对应的子组合进行组合处理确定的组合关系和所述组合关系对应的能耗确定根据各预选异构算力设备与各预选存储设备的子组合建立当前第一组根据当前第一组合关系和所属当前第一组合关系对应的预选异构算力设备和预选存将所述初始值作为当前值，对各所述预选异构算力设备与各所述3根据所述第二组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设若所述第一能耗目标值小于所述第二能耗目标值，则保留所述对各所述预选异构算力设备与各所述预选存储设备对应的子组合进行组合处理确定第二若所述第一能耗目标值大于或者等于所述第二能耗目标值，则获取异构计算系统除所述预选异构算力设备之外的其将其他异构算力设备的一个异构算力设备更换至各所述预选异构算力设备中的一个在当前迭代次数下，对所述新的预选异构算力设组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二能耗目标值的步将其他存储设备的一个存储设备更换至各所述预选存储设备中的一个存储设备以生在当前迭代次数下，对所述预选异构算力设备与所述新的预合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二能耗目标值的步骤，直至所述迭代次数达到第二预设迭代次数时输出对应的组合关系和获取异构计算系统除所述预选异构算力设备和预选存储设备的组合关系之外的其他将其他异构算力设备和其他存储设备对应的第三组合关系添加至所述预选异构算力在当前迭代次数下，对所述第四组合关系作为新的第二组合关系组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定4获取所述预选异构算力设备和预选存储设备的组合关系内的目标异构算力设备和目将目标异构算力设备和目标存储设备对应的第五组合关系从所述预选异构算力设备在当前迭代次数下，对所述第六组合关系作为新的第二组合关系组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定获取所述组合关系中的当前预选异构算力设备对应的所述读取能将所述读取能耗和所述写入能耗进行均值处理确将所述当前训练任务的数据量与所述当前预选异构算力设备对应的预选存储设备的数量进行相除处理确定当前预选异构算力设将所述内存容量与所述第三能耗进行相乘处理得将所述计算复杂度与所述计算复杂度能耗进行相乘处理得将所述第四能耗和所述第五能耗进行加和处理得到所述当前预选异构算力设备对应将各所述预选异构算力设备的能耗目标值进行加和处理得到所述组合关系对应的能所述主机分别和各异构算力设备连接；其中，各所述异构算力设备所述主机，用于执行上述权利要求1至9任意一项所述的基于能处理器执行时实现权利要求1至9任一项所述基于能耗的异构计算系统任务处理方法的步5处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述的6[0002]在分布式训练过程中对应的能耗资源的消耗主要来自于异构计算系统内的异构[0003]常规的分布式训练任务对应的异构算力设备与存储设备之间的访问适配采用就[0005]本发明的目的是提供一种基于能耗的异构计算系统任务处理方法、系统以及产品，以解决常规分布式训练任务下分配的异构算力设备和存储设备之间的能耗增大的问[0006]为解决上述技术问题，本发明提供一种基于能耗的异构[0010]基于各预选异构算力设备与各预选存储设备之间的各组合关系和所述能耗确定[0011]根据所述最终能耗对应的预选异构算力设备与预选存储设备的组合关系执行所[0014]将所述任务数据量与所述内存容量最小值进行相除处理确定所述异构算力设备7[0021]根据能耗优先级最高对应的目标能耗确定各预选异构算力设备对应的目标能耗设备与各所述预选存储设备对应的子组合进行组合处理确定的组合关系和所述组合关系异构算力设备与各所述预选存储设备对应的子组合进行组合处理确定的组合关系和所述[0028]根据当前第一组合关系和所属当前第一组合关系对应的预选异构算力设备和预[0030]根据所述第二组合关系和所属第二组合关系对应的预选异构算力设备和预选存[0031]若所述第一能耗目标值小于所述第二能耗目标值，则保留所述当前第一组合关至所述对各所述预选异构算力设备与各所述预选存储设备对应的子组合进行组合处理确[0033]另一方面，在所述迭代次数达到第一预设迭代次数且未达到第二预设迭代次数[0035]将其他异构算力设备的一个异构算力设备更换至各所述预选异构算力设备中的8第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二能耗目标值[0038]将其他存储设备的一个存储设备更换至各所述预选存储设备中的一个存储设备二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二能耗目标值的[0040]另一方面，在所述迭代次数达到第一预设迭代次数且未达到第二预设迭代次数[0041]获取异构计算系统除所述预选异构算力设备和预选存储设备的组合关系之外的[0042]将其他异构算力设备和其他存储设备对应的第三组合关系添加至所述预选异构第二组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗[0044]另一方面，在所述迭代次数达到第一预设迭代次数且未达到第二预设迭代次数[0045]获取所述预选异构算力设备和预选存储设备的组合关系内的目标异构算力设备[0046]将目标异构算力设备和目标存储设备对应的第五组合关系从所述预选异构算力第二组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗[0048]另一方面，所述预选异构算力设备与所述预选存储设备之间的能耗包括读取能9[0051]将所述当前训练任务的数据量与所述当前预选异构算力设备对应的预选存储设[0054]将所述第四能耗和所述第五能耗进行加和处理得到所述当前预选异构算力设备[0055]将各所述预选异构算力设备的能耗目标值进行加和处理得到所述组合关系对应[0060]为解决上述技术问题，本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述基于能耗的异构计算系统任务处理方法[0061]为解决上述技术问题，本发明还提供一种基于能耗的异构计算系统任务处理装算力设备与预选存储设备呈现匹配一一对应的关系，满足当前训练任务的分布式训练场最终能耗对应的预选异构算力设备与预选存储设备的组合关数之和的情况下对应于最小能耗参数的目标存储设备作为当前预选异构算力设备的预选效率。各预选异构算力设备和各预选存储设备之间的子组合进行组合处理得到的组合关如上述基于能耗的异构计算系统任务处理方[0070]图2为本发明实施例提供的一种基于能耗的异构计算系统任务处理方法的流程[0071]图3为本发明实施例提供的一种各预选异构算力设备与各预选存储设备之间的各[0073]图5为本发明实施例提供的一种基于能耗的异构计算系统任务处理设备的结构[0074]图6为本发明实施例提供的一种基于能耗的异构计算系统任务处理装置的结构[0076]本发明的核心是提供一种基于能耗的异构计算系统任务处理方法基于能耗的异[0078]异构计算主要指使用不同类型指令集和体系架构的计算单元组成系统的计算方[0079]为了解决神经网络训练的问题，将不同的异构算力设备接入[0080]图1为本发明实施例提供的一种分离式内存场景下的异构计算系统的架构图，如[0081]图2为本发明实施例提供的一种基于能耗的异构计算系统任务处理方法的流程[0085]S14：基于各预选异构算力设备与各预选存储设备之间的各组合关系和能耗确定[0086]S15：根据最终能耗对应的预选异构算力设备与预选存储设备的组合关系执行当[0088]步骤S12中的依据任务需求参数确定预选异构算力设备，这里对应的预选异构算[0089]步骤S13中的选取与预选异构算力设备的数量相同的预选存储设备，这里可以是最小的存储设备作为当前预选异构算力设备初步匹配[0092]获取各异构算力设备读取各存储设备的预设数据量对应的当前读取能耗以及静[0101]步骤S14中的预选异构算力设备与预选存储设备之间的各个组合关系，需要说明3C为一个子组合。图3为本发明实施例提供的一种各预选异构算力设备与各预选存储设备[0104]步骤S15中的根据选定的最终能耗对应的预选异构算力设备和预选存储设备之间需求参数确定预选异构算力设备；选取与预选异构算力设备的数量相同的预选存储设备；最终能耗对应的预选异构算力设备与预选存储设备的组合关系执行当前训练任务。首先，预先存储设备之间的各个组合关系以及能耗确定最终能耗，利用能耗优化处理的能耗特异构算力设备的目标存储设备，使之实现一个预选异构算力设备与一个预选存储设备对[0119]本实施例提供的基于不同能耗参数之和的情况下对应于最小能耗参数的目标存[0122]根据能耗优先级最高对应的目标能耗确定各预选异构算力设备对应的目标能耗[0128]在异构计算系统中随机选取与预选异构算力设备的数量相同的存储设备作为预一个组合中的预选异构算力设备和预选存储设备对应的子储设备对应的子组合进行组合处理，各个子组合以及对应大的组合关系已经在图3中进行个子组合构成且同一个大的组合关系中对应的预选异构算力设备和预选存储设备的子组[0135]本实施例提供的各预选异构算力设备和各预选存储设备之间的子组合进行组合合关系下的预选异构算力设备和预选存储设备之备与各预选存储设备对应的子组合进行组合处理确定的组合关系和组合关系对应的能耗[0138]根据当前第一组合关系和所属当前第一组合关系对应的预选异构算力设备和预[0140]根据第二组合关系和所属第二组合关系对应的预选异构算力设备和预选存储设并将迭代次数加1，返回至对各预选异构算力设备与各预选存储设备对应的子组合进行组算力设备组成的子组合关系。根据当前第一组合关系下对应的能耗确定第一能耗目标值。输出迭代后的组合关系和最终能耗。[0153]此时接受概率为第二优化目标值与第一优化目标值进行差值处理得到优化目标[0159]将其他异构算力设备的一个异构算力设备更换至各预选异构算力设备中的一个数达到第二预设迭代次数时输出对应的组合关系和[0162]将其他存储设备的一个存储设备更换至各预选存储设备中的一个存储设备以生达到第二预设迭代次数时输出对应的组合关系和算力设备中的一个异构算力设备更换至各预选存储设备对应的子组合中进行组合处理确[0167]本实施例中提供的针对于其他异构算力设备的一个异构算力设备更换或者其他[0169]获取异构计算系统除预选异构算力设备和预选存储设备的组合关系之外的其他[0170]将其他异构算力设备和其他存储设备对应的第三组合关系添加至预选异构算力关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二异构算力设备和预选存储设备的子组合关系形成的组合关系全部排布组合完毕后达到的统除预选异构算力设备和预选存储设备的组合关系之外的其他异构算力设备和其他存储设备对应的第三组合关系，将第三组合关系添加至原有的组合关系中组成第四组合关系，[0174]获取预选异构算力设备和预选存储设备的组合关系内的目标异构算力设备和目[0175]将目标异构算力设备和目标存储设备对应的第五组合关系从预选异构算力设备关系和所属第二组合关系对应的预选异构算力设备和预选存储设备之间的能耗确定第二关系下的预选异构算力设备和预选存储设备的子组合关系形成的组合关系全部排布组合取预选异构算力设备和预选存储设备的组合关系内的目标异构算力设备和目标存储设备[0178]本实施例提供的在原有的组合关系中加入新的其他异构算力设备和存储设备对[0179]在一些实施例中，预选异构算力设备与预选存储设备之间的能耗包括读取能耗、[0182]将当前训练任务的数据量与当前预选异构算力设备对应的预选存储设备的数量进行相除处理确定当前预选异构算力设备对应[0185]将第四能耗和第五能耗进行加和处理得到当前预选异构算力设备对应的能耗目[0189]其中，ECY为第i个预选为第五能耗，为第i个预选异构算力设备在第i个预选存储设备进行的读取[0191]本实施例提供的当前组合关系下对应的能耗目标优化值[0192]进一步地，图4为本发明实施例提供的一种分离式内存的异构计算系统的任务执后，通过这两个过程的异构计算系统能耗之差，获取异构算力A往内存部件X写入或读取于处理一定数量计算复杂的所需要的能耗，这可以通过使用工具让异构算力执行计算任D2，数据可以根据分布式训练任务信息收集模块所收集的信息获取。Dx在My上读取、写入单位[0211]首先根据异构计算系统中内能耗；EW,u,为第i个预选异构算力设备在第i个预选存储设备进行的写入能耗，当前组合关系中是对应的一个子组合下在当前组合关系的