CN119440542A 一种模型训练的方法、装置、电子设备及可读存储介质 （上海燧原科技股份有限公司）

自由贸易试验区临港新片区业盛路选计算图进行编译，生成模型训练的可执行文2根据所述计算图内存分析结果以及模型训练执行器的剩余运行2.根据权利要求1所述的方法，其特征在于，根据模型训练的训练脚本生成初始计算根据所述算子执行序列中算子输入信息和算子输出信息，确定各计根据所述算子执行序列中计算节点间的引用关系，确定为目标计算在对所述目标计算节点的后续计算节点进行内存静态分析根据各计算节点的静态内存分配结果以及对应的内存尺寸，确定计算图内存分析结根据所述算子执行序列，标记各计算节点被其他计算节点引用的引采用二分法对所述初始计算图进行切分，得到当前候选计算图；并对在当前候选计算图的内存分析结果大于模型训练执行器的剩余运将下一候选计算图更新为当前候选计算图，并返回对当前候选计算图根据各所述哈希值将对应的所述候选计算图的可执行文件缓存至模型训练的缓存器3根据当前下发计算图的目标哈希值查询模型训练的缓存器，获取与计算图切分模块，用于根据所述计算图内存分析结果所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_7中任一项所述的令，所述计算机指令用于使处理器执行时实现权利要求1_7中任一项所述的模型训练的方4[0002]随着人工智能生成内容技术（ArtificialIntelligenceGeneratedContent，[0003]在传统模型训练中大语言模型的训练效率提升通常需要5机程序在被处理器执行时实现本发明任一实施例所述的模型[0022]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特[0026]图3是根据本发明实施例一提供的一种根据计算图生成可执行文件的流程示意员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范6[0037]图1是根据本发明实施例一提供的一种模型训练的方法的流程图，本实施例可适算图中可以包括计算节点以及计算节点之间的边。其中，计算节点的信息包括但不限于模[0045]根据用户指令确定计算图生成时机可以是在用户监控操作中能对计算图生成进行隐藏的时机。例如，根据用户指令确定的计算图生成时机可以是用户调用调试打印时7图中各计算节点的输入以及输出信息，估计每个计算节点所需占用的内存大小。在内存静态分析中还可以考虑各计算节点之间所占用内存是否可回收复用，以在计算图未执行时8[0069]图3是根据本发明实施例一提供的一种根据计算图生成可执行文件的流程示意[0074]图4是根据本发明实施例二提供的一种模型训练的方法的流程图，本实施例是对9[0079]根据脚本执行操作确定的计算图生成时机可以是模型训练在硬件不支持需发送[0091]在静态内存分析中，对于当前计算节点如果存在多个计计算节点G可复用计算节点C和计算节点E的内存。如果计算节点C占用的内存与计算节点G[0094]在步骤五时，对计算节点C分配内存M_C，此时在释放内存池中存在内存M_A可复[0095]在步骤六时，对计算节点D分配内存M_D，此时在释放内存池中存在内存M_B可复的多个计算节点所占用内存尺寸中的最大值，将复用内存M_A的内存尺寸设置为计算节点始计算节点至当前计算节点的计算图内存分析结果满足大于模型训练执行器的剩余运行[0105]根据脚本执行操作确定的计算图编译时机可以是模型训练在硬件不支持需发送[0110]图6是根据本发明实施例二提供的一种模型训练的方法的应用示例图。如图6所文件可以计算计算图的哈希值，按照哈希值将与计算图对应的可执行文件在缓存器中缓按照哈希值将与计算图对应的可执行文件在缓存器中[0116]图9是根据本发明实施例三提供的一种模型训练的装置的结构示意图。如图9所[0119]计算图切分模块930，用于根据计算图内存分析结果以及模型训练执行器的剩余[0120]计算图编译模块940，用于对各候选计算图进行编译，生成模型训练的可执行文[0141]缓存查询模块，用于根据当前下发计算图的目标哈希值[0142]本发明实施例所提供的模型训练的装置可执行本发明任意实施例所提供的模型如因特网的计算机网络和/或各种电信网络与其他设[0147]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11训练的方法。由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0150]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务监视器以及键盘和指向装置（例如，鼠标或者轨迹球用户可以通过该键面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计算