CN119201651B 用于评估模型训练性能的方法、计算设备、存储介质和计算机程序产品 （上海壁仞科技股份有限公司）

请求不公布姓名请求不公布姓名本发明的实施例涉及一种用于评估模型训2确定模型在多个板卡上的部署策略，所述部署策略至少基于所述张量并行策略，确定算子的形状，其中所述至少基于所述数据并行策略和所述流水线并行策略，确定与至少基于所述张量并行策略和所述流水线并行策略，确至少基于所述算子的形状、所述空泡占比和所述组间衰减，计算模基于所述微批大小、所述序列长度、所述反馈神经网络的隐藏所述基于所述端到端消耗时长来评估模型训练针对所述计算算子，计算与所述计算算子对应的计算耗时，针对所述通信算子，计算与所述通信算子对应的通信开销，8.根据权利要求6所述的方法，其特征在于，计算与所述通信算子对应的通信开销包至少基于所述通信算子的形状和数据类型，确定用于通信3针对多个候选部署策略中的每个候选部署策略，计算对应的模型基于所述张量并行策略对所述模型进行切分，以确定模型基于基于所述流水线并行策略对所述模型进行切分，确定模型基于所基于所述第一数量、所述第二数量和所述第三数量，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被4及计算算子和通信算子的开销。5[0019]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特67[0035]关于部署策略确定模块101，其可以被配置为：确定模型在多个板卡上的部署策况下，可以基于部署策略将模型拆分成多个部分，并将这些部分分配至这1024个板卡上以8个板卡上，从而能够确定待训练模型的规模在这些多个板卡上所期望采用的数据并行策据进行学习和优化。根据本发明的实施例，模型参数可以包括：序列长度（SEQUENCE_[0054]由上可知，可以通过获取待训练的模型的模型参数来确定所要训练的模型的特9型基于张量并行策略进行切分后的数量（TP_SIZE然后可以确定切分后的算子的形[MICRO_BATCH_SIZE,SEQUENCE_LENGTH,FFN_HIDDEN_SIZE/TP_SIZE]。也就是说，基于张分后，其权重的形状将从[HIDDEN_SIZE,FFN_HIDDEN_SIZE]转变为[HIDDEN_SIZE,FFN_HIDDEN_SIZE/TP_SIZE]。BATCH_SIZE）有关，具体地，算子的形状可以表示为：[MICRO_BATCH_SIZE×NHEADS,略进行切分后的数量（TP_SIZE在此基础上，然后可以确定切分后的算子的形状为：[MICRO_BATCH_SIZE×NHEADS/TP_SIZE,SEQUENCE_LENGTH,HEAD_SIZE]。（HIDDEN_SIZE）有关，具体地，该算子的原始形状可以表示为：[MICRO_BATCH_SIZE,并行策略进行切分后的数量（SP_SIZE然后可以确定切分后的算子的形状为：[(MICRO_BATCH_SIZE×SEQUENCE_LENGTH)/SP_×SEQUENCE_LENGTH)/8,HIDDEN_SIZE]。[0068]用于通信的数据量=MICRO_BATCH_SIZE×SEQUENCE_LENGTH×HIDDEN_SIZE署策略以及板卡间的互联结构确定通信带宽。关于通信带宽，其可以是指通信算子在特定的硬件厂商针对上述因素实测得到的参数确定。根据模型基于流水线并行策略进行切分后的数量（PP__SIZE）和全局累积（Global[0083]由于模型基于数据并行策略在多板卡上进行并行运算时的开销）和通信耗时（即通信算子的开销）的总和。计算耗时可以包括诸如均方根归一化耗时可以包括诸如散射规约算子耗时、全聚集算子耗时等。关于计算耗时和通信耗时fwd）的形状是基于序列并行策略所确定的；前向传播中的线性函数计算的算子（Linear_所确定的；反向传播中的线性函数计算的算子（Linear_bwd）、注意力计算的算子单层总耗时的算子的形状是基于张量并行策略，或者张量并行策略，进行切分后的算子的形状。和通信耗时的和加上与后向计算有关的计算耗时和通信有关的计算耗时（FWD__COMPUTATION__COST）和与前向计算有关的通信耗时（FWD_[0095]FWD_COMPUTATION_COST=RMSNorm_fwd的耗时+Linear1_fwd的耗时+Attention_fwd的耗时+Linear2_fwd的耗时+AddRMSNorm_fwd的耗时+MLP_fwd的耗[0097]FWD_COMMUNICATION_COST=2×Reduce_scatter的耗时+2×All_gather的耗信耗时进行求和，以计算得到前向计算的总耗时（FWD_COST即FWD_COST=FWD_COMPUTATION_COST+FWD_COMMUNICAT[0100]BWD_COMPUTATION_COST=RMSNorm_bwd的耗时+Linear1_bwd的耗时+Attention_bwd的耗时+Linear2_bwd的耗时+AddRMSNorm_bwd的耗时+MLP_bwd的耗[0102]BWD_COMMUNICATION_COST=2×Reduce_scatter的耗时+2×All_gather的耗求和，以计算得到反向计算的总耗时，即BWD_COST=BWD_COMPUTATION_COST+BWD_型基于流水线并行策略进行切分后的数量（PP_SIZE）有关。例如，单个板卡上的层数（LAYER_NUM）可以等于模型总层数除以模型基于流水线并行策略进行切分后的数量（PP_[0114]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/程数据处理装置的中央处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储存储有指令的计算机可读介质