CN119443193A 一种多模态大模型的训练过程自适应优化方法及系统 （上海壁仞科技股份有限公司）

请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名一种多模态大模型的训练过程自适应优化本发明提供一种多模态大模型的训练过程收提交的多模态大模型的训练执行脚本以及训2接收提交的多模态大模型的训练执行脚本以及训练策略；所述根据所述训练执行脚本以及训练策略，利用预存的大模型训练脚本获取在执行分布式训练任务的过程中生成的基于实时监控数据进行训练策略的调整，根据所述大模型训练获取在执行分布式训练任务的过程中生成的显存使用量在确定需要调整显存使用量的情况下，调用对应的显存调整在确定需要调整并行训练策略的情况下，根据用户输入的策略根据所述训练执行脚本以及训练策略，在分布式云平台中获取在分布式云平台的存储集群中获取在执行分布式训练任务的过程中生成的所述实时3训练任务执行模块，用于根据所述训练执行脚本以及训练策略调整模块，用于基于实时监控数据进行训练练执行脚本以及调整后的训练策略，利用所述大模型训练脚本继续执行分布式训练任务，8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述多模态大模型的训练过程自适应优行时实现如权利要求1至6任一项所述多模态大模型的训练过程自适4框架提供了丰富的应用程序编程接口API和灵活的编程模型，使得研究人员和开发者能够[0004]尽管现有的大规模并行训练技术在一定程度上解决了资源利用和训练效率的问技术中大规模并行训练技术的不能够根据实际情况和各种变化因素调整对模型训练的策获取在执行分布式训练任务的过程中生成的5在分布式云平台的存储集群中获取在执行分布式训练任务的过程中生成的所述训练数据接收模块，用于接收提交的多模态大模型的训练执行脚本以及训练策6执行时实现如上述任一种所述多模态大模型的训练过[0019]图2是本发明提供的多模态大模型的训练过程自适应优化方法所用系统的架构示[0024]Megatron-DeepSpeed：是开源的一个强大且高效的深度学习框架，它结合了Megatron-LM和DeepSpeed的优点，旨在加速大规模预训练模型的训练和推理过程。Megatron-DeepSpeed结合了两个著名项目的7[0033]下面结合图1-图2描述本发明实施例的多模态大模型的训练过程自适应优化方8[0059]步骤103中，可以在分布式云平台的存储集群中获取在执行分布式训练任务的过9statusadjust_distr{/*根据数据监测模块提供的显存使用量来调if(statistic_info.dev_mem_usage<min(system_dev_mem_capacity,user_}/*根据用户提供的配置进行learning_}}}statusAdjust_memorylayer_numer--;}}通过监控和调整显存使用量，可以避免因显存不足导致的程序崩溃或训练中断，[0083]在训练开始之前，配置监控系统以追踪每个epoch后更新的学习率值。训练过程[0087]如果用户没有提供自定义设置，系统将根据预定义的学习率调整策略进行调learning_rate=read_lr_from_learning_rate=use_custo}}[0090]如果用户提供了3D并行训练3d_setting=read_user_3d_sett}[0093]数据并行策略：根据数据加载和处理的效率，调整数据并行策略，如改变batch[0098]步骤2利用Megatron-DeepSpeed框架提供的大模型训练脚本来训练用户传入的[0100]步骤3、本实施例的数据监测模块能够从分布式云平台存储集群中获取训练过程述的多模态大模型的训练过程自适应优化装置与上文描述的多模态大模型的训练过程自训练数据接收模块301，用于接收提交的多模态大模型的训练执行脚本以及训练监控数据获取模块303，用于获取在执行分布式训练任务的过程中生成的实时监训练策略调整模块304，具体用于：将所述显存使用量与设置的显存阈值进行比在分布式云平台中获取训练数据，利用预存的大模型训练脚本执行所述分布式训练任务，并将生成的实时监控数据存储于分布式云平台[0117]此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单