CN119539012A 一种多硬件混合大模型训练的方法、系统及相关装置 (山东极视角科技股份有限公司)_第1页
CN119539012A 一种多硬件混合大模型训练的方法、系统及相关装置 (山东极视角科技股份有限公司)_第2页
CN119539012A 一种多硬件混合大模型训练的方法、系统及相关装置 (山东极视角科技股份有限公司)_第3页
CN119539012A 一种多硬件混合大模型训练的方法、系统及相关装置 (山东极视角科技股份有限公司)_第4页
CN119539012A 一种多硬件混合大模型训练的方法、系统及相关装置 (山东极视角科技股份有限公司)_第5页
已阅读5页,还剩36页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本申请公开了一种多硬件混合大模型训练型进行基准测试,得到多个硬件的第一性能指根据第一性能指标将子模型和子任务匹配至适枝操作后,对子模型进行重新初始化和局部微2收集多模态数据,并进行预处理,得到多模态数据样在多个硬件的模拟环境下,使用所述多模态数据样本对多模态大模型进行基准测试,基于所述多模态模型架构将所述多模态大模型划分成若干个子模型,并根据所述性能指标将所述子模型和所述子任务匹配至根据所述子模型的信息熵值和梯度变化指标计算综合权重值,并根据所述性能评估报告对所述剪枝操作实施动态调整策略,并执行根据所述子模型的各层的权重矩阵计算所述子模型将所有子模型的所述综合权重值进行升序排序,确定权重最小的所预设初始剪枝比例对所述起始子模型的信息传递链路进行剪枝操作,并记录剪枝日将所述第二性能指标与所述第一性能指标对比,得到性能评估在所述剪枝操作后,根据所述性能评估报告中的所述硬件性能值和3若所述性能评估报告中所述硬件资源利用率不在预设硬件资源根据所述子模型状态判断所述子模型是否被执第一评估单元,用于在多个硬件的模拟环境下,使用所述分配单元,用于基于所述多模态模型架构将所述多模态大模型划分成若干个子模型,并根据所述第一性能指标将所述子模型和所述子任务匹剪枝单元,用于根据所述子模型的信息熵值和梯度变化指标计动态调整单元,用于根据所述性能评估报告对所述剪第三评估单元,用于当所有的所述子任务完成后,使用测试数所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求14所述程序在计算机上执行时执行如权利要求1至7中任一5一硬件的大模型已经无法满足大规模模型在性能和资源消6当所有的所述子任务完成后,使用测试数据集对所述多模态大模型进行全面评根据所述子模型的各层的权重矩阵计算所述子模型根据所述子模型状态判断所述子模型是否被执7在每个所述硬件模拟环境中使用所述多模态数据样本对多模态大模型进行独立动态调整单元,用于根据所述性能评估报告对所述剪枝操作实施动态调整策略,微调;根据所述子模型的各层的权重矩阵计算所述子模型8根据所述子模型状态判断所述子模型是否被执在每个所述硬件模拟环境中使用所述多模态数据样本对多模态大模型进行独立通过多模态数据样本构建的多模态大模型架构,结合多个硬件的第一性能指标,9标记录不同硬件初始状态下对多模态大模型训练任务的适配性和据传输的频率或者截断一些对整体性能提升帮助不大的参数交互路径际训练状态和硬件性能及时做出调整,避免不必要的剪枝操作或者错过最佳的剪枝时机。[0038]请参阅图2,图2为本申请提供的多硬件混合大模型训练利用虚拟化技术创建多个不同硬件配置的模拟环境,将多模态数据样本合理划S204、在每个硬件模拟环境中使用多模态数据样本对多模态大模型进行独立测均或者根据各层在模型中的重要性进行综合计算等,将各层计算得到的信息熵值进行汇预设初始剪枝比例表示在起始子模型的信息传递链路中将要剪掉的部分占总体出现异常变化,判断硬件使用率是否在模型训练的迭代阶段出现突然升高或降低的情况;将各个硬件的第一性能指标与当前训练过程中收集并分析得到的第二性能指标个硬件的硬件性能值和硬件资源利用率,对硬件性能值和硬件资源利用率进行深入分析。若某个硬件的硬件性能值明显低于预期水平,例如硬件的核心使用率长时间处于较低状[0054]在一些具体实施例中,若硬件性能评估报告中硬件性能[0055]预设性能阈值是根据硬件的理想工作状态和多硬件混合大模型训练任务对硬件[0058]将性能评估报告中的各个硬件资源利用率数据与预设的历每个网络层的过程中,通过对比剪枝操作前后参数矩阵的变化情况来确定子模型状态。中的每一个网络层,依据网络层的类型和相应的初始化策略来为其参数赋予新的初始值。模态大模型独立测试,能够在模拟环境下评估不同硬件对多模态大模型训练的初始适配根据第一性能指标将子模型和子任务匹配至将所有子模型的综合权重值进行升序排序,确定权重最小的子模型为起始子模预设初始剪枝比例对起始子模型的信息传递链路进行剪枝操作,并记录剪枝日在每个硬件模拟环境中使用多模态数据样本对多模态大以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论