版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
本申请公开了一种多硬件混合大模型推理据多模态大模型的结构信息和不同任务阶段的模态变化特性对任务队列中的目标推理任务进使用多模态语义融合模型和时间序列预测模型2收集多模态大模型的结构信息,所述结构信息包括所述多在多个硬件的模拟环境下,使用多模态数据样本对所述多模态大模型进行基准测试,基于所述性能指标对所述多模态大模型与所述多个硬件的适配性进根据所述多模态大模型的结构信息和不同任务阶段的模态变化特性对所述任务队列中的目标推理任务进行分解,得到若干个子任务和每个所述子任务对应的若干个计算单确定所述计算单元的计算类型和输入输出数据规模,并根据根据所述硬件适配报告和所述任务资源需求制定调度策略,并根据在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态变化根据目标推理任务的任务需求将所述任务队列中的所述目标推理任务划分为不同任根据所述模态处理分支和所述模态变化特性对所述目标推理任务进行初步根据所述模态处理分支内部的子模块和层结构对所述子任务进行细化所述在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态在任务执行过程中,通过多模态语义融合模型对不同模态的特将所述多模态语义特征向量作为所述时间序列预测模型的输入,并根据所述时3计算所述时间序列预测模型的输出结果与实际的多模态语义特征向量之间的预测误基于所述预测误差和预设误差阈值进行综合分析,确定所述任在每个所述硬件模拟环境中使用多模态数据样本对所述多模态大模型进行独立测试,在多个所述硬件模拟环境中使用所述多模态数据样本进根据所述多模态大模型的运行需求确定所述第一性能指标的预设权性能指标和所述预设权重计算每个硬件对于不同模态数据的硬件通过所述第二性能指标计算所述不同硬件组合的协同效率根据所述硬件适配得分和所述协同效率得分生成硬7.根据权利要求1至6中任一项所述的方法,其收集单元,用于收集多模态大模型的结构信息,所述结测试单元,用于在多个硬件的模拟环境下,使用多模态生成单元,用于基于所述性能指标对所述多模态大模型与所接收单元,用于接收推理任务请求,并根据所述推理任务请求生入任务队列;分解单元,用于根据所述多模态大模型的结构信息和不同4确定单元,用于确定所述计算单元的计算类型和输入输出类型和所述输入输出数据规模估算所述计算单元的调度单元,用于根据所述硬件适配报告和所述任务资源述调度策略将所述计算单元分配至合适的硬监测单元,用于在任务执行过程中使用多模态语义融合模型和时所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求1所述程序在计算机上执行时执行如权利要求1至7中任一5大并行计算能力可加速模型计算核心部分,FPGA的可编程性与低功耗特性适合特定数据[0004]但传统的多硬件推理任务调度方案往往依据预先设定的规则或固定的模型评估处理分支以及所述模态处理分支内部的子模块和层接收推理任务请求,并根据所述推理任务请求生成对应的推理任务存入任务队根据所述多模态大模型的结构信息和不同任务阶段的模态变化特性对所述任务6在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态根据目标推理任务的任务需求将所述任务队列中的所述目标推理任务划分为不根据所述模态处理分支和所述模态变化特性对所述目标推理任务进行初步分解,[0008]可选的,所述多模态语义融合模型基于多头注意力机制所述时间序列预测模型采用长短期记忆网络或门控循环单所述在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态在任务执行过程中,通过多模态语义融合模型对不同模态的特征向量进行融合,型用于将所述多模态语义特征向量转换为时间序列数据计算所述时间序列预测模型的输出结果与实际的多模态语义特征向量之间的预7在每个所述硬件模拟环境中使用多模态数据样本对所述多模态大模型进行独立在多个所述硬件模拟环境中使用所述多模态数据样本进行多硬件组合的协同测第一性能指标和所述预设权重计算每个硬件对于不同模态数据的通过所述第二性能指标计算所述不同硬件组合的协同效率根据所述硬件适配得分和所述协同效率得分生成硬模型的若干模态处理分支以及所述模态处理分支内部的子模块和层计算类型和所述输入输出数据规模估算所述计89些子模块和层按照特定的顺序和连接方式组合在一起,构成了模态处理分支的内部结构,[0030]通过适配性评估,可以确定多模态大模型的不同部分最有较高的计算效率和较低的功耗,那么就可以将音频相关的子任务优先分配到该硬件上,[0032]104、接收推理任务请求,并根据推理任务请求生成对应的推理任务存入任务队[0033]105、根据多模态大模型的结构信息和不同任务阶段的模态变化特性对任务队列[0034]除了获取到多模态大模型的结构信息之外,还需要根据[0035]根据前述的模型结构和不同任务阶段模态变化特性,对目标推理任务进行分任务阶段利用图像模态信息确定场景类型,多个子任务相互配合共同完成整个推理任务。硬件适配报告中包含了各个硬件在应对多模态大模型不同任务环节时的优势与[0039]108、在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态执行。而步骤108的动态模态变化监测所做出的调度策略调整实际上是对初始静态规划的模态数据处理逻辑时的灵活性,确保模型在模拟环境中的行为符合FPGA的实际工作模式,确保每个硬件模拟环境都已按照相应硬件的架构特点和性能参数正确配置完成将多模态数据样本导入到每个硬件模拟环境中,在每个硬件模拟环境中,单独运行多模态第一性能指标。多个硬件协同工作来处理复杂的多模态融合任务。不同硬件之间通过合理的组合和协作,指标和预设权重计算每个硬件对于不同模态数[0058]具体的,可直接通过计算整体推理时间与数据传输量的比值来衡量协同效率得及硬件组合相对于理想状态的协同效率情况。协同效率得分大于1表示硬件组合的协同[0060]208、接收推理任务请求,并根据推理任务请求生成对应的推理任务存入任务队[0061]209、根据目标推理任务的任务需求将任务队列中的目标推理任务划分为不同任为了更高效地执行推理任务,在对任务有了阶段划分以及掌握模态变化特性后,作为核心组件。将各模态的特征向量分别作为多头注意力机制的输入Query、Key和测未来的趋势或数值。通过将多模态语义融合模型生成的多模态语义特征向量作为时间序列预测模型的输入,采用时间序列预测算法,如长短期记忆网络(LSTM)或门控循环单元信息,蕴含着任务执行过程中各模态的状态和相互关系,时间序列预测模型通过对这些输入向量进行一系列的数学变换和分析挖掘其中随时间变化的模式,将其转换为时间序列数立测试与协同测试,全面且深入地获取了硬件及硬件组合的第一性能指标和第二性能指若干模态处理分支以及模态处理分支内部的子模分解单元305,用于根据多模态大模型的结构信息和不同任务阶段的模态变化特监测单元308,用于在任务执行过程中使用多模态语义融合模型和时间序列预测根据目标推理任务的任务需求将任务队列中的目标推理任务划分为不同任务阶在任务执行过程中,通过多模态语义融合模型对不同模态的特征向量进行融合,计算时间序列预测模型的输出结果与实际的多模态语义特征向量之间的预测误和预设权重计算每个硬件对于不同模态数据通过第二性能指标计算不同硬件组合的协同效率[0086]本实施例系统中,各单元的功能与前述图1或图2所示方以存储在一个计
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-河南-河南铸造工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-河南-河南水土保持工一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-河北-河北铸造工一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-河北-河北林木种苗工三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-河北-河北印刷工一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-江苏-江苏造林管护工四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-新疆-新疆防疫员四级(中级工)历年参考题库含答案详解
- 工程施工成本控制模拟试卷及答案
- 消防安全管理人员考试备考习题及答案
- 药理学药物临床试验法规备考习题及答案
- 电商平台商家入驻合作协议三篇
- VDA6.3 过程审核-2-全套内容含审核计划、审核纪录-2026
- 金川集团社招考试试题及答案
- 创伤后骨髓炎防控与诊疗专家共识
- 山西矿山答辩题库
- 2026年第43届全国中学生物理竞赛复赛理论试题及详细解答
- 2026年长期照护师资格考试试卷及答案(共十四套)
- 2026年事业单位(D类)《职业能力倾向测验》考试真题及答案
- 2026-2030中国氧化钇纳米颗粒行业应用动态及未来需求预测研究报告
- 抽纸厂人员岗位责任制度
- 2026年高校纪检审计岗位高频面试题包含详细解答
评论
0/150
提交评论