CN113657465B 预训练模型的生成方法、装置、电子设备和存储介质 （北京百度网讯科技有限公司）

US2020387795A1,2020.12.10MachineLearningon领域，尤其涉及计算机视觉和深度学习技术领息，根据预测信息与样本的标准信息之间的差2采用模型集合内选取的多个候选模型，对测试集内的样本进行根据所述融合特征执行设定的目标识别任务，以得到预测信息，所根据所述预测信息与所述样本的标准信息之间的差异，确定所述在所述组合性能满足设定性能指标的情况下，根据所述多个候选模型生成预训练模将所述目标子网络中的各所述模型作为所述模型集合内选取的所根据模型训练过程中各模型的损失函数的梯度，从所述模型集合根据各所述目标识别任务的预测信息，与对应任务的所述标准信根据各所述目标识别任务的预测信息，与对应任务的所述标准信提取模块，用于采用模型集合内选取的多个候选模型，对测试集内的3确定模块，用于根据所述预测信息与所述样本的标准信息之生成模块，用于在所述组合性能满足设定性能指标的情况下，组合模块，用于将所述模型集合内的各模型组合得第一训练模块，用于采用训练集内的训练样本输入所述超所述确定模块，用于将所述目标子网络中的各所述模型作为所述模型选取模块，用于根据模型训练过程中各模型的损失函数的梯度，从所根据各所述目标识别任务的预测信息，与对应任务的所述标准信根据各所述目标识别任务的预测信息，与对应任务的所述标准信所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被456[0022]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0033]步骤101，采用模型集合内选取的多个候选模型，对测试集内的样本进行特征提7实现方式，可将各个候选模型提取得到的特征通过隐含狄利克雷分布(LatentDirichlet第四种实现方式，可将各个候选模型提取得到的特征通过主成分分析(Principalcomponentsanalysis，PCA)的方式对各个候选模型提取得到的特征进行降维以得到融合[0049]作为本公开实施例的一种实现方式，若组合性能是根据损失函数值的大小确定8[0053]本公开实施例的预训练模型的生成方法中，采用模型集合内选取的多个候选模9[0067]步骤205，采用模型集合内选取的多个候选模型，对测试集内的样本进行特征提[0069]其中，步骤205和步骤206可参照上述实施例中步骤101和步的预测信息和该目标识别任务的标准信息之间的差异，确定该目标识别任务的损失函数[0087]本公开实施例中，模型集合中的各模型的损失函数可以[0088]步骤303，采用模型集合内选取的多个候选模型，对测试集内的样本进行特征提[0118]根据各所述目标识别任务的预测信息，与对应任务的所[0122]根据各所述目标识别任务的预测信息，与对应任务的所[0125]本公开实施例的预训练模型的生成装置中，采用模型集合内选取的多个候选模[0134]如图5所示，设备500包括计算单元501，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(RandomAccess因特网的计算机网络和/或各种电信网络与其他设备交换信元501的一些示例包括但不限于CPU(CentralProcessingUnit，中央处理单元)、GPU人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(DigitalSignal单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501Product，专用标准产品)、SOC(SystemOnChip，芯片上系统的系统)、CPLD(Complex者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可[0138]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0141]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("