CN116883781B 预训练模型的微调方法、装置、电子设备及存储介质 （北京百度网讯科技有限公司）

US2023046431A1,2023.02.16测结果，最后根据预测结果与标注结果间的差2获取目标任务关联的第一训练数据及预训练模型，其中，所述基于所述预训练模型生成第二特征处理网络，其中，所述第二基于预设的规则，将所述第二特征处理网络与所述预训练模型进根据所述预测结果与标注结果间的差异，对所述融合后的模将所述预训练模型中的第一特征处理网络按照预设的剪枝比例进将第二训练数据分别输入所述第一特征处理网络及所述初始特基于所述第二特征与所述第一特征间的差异，将所述初始特征将所述第一特征处理网络中每层的节点，按照对应的网络参利用预设的融合规则，将所述第一特征处理网络中第i_1层的输出进行第一映射后的特征与所述第二特征处理网络中第i_1层的输出进行融合，并将融合后的特征输入至所述利用第二预设的映射网络，将所述第二特征处理网络中第N层的输出与所述预训练模根据所述第一特征处理网络中的第一网络参数与所述第二特征处理网络中的第二网3所述第二预设的映射网络对应的特征增加维度根据所述预测结果与标注结果间的差异，对所述预设的融合规则中的参数值进行修9.如权利要求1_8任一所述的方法，其中，所述将所述输入数据输入所述融合后的模在所述输入数据为图像的情况下，将所述图像进行分块编融合模块，用于基于预设的规则，将所述第二特征处理网络第二获取模块，用于将所述输入数据输入所述融合后的模型修正模块，用于根据所述预测结果与标注结果间的差将所述预训练模型中的第一特征处理网络按照预设的剪枝比例进将第二训练数据分别输入所述第一特征处理网络及所述初始特基于所述第二特征与所述第一特征间的差异，将所述初始特征将所述第一特征处理网络中每层的节点，按照对应的网络参4利用预设的融合规则，将所述第一特征处理网络中第i_1层的输出进行第一映射后的特征与所述第二特征处理网络中第i_1层的输出进行融合，并将融合后的特征输入至所述利用第二预设的映射网络，将所述第二特征处理网络中第N层的输出与所述预训练模第二确定模块，根据所述第一特征处理网络中的第根据所述预测结果与标注结果间的差异，对所述预设的融合规则中的参数值进行修在所述输入数据为图像的情况下，将所述图像进行分块编其中，所述存储器存储有可能被所述至少一个处理器执行的5[0008]将所述输入数据输入所述融合后的模型，获取所述融合后的模型输出的预测结处理网络的规模小于所述预训练模型中的第一6[0022]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0032]自然语言处理(NaturalLanguageProcessin7目标任务为图像分类任务时，输入数据为包含一只猫的图像时，其对应的标注结果可能为8[0053]在一些可能的实现形式中，在输入数据为图像的情况下，由于预训练模型为9编码序列。模型对应的预设的剪枝比例为50翻译模型对应的预设的剪枝比例为40％等等，从而使网络参数较大的节点中的一部分(按照预设的剪第一特征处理网络输出的第一特征及初始特征处理第一预设的映射网络可以为用于将输入网络输出的特征维映射网络就需要将输入网络输出的特征的维度降低为其原维度映射后的特征与第二特征处理网络中第i_1层的输出进行融合，并将融合后的特征输入至处理网络中第i_1层中经过第一映射后的特征融合而设置的规则，其可以为根据目标任务预设的映射网络可以为用于将第二特征处理网络输出的特征维度增加么第二映射网络就需要将第二特征处理网络输出的特征维度再增加r倍，从而保证增加后[0104]本公开实施例中，首先在获取到目标任务关联的第一训输入网络的输出与第二特征处理网络中的第一个输入层连接，同时利用预设的融合规则，将第一特征处理网络中第i_1层的输出进行第一映射后的特征与第二特征处理网络中第i_而且保证了最终的目标模型保留了预训练模型学N[0108]然后对第二特征处理网络m中的参数进行微调，同时保持预训练模型M参数固[0116]最后预训练模型M的第N层输出经过映射，动态加权到第二特征处理网络m的第N[0123]融合模块503，用于基于预设的规则，将第二特征处理网络与预训练模型进行融[0132]基于第二特征与第一特征间的差异，将初始特征处理网络中的网络参数进行修[0137]利用预设的融合规则，将第一特征处理网络中第i_1层的输出进行第一映射后的特征与第二特征处理网络中第i_1层的输出进行融合，并将融合后的特征输入至第二特征[0138]利用第二预设的映射网络，将第二特征处理网络中第N层的输出与预训练模型中[0145]本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施保证了最终的目标模型保留了预训练模型学[0152]总线18表示几类总线结构中的一种或多种，包括存储器简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronicsStandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(PeripheralComponent动器，以及对可移动非易失性光盘(例如：光盘只读存储器(CompactDiscReadOnlyMemory；以下简称：CD_ROM)、数字多功能只读光盘(DigitalVideoDiscReadOnly[0156]计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解以通过网络适配器20与一个或者多个网络(例如局域网(LocalAreaNetwork；以下简称：术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结备而使用。连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介[0165]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序