CN119495001A 数据处理方法、图像文本数据质量增强模型的训练方法及设备 （北京百川智能科技有限公司）

像文本数据质量增强模型用于根据图像及初始2将所述图像及所述初始描述信息输入至图像文本数据质量增强模基于所述图像文本数据质量增强模型的输出结果，确定多模态大语2.根据权利要求1所述的方法，其特征在于，所述图像文本数据质量模型由视觉编码所述图像文本数据质量增强模型提取所述图像的特征信息及所述初始描述信息的特所述图像文本数据质量增强模型基于所述图像的特征信息对所述初始描述信息进行将所述增强描述信息及所述评估信息作为所述始样本及对比样本训练得到的模型；所述对比样本内的图像与所述初始样本内的图像相基于所述第一阶段训练样本对初始模型进行训练，以将初始模3获取第二阶段训练样本，所述第二阶段训练样本包括初始样基于所述第二阶段训练样本对所述图像文本特征对齐模型进行训基于所述初始样本中的图像、所述图像的描述信息及所述描述信息处理单元，用于将所述图像及所述初始描述信息输入至图像文本数据质量增强模型，所述处理单元，还用于基于所述图像文本数据质量增强模型的输出估信息及所述图像的增强描述信息时，则将所述图像及所述图像的增强描述信息确定为处理单元，用于基于所述第一阶段训练样本对初始模型进行训练，以将所述获取单元，还用于获取第二阶段训练样本，所述第二阶段训初始样本中图像与描述信息的匹配度高时，所述对比样本中的描述信息与图像的匹配度4所述处理单元，还用于基于所述第二阶段训练样本对所述图像文本图像及所述图像的增强描述信息确定为MLLM模型的训12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程5[0002]多模态大型语言模型(MultimodalLargeLanguageModel，MLLM)通过整合视觉述图像文本数据质量增强模型的输出结果，确定多模态大语言模型MLLM模型的训练数据；[0006]在第一方面的一种可能的实现方式中，所述图像文本数据质量模型由视觉编码6[0009]所述图像文本数据质量增强模型提取所述图像的特征信息及所述初始描述信息[0011]所述图像文本数据质量增强模型基于所述图像的特征信息对所述初始描述信息始样本及对比样本训练得到的模型；所述对比样本内的图像与所述初始样本内的图像相正得到与图像匹配度高的图像的增强描述信息，以将图像及图像的增强描述信息确定为[0020]基于所述初始样本中的图像、所述图像的描述信息及所7所述图像及所述图像的增强描述信息确定为MLLM模型的训发所述电子设备执行上述第一方面任一项所述的方法或第二方面任行第一方面任一项所述的方法或第二方面任一项8[0036]图3为本申请实施例提供的一种图像文本数据质量增强模型的训练方法的流程示[0037]图4为本申请实施例提供的一种图像文本数据质量增强模型的训练方法的场景示[0038]图5为本申请实施例提供的另一种图像文本数据质量增强模型的训练方法的场景[0039]图6为本申请实施例提供的另一种图像文本数据质量增强模型的训练方法的场景[0041]图8为本申请实施例提供的一种图像文本数据质量增强模型的训练装置的结构示[0043]为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描9[0047]多模态大语言模型(MultimodalLargeLanguageModel，MLLM)是近年来兴起的取图像及图像的初始描述信息，例如可以从CC12M(Conceptual12M)数据集或CC3M数据质量增强模型重新生成该图像的增强描述信息，以提高图像与描述信息间的匹配度，据质量增强模型可以从预设的多个方面对图像的特征信息与初始描述信息的特征信息进[0067]图像文本数据质量增强模型基于图像的特征信息对初始描述信息进行修正得到[0074]图像文本数据质量增强模型可以根据总体情况确定出图像及初始描述信息间的[0076]数据处理装置将输入指令b及图像b作为图像文本数据质量增强模型作为输入信[0078]图像文本数据质量增强模型可以根据总体情况确定出图像及初始描述信息间的息与图像的匹配度同初始样本中描述信息与图像的匹配文本数据质量增强模型时需要使用初始样本及对比样本。对比样本是基于初始样本生成配度高的描述信息，从而可以利用该图像及匹配度高的描述信息作为MLLM模型的训练数[0086]参考图3，为本申请实施例提供的一种图像文本数据质量增强模型的训练方法的对齐模型可以理解图像及描述信息的内容，并识别图像的特征信息及描述信息的特征信样本中可以包括初始样本及基于初始样本生成中第二指令用于指示GPT_4o模型生成与图像匹配度[0112]在一些实施例中，在基于第二阶段训练样本对图像文本特征对齐模型进行训练据质量增强模型评估及改进去除图像及描述信息匹配质量差的样[0115]在一些实施例中，本申请实施例中的图像文本数据质量增强模型可以用AITQE模型表示。为了方便说明下述以AITQE模型为本申请实施例中的图像文本数据质量增强模型的性能反映了训练数据的质量和本申请实施例的AITQE模型的有效性，因此确保稳定的训[0116]预实验：MLLM的训练策略大多是在LLaV了训练LLaVA模型的初步实验。然后，在五个基准上评估了第二阶段模型：GQA、OKVQA、57.7360.33MME(MultimodalModelEvaluation，多模态大模型评估)基准，AMBER基准，OKVQA模型，[0121]在上述评估设置下，在第一阶段用Cauldron数据集中对LLaVA的558k个训练样本61.4560.72[0126]表3：在从固定2M数据池中分别过滤出的256K个样本和558K个样本用于训练的型在几个基准测试中取得了优异的结果。这表明本申请实施例中的AITQE过滤方法可以有因于训练数据量的增加。虽然AITQE过滤显示出比随机选择更好的效果，但与256K场景(+分低于256k设置下的平均得分(_3.32)。这种降级是由于选择过程优先考虑得分较高的样除了作为识别数据质量的过滤器的作用外，AITQE更重要的功能在于它增强多模态训练数[0138]上述过程可以表明本申请实施例中的AITQE模型的可扩展性和鲁棒性。随着训练[0144]表6为使用256K个训练样本的MLLM的性能比较，这些数据由使用不同训练策略的重写技术相结合在提高模型性能方面的有效性。用第一轮收集的GPT模型的基本打分器的述信息作为一种独立策略的应用导致平均得分大幅下降至5提供的AITQE模型整合了对比样本和描述信息的重写增强的训练数据进行训练得到，获得[0149]为了更好的说明，通过图5及图6可以表征出GPT训练数据集中的得分分布及本申[0150]在图5中的(a)中表明了GPT的分数的分布。基本打分器对应的训练样本的分数呈[0151]在本申请实施例中引用对比样本的主要目的为：平衡数据分布及减少潜在偏[0152]图5中的(b)为训练数据中增加了对比样本的AITQE模型与原始GPT之间的分数对[0153]在图6中显示了使用了对比样本训练的AITQE模型及没有对比样本的AITQE模型产[0160]其中，在输出结果为所述评估信息时，则将图像及图像的初始描述信息确定为述图像的增强描述信息确定为MLLM模型的训练[0166]图像文本数据质量增强模型基于图像的特征信息对初始描述信息进行修正得到[0169]参见图8，为本申请实施例提供了一种图像文本数据质量增强模型的训练装置的[0172]图像文本特征对齐模型用于识别输入信息中图像的特征信息及描述信息的特征颗相同功能或不同功能的封装IC而组成。举例来说，处理器901可以仅包括中央处理器可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器[0181]当存储器902中的执行指令由处理器901执行时，使得电子设备900能够执行上述可为磁碟、光盘、只读存储记忆体(read_onlymemory，ROM)或随机存储记忆体(random[0184]本领域的技术人员可以清楚地了解到本发明实施例中的技