CN114841335B 基于变分蒸馏的多模态联合表示学习方法及系统 （苏州大学）

基于变分蒸馏的多模态联合表示学习方法本发明涉及一种基于变分蒸馏的多模态联至模态联合表示模块，得到文本输出和图像输文本输出和图像输出利用蒸馏损失函数进行联2部署学生模型和教师模型，所述教师模型包括文本教师模型和所述学生模型包括模态联合表示模块，将归一化操作后的文本模态输利用变分互信息表征所述学生模型和教师模型对应的文本输出和图像输出之间的相同时获得匹配所述文本教师模型和图像教师模其中所述多模态数据统一模块部署于所述模态联合表示模将原始文本模态数据和原始图像模态数据整理成相同的输入形式在原始文本模态数据中增加[CLS]符号和[SEP]符号，同时在原将原始图像模态数据分割成若干图片块，将每个图片块拉伸成蒸馏损失函数为所述文本教师模型的损失函数和所述图像教师模型的损失学生模型，所述学生模型包括多模态数据统一模块和模态联合的文本输出和图像输出，且所述多模态数据统一模块部署于所述模态联合表示模块的前3过维度缩放得到与文本模态输入形式相同的教师模型，所述教师模型包括文本教师模型和图像教师模型，将原始文本模态统一蒸馏模块，所述模态统一蒸馏模块用于利用变分互信息表征4练模型的规模并且保存大部分性能的模型压缩方法也越来越[0003]在文本模态领域，PKD是较早的一个探索，非常简单有效，主要是在微调阶段对损失函数对BERT模型的中间层信息进行任务无关的高效知识蒸馏，CoDIR在训练阶段基于集上拟合教师模型和学生模型的输出，ViD使用异方差高斯分布代替样本分布计算教师和度变换会损失一些信息，其次只考虑的表征向量对应数值之间的关系而忽略了整体的信[0007]为解决上述技术问题，本发明提供一种基于变分蒸馏的多模态联合表示学习方5[0010]利用变分互信息表征所述学生模型和教师模型对应的文本输出和图像输出之间模型同时获得匹配所述文本教师模型和图像教师模[0015]在本发明的一个实施例中，所述模态联合表示模块包括MobileBERT模型，所述6[0033]图2是本发明基于变分蒸馏的多模态联合表示学习系统中模态统一蒸馏模块的框[0036]请参阅图1和2所示，本实施例提供一种基于变分蒸馏的多模态联合表示学习方7生模型同时获得匹配所述文本教师模型和图像[CLS]符号和[SEP]符号，同时在原始文本模态数据中的句子的末尾增加[DIS]符号用于双图片块将每个图片块拉伸成一维向量得到然度缩放得到和文本输入一样的形式：由于文本和图像数据的分布会有方式的S2，所述模态联合表示模块包括MobileBERT模型，所述MobileBERT模型包括24层8输出为为了方便蒸馏，取[CLS]符号对应的特9分别为BERTlarge、ResNet152以及MXBERT的第i层隐层的输出，其中为ResNet和MXBERT的层数不一样，因此设置f(.)[0069]给定两个教师模型：文本模态的文本教师模型BERTlarge以及图[0073]表1为MXBERT和文本模态编码器的性能对比结果，在表1中，第二行的模型ELMo、看出，在文本模态本发明的方法在GLUE的多个数据集上不仅超越了原本的基准模型[0076]表2.MXBERT和图像编码器的性能对比，其中CIFAR数据集是采用top1的错误率，[0089]下面对本发明实施例二公开的一种基于变分蒸馏的多模态联合表示学习系统进[0098]本实施例的基于变分蒸馏的多模态联合表示学习系统用于实现前述的基于变分现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0102]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提