CN114418032B 一种基于自协调对比学习的五模态商品预训练方法及检索系统 （中山大学）

一种基于自协调对比学习的五模态商品预本发明公开了一种基于自协调对比学习的挡部分特征的不同模态数据利用模态特征编码2S1：根据商品样本数据的不同模态数据构建相应使用bottom-up-attention网络作为模态特征编码提取器获得图像的边界框及其坐标使用word-piece作为模态特征编码提取器获得文本的不同tok使用实体word-piece作为模态特征编码提取器获得表格模态数使用S3D网络作为模态特征编码提取器获得视频中具有时空特使用MFCC作为模态特征编码提取器获得音频模态数对于每种模态数据分别构建不同模态数据间的Transformer对比学习模块，用于学习获取语义对齐的公共多头自注意力网络，用于提取五种模S4：将带有遮挡部分特征的不同模态数据利示输入到步骤S3的多模态预训练模型进行自监督训练，将各个模态数据进行高层语义融对于bottom-up-attention网络输出的边界框及边界框特征，使用5维界框的位置信息包括边界框的左上角坐标、右下角坐标及边界框占整个图像的大小比例，对于文本序列，使用递增的自然数序列表示它们的位置信息，传入线性全连3通过遮掩各个模态数据中的部分特征，将带有遮掩部分特征的模态使用对比学习的损失函数来训练多模态预训练模型，6.根据权利要求1～5任一项所述的基于自协调对比4使用这些更多模态信息的数据，使其服务于大规模商品检索成为了一个主要的研究问题。[0004]但是在商品检索领域，现有方法都是对单一模态的数据些商品所具有的属性特征，而更多模态的数据可以提供除图像纹理描述以外的商品信息，[0005]本发明为了解决以上现有技术的商品检索主要依靠单模态数据以及图片级别检5[0013]使用bottom-up-attention网络作为模态特征编码提取器获得图像的边界框及其[0025]对于每种模态数据分别构建不同模态数据间的Transformer对比学习模块，用于6[0031]使用对比学习的损失函数来训练多模态预训练模型，对种模态数据输入到多模态预训练模型进行训练，并将训练提取的检索特征存放于检索库用五种模态信息进行自协调对比学习训练，解决了双模态训练过程中高层语义不足的问7[0049]使用bottom-up-attention网络作为模态特征编码提取器获得图像的边界框及其态特征编码提取器分别提取其对应特征编码[0057]对于bottom-up-attention网络输出的边界框及边界使用5维向量，计算每个边界框的位置信息包括边界框的左8分段信息传入线性全连接层得到分段编码；将表格传入线性全连接层得到表格的特征编该数据作用于线性全连接层得到位置编码；使用1作为分段信息传入线性全连接层得到分[0064]对于每种模态数据分别构建不同模态数据间的Transformer对比学习模块，用于[0069]通过遮掩标题文本中的词，将带有遮掩词的文本序列输9[0071]通过遮掩表格中的实体词，将带有遮掩的表格文本序列输入到多模态预训练模[0074]使用对比学习的损失函数来训练多模态预训练模型，对[0079]所述的商品所查询特征与单品特征相似度按照Cosine距离计算，Cosine距离越[0084]其中所述的多模态预训练模型模块包括Transfo