CN114821223B 预训练图像文本模型处理方法和图文检索系统 （杭州阿里巴巴海外互联网产业有限公司）

预训练图像文本模型处理方法和图文检索本发明公开了一种预训练图像文本模型处图像文本样本对中的字和图像块进行掩码处理练图像文本模型包括多级下采样编码器和多级块嵌入化结合多级下采样编码器和逐级对应的上采样解码器的模型结构实现了预训练图像语言网络中被掩码图像块的像素级重建。进一步2获取对图像文本样本对中的字和图像块进行掩码处理的掩码对图像中特定图像块进行掩码并对文字描述中的特定单词进行掩码来获取所述掩码训练将所述掩码训练样本对输入所述预训练图像文本模型，获取所述预使用嵌入变换子网络从所述掩码训练样本对生成文本嵌入向量和图像嵌入向量，其所述文本嵌入向量串接经过平坦化处理的所述图像嵌入向量得所述合成向量经过空间缩减后送入由多头注意子网络和前馈网络构成的编码器单元；拆分经编码器单元处理的所述合成向量，获取经下采样的所述将经过多级下采样的所述图像嵌入向量送入所述多级上采样解根据如权利要求1_7中任一项所述的方法获取的预训练图像文本模型，用于基于用户34通过图像的分块嵌入化结合多级下采样编码器和逐级对应的上采样解码器的模型结构实对剩余部分进行重构以获取经下采样的所述5用于获取用户输入的文字和/或图像信息；以及根据第一方面所述的方法获取的预训练图[0019]图1示出了根据本发明一个实施例的预训练图像文本模型处理方法的示意性流程[0022]图4示出了基于原始的图像文本样本对来获取文本token和图像patch的一个例[0026]图8示出了根据本发明一实施例可用于实现上述预训练图像文本模型处理方法的6[0028]如前所述，如何从海量多媒体数据中高效解析出遵循人结合多级下采样编码器和逐级对应的上采样解码器的模型结构实现了预训练图像语言网[0032]图1示出了根据本发明一个实施例的预训练图像文本模型处理方法的示意性流程出的图像和对应的文字描述(图示的“Women’sSleevelessLongDress(女子无袖长像文本模型针对被掩码字、被掩码图像块和图像文本任务输出的损失值。随后，在步骤7述多级下采样编码器的输出，求取针对所述被掩码字和所述图像文本任务输出的损失值；所述经处理图像嵌入向量获取所述预训练图像文本模型针对所述被掩码图像块的损失值，文本以及作为文本描述对象的图像在经过一定处理后得到多个文本token(标记)和多个图塔型的多级上采样Transformer解码器，由此获取与输入图像相同维度的经处理图像嵌入[0039]图4示出了基于原始的图像文本样本对来获取文本token和图像patch的一个例以及针对该图像的描述(图4左侧下部对男子穿着的带帽拉链衫的描述“Longsleevehoodleinblack.Drawstringclosureathood.Zipclosureandpatchpacketsat发明人自行编写的简化结构的ResNet)从所述掩码训练样本对生成文本嵌入向量和图像嵌8[0043]这样使得输入所述多级下采样编码器的是图3A_B所示的embedding，即文本嵌入[0044]在本发明中，每级下采样编码器可以看作是能够进行下采样的Transformer编码下所述的α值的设置来确定被掩码图像块是要掩码1个(1x1)、4个(2x2)还是9个(3x3)甚至的一个优选的端到端模型实施例。图5示出了根据本发明的端到端VL预训练模型的一个例[0047]图5示出了一种用于时尚(尤其是电商领域)跨模态表示的掩码视觉语言转换器物饰品等商品)的标题进行标记化(tokenize)，并使用特定标记[MASK]以掩码比率rl随机9一阶段，通过给定的输入(T和V)分别生成文本嵌入向量T1和视觉嵌入向量V1。关于后续阶[0053]其中和分别是可学习的线性嵌入和位置嵌入矩k是隐藏特征嵌入的大小。视觉嵌入向量为其中Rk表示视觉嵌入的等效空间维度从减少到这可以表述为：k>并将它们馈送到多个(Mk)VL变换器编码器中。每个编码器都包含具有空间缩减nk+1>并将其划分为语言部分Tk+1＝mk+1和视觉部分Vk+1＝nk＝1k＝2k＝3k＝422224842224222利用PVT架构的金字塔特征来设计灵活的掩码策略。基于PVT的架构根据包含小粒度patch的掩码单元矩阵来进行输入图像掩码。给定patch序列被掩[ZERO]表示使用像素值zero(0)来填充选定I'=Fun(VW;wmnn)由可学习的权重WMIR参数化。函数FUU(;)表示标准的四级U_[0070]在最后一级文本嵌入向量T4中的附加分类嵌入向量可被用于偶接来自VL多模态Fmw输出一个二分类概率向量pru=Fmw((T;v);wrw),表示输入的图像和文本描[0075]可以随机使用特定的标记[MASK]来替换原始文本标记。MLM的目标是使用未掩码[0077]其中表示使用T\i对每个掩码标记[MASK]i的预测概[0084]其他的下游任务还可以包括类别识别任务和掩码图像生成(MIG)任务。类别识别[0086]图8示出了根据本发明一实施例可用于实现上述预训练图像文本模型处理方法的处理器820可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理储媒介不包含载波和通过无线或有线传输的瞬间电[0091]上文中已经参考附图详细描述了根据本发明的预训练图像文本模型处理方法以进一步地，本发明限定的MIR任务则能够通过像素级特征重建强制对图像做更加细粒度理算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算当所述可执行代码(或计算机程序、或计[0096]附图中