CN113762321B 多模态分类模型生成方法和装置 （北京沃东天骏信息技术有限公司）

本公开提供了一种多模态分类模型生成方数据进行分类的分类模型；从样本集中选取样2获取预置的样本集，所述样本集至少包含一个样本，所述样执行以下训练步骤：从所述样本集中选取样本；将该样本的不述模态融合模块包括用于将所有的特征向量的维数转换为与所述门限向量的维数相同的依次训练所述多模态融合网络中的各个分类模型和所述门限模块、所述模态融合模在各个分类模型、所述门限模块和所述模态融合模块均训练切断所述门限模块的梯度反向传播，针对所述多模态在所有的分类模型均训练完成之后，接通所述门限模块的梯设置所述门限模块分配给所述图像分类模型的门限向量为设定维度所述门限模块分配给所述文本分类模型的门限向量为设定维度设置所述门限模块分配给所述文本分类模型的门限向量为设定维度所述门限模块分配给所述图像分类模型的门限向量为设定维度3所述第二门限子模块包括：全连接层以及第二激活层，所述第一激活层将所述目标输入采用如权利要求1-6中任一项所述的方法生成的多模态分类模型中，输入单元，被配置成将该样本的不同模态的子样本分别输入至与各模提取单元，被配置成通过所述门限模块提取所有的特征向量的门限向量量用于表征分类模型输出的特征向量在所有的特所述模态融合模块包括用于将所有的特征向量的维数转换为与所述门限向量的维数相同输出单元，被配置成响应于确定所述多模态融合网络满足训练完成分类单元，被配置成将所述目标输入采用如权利要求1-6中任一项所述的方法生成的456[0015]在一些实施例中，上述单训子单元进一步被配置成切断门限模块的梯度反向传7进一步被配置成：设置门限模块分配给图像分类模型的门限向量为设定维度的全一向量，该程序被处理器执行时实现如第一方面中任程序在被处理器执行时实现如第一方面任一实现[0025]本公开的实施例提供的多模态分类模型生成方法和装置，首先获取预置的样本同模态的子样本分别输入至与各模态对应的分类模型，得到各个分类模型输出的特征向8[0037]图1示出了可以应用本公开实施例的多模态分类模型生成方法、多模态分类模型[0042]数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可9[0048]如图2，示出了根据本公开的多模态分类模型生成方法的一库服务器(例如图1所示的数据库服务器104)中获取存储于其中的现有的样本集。再例如，然后分别使用该向量中的一列与对应的一种模态的特征向量(长度也是512)对应位置相乘转换组件包括一个全连接层、一个归一化层和一个Relu激活函数层(激活函数采用Relu的模块提取所有的特征向量的门限向量，并将所有的特征向量和门限向量输入模态融合模[0079]下面以分类模型为图像分类模型和文本分类模型，介绍多模态融合网络训练过[0082]③将开关全部打开，冻结图像分类模型和文本分类模型(即固定训练完成的图像[0083]④解除图像分类模型和文本分类模型冻结(训练完成的图像分类模型和文本分类[0085]在本实施例的一些可选实现方式中，依次训练多模态融合网络中的各个分类模tensorflow2.0作为图像分类模型基础架构，并使用迁移学习在原有的[0090]文本数据是序列数据，可以采用循环神经网络，或者采用基于attention的Bert(BidirectionalEncoderRepresentationsfromTransformers，变换器的双向编码网模型分配给文本分类模型的门限向量为设定维度的全零向量；对图像分类模型进行训练，向量(模态融合组件输出值是全1的门限向量)，分配给文本分类模型为全0的门限向量(模训练文本分类模型(相当于开关拨向了文本分类模型)。当不对门限向量进行赋值的时候，[0101]请参见图5，其示出了本公开提供的多模态目标分类方法的一个实施例的流程式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的待分类的目[0104]在本实施例中，待分类的目标可以是一种包括至少两种文本数据的形式存在。如，输入的目标包括衣服的图像数据(衣服的图片)和文本数据(衣服的标题、详情、属性[0107]在本实施例中，多模态分类模型可以是采用如上述图2实施例所描述的方法而生[0109]在对多模态的产品(例如该产品包括图片和标题。标题对图片中的产品进行了说[0112]如图6所示，本实施例的多模态分类模型生成装置600可以包括：样本获取单元量。融合单元606，被配置成将所有的特征向量和门限向量输入模态融合模块。输出单元限模块和模态融合模块均训练完成之后，对多模态融合网络中的所有模块同时进行训练，定维度的全一向量，设置门限模型分配给文本分类模型的门限向量为设定维度的全零向特征向量的第i个值，表示文本分类模型的特征向量的[0125]如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发[0130]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的