CN115115913B 一种数据处理方法、装置、电子设备及存储介质 （北京科技大学）

基于所述文本特征确定所述图像特征中的关键特征和所述关键图像特征进行融合处理得到多处理文本进行结构化处理以得到目标结构化数据。本发明提高了文本结构化处理结果的准确2获取待处理文本的文本特征以及待处理图像的图像特征；所述基于所述文本特征确定所述图像特征中的关键图像特征；所基于所述文本特征和所述关键图像特征进行融合处理得到多模基于所述多模态特征编码向量，确定多个预设对象中的第一目标预确定所述第一目标预设对象，在对象原型向量集合中对应的第一目标对象原型向量；所述对象原型向量集合包括所述多个预设对象中每个预设对象的对基于所述第一目标对象原型向量对所述多模态特征编码向量基于所述目标多模态特征编码向量进行序列标注处理，得到所述第对所述文本特征、所述关键图像特征和所述关键文本特征进行融合从所述多模态特征编码向量中，提取预设分类标识符所在位置处的特基于所述分类特征编码向量进行分类处理，得到分类结果；确定所述多模态特征编码向量中各特征编码向量与所述第一目标对象原型向量之间3确定所述匹配度与相应特征向量的乘积，将所述乘积的结果6.根据权利要求1～5中任一项所述的方法，其特征获取样本数据集中的样本数据，所述样本数据包括样本文样本文本对应有参考对象标签序列；将所述样本数据输入至初始数据处理模型的特征编码器，得到将所述样本多模态特征编码向量输入至所述初始数据处理模型的特征解码器进行序述参考对象标签序列；基于所述损失值分别对所述特征编码器和所述特征解码基于所述损失值确定第一模型参数的第一更新幅度；所基于所述损失值确定第二模型参数的第二更新幅度，所述第二更新基于所述第一更新幅度和第二更新幅度分别对相应模型参将所述样本多模态特征编码向量输入至所述特征解码器进行对象范基于所述第二目标对象原型向量对所述样本多模态特征编码向量进行匹所述第二目标预设对象对应的目标样本多模态特将所述目标样本多模态特征编码向量输入至所述特征解码器的序列标注模型进行序4从所述样本多模态特征编码向量中，提取预设分类标识符所在位置处的特征编码向将所述样本分类特征编码向量输入至所述特征解码器的分类网络进行分类预测分类结果；所述预测分类结果包括多个预设对象中每个预设对象对应的预测置信度，所述预测置信度表征相应预设对象存在于所述样本确定所述多个预设对象中所述预测置信度大于置信度阈值的第二目标通过第一损失函数，基于所述第二目标预设对象对应的多个预测对象通过第二损失函数，基于所述预测分类结果和所述样本文本对在所述第二目标预设对象与所述参考分类标签信息相匹配时述最大化目标和所述多个预测对象标签序列的预测概率利用所述第一损失函数确定第一在所述第二目标预设对象与所述参考分类标签信息不匹配时于所述最大化目标和所述多个预测对象标签序列的预测概率利用所述第一损失函数确定数据获取模块，用于获取待处理文本的文本特征以及待处理图像关键图像特征确定模块，用于基于所述文本特征确定所述图像特征中的关键图像特融合模块，用于基于所述文本特征和所述关键图像特征进行融合处理得到多模态特序列标注模块，用于基于所述多模态特征编码向量，确5行以实现如权利要求1～11中任一项所述的数67[0020]关键文本特征确定模块，用于基于所述自注意力权重对8确定所述样本文本对应的样本文本特征以及基于预训练视觉模型确定所述样本图像对应的样本图像特征，基于所述样本文本特征确定所述样本图像特征中的样本关键图像特征，预训练语言模型对所述样本多模态特征进行编码处理得到所述样本多模态个预测对象标签序列包括所述参考对象标签序列；分别对所述特征编码器和所述特征解码器中[0042]第一更新幅度确定模块，用于基于所述损失值确定第一模型参数的第一更新幅[0043]第二更新幅度确定模块，用于基于所述损失值确定第二模型参数的第二更新幅除所述第一模型参数之外的模型参数和所述特征解码器编码向量进行匹配处理，得到所述第二目标预设对象对应的目标样本多模态特征编码向符为在生成所述样本文本特征时添加在所述样9设对象中各预设对象是否存在于所述样本文[0062]第五确定模块，用于基于所述样本数据集中各样本文本对应的参考对象标签序[0068]本发明实施例通过基于文本特征确定图像特征中在文本特征中存在对应语义信模态特征编码向量进行序列标注处理并基于目标对象标签序列对待处理文本进行结构化[0074]图4是本发明实施例提供的针对输入文本和对应的输入图像从多个预设属性中选像特征中的关键图像特征，该关键图像特征为在文本特征中存在对应语义信息的图像特[0093]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0095]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服实施例或者附图所示的方法顺序执行或者并[0110]在特征提取中可以通过多层卷积神经网络(ConvolutionalNeuralNetwork，[0114]给定两个输入特征序列注意力机制用三个权[0118]通过式(2)中的Q和K的转置相乘，注意力映射代表了Q和K每个位的所有位置被乘上了一个特定的匹配分数并相加，得到了与Q本身形状相同的注意力输出A代表了Q的每一个位置各自从V中获取到的有用信息，类似于人类只对有用式(3)得到：[0124]其中，xt表示文本特征，xv表示图像特征；CrossA(xt,xv)表征关键图像特征；表示交叉注意力权重。[0125]考虑到基于注意力机制得到的关键图像特征的维度为注意力机制内部特征序列的维度，为了使得关键图像特征的维度与文本特征的维度相一致以便于后续的融合处理，在基于注意力机制得到关键图像特征后，可以使用简单的MLP将该关键图像特征从注意力而在融合处理时将文本特征、关键文本特征和关键图像特征进行融合以得到多模态特征。[0138]考虑到基于注意力机制得到的关键文本特征的维度为注意力机制内部特征序列的维度，为了使得关键文本特征的维度与文本特征的维度相一致以便于后续的融合处理，在基于注意力机制得到关键文本特征后，可以使用简单的MLP将该关键文本特征从注意力[0141]具体的实施中，文本特征的序列最大长度S1一般为中文数据时64、英文数据时特征编码向量进行序列标注处理并基于目标对象标签序列对待处理文本进行结构化处理范围下进行结果序列预测，将导致预测结果中存在大量的误报错误，最终降低了结构化数据的准确性。[0167]S305，基于所述第一目标对象原型向量对所述多模态特征编码向量进行匹配处特征编码向量为c表示该特征编码向量fj与第一目标对象原型向量的匹配度，[0170]通过对选中的的Cm个对象原型向量都做如上的匹配处理，得到预设对象对应的目标对象标签序列。[0176]以预设对象为商品的属性为例，如图4所示为针对输入文本和对应的输入图像从中的第一目标预设属性，后续将仅对该被选中的第一目标预设属性进行属性标签序列预[0177]考虑到如果直接将余弦相似度作为1个新通道与特征拼接，余弦相似度的信息占[0178]确定所述多模态特征编码向量中各特征编码向量与所述第一目标对象原型向量[0180]具体的，假设多模态特征编码向量中对应文本位置j上的特征编码向量为c表示该特征编码向量fj与第一目标对象原型向量的匹配度，则先将匹配度j原型向量；fj表示多模态特征编码向量中对应文本位置j上的特征编码向量；Concate[0184]通过将匹配度与相应特征编码向量相乘并将该乘积的结果与该特征编码向量在处理模型实现，也即本发明实施例的数据处理方法还可以包括数据处理模型的训练步骤，[0186]获取样本数据集中的样本数据，所述样本数据包括样本所述样本文本对应有参考对象标签序列；[0188]将所述样本多模态特征编码向量输入至所述初始数据处理模型的特征解码器进括所述参考对象标签序列；序列特征即样本多模态特征后输入到预训练语言模得到样本多模态特征后输入到预训练语言模型中进行编络中分别使用简单的MLP将基于各自注意力机制得到的关键特征从注意力机制内部特征序[0199]预训练语言模型用于对样本多模态特征进行编码处理得到样本多模态特征编码模型可以是BERT模型，或者其他BERT衍生模型，例如RoBERTa(ARobustlyOptimized前向LSTM网络层输出的隐状态序列与后向LSTM网络层输出的隐状态序列进行按位置拼接，得到完整的隐状态序列。线性变换层MLP以将每个位置的隐状态向量从m(表示隐状态向量维度)维映射到C维，并使列中包括训练数据标注的那条路径即样本文本对应的参考对象标CRF学习的转移矩阵T中某个符号yi转移到下一个位置的某个符号yi+1的转移概率记为转移分数则由以下公式(8)可以计算一条路径(即一个预设对象标签序列)的预测概率征解码器的输入，也即在模型参数更新时仅仅对特征解码器中的模型参数进行更新训练，[0208]以用于电商广告理解的多模态属性值提取任务为例，从常用的BERT模型采用了自监督学习的方式，使用的数据是采集自Wikipedia等网站的未标用于电商广告理解的多模态属性值提取任务使用的输入数据是电商场景下描述一件商品的文字和图片，与Wikipedia上的词条文章或者网络上采集的自然物体图片有着较大的差基于所述损失值分别对所述特征编码器和所述特征解码器中的模型参[0220]基于所述第二目标对象原型向量对所述样本多模态特征得到所述第二目标预设对象对应的目标样本多模[0221]将所述目标样本多模态特征编码向量输入至所述特征解码器的序列标注模型进[0224]将所述样本分类特征编码向量输入至所述特征解码器的[0225]确定所述多个预设对象中所述预测置信度大于置信度阈[0226]具体的，预设分类标识符为在生成样本文本特征时添加在样本文本开头的标识[0230]具体的匹配处理可以参见前述图3a所示方法实施例中的相关内容，在此不再赘器中的序列标注模型对该第二目标预设对象对应的目标样本多模态特征编码向量进行序对象对应的目标样本多模态特征编码向量可以输入到序列标注模型BiLSTM中，进而通过BiLSTM、MLP和CRF的依次处理可以针对该第二目标预设对象计算出CRF中的所有预测对象标签序列的预测概率，该预测概率的具体计算方式可以参见前述公式(8)和(9)的相关内[0231]由于在对象原型引导过程中新增了对于每个预设对象存在于样本文本的概率即权系数，为了保证两个损失函数在模型参数更新的过程中贡献均等，可以取加权系数λ=象在预设对象集合的范围进行分类标签信息标注从而得到每条样本数据中样本文本对应则对上述各样本文本对应的属性进行统计去重后可以得到该样本数据集对应的预设对象[0248]考虑到基于预测分类结果得到的第二目标预设对象可能与参考分类标签信息不于所述最大化目标和所述多个预测对象标签序列的预测概率利用所述第一损失函数确定象标签序列中目标预测对象标签序列对应的预测概率作为所述第一损失函数的最大化目[0252]由于第二目标预设对象是多个预设对象中预测置信度大于置信度阈值的预设对“名称”这一属性对应的多个预测对象标签序列中参考属性标签序列对应的预测概率作为第一损失函数的最大化目标即前述公式(9)中的SRe属性对应的多个预测对象标签序列中参考属性标签序列对应的预测概率作为第一损失函数的最大化目标即前述公式(9)中的SRealPath[0257]通过对上述第一损失值的处理使得模型可以学习到用输出目标预测对象标签序后的数据处理模型仅预测被选中预设对象的对动鞋的图像。待处理文本输入至数据处理模型的预训练词向量层得到输出的文本特征序网络层得到每个预设属性是否存在于待处理文本i的置信度Ri，将多个预设属性组成的数组中置信度大于置信度阈值的预设属性对应的位置设为1，将置信度小于或者等于置信度[0261]针对每个目标属性原型向量Pi进行匹配处理，即计算该目标向量引导的目标特征编码向量序列。[0266]关键图像特征确定模块820，用于基于所述文本特征确定所述图像特征中的关键[0267]融合模块830，用于基于所述文本特征和所述关键图像特征进行融合处理得到多[0274]关键文本特征确定模块，用于基于所述自注意力权重对确定所述样本文本对应的样本文本特征以及基于预训练视觉模型确定所述样本图像对应的样本图像特征，基于所述样本文本特征确定所述样本图像特征中的样本关键图像特征，预训练语言模型对所述样本多模态特征进行编码处理得到所述样本多模态个预测对象标签序列包括所述参考对象标签序列；分别对所述特征编码器和所述特征解码器中[0296]第一更新幅度确定模块，用于基于所述损失值确定第一模型参数的第一更新幅[0297]第二更新幅度确定模块，用于基于所述损失值确定第二模型参数