CN114037003B 问答模型的训练方法、装置及电子设备 （北京百度网讯科技有限公司）

本文本问题在文本维度和图像维度上的第一特合特征向量和样本图像问题对应的第二融合特向量对问答模型进行训练，以生成目标问答模2获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第基于所述第一特征向量集合和所述第二特征向量集合，生成所第一融合特征向量和所述样本图像问题对应基于所述第一特征向量和所述第二特征向量，获取文本与图像基于所述样本对象间的关联度，对所述样本文本问题和所述样本对象之外的另一个对象对应的关联特征向量进所述基于所述第一特征向量集合和所述第二特征向量集合，生成所述所述基于所述样本对象内的关联度，对所述样本对象对应的关联特征向量进行修正，基于所述样本对象内的关联度对应的权重值，对所述样本对象对所述基于所述样本对象间的关联度，对所述样本文本问题和所述样本基于所述样本对象间的关联度对应的权重值，对所述样题中除所述样本对象之外的另一个对象对应的关联特征向量获取两个维度上的所述第一特征向量之间的第一关联度，所述获取所述文本维度上的所述第一特征向量和所述图像维度上的所述第二特征向量之基于所述第一关联度，对所述第一关联特征向量进行修正，得到第基于所述第二关联度，对所述第二关联特征向量进行修正，得到第3根据所述第一目标关联特征向量和所述第二目标关联特征向获取两个维度上的所述第二特征向量之间的第三关联度，所述获取所述图像维度上的所述第一特征向量和所述文本维度上的所述第二特征向量之基于所述第三关联度，对所述第二关联特征向量进行修正，得到第基于所述第四关联度，对所述第一关联特征向量进行修正，得到第根据所述第三目标关联特征向量和所述第四目标关联特征向通过以下方式获取文本维度上的第一特征向量或文本维度上的第获取所述样本对象的特征信息，并基于特征信息和文本提取矩阵上的特征向量，其中，所述样本对象为所述样本文本问题和所述样本图像问题中的一个；通过以下方式获取图像维度上的第一特征向量或图像维度上的第获取所述样本对象的特征信息，并基于所述特征信息和图通过以下方式获取所述第一关联特征向量或所述第二关获取所述样本对象的特征信息，并基于所述特征信息和关联根据所述样本融合向量，对所述待训练的问答模型进行训练，并获根据所述损失函数，对所述待训练的问答模型的模型参数获取所述文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度4获取所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度基于所述第一待解答特征向量集合和所述第二待解答特题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答根据所述第一待解答融合特征向量和所述第二待解答融合特征向量基于所述第一待解答特征向量和所述第二待解答特征向量，获基于所述待解答对象内的关联度，对所述待解答对象对应的待基于所述待解答对象间的关联度，对所述文本问题和所述图像问题之外的另一个待解答对象对应的待解答关联特征向量进所述基于所述第一待解答特征向量集合和所述第二待解答特征向量集本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合特征向量，根据两个所述修正后的两个待解答关联特征向量，得到所述所述基于所述待解答对象内的关联度，对所述待解答对象对应的基于所述待解答对象内的关联度对应的权重值，对所述待解答对象所述基于所述待解答对象间的关联度，对所述文本问题和所述图像问基于所述待解答对象间的关联度对应的权重值，对所述文本所述待解答对象之外的另一个待解答对象对应的待解答关联特征向量进获取两个维度上的所述第一待解答特征向量之间的第一关联度，获取所述文本维度上的所述第一待解答特征向量和所述图像维度上的所述第二待解基于所述第一关联度，对所述第一待解答关联特征向量进基于所述第二关联度，对所述第二待解答关联特征向量进5根据所述第一待解答目标关联特征向量和所述第二待解答目标关联获取两个维度上的所述第二待解答特征向量之间的第三关联度，获取所述图像维度上的所述第一待解答特征向量和所述文本维度上的所述第二待解基于所述第三关联度，对所述第二待解答关联特征向量进基于所述第四关联度，对所述第一待解答关联特征向量进根据所述第三待解答目标关联特征向量和所述第四待解答目标关联通过以下方式获取文本维度上的第一待解答特征向量或文本维度上的第二待解答特获取所述待解答对象的特征信息，并基于特征信息和文本提取通过以下方式获取图像维度上的第一待解答特征向量或图像维度上的第二待解答特获取所述待解答对象的特征信息，并基于所述特征信息和图像提通过以下方式获取所述第一待解答关联特征向量或所述第二待解答关获取所述待解答对象的特征信息，并基于所述特征信息和关联提将所述问题融合向量输入训练好的目标问答模型中，基于所述目标获取模块，用于获取样本文本问题分别在文本维度和图像维度上的6融合模块，用于基于所述第一特征向量集合和所述第二特文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量；以及，基于所述第一特征向量和所述第二特征向量，获取文本与图像基于所述样本对象间的关联度，对所述样本文本问题和所述样本对象之外的另一个对象对应的关联特征向量进基于所述样本对象内的关联度对应的权重值，对所述样本对象对所述基于所述样本对象间的关联度，对所述样本文本问题和所述样本基于所述样本对象间的关联度对应的权重值，对所述样题中除所述样本对象之外的另一个对象对应的关联特征向量获取两个维度上的所述第一特征向量之间的第一关联度，所述获取所述文本维度上的所述第一特征向量和所述图像维度上的所述第二特征向量之基于所述第一关联度，对所述第一关联特征向量进行修正，得到第基于所述第二关联度，对所述第二关联特征向量进行修正，得到第根据所述第一目标关联特征向量和所述第二目标关联特征向获取两个维度上的所述第二特征向量之间的第三关联度，所述获取所述图像维度上的所述第一特征向量和所述文本维度上的所述第二特征向量之7基于所述第三关联度，对所述第二关联特征向量进行修正，得到第基于所述第四关联度，对所述第一关联特征向量进行修正，得到第根据所述第三目标关联特征向量和所述第四目标关联特征向通过以下方式获取文本维度上的第一特征向量或文本维度上的第获取样本对象的特征信息，并基于特征信息和文本提取矩阵通过以下方式获取图像维度上的第一特征向量或图像维度上的第获取所述样本对象的特征信息，并基于所述特征信息和图通过以下方式获取所述第一关联特征向量或所述第二关获取所述样本对象的特征信息，并基于所述特征信息和关联根据所述样本融合向量，对所述待训练的问答模型进行训练，并获根据所述损失函数，对所述待训练的问答模型的模型参数进行调整生成模块，用于获取所述文本问题分别在文本维度和图像维度所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二修正模块，用于基于所述第一待解答特征向量集合和所述第二待解答特征向量集合，生成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融答案模块，用于根据所述第一待解答融合特征向量和所述第二待解答融合特征向量，基于所述第一待解答特征向量和所述第二待解答特征向量，获8基于所述待解答对象内的关联度，对所述待解答对象对应的待基于所述待解答对象间的关联度，对所述文本问题和所述图像问题之外的另一个待解答对象对应的待解答关联特征向量进根据两个所述修正后的两个待解答关联特征向量，得到所述基于所述待解答对象内的关联度对应的权重值，对所述待解答对象所述基于所述待解答对象间的关联度，对所述文本问题和所述图像问基于所述待解答对象间的关联度对应的权重值，对所述文本所述待解答对象之外的另一个待解答对象对应的待解答关联特征向量进获取两个维度上的所述第一待解答特征向量之间的第一关联度，获取所述文本维度上的所述第一待解答特征向量和所述图像维度上的所述第二待解基于所述第一关联度，对所述第一待解答关联特征向量进基于所述第二关联度，对所述第二待解答关联特征向量进根据所述第一待解答目标关联特征向量和所述第二待解答目标关联获取两个维度上的所述第二待解答特征向量之间的第三关联度，获取所述图像维度上的所述第一待解答特征向量和所述文本维度上的所述第二待解基于所述第三关联度，对所述第二待解答关联特征向量进基于所述第四关联度，对所述第一待解答关联特征向量进9根据所述第三待解答目标关联特征向量和所述第四待解答目标关联通过以下方式获取文本维度上的第一待解答特征向量或文本维度上的第二待解答特获取所述待解答对象的特征信息，并基于特征信息和文本提取通过以下方式获取图像维度上的第一待解答特征向量或图像维度上的第二待解答特获取所述待解答对象的特征信息，并基于所述特征信息和图像提通过以下方式获取所述第一待解答关联特征向量或所述第二待解答关获取所述待解答对象的特征信息，并基于所述特征信息和关联提将所述问题融合向量输入训练好的目标问答模型中，基于所述目标所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被使所述计算机执行根据权利要求1-6和7-12中像问题对应的第二融合特征向量；根据所述第一融合特征向量和所述第二融合特征向量，所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合述第一方面所述的问答模型的训练方法或上述第二方面所述的答机程序在被处理器执行时实现上述第一方面所述的问答模型的训练方法或上述第二方面[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特答系统可以更加准确的获取输入其中的问题的答量的文本特征进行特征融合的图像特征确定为样本文本问题在图像维度上的第一特征向[0047]需要说明的是，可以从样本文本问题的没有被确定为第一特征向量的文本特征一特征向量的图像特征中随机选择一个作为第二特二特征向量集合中的文本特征和图像特征，与第一特征向量集合中的图像特征进行融合，[0062]本公开提出的问答模型的训练方法，获取样本文本问题对应的第一特征向量集融合，使得样本文本问题中的文本特征和样本图像问题中的图像特征得到了更有效的强量中的图像特征之间的关联度可以被确定为样本对象间特征是样本图像问题中物体A的颜色特征，则该两个被确定为第一特征向量的文本特征和像特征是样本图像问题中物体B的颜色特征，则该两个被确定为第一特征向量的文本特征特征向量集合中的图像特征是样本图像问题中物体A的颜色特征，则第一特征向量的文本二特征向量集合中的图像特征是样本图像问题中物体B的颜色特征，则第一特征向量的文一特征向量中的图像特征之间的关联度可以被确定为样本对象间特征是样本图像问题中物体A的形状特征，则该两个被确定为第二特征向量的文本特征和像特征是样本图像问题中物体B的形状特征，则该两个被确定为第二特征向量的文本特征特征向量集合中的图像特征是样本图像问题中物体A的形状特征，则第二特征向量的文本一特征向量集合中的图像特征是样本图像问题中物体B的形状特征，则第二特征向量的文向量在特征融合过程中的权重值，并基于该权重值对样本内的关联特征向量进行加权处对象内的关联度和样本对象间的关联度对应[0106]基于第一关联度和第二关联度，确定第一关联度W1对应的权重值为W1,，则基于[0111]基于第三关联度和第四关联度，确定第三关联度W3对应的权重值为W3,，则基于本对象内的关联度和样本对象间的关联度对应的[0121]基于第一关联度和第二关联度，确定第二关联度W2对应的权重值为W2,，则基于[0126]基于第三关联度和第四关联度，确定第四关联度W4对应的权重值为W4,，则基于标关联特征向量与第二目标关联特征向量相加，基于两个目标关联特征向量相加的结果，标关联特征向量与第四目标关联特征向量相加，基于两个目标关联特征向量相加的结果，的图像特征之间的特征融合，可以通过对样本文本问题和样本图像问题分别进行特征提[0166]进一步地，返回使用下一个样本文本问题和样本图像问对应的第一待解答融合特征向量和图像问题对应的第二待解答[0186]本公开实施例中，可以将待解答问题中的文本问题和图像问题确定为待解答对向量集合中的文本特征的第一待解答特征向量和第二待解答特征向量集合中图像特征的题中除待解答对象之外的另一个待解答对象对应的待解答关联特征向量特征向量与第二待解答特征向量集合中的图像特征的第二待解答特征向量之间的关联程特征向量与第一待解答特征向量集合中的文本特征的第一待解答特征向量之间的关联程特征向量和第二待解答特征向量集合中的图像特征的第二待解答特征向量之间的关联程特征向量和第一待解答特征向量集合中的图像特征的第一待解答特征向量之间的关联程[0218]其中，可以将第一待解答特征向量集合中的第一待解答问题对应的第一待解答融合特征向量以及图像问题对应的第二待解答融[0220]其中，可以将第一待解答目标关联特征向量与第二待解答目标关联特征向量相待解答图像特征向量和一个携带有待解答文本特征向量和待解答图像特征向量的待解答[0242]本公开提出的答案的获取方法，通过目标问答模型获取图像问题中的一个；和/或通过以下方式获取图像维度上的第一特征向量或图像维度上的[0256]本公开提出的问答模型的训练装置，获取样本文本问题对应的第一特征向量集融合，使得样本文本问题中的文本特征和样本图像问题中的图像特征得到了更有效的强取图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待问题和图像问题中除待解答对象之外的另一个待解答对象对应的待解答关联特征向量进答对象之外的另一个待解答对象对应的待解答关联特征向量进和图像问题中的一个；和/或通过以下方式获取图像维度上的第一待解答特征向量或图像[0275]如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(ROM)1502中的计算机程序或者从存储单元1509加载到随机访问存储器(RAM)1503中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0277]计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算计算机程序的部分或者全部可以经由ROM1502和/或通信单元1509而被载入和/或安装到设机程序可在包括至少一个可编程处理器的可