CN115129848B 一种视觉问答任务的处理方法、装置、设备和介质 （苏州浪潮智能科技有限公司）

2依据所述待分析图像与所述第一文本的相关性将所述目标检测框对应的坐标信息、分类类别和语义特征输入训练好的视觉问答模所述依据所述待分析图像与所述第一文本的相关性，从所述融合特利用训练好的目标检测模型从所述融合特征中筛选出满足相关性要求的目标检测框；利用目标检测数据集训练初始检测模型，以得到所述初始检测模型对应的权重参数；基于所述目标检测数据集中各样本对应的样本标签，对计算所述待分析图像的图像特征中包含的各图像检测框与所述第一文本的文本特征对应的文本检测框的交并比；依据所述目标检测数据集中各样本对应的样本标基于所述正负样本对应的损失函数，调整所述初始检测模型中融合模块对应的参数，将所述目标检测数据集中各样本对应的样本标签以及概率值输入至正负样本损失函3;i表示第i个样本的样本标签对应的数值，样本标签为正样本利用所述正样本对应的坐标信息、分类类别和语义特征对初始视觉问答模型进行训利用所述目标检测模型的语言编码模块对所述第一文本进行特征编码，得到文本特利用训练好的目标检测模型对所述待分析图像以及多个所述问题文本进行并行分析，所述融合单元，用于对待分析图像和第一文本进行特所述筛选单元，用于依据所述待分析图像与所述第一所述得到单元，用于将所述目标检测框对应的坐标信息、分类类别和4所述筛选单元用于利用训练好的目标检测模型从所述融合特征中筛选出满足相关性所述处理器，用于对所述待分析图像和所述第一文本所述依据所述待分析图像与所述第一文本的相关性，从所述融合特包含的语言编码模块和融合模块各自的初始化权重以及所述初始检测模型对应的权重参处理器，用于执行所述计算机程序以实现如权利56[0012]计算所述待分析图像的图像特征中包含的各图像检测框与所述第一文本的文本特征对应的文本检测框的交并比；[0015]利用训练好的目标检测模型从所述融合特征中筛选出满足相关性要求的目标检[0026]将所述目标检测数据集中各样本对应的样本标签以及概率值输入至正负样本损7[0033]利用所述目标检测模型的目标检测模块提取所述待分析图像的[0039]利用训练好的目标检测模型对所述待分析图像以及多个所述问题文本进行并行8包含的语言编码模块和融合模块各自的初始化权重以及所述初始检测模型对应的权重参[0065]所述筛选单元还用于利用训练好的目标检测模型从所述目标检测数据集中筛选9[0084]处理器，用于执行所述计算机程序以实现如上述视觉问答任务的处理方法的步依据待分析图像与第一文本的相关性，从融合特征中筛选出满足相关性要求的目标检测[0088]图1为本申请实施例提供的一种视觉问答任务的处理方法所适用的硬件组成框架[0089]图2为本申请实施例提供的另一种视觉问答任务的处理方法所适用的硬件组成框[0094]图7为本申请实施例提供的一种在手机端并行处理不同的视觉问答任务的示意及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者擦除可编程只读存储器（ElectricallyErasableProgrammableRead_OnlyMemory，[0104]将目标检测框对应的坐标信息、分类类别和语义特征输入训练好的视觉问答模[0106]电子设备100可以被一个或多个应用专用集成电路（ApplicationSpecific[0107]当然，图1所示的电子设备100的结构并不构成对本申请实施例中电子设备的限图2为本申请实施例提供的另一种视觉问答任务的处理方法所适用的硬件组成框架示意[0109]在本申请实施例中，第一电子设备11与第二电子设备12的硬件结构可以参考图1牙等也可以是有线网络。[0113]传统方式中，通常都是直接用目标检测预训练权重对数据集的所有图片进行推类置信度设置阈值或者设定每张图像输出的检测框数[0127]在筛选出目标检测框后，可以通过前向传播网络(Feed_ForwardNetwork，FFN)[0128]视觉问答模型可以采用VINVL（VisualrepresentationsinVision_LanguageModels）或者LXMERT（LearningCross_ModalityEncoderRepresentationsfrom依据待分析图像与第一文本的相关性，从融合特征中筛选出满足相关性要求的目标检测[0132]本申请实施例采用的目标检测模型所依赖的基础模型可以是DETR（DEtectionTRansformer，基于transformer的目标检测网络该模型利用近来大火的transformer结[0133]图4为本申请实施例提供的一种目标检测模型的网络结构图，目标检测模型包括标检测模型的训练是目标检测模型进行视觉问答任务处理的基础前提，图5为本申请实施[0137]目标检测数据集可以包括C[0138]在模型训练阶段，图片首先通过骨干网络即CNN（ConvolutionalNeural分辨率自适应获得的，其意义是得到图像特征图的局部位置信息。采用transformer的法进行检测框及坐标框的匹配。argmin表示使达到最小值时w_=1。;示L1[0162]融合模块网络结构图如图6所示，融合模块包含有两个单一模态变压器模型（intra_attention一个跨模态变压器模型（cross_transformer一个线性层和一个正[0163]在实际应用中，语言编码模块会将Roberta编码的文本特征输入intra_transformer网络模块中，解码模块会将DETR的解码器输出的图像特征输入到intra_transformer网络模块中。然后将两个模态融合的特征继续通过跨模态transformer个query向量，相当于会产生100个检测框。这里根据问题定位相关的坐标框给定每个检测框正样本或是负样本标签。判定准则可以是根据检测得到坐标框与GQA数据集中Ground添加FFN模块进行坐标框的分类及相关位置坐标回归的优化。[0166]本申请实施例提供的目标检测模型的框架着重优化目标检测提取视觉线索的流[0167]本申请实施例提供的视觉问答任务的处理方案可以很便利地应用到手机、FPGA成。[0168]骨干网络采用的是SwinTransformer结构，目标检测模块采用的是基础的Transformerencoder及Transformerdecoder模块，MLP模块则是由一系列全连接及矩阵[0170]以手机为例，图7为本申请实施例提供的一种在手机端并行处理不同的视觉问答dog和girl。视觉问答模块将上一步得到的结果和问题一起作为输入，推理出最终的答案出Sky。视觉问答模块将上一步得到的结果和问题一起作为输入，推理出最终的答案[0172]图8为本申请实施例提供的一种视觉问答任务的处理装置的结构示意图，包括融[0178]选取子单元，用于从所有图像检测框中选取出交并比大于预设阈值的目标检测[0186]识别子单元，用于利用初始检测模型识别目标检测数据集中各样本对应的概率[0196]提取子单元，用于利用目标检测模型的目标检测模块提取待分析图像的图像特[0197]编码子单元，用于利用目标检测模型的语言编码模块对第一[0206]图8所对应实施例中特征的说明可以参见图3和图5所对应实施例的相关说明，这依据待分析图像与第一文本的相关性，从融合特征中筛选出满足相关性要求的目标检测[0212]图9所对应实施例中特征的说明可以参见图3和图5所对应实施例的相关说明，这终端设备在获取到待分析图像和第一文本后，可以将待分析图像和第一文本传输至处理依据待分析图像与第一文本的相关性，从融合特征中筛选出满足相关性要求的目标检测重点说明的都是与其他实施例的不