CN114387430B 基于人工智能的图像描述生成方法、装置、设备及介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中A,2013.01.30A,2020.02.04A,2020.02.11A,2020.07.03A,2020.08.25A,2021.10.22A,2021.12.17通过基于多模态特征融合的方法将理解的图像实现将图像的丰富信息用语言详尽完整地表达2基于多模态特征融合的方法，根据所述待描述图像、各个所所述基于多模态特征融合的方法，根据所述待描述图像、各个所述采用基于迭代的Transformer得到的模型，根据各个所述第一融合特征和各个所述第采用基于动态指针网络得到的模型，根据所述词预测结果和各个所所述根据所述待描述图像，对每个所述文本区域进行文本识别，得到待采用基于卷积神经网络得到的模型，对每个所述文本图像区块进行预将每个所述时序特征图集输入基于循环神经网络得到的模型进行根据每个所述目标候选区域，从所述待分析图像特征图中提取采用基于全卷积网络得到的模型，根据每个所述目标外观特征进行掩膜图生3将同一所述目标候选区域对应的所述目标外观特征、所述目标位根据所述目标文本概率图和所述目标动态阈值图进行可微分二值化计对所述待处理目标特征中的目标外观特征和所述目标位置编码进行线性变化边以映重复执行所述获取一个所述目标特征作为待处理目标特征的对所述文本块词向量、所述文本块图像特征、所述文本块编码特征和所重复执行所述获取任一个所述待分析文本作为待处理文本的步骤4所述基于多模态特征融合的方法，根据所述待描述图像、各个所述采用基于迭代的Transformer得到的模型，根据各个所述第一融合特征和各个所述第采用基于动态指针网络得到的模型，根据所述词预测结果和各个所6.一种计算机设备，包括存储器和处理器，所述存储器存处理器执行时实现权利要求1至4中任一项所述的方56为所述基于循环神经网络得到的模型的嵌入层的输出维度的预测标签，所述预设标签包[0025]采用基于区域生成网络得到的模型，根据所述待描述图像进行目标候选区域提[0029]采用基于全卷积网络得到的模型，根据每个所述目标外[0034]采用基于迭代的Transformer得到的模型，根据各个所述第一融合特征和各个所[0039]对所述待处理目标特征中的目标外观特征和所述目标位置编码进行线性变化边7程序被处理器执行时实现上述任一项所述的环境进行理解以生成图像描述，从而实现将图像的丰富信息用语言详尽完整地表达出来，8basedSequenceRecognitionandItsApplicationtoSceneTextRecognition)网络在待描述图像中的位置信息。目标掩膜图，是根据目标外观特征生成的掩膜图(也就是，9经过学习得到的通用向量嵌入空间，然后将映射特征输入到基于多层Transformer网络得本中的词)和在预定义码表的范围内预测的词语中选择一个词作为当前输出，将最后输出的各个词按输出顺序组合成句子，将该句子作为图像描述结果，其中，基于多层级联处理，然后对级联处理的得到的特征层分别进行文本概率图预测和动态阈值图预测，最后根据文本概率图和动态阈值图进行可微分二值化计算，根据计算结果生成文本区域，[0099]预设文本概率图预测模型，是采用多个第一训练样本对神经网络训练得到的模[0102]预设动态阈值图预测模型，是采用多个第二训练样本对神经网络训练得到的模定值。每个像素的标定值的取值有两个，分别是0(不是文本区域边界)和1(是文本区域边[0116]对于S34，将每个所述时序特征图集输入基于循环神经网络得到的模型进行文本[0117]因图像经过基于卷积神经网络得到的模型进行特征提取后的宽度为图像从左到法将理解的图像的文本联系环境进行理解以生成图像描述[0132]对于S41，采用基于ResNet-FPN得到的模型，对所述待描述图像进行图像特征提区域提取，其中，基于区域生成网络得到的模型采用预设尺寸的框(也称为先验框，[0135]基于区域生成网络得到的模型，也就是基于RPN(RegionProposalNetwork)得到候选区域对应的图像特征图，将每个所述目标候选区域对应的图像特征作为目标外观特所述区域图像特征进行分类预测，以预测所述区域图像特征对应的图像是背景还是物体。[0140]可选的，采用基于FClayer(全连接层)和softmax激活函数(回归分类函数)得到用基于迭代的Transformer得到的模型根据两个特征融合的结果进行词预测，最后根据词[0153]对于S51，将各个所述目标特征对应的各种特征映射到经过学习得到的通用向量作为上一个时刻预测出的词输入基于迭代的Transformer得[0156]Transformer的结构也是由encoder(编码)和decoder(解码)组成，并且Transformer是利用Attention(注意力)机制来解[0159]对于S54，基于动态指针网络得到的模型，也就是基于DPN(Dynamicpointer[0166]本实施例将目标特征的各种特征进行线性变化边以映射到第一预设维数的向量[0184]本实施例将待分析文本的各种特征进行线性变化边以映射到第一预设维数的向[0198]公式x《"计算结果即为所述待处理文本对应的所述第二融合特征。[0200]参照图2，本申请还提出了一种基于人工智能的图像描述生成装置，所述装置包[0203]文本识别模块300，用于根据所述待描述图像，对每个所述