CN114239805B 跨模态检索神经网络及训练方法、装置、电子设备、介质 （成都卫士通信息产业股份有限公司）

司本公开提供了一种跨模态检索神经网络及于提取词向量间的局部语义关系特征；与第一图像检测网络连接的第二GCN网络层，用于提取物体间的局部语义关系特征；与第二GCN网络层连接的第二biGRU，用于提取目标图像的全局语2获取训练样本集和验证样本集，所述训练样本集及所述验证样将所述验证样本集中的验证图像输入所述跨确定所述跨模态检索神经网络生成的与所述验证图像的图像特征匹配的第一类文本确定影响相同标签数据的类内聚合紧凑程度的第一参数、S,-cos($,i,),表示第i个所述跨模态样本中样本中的所述第一类文本特征；si=cos($,i),i,表示第i个所述跨模态样本中的所述第2.根据权利要求1所述的跨模态检索神经34.根据权利要求3所述的跨模态检索神经网络训练方法，其5.根据权利要求1至4任一项所述的跨模第一获取模块，用于获取训练样本集和验证样本集，所第一确定模块，用于确定所述跨模态检索神经网络生成第二确定模块，用于确定影响相同标签数据的类内聚合紧凑其中，Lcosine表示所述损失值；N表示所述验证样本集中所述跨模态样本对的目标数量；i表示所述跨模态样本对的标号；γ表示所述第一参数、m表示所述第二参数；4处理器，用于执行所述存储器中的所述计算机程序，以实现权利要处理器执行时实现权利要求1至5任一项所述方5施，这便需要相应的神经网络来配合运行，比如神经网络通过深度残差网络(ResNet,ResidualNeuralNetwork)提取图像特征、使用长短期记忆网络(LSTM,LongShort-TermMemoryNeuralNetwork)提取文本特征，然后借助注意力网络层(AttentionLayer)等机体；与所述图像检测网络连接的第二GCN网络层，用于提取所述物体间的局部语义关系特6[0016]确定所述跨模态检索神经网络生成的与所述验证图像的图像特征匹配的第一类数量；i表示所述跨模态样本对的标号；γ表示所述第一参数、m表示所述第二参数；样本中的所述第一类文本特征；S,=cos(i,i,),i,表示第i个所述跨模态样本中的所述第7一GCN网络层连接的第一biGRU，用于基于局部语义关系特征提取目标文本的全局语义特8[0041]图3为根据一示例性实施例示出的一种跨模态检索神经网络训练装置的结构示意量的维度扩充到目标图像的维度；与全连接层12连接的第一GCN(GraphConvolution络层13连接的第一biGRU(双向门控循环单元网络)14，用于基于局部语义关系特征提取目一GCN网络层连接的第一biGRU，用于基于局部语义关系特征提取目标文本的全局语义特9二第一GCN网络层的对应层级上的结构可以一致，第一biGRU与第二biGRU的对应层级上的第i个跨模态样本中的第二类文本特征；M表示第i个跨模态样本中文本描述对应的文本特[0073]为了便于理解本公开提供的跨模态检索神经网络的检索效果，现以DCG@5得分为提出的损失函数也能够显著提升跨模态检索的[0082]第一确定模块140，用于确定跨模态检索神经网络生成的与验证图像的图像特征第i个跨模态样本中的第二类文本特征；M表示第i个跨模态样本中文本描述对应的文本特神经网络训练方法中的全部或部分步骤。存储器902用于存储各种类型的数据以支持在该O接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField[0091]在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、数字信号处理器(Digital处理器901执行以完成上述的跨模态检索神经网介质中相关部分的说明请参见本公开实施例提供的跨模态检索神经网络训练方法中对应