CN119311854B 基于跨模态相似度文本挖掘数据查询方法及系统 （江西数易科技有限公司）

基于跨模态相似度文本挖掘数据查询方法本发明提供基于跨模态相似度文本挖掘数括一种基于跨模态相似度的文本挖掘数据查询法通过构建多层级特征提取网络，分别获取文2获取待查询文本和预设文本库中的目标文本，所述目标文本包括构建自适应跨模态对比学习网络，所述自适构建多层级筛选模型，所述多层级筛选模型包括粗粒度过滤构建文本特征提取模块的层次化注意力网络，通过词向构建图像特征提取模块的空间注意力网络，通过多层构建时序特征提取模块的双向长短时记忆网络，将所构建特征融合子网络，将所述特征融合子网络划分征维度变换的全连接层、用于特征分布标准化的批归一化层和用于非线性映射的激活函3将输入的文本多维特征向量、所述图像多维特征向量和所述时序多构建动态权重调整模块，所述动态权重调整权重与所述注意力增强的模态特征加权组合得到自适应融对所述自适应融合特征进行数据增强处理生成正样本对，从同一批合特征中随机采样得到负样本对；基于所述正样本对和所述负样本对构建单模态对比损基于所述优化后的判别特征的空间局部密度为每个查询样本构建态邻域内通过注意力机制计算样本与邻域内其他样本的相关性权重得到邻域注意力权重；计算样本对在所述优化后的判别特征空间中的余弦相似度作为初始构建图注意力网络，将所述邻域注意力权重和模态相似度矩阵包括直接相似关系和基于局部结构的间将输入样本构建为图结构，所述图结构中的节点表示样本特征，边对于所述图结构中的节点对，将节点特征输入权重矩阵进行线性变换所述原始注意力分数与预先计算的邻域注意力权重进行逐元素相乘得到局部结构约束分基于所述注意力系数构建加权矩阵，将所述加权矩阵与节点的4对跨模态相似度矩阵进行双向归一化处理，所述双向归一化处理包的K个平均相似度作为局部相似度特征，基于所述局部相似度特征对所述初步归一化的相将所述强化局部结构的相似度矩阵映射到低维空间并进行产品量化统计所述重排序候选文本的相似度分布特征，基于所述将所述文本节点特征和所述优化后的关系边特征输入多任务学习框基于所述边特征向量从语义维度、结构维度和时序维度构建关注意力机制对所述关系特征表示进行融合；根据融合后的关系特征表示生成关系预测结基于所述主题层次结构和所述实体关系结构生成结构8.基于跨模态相似度文本挖掘数据查询系统，用于实现前述权利要求1_7中任一项所5第一单元，用于获取待查询文本和预设文本库中的目第二单元，用于构建自适应跨模态对比学习网络，所述第三单元，用于构建多层级筛选模型，所述多层级筛选模其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意6[0002]传统的跨模态检索方法通常采用简单的拼接或加权平均的方式融合不同模态的化表达和深入分析。用户往往需要花费大量时间从返回的结果中筛选和整理所需的信息。[0010]构建多层级筛选模型，所述多层级筛选模型包括粗粒度过滤7数据的多尺度特征图；对所述多尺度特征图分别构建通道注意力分支和空间注意力分支；8融合权重与所述注意力增强的模态特征加权组合[0019]利用对比学习损失函数基于自适应融合特征进行优化，述动态邻域内通过注意力机制计算样本与邻域内其他样本的相关性权重得到邻域注意力建跨模态相似度矩阵包括直接相似关系和基于局部结构的间点的特征响应信息；将所述查询向量与所述键向量进行矩阵乘法运算得到原始注意力分近邻的K个平均相似度作为局部相似度特征，基于所述局部相似度特征对所述初步归一化[0029]将所述强化局部结构的相似度矩阵映射到低维空间并进9索路径信息进行融合得到多维度评估指标；基于所述多维度评估指标构建加权排序模型，[0049]本发明利用图神经网络构建文本关系推理模块，对候选文本进行聚类和关系预[0055]图1为本发明实施例基于跨模态相似度文本挖掘数据查询方法的流程示意图，如[0058]构建多层级筛选模型，所述多层级筛选模型包括粗粒度过滤[0063]利用图神经网络构建文本关系推理模块，基于目标候选文本集合建立文本关系最终生成包含文本聚类结果和关系预测结果的结构化查询数据的多尺度特征图；对所述多尺度特征图分别构建通道注意力分支和空间注意力分支；作为键向量和值向量)进行点融合权重与所述注意力增强的模态特征加权组合[0106]在一种可选的实施方式中,利用对比学习损失函数基于自适应融合特征进行优述动态邻域内通过注意力机制计算样本与邻域内其他样本的相关性权重得到邻域注意力建跨模态相似度矩阵包括直接相似关系和基于局部结构的间和原始图像作为正样本对。从同一批次的其它自适应融合特征中随机采样得到负样本对。失。模态对齐损失通过最小化同一自适应融合特征在不同模态下的特征距离实现特征对[0114]接下来，基于优化后的判别特征的空间局部密度为每个查询样本构建动态邻点的特征响应信息；将所述查询向量与所述键向量进行矩阵乘法运算得到原始注意力分邻域内的节点建立连接关系。邻域注意力权重可以通过计算节点间的相似度或距离得到。询向量与样本3的键向量进行矩阵乘法运算，得到一个分数，表示样本1对样本3的关注程[0135]将原始注意力分数与预先计算的邻域注意力权重进行逐元素相乘得到局部结构元激活函数对局部结构约束分数进行非线性变换，然后使用归一化指数函数进行归一化，[0140]对标准化特征通过自适应门控机制选择性保留原始特征[0145]在一种可选的实施方式中,利用所述多层级筛近邻的K个平均相似度作为局部相似度特征，基于所述局部相似度特征对所述初步归一化[0147]将所述强化局部结构的相似度矩阵映射到低维空间并进索路径信息进行融合得到多维度评估指标；基于所述多维度评估指标构建加权排序模型，假设K＝2，对于第一个文本，它的近邻是第二个和第三个文本，则其局部相似度特征为法对重排序候选文本进行多样性约束，例如选择相似度较低但与目标文本仍然相关的文[0162]基于多个模态的特征一致性计算中间候选文本集合中各候选文本的置信度分[0168]在一种可选的实施方式中,采用多任务学习框[0176]在文本聚类子任务中，基于节点间相似度矩阵计算样本到聚类中心的概率分以使用两个节点在图中的连接关系表示；时序维度可以使用两个节点出现的时间顺序表[