CN119513387A 一种多模态数据的快速检索方法、装置及存储介质 （山东极视角科技股份有限公司）

本申请公开了一种多模态数据的快速检索集进行标注，生成与多模态数据相关的标注信2收集多个公开数据集，所述数据集包含至少两种不同对所述数据集进行标注，生成与多模态数据相关的标注信息，使用多模态特征提取模型对所述数据集中的所述标注信息进根据所述特征向量，使用跨模态特征融合算法，基于注意力机根据用户输入查询的特征向量，通过所述特征向量的相似性从所述将所述训练集数据输入所述卷积神经网络、所述双向编码器根据预训练的结果以及所述验证集对所述卷积神经网络、所述双向提取梅尔频率倒谱系数特征，将所述梅尔频率倒谱系数特征输入长短期对每个模态特征向量进行线性变换并应用非3;A和B是特使用排序函数获取得分与索引的元组，按照相似度得分从高到提取单元，用于使用多模态特征提取模型对所述数据集中的所述标注第二计算单元，用于根据所述相关的多模态数据，使用检索单元，用于根据用户输入查询的特征向量，通过所述特征向所述存储器保存有程序，所述处理器调用所述程序以执行如权利要算机上执行时执行如权利要求1至7中任一45对每个模态特征向量进行线性变换并应用非6[0014]本申请第二方面提供了一种多模态数据的快速检索装置，所述快速检索装置包[0015]本申请第三方面提供了一种多模态数据的快速检索装置，所述快速检索装置包在检索过程中某些模态的信息被过度强调或忽视。充分利用多模态数据之间的协同关系，7图2为本申请提供的多模态数据的快速检索方法中划分数据集的一个实施例流程图3为本申请提供的多模态数据的快速检索方法中提取数据集特征的一个实施例图4为本申请提供的多模态数据的快速检索方法中生成融合特征向量的一个实施图5为本申请提供的多模态数据的快速检索方法中将多模态数据按相关性排序的[0026]本申请提供了一种多模态数据的快速检索方法，能够对多模态数据进行快速检8[0034]对音频转写后的文本进行与文本数据相同的预处理操作，包括分词和词向量编应符合卷积神经网络模型的输入要求。卷积神经网络的卷积层通过卷积核在图像上滑动，9向量表示，词嵌入向量包含了词的语义信息和上下文信息。双向编码器的编码器由多个;A和B为特征向量，w为相应的权重向量，n是特征向量的维度，A和B是特征向量A和B在第i维的值，W,是与第i维特征相关的权重值，分子部分表示加权后的内积，分母部分和分别计算加[0047]需要说明的是，训练集用于训练多模态特征提取模型和加载验证集数据后将验证集数据输入到预训练好的模型中，得到模型的预测结将加载的图像调整为模型输入所需的大小以及将图像的像素值转换到特定的范分别加载双向编码器的分词器和模型，分词器用于将文本分割成一个个的词元，期记忆网络模型输入要求的形状，然后将符合要求的梅尔频率倒谱系数特征转换为torch张量，将预处理后的梅尔频率倒谱系数张量输入到长短期记忆网络模型中进行前向传播，以使模型学习到更具普遍性的模式和规律，从而增强模型在各种复杂场景下的泛化能力。理不同模态的数据，使提取到的特征更加准确且突出多模态数据中与任务相关的重要信线性变换和激活函数处理后的特征向量进行标准化，使其数值范围在一个合理的区间内，wn[0068]最后将每个模态的特征向量与其对应的权重相乘并求和，即可得到融合特征向sorted_tuples=sorted(score_index_tuples,key=lambdax:x[0],提取单元607，用于使用多模态特征提取模型对数据集中的标注信息进行特征提对每个模态特征向量进行线性变换并应用非;A和B[0084]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read_only