CN117194710B 多粒度视频检索方法及装置 （电子科技大学）

本申请实施例提出一种多粒度视频检索方频库中每个视频数据的粗粒度视频特征和细粒视频和片段级检索对应的片段级视频的检索结对完整视频的检索召回率以及对视频中的目标2获取视频库中每个视频数据的特征信息；其中，所述特征信息包通过所述检索算法，基于所述句子级文本特征和所述特征信息，进行所述相似度数据包括粗粒度相似度和细粒度所述通过所述检索算法，基于所述句子级文本特征和所述特征信息，通过所述浏览分支，基于选取的多个中心点和多个尺度，构建每个所通过所述凝视分支，按照所述粗粒度最优片段的中心点和多个尺对训练数据集中的每个样本对进行处理，得到每个所述样本对中的查询文本样本为对所述样本对中的视频样本从所述训练数据集中选取预设数量个样本对作为训练样本，并将每个通过所述初始浏览分支，基于多个中心点和多个尺度，构建所述训通过所述初始凝视分支，按照所述粗粒度样本最优片段的中心点和多3所述训练视频与所述训练查询文本间的细粒度基于所述粗粒度相似度和所述细粒度相似度，结合所有所述训练样本中的训练视频，计算关于粗粒度的第一对比学习损失和关于细粒结合所述第一对比学习损失和第二对比学习损失，得到混针对每个所述粗粒度样本候选片段，结合所述粗粒度视频样本基于所述句子级文本特征和所述片段特征，计算出每个所述粗粒针对每个所述细粒度样本候选片段，结合所述细粒度视频样本基于所述句子级文本特征和所述片段特征，计算出每个所述细粒根据所述粗粒度相似度，从所有所述训练样本中的训练视频中确定第负样本，并联合三元损失函数和infoNCE损失函数，计算出关于粗粒度的第一对比学习损基于所述细粒度相似度，从所有所述训练样本中的训练视频中确定第6.根据权利要求2所述的多粒度视频检索方法，其特征在于，所述基于所述初始4采用所述初始Transformer模型对所述训练样本中的视频样本进行语义建模，得到细7.根据权利要求1所述的多粒度视频检索方法，其特征在于，所述根据所述相似度数针对所述视频库的每个视频数据，将所述视频数据对应的按照所述视频级相似度，将所有所述视频数据进行排序，并根据排按照所述细粒度相似度，从每个候选视频中，选择预设数量个余弦相似按照所述余弦相似度，将所有所述待选片段进行排序，并根据排序结所述预处理模块，用于对待查询文本进行处理，得到所述待查询文本行下采样得到；所述检索处理模块，用于通过所述检索算法，基于所述句子级文括视频级检索对应的整体级视频和片段级检索对应的5尺度的双分支协同特征处理，得到所述待查询文本与每个所述视频数据间的相似度数据；的粗粒度相似度；6述视频数据的多个细粒度候选片段，并结合所述细粒度视频特征和所述句子级文本特征，中的查询文本样本为对所述样本对中的视频样本的片段的粗粒度样本候选片段，并结合所述训练样本对的粗粒度视频样本特征和句子级文本特征，述训练查询文本间的粗粒度相似度；算出所述训练视频与所述训练查询文本间的细粒度[0023]结合所述第一对比学习损失和第二对比学习损失，得到述训练查询文本间的粗粒度相似度。7[0032]基于所述细粒度相似度，从所有所述训练样本中的训练视频中确定第二正样本、[0040]采用所述初始Transformer模型对所述训练样本中的视频样本进行语义建模，得8[0047]在一种可能的实施方式中，所述获取视频库中每个视频果包括视频级检索对应的整体级视频和片段级检实现如第一方面中任一种可能的实施方式所述的多粒所述计算机程序被处理器执行时实现如第一方面中任一种可能的实施方式所述的空调远应的句子级文本特征，并获取视频库中每个视频数据的粗粒度视频特征和细粒度视频特度数据得到包括视频级检索对应的整体级视频和片段级检索对应的片段级视频的检索结9此处附图中描述和示出的本申请实施例的组件可以以各种不同的配用查询文本检索视频时，用户输入的查询文本只和目标视频的部分片段具有语义相关关[0083]本申请实施例提供的多粒度视频检索方法，可以应用于图1中所示的多粒度视频本对中的查询文本样本是对该样本对中的视频样本的各片段的自本的训练视频与训练查询文本间的粗粒度相似度和细粒度相关于粗粒度的第一对比学习损失和关于细粒度的第二对[0102]对于步骤S10得到每个样本对中的查询文本样本对应的句子级文本特征的方式也[0104]对于将符号级特征进行上下文建模和特征聚合，可以采用单层transformer编码qq的符号级特征向量个数，qi表示第i个符号级特征向量，α表示自注意力权重矩阵，[0110]对于步骤S12，初始Transformer模型可以是单层Transformer模型，且[0111]细粒度视频样本特征集合可以表示为：粗粒度视频样vf表征第i个粗粒度视频样本特征，pf表征第j个粗粒度nps"(q,0)=maxs(q",ce),s(q",c)…s(a",cn,),其中Sc(q,v)表征粗粒np[0125]可以在预先设定的尺度下限值和尺度上限值之间(即wlb到wub之间)以等间距的方[0128]细粒度样本候选片段的片段特征计算方式可以参见上文S132中粗粒度样本候选[0131]对于步骤S15，可以采用任一种损失函数计算第一对比学习损失和第二对比学习练样本中的训练视频中确定第一正样本和第一负样本，并联合三元损失函数和infoNCE损_练样本中随机选取的相对当前文本q不匹配的训练视频(即第一负样本)，q表示_本中的其余训练查询文本作为第二负样本。进而利用联合三元损失函数和infoNCE损失函损失值，并将联合三元损失值和infoNCE损失值的加权求和作为细粒度视频间对比学习损[0143]细粒度视频间对比学习损失的表示方式与上述计算第一对比学习损失的表示方和Sn2(q,v)分别表征一类负样本的片段特征与句子级文本特征的[0149]将细粒度视频间对比学习损失和视频内对比学习损失作为关于细粒度的第二对中心点和尺度)引导的协同方式，能够增强检索算法模型对查询文本与视频具体片段的语[0164]上述多粒度视频检索方法中，对待查询文本进行处理得到对应的句子级文本特npnp[0178]可以在预先设定的尺度下限值和尺度上限值之间(即wlb到wub之间)以等间距的方[0180]细粒度候选片段的片段特征计算方式可以参见上文S132中粗粒度候选片段的片视频候选片段的排序结果前K项中至少存在一项与真实目标项的IoU大于阈值的比[0192]在Charades_STA数据集上进行模型训练和测试，并与以往方法做效果对比。Charades_STA数据集共包含6670条视频，这些视频涉及各种室内活动，视频平均长度为1.66.010.146.964.61.75.69.637.154.11.25.410.045.662.31.65.69.437.754.31.87.111.847.768.42.47.712.849.872.7索和片段级检索的性能均优于现有的模型(包括XML模型、DE+++模型、ReLoCLNet模型、5.319.430.673.1128.45.318.429.268.0121.05.718.930.072.0126.65.218.028.266.4117.87.122.534.775.8140.16.822.734.876.1140.5[0206]由上述表3和表4可知，本申请提供的检索算法Activitynet_Ca视频级检索和片段级检索的性能也均优于现有的模型(包括XML模型、DE+++模型、[0209]优选的，由于本申请提出的多粒度视频检索方法采用基于相似度排名的检索方行下采样得到。[0216]在一种可能的实施方式中，还包括训练模块，训练模块用于执行上述步骤S10至[0218]关于多粒度视频检索装置40的具体限定可以参见上文中对于多粒度视频检索方备50的处理器用于提供计算和控制能力。该电子设备50的存储器包括非易失性存储介质、各个程序模块构成的计算机程序使得处理器执行本说明书中描述的多粒度视频检索方法备50可以通过输入模块403执行步骤S25。电子设备50可以通过检索处理模块404执行步骤显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能