CN114722902B 基于自监督学习的无标注视频哈希检索方法及装置 （中山大学）

基于自监督学习的无标注视频哈希检索方本发明公开了一种基于自监督学习的无标入哈希层得到哈希码特征并计算哈希码特征的2获取视频帧数据集并划分为训练数据集及测试集，对训练数据集进行将增强后数据集输入视频哈希检索网络，使用特征提取层获取将中间特征输入哈希层得到哈希码特征并计算哈希码特对视频哈希检索网络进行训练，使用随机梯度下降法优化损失，更将增强后的数据集输入视频哈希检索网络，使用特征提取层学设增强后数据集Z1与Z2中对应训练数据集中同一视ij分别表示Z1中第i张视频帧与Z2中第j张视频帧对应训练数据集中同一视频帧的正样本对，zi，zk表示负样本对，τ表示温度超参数，用来调整损失函数的效果，表示zi和zj之间的余弦相似度。将中间特征Z1和Z2输入哈希层H获得哈希码特征B3设哈希码特征B1和B2中对应训练数据集中同一视频帧的哈希码特j表示B1中第i个哈希码特征与B2中第j个哈希码特征对应于训练集同一视频所述数据收集处理模块用于获取视频帧数据集并划分为训练所述检索网络建立模块用于建立视频哈希检索网络，所述视频哈希所述中间特征提取模块将增强后数据集输入视频哈希检索网络，使用所述哈希码特征获得模块将中间特征输入哈希层得到哈希码特征并计算哈希码特征4所述检索网络训练模块用于对视频哈希检索网络进行训练，使用随所述检索结果输出模块将测试集输入训练好的视频哈希现权利要求1-8任一项所述的基于自监督学习的无标注视5[0004]在现有的视频检索技术中，SongJ等人在《Self-SupervisedVideoHashingWithHierarchicalBinaryAuto-Encoder》文献中采用了一种相近自监督哈希检索二进制哈希码，然后分别用另外两个LSTM网络从前向和后向两个方向重建帧特征，最后与《UnsupervisedDeepVideoHashingviaBalancedCodeforLarge-ScaleVideo提取特征，然后对RGB那一路网络的第7个全连接层FC7输出的特征Z进行聚类得到Y，再对Y伪哈希码B与光流那一路网络的第8个全连接层FC8计算误差来训练网络，最后将光流那一路的网络参数继承给RGB帧那一路，实现了对视频的检索。在文献《Neighborhood的LSTM网络作为骨干网络，先对视频帧特征计算出二进制哈希码，再通过LSTM网络重建出视频帧特征，将重建的特征和原始的视频帧特征计算一个视觉内容重建损失，然后计算领域相似度损失和领域信息重建损失，以此实现对视频的检索。但是现有的检索方法提取的不佳。6[0008]获取视频帧数据集并划分为训练数据集及测试集，对训[0024]设增强后数据集Z1与Z2中对应训练数据集中同一视频帧的两个视频帧为正样本视频帧的正样本对，zi,zk表示负样本对，τ表示温度超参数，用来调整损失函数的效果，7表示zi和zj之间的余弦相似度。[0033]设哈希码特征B1和B2中对应训练数据集中同一视频帧的8[0052]所述哈希码特征获得模块将中间特征输入哈希层得到哈希码特征并计算哈希码[0054]所述检索结果输出模块将测试集输入训练好的视频哈希检索网络中进行视频检9[0086]对于训练数据集中的N个视频帧数据，经过数据增强之后得到2N个增强后的视频帧数据；设增强后数据集Z1与Z2中对应训练数据集中同一视频帧的两个视频帧为正样本视频帧的正样本对，zi,zk表示负样本对，τ表示温度超参数，用来调整损失函数的效果，stm(e13)=cos⃞表示zi和zj之间的余弦相似度。[0090]由于中间特征Z为N×C的实数矩阵，而哈希层的输出应该为+1和-1分别代表二进设计哈希层来使得这部分可以求导，本方法的哈希层H包括一个全连接层和激活函数y=[0097]设哈希码特征B1和B2中对应训练数据集中同一视频帧的两个哈希码特征为正样[0113]基于与上述实施例中的基于自监督学习的无标注视频哈[0114]如图3所示，本发明另一个实施例提供了一种基于自监督学习的无标注视频哈希[0118]哈希码特征获得模块将中间特征输入哈希层得到哈希码特征并计算哈希码特征频哈希检索方法的实施例阐述的技术特征及其有益效果均适用于基于自监督学习的无标[0122]此外，上述实施例的基于自监督学习的无标注视频哈希[0124]获取视频帧数据