CN114972841B 基于知识蒸馏的视频多线索社交关系抽取方法及装置 （北京邮电大学）

基于知识蒸馏的视频多线索社交关系抽取本发明提出一种基于知识蒸馏的视频多线数进行同步训练以拉近场景特征和语义特征与通过多层注意力网络以及卷积层和池化层进行征、语义特征进行分段并作为三类节点进行构图；将构图后的节点特征通过图卷积网络作聚2将所述视频帧序列输入到学生模型中，获取场景特征和语义特征将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层进行特征提取将构图后的节点特征通过图卷积网络作聚合，并经过分类器作将所述待分析无约束场景视频的视频帧序列输入所述待分析视频多线索社交关系提基于视频多线索社交关系提取框架提取所述无约束场景视频中的社将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调整自通过将所述场景特征和语义特征的余弦损失函数以及分类损失函数进行加权融合对预处理模块，用于将所述视频帧序列通过预先训练好的教师模型进行构图模块，用于将所述场景特征和语义特征通过多层3通过池化将所述场景特征和语义特征与教师模型输出的所述软目标映射到同一个特将所述待分析无约束场景视频的视频帧序列输入所述待分析视频多线索社交关系提基于视频多线索社交关系提取框架提取所述无约束场景视频中的社将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调整自在经过分类器作分类之后，通过将所述场景特征和语义特4[0004]我们人类可以比较容易地通过一些综合线索来识别人物或推断他们之间的社交应用。5[0008]本发明的第二个目的在于提出一种基于知识蒸馏的视频多线索社交关系抽取装[0013]将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层进行特征[0018]将所述待分析无约束场景视频的视频帧序列输入所述待分析视频多线索社交关[0021]通过池化将所述场景特征和语义特征与教师模型输出的所述软目标映射到同一个特征空间，再使用所述余弦损失函数拉近所述软目标与所述场景特征和语义特征的距[0023]将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调[0025]通过将所述场景特征和语义特征的余弦损失函数以及分类损失函数进行加权融6同时通过余弦损失函数进行同步训练以拉近所述场景特征和语义特征与所述软目标的距[0034]将所述待分析无约束场景视频的视频帧序列输入所述待分析视频多线索社交关[0037]通过池化将所述场景特征和语义特征与教师模型输出的所述软目标映射到同一个特征空间，再使用所述余弦损失函数拉近所述软目标与所述场景特征和语义特征的距[0039]将所述场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调在MovieGraphs数据集上的实验验证了我们框架的有效性，表明我们的方法优于使用压缩[0043]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得7[0044]图1为本发明实施例所提供的一种基于知识蒸馏的视频多线索社交关系抽取方法[0045]图2为本发明实施例所提供的一种基于知识蒸馏的视频多线索社交关系抽取装置[0048]下面参考附图描述本发明实施例的基于知识蒸馏的视频多线索社交关系抽取方[0049]本发明提出了一个基于多教师知识蒸馏的多线索社交关系提取框架来提取无约合多个线索特征并构建整个视频的基于注意力机制的时序线索图的方法来捕捉时序信息[0050]图1为本发明实施例所提供的一种基于知识蒸馏的视频多线索社交关系抽取方法[0059]将待分析无约束场景视频的视频帧序列输入所述待分析视频多线索社交关系提8[0062]通过池化将场景特征和语义特征与教师模型输出的软目标映射到同一个特征空[0063]其中，场景识别分支选用预训练的ResNet152作为教师模型，并使用相对简单的映射到同一个特征空间。再使用余弦相似度作为损失函数保证教师_学生模型场景信息的一致性。而语义分析分支选用在VOC2012数据集上预训练的Deeplabv3plus作为教师模型。学生模型采用了Deeplabv3的空间金字塔池思想，通过应用空洞卷积在多个尺度上探测卷[0065]将场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调整自[0066]其中，在得到多种线索对应的特征嵌入后，通过使用多层感知机(Multi_Layer析(semanticparsing)和场景识别(scenerecognition)的对应三部分特征作为节点，然[0068]通过将场景特征和语义特征的余弦损失函数以及分类损失函数进行加权融合对[0070]图3是本发明多线索社交关系提取框架示意图。首先整体模型是对视频帧序列的习的目标softtarget。帧序列分别一个一个Batch进行加载，输入到Studnet模型中，[0071]与此同时，将两个分支输出的特征通过多层Attention网络以及卷积层和池化层9在MovieGraphs数据集上的实验验证了我们框架的有效性，表明我们的方法优于使用压缩[0074]图2为本发明实施例提供的一种基于知识蒸馏的视频多线索社交关系抽取装置的[0083]将待分析无约束场景视频的视频帧序列输入待分析视频多线索社交关系提取框[0086]通过池化将场景特征和语义特征与教师模型输出的软目标映射到同一个特征空[0088]将场景特征和语义特征通过多层注意力网络以及卷积层和池化层提取出调整自术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例