CN114863249B 基于运动特征和外观特征的视频目标检测及域适应方法 （浙江大学）

基于运动特征和外观特征的视频目标检测本发明公开了一种基于运动特征和外观特于目标帧的多帧图像提取运动特征和增强的外自动抓取存在感兴趣目标的视频帧并确定其所视频目标检测模型在缺失目标域正样本训练数2(3)将每一张相邻帧In的外观特征An与目标视频帧I的外观特征A输入运动特征提取网络Em以提取对应的运动特征Mn，同时运动特征提取网络Em输出相应的预测运动的像素级运(4)所述像素级运动信息图fn用于将每一张相邻帧In的外观特征An向目标视频帧I的外(8)将聚合特征Fagg输入目标检测网络H获得目标的边框预测结果B及其相应的分类置信度C的最大值Cmax若大于预设阈值则判定目标视频帧I中存在感兴趣目标并输出目标的边所述的步骤(3)中的运动特征提取网络Em是当前任何能够实现如下映n其中运动信息图fn可被用于如下的某相邻帧外观特征An向需要进行目标检测的目标帧其中空间对齐操作Align(·)是当前任何能够完成特征像素空间位置调整操作的映将置信度预测结果C输入协同分类网络S，获得目标帧I是否含有感兴趣目标的预测可根据目标帧I是否真实存在感兴趣目标的标签y*并结合协同分类网络输出的预测可能3利用上述计算得到的置信度损失Lr、边框回归损失以及协同分类损失LCLS优化6.一种适用于权利要求1～5任一项所述的基于运动特征和外观特征的视频目标检测(1)将运动特征精炼网络Rm输出的运动空间注意力Attm与聚合特征Fagg进行哈达玛积获利用置信度损失Lr、边框回归损失协同分类损失LCLS以及对抗学习损失Ladv训将用于预测分类置信度C的特征在空间维度上完全拆解为实例级别特征，并根据是否以属于分类置信度较高且对应感兴趣目标tp和分类置信度较低且对应背景tn的实例计算损失函数Lp，该函数是目前任意可拉近Pp与fn中实例特征距离并推远Pp与fp中实计算损失函数Ln，该函数是目前任意可拉近Pn与fp中实例特征距离并推远Pn与fn中实8.根据权利要求7所述的基于运动特征和外观特征的视频目标检测的域适应方法，其特征在于，所述对抗方式的域适应为一种基于梯度反转层GRL以及域分类任务的域适应方述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-5任一项所述的基于运动特征和外观特征的视频目标检测方法和权利要求6-8任一项所述的时实现如权利要求1-5任一项所述的基于运动特征和外观特征的视频目标检测方法和权利45[0003]目前一些针对视频输入信号完成感兴趣目标检测定位的方法首先基于背景差分[0007]本发明实施例的第一方面提供了一种基于运动特征和外观特征的视频目标检测[0008](1)将输入的任意视频转化为视频帧构成的图片集合，对其中任意一张目标视频6[0010](3)将每一张相邻帧In的外观特征An与目标视频帧I的外观特征A输入运动特征提取网络Em以提取对应的运动特征Mn，同时运动特征提取网络Em输出相应的预测运动的像素[0011](4)所述像素级运动信息图fn用于将每一张相邻帧In的外观特征An向目标视频帧I[0012](5)使用外观特征聚合网络Eaa对外观特征进行融合获得外观特征Fa，将外观特征[0013](6)使用运动特征聚合网络Eam对运动特征Mn进行融合获取运动特征Fm，将运动特[0014](7)将步骤(5)获得的精炼后的外观特征F’a与步骤(6)获得的精炼后的运动特征[0015](8)将聚合特征Fagg输入目标检测网络H获得目标的边框预测结果B及其相应的分类置信度C的最大值Cmax若大于预设阈值则判定目标视频帧I中存在感兴趣目标并输出目标[0018]进一步的，所述的步骤(3)中的运动特征提取网络Em可以是当前任何能够实现如[0020]其中运动信息图fn可被用于如下的某相邻帧外观特征A[0025]将置信度预测结果C输入协同分类网络S，获得目标帧I是否含有感兴趣目标的预[0026]根据目标帧I是否真实存在感兴趣目标的标签y*并结合协同分类网络输出的预测[0027]利用上述计算得到的置信度损失Lr、边框回归损失以及协同分类损失LCLS[0029]本发明实施例的第二方面提供了一种基于运动特征和外观特征的视频目标检测[0030](1)将运动特征精炼网络Rm输出的运动空间注意力Attm与聚合特征F7[0034]利用置信度损失Lr、边框回归损失协同分类损失LCLS以及对抗学习损失[0035]将用于预测分类置信度C的特征在空间维度上完全拆解为实例级别特征，并根据是否对应感兴趣目标区域、分类置信度细分为包括分类置信度较高且对应感兴趣目标tp，[0036]以属于分类置信度较高且对应感兴趣目标tp和分类置信度较低且对应背景tn的[0037]计算损失函数Lp，该函数是目前任意可拉近Pp与fn中实例特征距离并推远Pp与fp[0038]计算损失函数Ln，该函数是目前任意可拉近Pn与fp中实例特征距离并推远Pn与fn[0039]在初步训练的视频目标检测网络的基础上，通过置信度损失Lr、边框回归损失[0040]优选的，所述对抗方式的域适应为一种基于梯度反转层GRL以及域分类任务的域程序数据以实现上述的基于运动特征和外观特征的视频目标检测方法和基于运动特征和方法和基于运动特征和外观特征的视频目标式特征对齐与新颖的基于正负原型特征的显式实例特征对齐进一步缩小了模型提取特征[0045]图2为本发明中基于运动特征和外观特征的视频目标检测方法的模型结构示意[0046]图3为本发明中适配于基于运动特征和外观特征的视频目标检测方法的域适应方8于运动特征和外观特征的视频目标检测及域适应[0049]参考图1，所示为本发明公开的基于运动特征和外观特征的视频目标检测方法流[0050]输入一段视频(可能不包含感兴趣目标)转化所得的n张视频帧构成的图片集合2n}，利用本发明公开的基于运动特征和外观特征的视频目标检测方法针对其Eb可以采用深度学习中常用的ResNet-50ResNet-101或[0054]优选的，所述的步骤1.3中的运动特征提取网络Em可以是当前任何能够实现如下[0056]其中运动信息图fn可被用于如下的某相邻帧外观特征A观特征Ai进行投影，获得在空间上向目标帧进行了一定程度对齐的2p个相邻帧外观特征特征全部在通道维度连接并输入由卷积层以及激活层构成的外观特征聚合网络Eaa获得目9入2p+1个同等尺寸特征并输出一个相同尺寸特Fm后预测获得。外观空间注意力Atta可以由目前任意一种空间注意力模块输入Fa后预测获积层与激活层构成的特征聚合网络Eagg，获得目标帧唯一的且与输入的两个特征尺寸一致应的分类置信度C。目标检测网络H可以是目前任意一种目标检测网络，例如FCOS、若分类置信度C的最大值Cmax若大于预设阈值则判定目标视频帧I中存在感兴趣目标并输出=0.75。输出，可参考现有目标检测方法计算如下的置信度损失(以单一类别感兴趣施例进行举例)与边框回归损失其中A与A分别代表目标帧分别代表预设的正负样本损失权重，pi与pj分别表示模型输出的相应正负锚框的分类置信度，γ=3.0为控制训练更加关注分类效果较差样本的参数(γ越大则训练越关注分类*为目标帧I是否含有感兴趣目标的标签，y*为1代表该目标帧含有含有感兴和bi,分别表示索引为i对应的正样本锚框的g类型参数预测值和真实[0077]本发明所公开的适配于前述视频目标检测的域适应方法可更加详细地描述为以数据有所缺失的场景类别编码为0)，TeRQ+1表示目标帧所属的场景的分类标签(若目标[0083]利用对抗学习损失Ladv以及置信度损失边框回归损失协同分类损失[0084]此步骤目标在于使用训练数据进一步调优训练上述初步训练所得的视频目标检[0085]首先将框架的目标检测网络H中用于预测分类置信度C的目标帧对应特征Fc在空[0086]根据各个实例特征对应的检测置信度ck以及是否对应感兴趣目标区域的真实标[0087]分别使用分类正确的感兴趣目标对应的实例特征与背景区域对应的实例特征构的方式获得第t轮的临时正负原型与随后第t轮正负原型由前一轮原型p[0090]通过计算如下的正样本原型损失L来显式地缩小错误分类的感兴趣目标区域对p[0092]通过计算如下的负样本原型损失Ln来显式地缩小错误分类的背景区域对应的实[0094]计算前述的对抗学习损失Ladv以及置信度损失Lr[0095]本发明公开的运动特征和外观特征的视频目标检测方法应用于自建的多场景汽[0098]将以上实验中的场景5设定目标域(训练中缺失有汽车尾气这一感兴趣目标的正运动特征和外观特征的视频目标检测方法在目标域场景5下的目标检测指标将严重衰减，而本发明公开的域适应方法可显著提升基于运动特征和外观特征的视频目标检测方法在[0101]与前述基于运动特征和外观特征的视频目标检测及域适本发明还提供了基于运动特征和外观特征的视频目标检测及域适应装置的实[0102]参见图4，本发明实施例提供的一种基于运动特征和外观特征的视频目标检测及[0103]本发明基于运动特征和外观特征的视频目标检测及域适应装置的实