CN115035437B 基于掩码特征聚合和目标增强型的视频目标分割方法 （浙江大学）

基于掩码特征聚合和目标增强型的视频目于掩码特征聚合和目标增强型的视频目标分割于多尺度掩码特征聚合和目标增强型的视频目聚合和目标增强型的视频目标分割方法对新的2S4、利用所述基于多尺度掩码特征聚合和目标元中的图像特征编码器进行特征共享，其参考编码单元在骨干网络的第1和第4个阶段后，用AFC模块在骨干网络的前四个阶段将其与图像特征编码器提取的参考帧特征融合，图像特征编码器为主分支，其查询编码单元和参考编码单元中的图像特征编码器不是共享的；得到查询帧对应的目标注意力图wQ；将目标注意力图wQ和查询值编码特征vQ相乘得到目标S23、使用目标增强后的查询图像键值编码对检索参考键值编码对(k",")中的2.根据权利要求1所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特道为4的图像特征编码器，所述输入通道为4的图像特征编码器末端附有并联的两个卷积，3ii分别表示参考集R中的第i帧参考帧RGB图像和参考目标掩码；N为参考集大步骤S12具体为：将目标掩码或目标掩码特征与经过特征提取阶段后的图像特征进行3.根据权利要求2所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特4.根据权利要求1所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特5.根据权利要求1所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特S35、利用服务器进行网络训练，采用端到端的46.根据权利要求5所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特7.根据权利要求5所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特的每个阶段的特征和图像特征编码器对应阶段的特征分别通过一个挤压激励融合模块后8.根据权利要求5所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特9.根据权利要求1所述的基于掩码特征聚合和目标增强型的视频目标分割方法，其特S44、将所述步骤S43中的匹配特征和所述步骤S42中的查询图像编码特征对(kQ,vQ)输5[0002]近年来，视频目标分割(VOS)因其在视频操作和编辑等方面的广泛应用而受到广[0004]虽然参考目标掩码有助于算法准确分割目标，但如何正多数方法只将参考目标掩码进行简单的辅助处理，并没有进一步挖掘目标掩码中的特征，6单元和参考编码单元分别抽取查询图像键值编码对(kQ,vQ)和参考键值编码对(kR,述输入通道为3的图像特征编码器末端附有并联的两个卷积用于生成查询图像键值编码对参考帧和参考目标掩码在通道维度上拼接后再一起送入到输入通道为4的图像特征编码器编码器特征共享的图像特征编码器和一个掩码特征聚合模块组成用于生成参考键值编码特征进行融合；所述I4在所述I3的基础上进一步将掩码特征编码器和图像特征编码器共后使用AFC模块在骨干网络的前四个阶段将其与图像特征编码器提取的参考帧特征融合，7注意力图wR和参考值编码特征vR相乘得到目标增强的参考值编码特征A;8征编码器的每个阶段的特征和图像特征编码器对应阶段的特征分别通过一个挤压激励融配特征以及通过跳跃连接引入的所述步骤S32中的查询图像编码特征对(kQ,vQ)作为输入，[0044]S44、将所述步骤S43中的匹配特征和所述步骤S42中的查询图像编码特征对(kQ,91.1在DAVIS2017验证集上J&F达到了85.5在YouTube-VOS2018验证集上overall分[0050]图3为本发明一种基于多尺度掩码特征聚合和目标增强型的视频目标分割方法的9编码单元和参考编码单元分别抽取查询图像键值编码对(kQ,vQ)和参考键值编码对(kR,原始目标掩码采样，并使用特征聚合模块将其与图像特征编码器输出的参考帧特征融合；与I2不同，I3的参考编码单元中使用一个独立的掩码特征编码器对目标掩码进行特征提元中的图像特征编码器进行特征共享，其参考编码单元在骨干网络的第1和第4个阶段后，模块在骨干网络的前四个阶段将其与图像特征编码器提取的参考帧特征融合(图像特征编明从比较中经验地总结出两个关键发现：(i)使用单独的编码器来独立抽取目标掩码特征注意力图wR和参考值编码特征vR相乘得到目标增强的参考标掩码)之间的注意力涉及到大量不必要的特征对(如背景之间的关系)，因此包含了过多示为本发明一种基于多尺度掩码特征聚合和目标增强型的视频目标分割方法的算法框架以及参考目标掩码特征的提取，查询图像键值编码对为(kQ,vQ)，参考键值编码对为(kR,像特征编码器对应阶段的特征分别通过一个挤压激励融合模块后相加(AFC模块)；然后将[0093]S42、将当前帧(查询帧)图像和参考集通过特征提取单元获取查询帧键值