CN116311221B 一种基于双域主动学习的跨域目标检测方法 （上海人工智能创新中心）

一种基于双域主动学习的跨域目标检测方法本申请提供一种基于双域主动学习的跨域学习三维目标检测模型采用源域数据集进行训方案可以大幅提高了跨域数据检测任务的检测2将所述点云输入训练好的双域主动学习三维目标检测模型中，得到所所述双域主动学习三维目标检测模型，包括前景区域判别器，用所述检测器用于确定所述输入的点云数据的目标评分和所其中，所述双域主动学习三维目标检测模型采用源域数据集和目标域数据集进行训根据所述类目标域样本对所述检测器进行微调；基于多样性的目标域采样策略，根据所述类目标域样本和微调根据所述类目标域样本和所述具有多样性和代表性的目标域数据，基于域感知的源域采样策略，用于根据所述域标签从源域数据集中选择类目标域样基于多样性的目标域采样策略，用于根据所述实例级描述从目将所述输入的点云数据的3D特征由3D主干网络进行特征提取，将提取的特征3采用所述前景区域判别器计算所述源域数据集中所有源域数据的场景级域特对所有所述源域数据的场景级域特性评分进行排序，按预设条件对排计算所有实例级描述之间的相似性，根据相似性对目采用所述前景区域判别器计算所述目标域数据集中所有目标域数据的域特从每个更新的候选感兴趣区域特征的原型中选择目标域数据的域特性评分最高的无对所述待标注数据的集合中的待标注数据进行标注，得到所述具4[0003]一些研究者试图通过无监督域适应(UnsupervisedDomainAdaptation,UDA)技术来解决这种跨数据集性能下降的问题。SPG(参考CharlesRQi,andDragomirAnguelov.Spg:Unsuperviseddomainadaptationfor3dobjectdetectionviasemanticpointgeneration.InProceediInternationalConferenceonComputerVision,pages15446–15456,2021)设计了一种Shi,ZheWang,HongshengLi,andXiaojuanQi.St3d:Self_trainingforunsuperviseddomainadaptationon3dobjectdetection.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages10368–10378,2021)域数据集。LiDARDistillation(参考YiWei,ZibuWei,YongmingRao,JiaxinLi,JieZhou,andJiwenLu.Lidardistillation:Bridgingthebeaminduceddomaingapfor3dobjectdetection.arXivpreprintarXiv:2203.14956,2022)利用从高线束激光雷达数据中获得的可迁移知识来蒸馏低线束激光雷达数据。虽然这些UDA检测方法在跨数据集(如TQS(参考BoFu,ZhangjieCao,JianminWang,andMingshengLong.Transferablequeryselectionforactivedomainadaptation.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages7272–7281,2021)和CLUE(参考VirajPrabhu,ArjunChandrasekaran,KateSaenko,andJudyHoffman.Activedomainadaptationviaclusteringuncertainty_weightedembeddings.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pages8505–8514,2021))直接集成到许多典型的3D基线检测器中进行5[0012]基于域感知的源域采样策略，用于根据域标签从源域数据集中选择类目标域样[0017]在其中一个实施例中，检测器用于确定输入的点云数据的目标评分和实例级描6[0035]从每个更新的候选感兴趣区域特征的原型中选择目标域数据的域特性评分最高7为自动驾驶中亟待解决的问题。ST3D等近年来的研究广泛探讨了无监督域自适应forCross_dataset3DObjectDetection,Bi3D)框架[0060]本申请采用主动域适应(ActiveDomainAdaptation,ADA)的方法来解决这一问题。给定有标记的源域集ns表示源域数据总量；无标记的目标域集8务设置，采用基于多样性的目标域采样策略构建一个标记的目标数据集该数据集初始集)中选择一个子集AD,并人工标记。那么udD:经过R轮采样过程，成请中，我们采用基于域感知的源域采样策略构造了一个源子集从原始源数据集Ds中采的数据，以组成和并通过在和的集合上联合训练，使3D检测器更好地适应目标[0062]参照图1，其示出了适用于本申请实施例提供的基于双域主动学习的跨域目标检[0070]基于域感知的源域采样策略，用于根据域标签从源域数据集中选择类目标域样[0076]将输入的点云数据的3D特征由3D主干网络(或称为三维骨干网络或简称3D主干)[0077]利用2D主干网络(或称为二维骨干网络或简称2D主干)对2D鸟瞰图特征进行特征9[0082]给定来自目标域的一帧数据第k个感兴趣区域(RegionofInterest,ROI)特征为那么我们可以通过标准的后处理过程很容易获得对应的置信度分数d=lef,of…f,例如非最大抑制(Non_MaximumSuppression,NMS)算法。我们首先使用中器学习的干扰较大，我们通过提取鸟瞰图(BirdEyeView,BEV)特征来获得场景级空间表[0091]为了使判别器更加关注前景区域，2D主干提取的特征通过区域建议网络(Region为目标域前景区域感知特征图。其中s=H(i),其中，为源域前景区域感知特征图，可以认为作为源域数据和目标[0111]从每个更新的候选感兴趣区域特征的原型中选择目标域数据的域特性评分最高i,cj的初始值均为实例级描述。Pi和Pj表示上述第i和第j个预算原型的相似域数据的场景级域特性评分选出类目标域样本(即据)；选出的类目标域样本和具有多样性和代表性的目标域数据作为数据集再对检测器进[0133]其