CN114743069B 一种对两帧图像进行自适应密集匹配计算的方法 （复旦大学）

一种对两帧图像进行自适应密集匹配计算发明方法包括采用一种新的置信度驱动的自适应匹配网络模型，从不置信的点中挖掘匹配信2(2)根据每次图像匹配中每次迭代的不同置信度评估来选择不置信点，这是在各种条所述采用孪生网络提取两帧输入图像的匹配特征M和内容特征C；然后使用匹配特征Mr},(3)2流值，x/表示x经过初始流变换后的点坐标；运动特征T提取的是成本量V在N(x')r,也即x/3ppi)来表示一个点的流预测结果以及其置信度，以统一的方式来表(2)对提取的特征应用自注意和交叉注意；使网络在计算相关性之前学习与其他特征41中的点i与图像I2中的点j之间的相关性；M1和M2是匹配的特征，s56制作的特征来匹配视频序列中检测到的关键点，例如Lukas-Kanade方法[6]和后来的许多7[0009]具体采用孪生网络：匹配特征网络Nm和内容特征网络Nc来提取两帧输入图像I1和[0010](2)根据每次图像匹配中每次迭代的不同置信度评估来选择不置信点，这是在各)ijh8[0021]T(x)=v(N(x'),)=v{x'+dxIdxez2,Ildxllsr},(3)f12量小于半径r。然后将运动特征T和内容特征C输入预测网络Np，产生匹配置信度CF和光流s的取值为0.5。9算每一对匹配项的分数。图像I1的不置信点集P1的点i和图像I2的不置信点集P2的点j满足[0052](1)流预测结果损失使用流预测结果误差的第一范数和随着迭代轮数而增加的权up2分辨率的图像和视频以及极端的视点变化。本发明使用多尺度推理来提高高分辨率的性[0067](1)本发明提出了一种新颖的置信度驱动的自适应匹配架构。是首次通过自适应[0070](4)本发明对光流和几何匹配数据集进行了广泛的实验。最终模型可以以较低的最终模型可以以较低的时间和参数成本实现[0081][1]D.G.Lowe.1999.Objectrecognitionfromlocalscale-invariant[0082][2]HerbertBay,TinneTuytelaars,andLucVanGool.2006.SURF:SpeededUpRobustFeatures.InComputerVision–ECCV2006,Ale:Leonardis,HorstBischof,[0084][4]MartinA.FischlerandRobertC.Bolles.1981.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography.Commun.ACM24,6(jun1[0085][5]JiamingSun,ZehongShen,YuangWang,HujunBao,andXiaoweiZhou.2021.LoFTR:Detector-FreeLocalFeatureMatchingwithTransformers.2021IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR)(2021),8918–8927.[0086][6]BruceD.LucasandTakeoKanade.1981.AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision.InProceedingsofthe7thInternationalJointConferenceonArtificialIntelligence,IJCAI’81,Vancouver,BC,Canada,August24-28,1981,PatrickJ.Hayes(Ed.).Willia[0087][7]AlexeyDosovitskiy,PhilippFischer,EddyIlg,PhilipHausser,CanerHazirbas,VladimirGolkov,PatrickVanDerSmagt,DanielCremers,andThomasBrox.2015.Flownet:Learningopticalflowwithconvolutionalnetworks.In[0088][8]DeqingSun,XiaodongYang,Ming-YuLiu,andJanKautz.2018.PWC-Net:CNNsforOpticalFlowUsingPyramid,Warping,andCostVolume.2018IEEE/[0089][9]ZacharyTeedandJiaDeng.2020.RAFT:RecurrentAll-PairsFieldTransformsforOpticalFlow.ArXivab[0090][10]PruneTruong,MartinDanelljan,andRaduTimofte.2020.GLU-Net:GlobalLocalUniversalNetworkforDenseFlowandCorrespondences.2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR)(2020),6257–Aubry.2020.RANSAC-Flow:GenericTwo-StageImageAlignment.InComputerVision-ECCV2020-16thEuropeanConference,Glasgow,UK,August23-28,2020,Proceedings,PartIV(LectureNotesinComputerScience,Vol.12349),AndreaVedaldi,Horst[0092][12]WeiJiang,EduardTrulls,JanHosang,AndreaTagliasacchi,andKwangMooYi.2021.COTR:CorrespondenceTransformerforMatchingAcrossImages.[0093][13]AshishVaswani,NoamShazeer,NikiParmar,JakobUszkoreit,LlionJones,AidanN.Gomez,LukaszKaiser