CN114821093B 从图像中提取特征的方法、装置及计算器可读介质 （联发科技股份有限公司）

基于人工智能(AI)的特征提取器生成与该图像中的该多个像素的多个位置相对应的多个置信该图像中的该多个像素的该多个位置相对应的该多个置信值生成最终的关键点-描述符对集合，该最终的关键点-描述符对集合包括至少两2通过基于人工智能的特征提取器生成与该图像中的该多个像素的多个位置相对应的在该图像中的该多个像素的该多个位置中选择第一位置，其中基于与该图像中的该多个像素的该多个位置相对应的该多个置信值生成最终的关键其中，该至少两个关键点-描述符对包括分别与该第一描述符图中的第一关键点描述符和该第二描述符图中的第二关键点描述符相对应的两个关键基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第一组位基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第二组位其中从该图像中的多个像素的多个位置中选择该第一组位置和/该第二组位置包括在该最终的关键点-描述符对集合包括对应于该第一组关键点中的成员的第一组关键点-描述符对和对应于该第二组关键点中的成员的基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第一组位基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第二组位其中从该图像中的多个像素的多个位置中选择该第一组位置和/该第二组位置包括在该最终的关键点-描述符对集合包括对应于该第一组关键点中的成员的第一组关键点-描述符对和对应于该第二组关键点中的成员的3确定生成的该多个置信值中在该第一位置处的该第一置信值是否其中，该至少两个关键点-描述符对包括与该第一关键点描述符和该第二关键点描述在最终的关键点-描述符对集合中包括与该调整尺寸后的图像相对应的该关键点-描基于人工智能的特征提取器，被配置为接收包括多个像素的图像，附加结构，被配置为在该图像中的该多个像素的多个位像素的该多个位置相对应的该多个置信值生成最终的关键点-描述符对集合，该最终的关键点-描述符对集合包括至少两个关键点-描述符对，该至少两个关键点-描述符对对应该其中，该至少两个关键点-描述符对包括分别与该第一描述符图中的第一关键点描述符和该第二描述符图中的第二关键点描述符相对应的两个关键基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第一组位该附加结构还被配置为基于所生成的该多个置信值从该图像中的该多个像素的该多4其中该基于人工智能的特征提取器从该图像中的多个像素的多个位置中选择第一组位置和/该附加结构从该图像中的多个像素的多个位置中选择第二组位置包括在该图像中该最终的关键点-描述符对集合包括对应于该第一组关键点中的成员的第一组关键点-描述符对和对应于该第二组关键点中的成员的基于所生成的该多个置信值从该图像中的该多个像素的该多个位置中选择第一组位该附加结构还被配置为基于所生成的该多个置信值从该图像中的该多个像素的该多其中该基于人工智能的特征提取器从该图像中的多个像素的多个位置中选择第一组位置和/该附加结构从该图像中的多个像素的多个位置中选择第二组位置包括在该图像中该最终的关键点-描述符对集合包括对应于该第一组关键点中的成员的第一组关键点-描述符对和对应于该第二组关键点中的成员的确定生成的该多个置信值中在该第一位置处的该第一置信值是否其中，该至少两个关键点-描述符对包括与该第一关键点描述符和该第二关键点描述第二基于人工智能的特征提取器，被配置为：接收对该图像调整图像5执行如权利要求1-6中任一项所述的从图像6[0001]本发明涉及计算器视觉(computervision)领域，更具体地涉及计算器视觉中的[0002]在特征提取过程中，从输入图像生成兴趣点和相应的局部描述符(localSFM)和基于视觉的同步定位与地图构造(Visual-basedSimultaneousLocalizationAnd像素的该多个位置相对应的该多个置信值生成最终的关键点-描述符对集合，该最终的关键点-描述符对集合包括至少两个关键点-描述符对，该至少两个关键点-描述符对对应该为接收包括多个像素的图像，并生成与该图像中的该多个像素的位置相对应的多个置信像素的该多个位置相对应的该多个置信值生成最终的关键点-描述符对集合，该最终的关键点-描述符对集合包括至少两个关键点-描述符对，该至少两个关键点-描述符对对应该7[0009]图2示出了单应矩阵精度(仅视点)与检测次数(检测到的兴趣点)的两条曲线210[0010]图3示出了根据本发明的实施例的基于关键点重取样和融合(KRF)的特征提取系[0012]图5示出了根据本发明实施例的基于KRF的视觉同步定位与地图构造(V-SLAM)系应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神[0019]例如，机器人依靠来自摄像机的信息来估计摄像机的姿势并相应地跟踪其位兴趣点。来自连续图像的检测特征(关键点(keypoint)-描述符对)可以基于其描述符之间8[0021]传统的特征提取器使用手工技术(handcraftedtechniques)计算拐角/边缘检素的描述符通过计算其局部补丁(localpatch)内的多个像素的梯度(gradient)来生成。pp.430–443,2006；(iii)D.G.Lowe,“Distinctiveimagefeaturesfromscale-invariantkeypoints,”InternationalJournalofComputerVision,60(2):91–110,2004；(iv)M.Calonder,V.Lepetit,C.Strecha,andP.Fua,“BRIEF:BinaryRobustIndependentElementaryFeatures,”ECCVGreece,pp.778–792,2010；and(v)R.Mur-Artal,J.M.M.Montiel,andJ.D.Tardos,“ORB-SLAM:aversatileandaccurate[0022]基于AI的特征提取器可以通过端到端的训练结构来学习兴趣点和描述符。例每个兴趣点都可以与一个置信值(confidencevalue)或一个置信分数(confidence以通过针对截止置信阈值(confidencethreshold)进行阈值提取来提取热图中的兴趣点。[0023]基于AI的特征提取技术的示例包括SuperPoint(2018)，GCNv2(2019)，T.Malisiewicz,A.Rabinovich,“SuperPoint:self-supervisedinterestpointP.Jensfelt,“GCNv2:efficientcorrespondencepredictionforreal-timeSLAM,”IEEERoboticsandAutomationLetters,2019；(iY.Brodskiy,andH.Karstoft,“UnsuperPoint:end-to-endunsupervisedinterest[0024]虽然比传统的特征提取更有效，但是基于AI的最新相似度得分的附近描述符而空间地对抗(spa9[0026]基于AI的检测器121执行关键点检测以生成检测器热图131(也称为检测热图或热像素)可以指示各个位置成为兴趣点的合格度。较高的置信值可能指示相应位置成为高质[0028]描述符122执行特征描述以生成描述符图132。描述符图132可以包括与输入图像的多个描述符A-C趋于彼此高度相似，而与稀疏的多个关键点D-E相对应的多个描述符D-E的每一个趋于与描述符图132中的其他描均以相同的方式被处理，并被用作具有相同重要性的有效兴趣点来对描述符图132进行取如何成功或准确地起作用。[0032]每个图像的大量的关键点可以利于束调整(bundleadjustment)或姿势图优化目标相冲突。条件作用(conditionin征提取方案应用于图像的每个层以获得关键点-描述符对。每个缩放层上的关键点位置都[0037]作为示例，ORB特征提取方法采用特征缩放金字塔来改善包括智能手机上的对象[0039]关键点重取样和融合(Keypointresamplingandfusion，KRF)是基于AI的特征到地图的配准(Image-to-mapregistration)是通过使用透视n点(Perspective-n-Point，PnP)和/或束调整(BundleAdjustment，BA)将2D兴趣点x的描述符与三维(3D)对象点进行图X和描述符图D。可以使用视点变形的(viewpoint-warped)图像对来共同训练所述两个化方法(或主阈值化方法)使用低置信阈值tlc从热图中取样关键点xlc，而第二阈值化方法(或辅助阈值化方法)使用高置信阈值thc从热图[0057]可以采用各种方案来获取与用于堆栈的关键点的描述符图D中的描述符不同的描[0059]图2示出了单应矩阵精度(homographyaccuracy)(仅视点(viewpoint-only))与点对应的平均检测数是两轮取样操作生成的关AI的特征提取结构301和附加结构302。基于AI的特征提取结构301可以类似于采用二进制阈值方法的基于AI的特征提取方案的方式进行操作，同时附加结构302可以基于重新取样器320可以被配置为处理输入图像310以输出检测器热图331和描述符图332。检测器热图331可以包括与输入图像310的每个像素相对应的置信值。检测器热图331可以包括提取的关键点，每个提取的关键点与一数值(置信值)相关联，该数值指示各个关键点的质量(例[0067]在各种实施例中，基于AI的特征提取器320可以使用各种神经网络(neural于AI的特征提取器320可以使用SuperPoint架构，该架构由D.DeTone，T.Malisiewicz，样以及非线性激活功能。检测器头322和描述符头323学习任务特定的(taskspecific)权[0069]在一个实施例中，基于AI的特征提取器320包括独立的管线用于分别生成检测器随后进行的第二阈值化方法)以滤出检测器热图3[0071]在各个实施例中，检测器热图331中的置信值中的每一个可图332中选择与检测器热图331中的关键点相对应的描述符。关键点-描述符对的第一列表中的关键点。与在第一阈值化方法中使用的用于生成在检测器热图331中生成关键点的第[0074]在一个示例中，通过将检测器热图331中的像素的置信值与第二阈值进行比较来[0077]在条件检测器热图341(包含从重取样得到的关键点)和补充的描述符图342可用中的关键点相对应的描述符。关键点-描述符对的第二列表(未示出)可以相应地通过将关[0078]最后，附加结构302可以执行融合操作以组合关键点-描述符对的第一列表333和关键点-描述符对的最终列表343可以包括像素堆栈关键点的关键点-描述符对，该像素堆致总关键点的数量变多，较高质量的关键点与较低质量的关键点的比例更高(潜在地导致正确特征匹配与错误特征匹配对应的比例更高)，并且相较于与没有采用关键点重取样方案的情况生成的关键点-描述符对的第一列表333具有较高的局部关键5个不同或相同的置信阈值在检测器热图331上执行5轮重取样，从而导致6层的堆栈关键键点描述符423共享的主干421(例如VGG样式的编码器)。主干421处理输入图像410以生成图像410中的多个像素的多个描述符的描述符图关键点425和相应的描述符427可以被组合以形成第一关键点-描述符对列表阈值的置信值的关键点445。另外，条件器441可以执行补充操作(complementingoperation)443以基于描述符图426生成补充的描述符图446。KRF模块440可以基于条件检[0084]在一个实施例中，第二基于AI的特征提取器430可以具有与第一基于AI的特征提基于AI的特征提取器430的输入可以是通过调整输入图像410的尺寸(缩小)获得的图像[0085]在一个示例中，对应于输入图像411的减小的尺寸，与第一基于AI的特征提取器关键点-描述符对列表448和第三关键点-描述符对列表431，以生成关键点-描述符对的最[0087]在一个实施例中，KRF模块440可以包括另一个条件器(类似于条件器441)以处理[0088]在其他实施例中，类似于第一基于AI的特征提取器420和第二基于AI的特征提取器430的一个或多个附加的基于AI的特征提取器可以与第一基于AI的特征提取器420和第点-描述符对列表并将其包括在关键点-描述符对的最终列从基于AI的提取过程的输出中获取关键点的操作，本发明不限于与这些术语有关的操作。在此描述的阈值操作之外的基于与对应于输入图像的像素的位置相关联的置信分数来选实现方法的简单选择。只要可以有效地生成条件检测热图444中的关键点和可以有效地生及可以不执行对第一热图重取样以在第二热的每一个形成对应的关键点-描述符对。这些关键点-描述符对可以包含在关键点-描述符点处的关键点-描述符对添加到关键点-描述符对[0095]在一些实施例中，通过对热图中的置信值进行排名来执行对堆栈关键点的提[0096]本文公开的KRF方案可以与广泛的计算器视觉相关技术或应用结合以改善性能。包括用于跟踪过程(trackingprocess)的每帧域和用于地图构造过程(mappingprocess)帧执行基于AI的特征提取。可以将以关键点-描述符对列表的形式为每帧提取的特征输入[0099]跟踪模块520可以被配置为执行姿势估计处理，以基于相应帧中提取的特征为每(例如使用PnP技术)当前帧相对于先前帧姿势(先前帧的姿势)的变换(姿势更新)。通过将自添加最后一个关键帧以来的时间应超过一定数量的帧；和/或两个相邻关键帧之间的差关键帧并将相关资料添加到3D点图之后，可以对3D点图执行全局BA以输出优化的3D点图[0104]在V-SLAM系统中的模块530或550处使用的局部或全局优化技术(例如，本地或全局BA)通常依赖于场景中的大量的关键点(或3D点)来实现所需的优化性能。场景中更准确点描述符图中选择的第一关键点描述符组合以形成关键点-键点描述符图中的对应二进制向量互补的(complementary)[0117]在替代的基于KRF的特征提取过程中，代替分别确定第一组关键点和第二组关键置从在过程600中使用的第一关键点描述符图和第二关键点描述符图中选择两个关键点描可以生成对应于该位置的一个关键点-描述符对并将其包括在关键点-描述符对的最终列[0120]图7示出了根据本发明的实施例的示例性装置700。装置700可被配置为根据本文[0121]在各种示例中，处理电路710可以包括被配置为结合软件或不结合软件来执行本[0122]在一些其他示例中，处理电路710可以是配置为执行程序指令以执行本文描述的[0123]装置700可以可选地包括其他组件，例如输入和输出设备，附加或信号处理电路质或分布式系统(包括例如从连接到Inte