CN111079770B 提取特征的方法、图像匹配的方法、及处理图像的方法 （三星电子株式会社）

号KR1020130037353A,2013.04.16过分别将所述多个初始关键点与所述多个描述2使用所述缩放因数自所述多个初始关键点计算多所述1通道图像自原始图像产生，所述原始图像具有以作为2*2矩阵的4个像素为群组基于所产生的所述1通道图像估计所述多个初基于所述经缩小的1通道图像中与所述多个经缩小关键点邻近的多个相邻点来为所述3.根据权利要求2所述的方法，其中当所述1通道图像被转换成所述经缩小的1通道图4.根据权利要求1所述的方法，其中所述多个初始关键点是使用隅角检测及团块检测基于所述多个第一特征点及所述多个第二特征点来获得所述第一输入图像与所述第检测所述多个第一特征点包括根据权利要求1所述的方法自所述第一输入图像提取特及通过分别将所述多个第二初始关键点与所述多个第二描述符匹配来获得所述多个第通过比较所选的第一描述符与所述多个第二特征点中的所述多个第二描述符之间的选择多个第一初始关键点中的与所述多个第一特征点中所选的所述第一描述符对应3的一者及所述多个第二初始关键点中的与所述多个第二特征点中所选的所述第二描述符9.根据权利要求8所述的方法，其中所选的所述第一描述符与所选的所述第二描述符之间的相似度是基于汉明距离及欧几里得距离中的至少基于所述多个对应点来对所述第一输入图像及所述第二输入图像中的至少一者实行基于所述多个第一特征点及所述多个第二特征点来获得所其中检测所述多个第一特征点包括根据权利要求1所述的方法自所述第一输入图像提4[0002]2018年10月18日在韩国知识产权局(KoreanIntellectualPropertyOffice，及使用所述匹配方法来处理图像的方法(MethodofExtractingFeaturesfromImage,MethodofMatchingImagesUsingtheSameandMethodofProcessingImages[0003]各示例性实施例涉及图像处理技术，且更具体来说涉及从图像提取特征的方法、[0004]计算机视觉技术与利用各种电子装置实现五个人类感官中的视觉识别能力的人外，当所捕获的图像具有大幅运动或移动时或者当所捕获的图像是在黑暗环境中捕获时，计多个初始关键点；基于通过缩小所述输入图像而产生的经缩小图像来产生多个描述符；以及通过分别将所述多个初始关键点与所述多个描述符征点及所述多个第二特征点来获得所述第一输入图像与所述第二输入图像之间的多个对过分别将所述多个第一初始关键点与所述多个第一描述符匹配来获得所述多个第一特征567来估计多个初始关键点(步骤S200)。关键点可表示与输入图像的特征或特性相关联的点，且可仅包含亮度信息。1通道图像可被称为灰色图像(grayimage)、灰阶图像(grayscale[0086]通过分别将所述多个初始关键点与所述多个描述符匹配来获得多个特征点(步骤[0089]在一些示例性实施例中，可从外部图像摄取装置(例如，图19中的图像摄取装置1050)及/或外部存储器装置(例如，图19中的存储器装置1030)提供1通道图像信号IS_1C。8信号IS_1C而产生的经缩小图像来产生多个描述符，且可输出指示所述多个描述符的描述可计算包含在经缩小图像信号SIS中且对应于所述多个初始关键点的多个经缩小关键点，且可输出指示所述多个经缩小关键点的经缩小关键点信号[0093]描述符计算器126可接收经缩小图像信号SIS及经缩小关键点信号SKP，可计算所接收初始关键点信号IKP及描述符信号DSC，可通过分别将所述多个初始关键点信号IKP与OBJ11的两个隅角点及对象OBJ12的一个隅角点估计为(或称为)所述多个初始关键点[0098]可将图像中的对象的隅角点界定为图像中的对象的至少两个边缘的相交点。此[0100]在其他示例性实施例中，可将输入图像IMG1中的团块(blob)点或团块区(图4A中9未示出)估计为多个初始关键点。此种将团块点估计为关键点的方式可被称为团块检测或[0101]团块检测或团块检测方案可与在数字图像中检测与周围区相比在性质(例如，亮度或颜色)上不同的区有关。举例来说，团块可为图像的其中一些性质恒定或近似恒定的[0102]在一些示例性实施例中，可基于例如最大稳定极值区(MaximallyStableOBJ11及OBJ12缩小出经缩小图像SIMG1中的对象SOBJ11及SOBJ12。举例来说，经缩小图像SIMG1中的对象SOBJ11及SOBJ12的边缘的大小可为输入图像IMG1中的对象OBJ11及OBJ12的[0107]可基于缩放因数及所述多个初始关键点IKP11、IKP12及IKP13来计算经缩小图像个经缩小关键点SKP11、SKP12及SKP13。经缩小图像SIMG1中的所述多个经缩小关键点[0108]在一些示例性实施例中，当输入图像IMG1中的n个初始关键点的像素位置是xi=多个相邻点来计算经缩小图像SIMG1的所述多个描述符(步骤S430)。所述多个相邻点可表个描述符：定向性加速段测试特征及旋转性二元稳健独立基本特征(OrientedFeaturesfromAcceleratedSegmentTest(FAST)andRotatedBinaryRobustIndependentElementaryFeatures(BRIEF)，ORB)、尺度不变特征变换(Scale-InvariantFeature是通过对输入图像的像素值进行求和或累加而产生。尽管SIFT及SURF具有对于图像(或对向性FAST或旋转性BRIEF算法产生的所提取特征点来产生二元描述符。由于所产生的二元PB及PC可具有暗灰色(例如，低灰度)，且与像素PB及PC邻近的像素PD及PE可具有黑色(例素PA'(与图5A中的像素PA对应)可具有相对亮的灰色，与图5A中的像素PB及PC对应的像素[0125]举例来说，图5B中的经缩小图像SIMG1中邻近的像素PA'与PD'之间的强度差PIDIFF'可大于图5A中的输入图像IMG1中邻近的像素PA与PB之间的强度差PIDIFF。换句话S400a可分别与图1中的步骤S200及S400实质上相同，只不过步骤S200a及S400a是基于1通[0134]在一些示例性实施例中，可从外部图像摄取装置(例如，图19中的图像摄取装置例性实施例中，可以软件(例如，指令代码或程序例程)来实作图像转换器140的至少一部[0139]举例来说，参照图10B，可基于原始图像RIMG中所包含的所有多个原始像素数据[0140]在一些示例性实施例中，原始图像RIMG与1通道图像GIMG可具有实质上相同的大目)可与1通道图像GIMG中的所述多个1通道像素数据的数目(或多个像素或灰色像素的数素数据中的X个原始像素数据来产生所述多个1通道像素数据中的一个1通道像素数据(例中重复包含排列成2*2矩阵形式的一个红色像素数据、两个绿色像素数据及一个蓝色像素[0143]举例来说，可使用原始图像RIMG中对应位置处的原始像素数据R11以及与原始像素数据R11邻近的原始像素数据G12、G21及B22来计算1通道图像GIMG中的1通道像素数据P11。举例来说，可通过如下方程式来获得1通道像素数据P11的值：P11＝(R11+G12+G21+及G23来计算1通道图像GIMG中的1通道像素数据P12，可使用原始图像RIMG中排列成2*2矩且可以相似的方式来计算1通道图像GIMG中的1通道像素数据的其的一个原始像素数据及与所述一个原始像素数据邻近的另一个原始像素数据来计算1通道排列在第一行且最后一列中的1通道像素数据可实质上等于原始图像RIMG中排列在第一行后一列中的两个原始像素数据相加并通过将相加后的原始像素数据除以的步骤S110可与图8中的步骤S110实[0148]当产生所述多个1通道像素数据(图11中的步骤S130)时，可选择所述多个原始像[0150]可通过内插运算来计算1通道图像GIMG中剩余的1通道像素数据P12、P14、[0151]相似地，可使用1通道像素数据P11及P31来计算1通道图像GIMG中的1通道像素数来检测多个第一特征点(步骤S1100)，且基于第二输入图像来检测多个第二特征点(步骤[0154]可基于根据示例性实施例的从图像提取特征的方法来实行或执行图13中的步骤个第二初始关键点与所述多个第二描述符匹配来获得所述多个[0155]基于所述多个第一特征点及所述多个第二特征点来获得第一输入图像与第二输[0156]如以上所述，当基于根据示例性实施例的提取图像特征的方法来实行步骤S1100像与第二输入图像之间的对应点估计准确度(例如，第一输入图像与第二输入图像的匹配[0158]特征提取装置100可接收指示第一输入图像的第一图像信号IS1及指示第二输入图像的第二图像信号IS2，可基于第一输入图像及第二输入图像来检测多个第一特征点及多个第二特征点，且可输出指示所述多个第一特征点的第一特征点信号FP1及指示所述多[0159]图14中的特征提取装置100可对应于图2中的特征提取装置100a或图7中的特征提[0160]相似度比较器210可接收第一特征点信号FP1及第二特征点信号FP2，可比较所述多个第一特征点中所包含的多个第一描述符与所述多个第二特征点中所包含的多个第二[0161]对应点产生器220可接收第一特征点信号FP1、第二特征点信号FP2及比较信号个第一描述符匹配来获得多个第一特征点如图4A中所示。另外，通过将第二输入图像IMG2(例如，第t帧图像)中的多个第二初始关键点3、..、n,如图16中所示。与第一输入图像IMG1相比，第二输入图像IMG2中的对象OBJ21及[0165]当获得所述多个对应点(步骤S1300)时，可选择所述多个第一特征点中的所述多个第一描述符中的一者(步骤S1310)，且可通过比较所选的第一描述符与所述多个第二特征点中的所述多个第二描述符之间的相似度来选择所述多个第二描述符中的一者(步骤[0166]可将所述多个第一初始关键点中的与所述多个第一特征点中所选的第一描述符对应的一者及所述多个第二初始关键点中的与所述多个第二特征点中所选的第二描述符可选择和与所选的第一描述符具有最高程度的相似度的第二描述符对应的一个第二初始的描述符之间的相似度来获得所有所[0169]在一些示例性实施例中，可基于汉明距离(Hammingdistance)及欧几里得距离(Euclideandistance)中的至少一者来确定所述多个第一描述符与所述多个第二描述符[0170]可参照图15基于其中针对第一描述符设定一个对应点(例如，通过比较一个第一第二描述符对应的一个第一初始关键点及一个第二初始关键点设定成一[0172]可基于根据示例性实施例的将图像匹配的方法来实行或执行图17中的步骤征点来获得第一输入图像与第二输入图像之间的所[0173]可基于所述多个对应点对第一输入图像及第二输入图像中的至少一者实行图像[0175]图像匹配装置200可接收指示第一输入图像的第一图像信号IS1及指示第二输入出指示所述多个对应点的对应点信号CP。图18中的图像匹配装置200可对应于图14中的图品及/或实施在上面实施有计算机可读程序代码的一个或多个计算机可读媒体中的计算机间的强度差相对大的经缩小图像来产生描述符而获得对于噪声为稳健的且具有改善的奇