CN113269821B 消失点提取装置、提取消失点的方法及自动驾驶装置 （三星电子株式会社）

EP3413232A1,2018.12.12US2019279004A1,2019.0第一图像中包括的对象以及包括所述第一图像的所述消失点的所述直线对所述第一图像进行所述多个采样点被确定为所述第一图像中的坐标与所述直线的像素的坐标和所述第一图像中第二图像中获得与所述第一图像中的所述多个采样点中的至少一个采样点相对应的至少一个2基于根据所述第一图像中包括的对象以及包括所述第一图像的所述消失点的所述直确定为所述第一图像中的坐标与所述直线的像素的坐标和所述第一图像中包括的所述对在第二图像中获得与所述第一图像中的所述多个采样点中的至少一个采样点相对应基于所述第二图像的所述至少一个匹配点获得所述第二获得多个第一模板，每个所述第一模板对应于所述第一图像的所在所述第二图像中获得至少一个第二模板，其中，所述至少一个获得所述第二图像中的与所述至少一个第二模板相关联的像素作为所述至少一个匹获得所述第二图像的多个搜索区域，所述多个搜索区域分别对针对每个采样点，在与该采样点相对应的搜索区域中获得与对应于识别所述第二图像中的如下点：所述点在所述第二图像中的获得所述第二图像中的具有特定尺寸并且分别包括识别出的所述点中的单独的点的在与该采样点相对应的所述搜索区域中确定计算所述多个候选区域中的每个候选区域与对应于该采样点的所述第一模板之间的获得与所述多个相关值中的最高相关值相对应的候选区域作为所述3其中，基于去除了所述离群值的所述至少一个匹配点，获存储器，所述存储器被配置为存储所述第一图像、与所述第一基于与所述第一图像的所述消失点相关联的所述信息，在所述第基于使用与所述第一图像中包括的所述至少一个对象相关联的所述信息对所述第一一图像中的坐标与所述至少一个对象的像素的坐标和所述水平线的像素的坐标都重叠的在所述第二图像中识别与所述第一图像中的所述多个采样点中的至少一个采样点相基于使用所述至少一个匹配点校正所述第一图像的所述消失点在所述第一图像中获得多个第一模板，所述多个第一模板分别在所述第二图像中获得至少一个第二模板，所述至少一个第二模获得所述第二图像的多个搜索区域，所述多个搜索区域分别对4针对每个采样点，在与该采样点相对应的搜索区域中获得与对应于识别所述第二图像中的如下点：所述点在所述第二图像中的获得所述第二图像中的具有特定尺寸并且分别包括识别出的所述点中的单独的点的在与该采样点相对应的所述搜索区域中确定计算所述多个候选区域中的每个候选区域与对应于该采样点的所述第一模板之间的获得与所述多个相关值中的最高相关值相对应的候选区域作为所述存储器，所述存储器被配置为存储所述第一图像、与所述第一第一处理电路，所述第一处理电路被配置为：响应基于与所述第一图像的所述消失点相关联的所述信息，在所述第基于使用与所述第一图像中包括的所述至少一个对象相关联的所述信息对所述第一一图像中的坐标与所述至少一个对象的像素的坐标和所述水平线的像素的坐标都重叠的在所述第二图像中识别与所述第一图像中的所述多个采样点中的至少一个采样点相基于使用所述至少一个匹配点校正所述第一图像的所述消失点第二处理电路，所述第二处理电路被配置为：基于与通过所5[0002]本申请要求于2020年2月14日在韩国知识产权局提交的韩国专利申请No.10-及基于关于先前图像的消失点的信息以及关于先前图像中包括的对象的信息来提取当前[0004]使用图像传感器的图像捕获装置可以被包括在各种类型的电子设备(诸如，智能当前图像的消失点。因此，即使周围没有车道和/或即使存在车道但在图像中未检测到车6[0011]所述的获得所述至少一个第二模板可以包括：获得所述第二图像的多个搜索区在所述第二图像中的坐标分别与所述多个采样点中的单独的点在所述第一图像中的坐标[0014]所述的获得与对应于该采样点的所述第一模板相似的所述候选区域作为所述单所述多个候选区域中的每个候选区域与所述多个第一模板中的对应于该采样点的第一模个相关值中的最高相关值相对应的候选区域作为所述单独[0015]所述的获得所述第二图像中的与所述至少一个第二模板相关联的像素作为所述[0016]包括所述第一图像的所述消失点的所述直线可以是与所述第一图像的水平轴平[0017]包括在所述第一图像中的所述对象可以是车辆或者与所述车辆相关联的特定对[0019]所述的去除所述至少一个匹配点中的离群值可以包括：使用随机一致采样[0021]所述的获得所述第二图像的消失点可以包括：基于使用所述至少一个匹配点的y7点，在与该采样点相对应的搜索区域中获得与对应于该采样点的第一模板相似的候选区述第二图像中的坐标分别与所述多个采样点中的单独的点在所述第一图像中的坐标相同；以及获得所述第二图像中的具有特定尺寸并且分别包括识别出的所述点中的单独的点的该采样点的第一模板之间的相关值，以确立分别与单独的候选区域相对应的多个相关值；以及获得与所述多个相关值中的最高相关值相对应的候选区域作为去除了所述离群值的所述至少一个匹配点获得所述第二图像采样(PROSAC)模型、稳定随机一致采样(StaRSaC))模型中的至少一种模型去除所述离群[0031]所述处理电路可以进一步被配置为：基于使用所述至少一个匹配点的y坐标校正8使用与所述第一图像中包括的所述至少一个对象相关联的所述信息对所述第一图像进行述第二图像中识别与所述第一图像中的所述多个采样点中的至少一个采样点相对应的至配置为：基于与通过所述第一处理电路获得的所述第二图像的所述消失点相关联的信息，[0036]图3是示出了根据本公开的一些示例实施例的包括消失点提取装置的主机车辆[0038]图5是示出了根据本公开的一些示例实施例的包括第一图像的消失点的直线的示[0040]图7是示出了根据本公开的一些示例实施例的与采样点相对应的第一模板的示[0041]图8是示出了根据本公开的一些示例实施例的作为第一图像的下一帧的第二图像[0043]图10是用于说明根据本公开的一些示例实施例的针对第二图像的块匹配(patch[0044]图11是示出了根据本公开的一些示例实施例的与采样点相对应的第二模板的示9等)消失点提取装置10周围环境的图像信号，并将接收到的图像信号作为图像输出(例如，通过(例如，基于)将图像传感器100从前方或者沿各种方向从外部环境接收到的光转换为算机可读存储介质)，并且可以存储通过图像传感器100生成的数据(例如，由图像传感器存储通过图像传感器100获得的图像(例如，由图像传感器100生成的和/或从图像传感器像可以包括在接收当前图像之前从图像传感器100接收到的图像。重申一下，图像传感器取的消失点(例如，先前由消失点提取器310提取的消失点)的信息(例如，与从第一图像关于第一图像IMG1中包括的对象的信息可以包括被识别为对第一图像IMG1执行对象识别的消失点的信息(例如，基于关于第一图像IMG1的消失点的信息对第一图像IMG1进行处第一图像IMG1中包括的对象的信息、与所获得的直线相关联的信息和/或关于第一图像采样点相对应的至少一个匹配点(例如，基于识别第二图像IMG2中的与第一图像IMG1的第可以基于所获得的至少一个匹配点来提取第二图像IMG2的消失点。稍后将参照图2描述其[0066]根据本公开的发明构思的消失点提取装置10可以使用关于先前图像的消失点和界的车道标记)或者在当前图像中存在车道但是未检测到车道时，根据本公开的发明构思来操作的应用和/或服务的装置(例如，实现高级驾驶员辅助系统(ADAS)的车辆)的性能可为分立的组件，并且消失点提取装置10可以通过从外部图像传感器100接收图像并提取接图像传感器100，并且可以通过经由通信装置(未示出)接收图像并提取接收到的图像的消提取装置10还可以通过如下方法来实现：从外部存储器200接收先前图像和关于先前图像置10可以在多个存储器之一中存储由图像传感器100捕获的图像，并在多个存储器中的其[0071]图2是详细地示出了根据本公开的一些示例实施例的消失点提取装置的框图。具于关于第一图像IMG1的信息Info_IMG1对第一图像IMG1进行处理)，从第一图像IMG1获得对第一图像IMG1进行处理)，从第一图像IMG1获得与第一图像IMG1中包括的对象和直线同取器311可以识别与包括在第一图像IMG1中的对象区域中的坐标之中的构成直线的像素坐[0077]首先，匹配点提取器313可以从第一图像IMG1获得分别与多个采样点SP1至SPn相[0078]然后，匹配点提取器313可以将第一图像IMG1的多个第一模板与第二图像IMG2进如等于或大于90以使得第二图像IMG2中的区域可以响应于该区域与第一模板之间的差异等于或小于10和/或该区域的像素至少90％在图案和/或值上与第一模板的像素相匹配(即，该区域与第一模板之间的匹配具有至少90％的置信度)，而被确定为与第一图像[0081]具体地，消失点校正器315可以通过使用至少一个匹配点MP1至MPm来校正第一图315可以计算至少一个匹配点MP1至MPm的坐标的平均值，并且通过使用计算出的平均坐标失点提取器310可以将关于第二图像IMG2的消失点的信息作为关于第二图像IMG2的信息[0083]当从图像传感器100接收到第二图像IMG2时，处理器300可以通过消失点提取器310提取第二图像IMG2的消失点，并且通过对象检测器320执行第二图像IMG2的对象识别。根据一些示例实施例，处理器300可以并行地或顺序地对第二图像IMG2执行消失点提取操300可以仅执行消失点提取操作，并且仅将关于第二图像IMG2的消失点的信息存储在存储[0085]图3是示出了根据本公开的一些示例实施例的包括消失点提取装置的主机车辆的点提取装置10可以设置在主机车辆400的上端，图像传感器100可以拍摄主机车辆400的前根据图3中所示的示例实施例的主机车辆40[0087]将理解的是，车辆控制器410(也称为车辆控制电路)可以包括诸如以下处理电路[0088]车辆控制器410可以控制主机车辆400的整体行驶。车辆控制器410可以确定主机器410可以基于从消失点提取装置10接收到的关于消失点的信息来计算主机车辆400与周一图像IMG1以及关于第一图像IMG1的信息，该第一图像IMG1是存储在存储器200中的第二[0092]图5是示出了根据本公开的一些示例实施例的包括第一图像的消失点的直线的示IMG1的消失点VP1的坐标来获得构成包括第一图像IMG1的消失点VP1的直线的第一图像并且获得与第一图像IMG1的水平轴平行的水平线HL获得同时与第一图像IMG1的水平线HL1以及对应于第一图像IMG1的对象OB1的区域相交的多个采样点SP1至SP4。具体地，消失点提取器310可以在构成第一图像IMG1中包括的对象OB1的区域的像素之中识别第一图像IMG1中的坐标与构成水平线HL1的像素的坐标重叠的[0096]此外，消失点提取器310可以以各种方式获得重叠像素中的至少一些像素作为多[0097]图7是示出了根据本公开的一些示例实施例的与采样点相对应的第一模板的示的其余采样点SP2至SP4(例如，包括图6中的其余采样点SP2至SP4、以图6中的其余采样点[0100]图8是示出了根据本公开的一些示例实施例的作为第一图像的下一帧的第二图图像IMG2中的坐标与第一采样点SP1在第一图像IMG1中的坐标相同。此外，消失点提取器310可以获得包括一个识别出的点(例如，以一个识别出的点为中心)并且具有特定(或者，尺寸可以相同或者可以具有根据实施例而不同的别出的点的区域作为与采样点SP1相对应(例如，以采样点SP1为中心)的搜索区域SA1。此[0107]图10是用于说明根据本公开的一些示例实施例的针对第二图像的块匹配(patch指示候选区域CA的像素与第一模板TP1的像素之间具有95％的相似度或95％的置信度匹配。响应于确定出基于将候选区域CA与第一模板TP1进行比较确定的相关值大于特定阈值[0111]图11是示出了根据本公开的一些示例实施例的与采样点相对应的第二模板的示与采样点SP1相对应的搜索区域SA1中针对由搜索窗口划分的多个候选区域CA计算与第一模板TP1的相关值(例如，通过在第一模板TP1与每个候选区域之间实施数字图像相关技模板，并获得包括在所获得的第二模板中的像素之一和/或与所获得的第二模板相关联的匹配点作为第二图像IMG2中的与第二图像IMG2的至少一个第二模板TP'1相关联的像素而与中心点相对应的像素(例如，第二模板TP'1的中心点处的像素)作为与采样点SP1相对应的匹配点MP1。此外，获得包括在第二模板中的像素之一作为匹配点的方法不限于上述示以获得与第一图像IMG1的采样点SP1相对应的第二图像IMG2的匹配点MP1。消失点提取器310还可以对第一图像IMG1的其余采样点S图2))获得分别与第一图像IMG1的多个采样点SP1至SP的消失点VP2(例如，将第一图像IMG1中的消失点VP1的坐标调整为第二图像IMG2中的新的[0124]在一些示例实施例中，消失点提取器310可以计算多个匹配点MP1至MP4的坐标的可以根据基于至少一个匹配点(例如，匹配点MP1至MP4中的一些或全部匹配点)的y坐标校IMG1的消失点VP1的方法可以根据以上参照图5描述的包括第一图像IMG1的消失点的直线标可以与第一图像IMG1的消失点VP1的x坐标x[0126]作为另一示例，包括第一图像IMG1的消失点的直线可以是与垂直轴平行的平行的消失点VP1来获得第二图像IMG2的[0130]因为消失点提取器310使用匹配点的平均坐标来提取第二图像I所以如果匹配点中包括离群值，则消失点提取器310可能提取具有误差的第二图像的消失[0131]作为一些示例实施例，消失点提取器310可以通过将离群值去除模型应用于多个是随机一致采样(RANdomSAmpleConsensus，RANSAC)模型、渐进一致采样(PROgressive[0132]上述离群值的去除操作可以由消失点提取器310中的匹配点提取器313执行。例失点校正器315可以执行去除所接收到的至少一个匹配点[0134]图17是示出了根据本公开的一些示例实施例的第二图像的消失点的示图。详细地，图17是用于说明使用图16的多个匹配点MP1至MP3获得第二图像IMG2的消失点VP2的操去除了离群值的多个匹配点MP1至MP3校正第一图像IMG1的消失点VP1，来获得第二图像[0136]消失点提取器310可以计算已经去除了离群值的多个匹配点MP1至MP3的坐标的平体地，图18是用于说明当多个对象OB1、OB2和OB3包括在第一图像IMG1中时提取第一图像310可以从同时与对应于第二对象OB2的区域和水平线HL1相交的像素之中提取多个采样点至少一个匹配点来提取第二图像IMG2的消失点V[0141]图19是示出了根据本公开的一些示例实施例的消失点提取方法的流程图。具体从第一图像获得包括第一图像的消失点的直线(S110)，例如，如本文参照图4-图5所描述且获得所识别的像素中的一些像素或全部像素作为与直线和第一图像中包括的对象都相点提取装置10可以获得分别与多个采样点相对应的多个第一模板(例如，每个第一模板可以具有第一图像的单独的区域以及以单独的采样点作为相应第一模板的中心)。多个第一点的y坐标改变为计算出的平均y坐标来提取第二用于确定主机车辆400经过周围环境所遵循的特定路线，和/或至少部分地实现主机车辆感器511可以对应于上述实施例的图像传感器100，并且存储器520可以对应于上述实施例的存储器200，并且处理器530可以对应于上述实施例的处理器300并且在本文中可以被称像传感器511、存储器520和处理器530可以使用以上参照图1至图9描述的示例实施例来实[0149]自动驾驶装置500可以基于神经网络对自动车辆的周围环境数据执行实时分析，[0150]神经网络可以包括各种神经网络系统和/或机器学习系统，例如，人工神经网络括长短期记忆(LSTM)单元和/或门控循环单元(GRU)的循环神经网络(RNN)、堆叠神经网络像信号，并且将接收到的图像信号输出为图像。例如，传感器510包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的图像传感器511、深度相机513、光检测和测距[0154]当从图像传感器511接收到图像时，基于关于在接收到的图像的先前顺序中