CN112805718A 自动驾驶装置的对象识别方法以及自动驾驶装置 （三星电子株式会社）

PCT/KR2019/012484201WO2020/071683KO2020.04.自动驾驶装置的对象识别方法以及自动驾通过使用相机获取第一RGB图像；基于关于第一RGB图像的亮度信息预测第一RGB图像中的不能制与所述至少一个第二区域相关的相机的摄影2通过使用布置在自动驾驶装置中的相机获得基于第一RGB图像的亮度信息，预测第一RGB图基于通过布置在自动驾驶装置中的动态视觉传感器DVS获得的对象信息，从所述至少通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB2.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包3.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包通过使用第一RGB图像的直方图确定在第一RGB图像中是否存在不能识别对象的区域；4.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包通过使用已经学习了多个RGB图像的第一人工智能模型来确定在第一RGB图像中是否当确定在第一RGB图像中存在不能识别对象的区域时，通过使用第一人工智能模型预视觉传感器DVS图像和从DVS图像检测到的至少一个对象的位3响应于检测到新对象，确定在通过相机获得的第三RGB图像中识别出新对象的概率大基于第一RGB图像的亮度信息，预测第一RGB图通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB一RGB图像中的亮度值在阈值范围之外的区通过使用第一RGB图像的直方图确定在第一RGB图像中是否存在不能识别对象的区域；像中是否存在不能识别对象的区域，并且当确定在第一RGB图像中存在不能识别对象的区响应于检测到新对象，确定在通过相机获得的第三RGB图像中识别出新对象的概率大4基于第一RGB图像的亮度信息，预测第一RGB图基于通过动态视觉传感器DVS获得的对象信息，从所述至少一个第一区域确定存在对通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB5[0001]本公开涉及一种在自动驾驶期间识别邻近对象的方法和使用该方法的自动驾驶(3)用于通过使用确定的信息来控制车辆的移动的技术。[0003]用于识别外部环境的技术可以大致分类为基于传感器的识别技术和基于连接的[0004]基于连接的用于自动驾驶的识别技术包括V2X和精确定位。V2X设施(V2I)以及用于与行人通信的车辆到行人(V2P)。V2X可以指将行驶的车辆连接到周围基于由动态视觉传感器检测到的对象信息调整相机的摄影配置信息来提高对外部对象的过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB图像；6区域；通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二像中的不能识别对象的至少一个第一区域；基于通过动态视觉传感器(DVS)获得的对象信[0012]图3是用于解释根据实施例的在RGB图像中确定的不能识别对象的区域和感兴趣[0015]图6是用于解释根据实施例的通过使用直方图来确定在RGB图像中是否存在不能[0016]图7是用于解释根据实施例的确定RGB图像中的不能识别对象的区域的操作的示[0017]图8是用于解释根据实施例的通过使用人工智能模型来识别对象的方法的流程[0018]图9是用于解释根据实施例的将RGB图像和DVS图像应用于AI处理器的操作的示[0019]图10是用于解释根据实施例的由自动驾驶装置执行以获得增强的RGB图像的操作[0020]图11是用于解释根据实施例的当进入隧道时由自动驾驶装置执行以获得增强的[0021]图12是用于解释根据实施例的当在RGB图像中存在由于背光引起的不能识别对象[0022]图13是用于解释根据实施例的根据多个感兴趣区域的优先级来控制相机的摄影[0025]图16是用于解释根据实施例的由自动驾驶装置执行以通过使用相机来识别和跟7[0030]图21是示出根据实施例的自动驾驶装置和服务器交互操作以学习和识别数据的部件另外包括其他元件而不是排除其他元件。此外，说明书中描述的术语(诸如“……器[0036]根据实施例的自动驾驶装置100可以指能够在不依赖于从外部输入的控制命令的[0037]根据实施例，自动驾驶装置100可以包括相机101、动态视觉传感器102和处理器[0038]根据实施例的相机101可以识别存在于距自动驾驶装置100特定距离内的至少一8视觉传感器102检测到的信息控制相机101的摄影配置信息来提高相机[0042]动态视觉传感器102是以高速捕获视觉改变的基于事件的相机，并且是一种可以[0043]动态视觉传感器102可以解决典型的视觉识别系统易受快速运动影响的问题。因感器102可以具有比每秒拍摄数千帧的超高速相机更好的时间分辨率(例如，超高速帧>1K器102的视场(FOV)或动态视觉传感器102的姿态，使得动态视觉传感器102获得与由相机视觉传感器102可以检测以像素为单位的局部变化，并且可以将关于检测到的局部变化的更宽的动态范围，所以处理器120可以从动态视觉传感器102接收关于未被相机101捕获的[0047]在下文中，将参照图2详细描述由自动驾驶装置100的处理器120执行的通过使用由动态视觉传感器102检测到的信息控制相机101的摄影配置信息来提高相机101的对象识9或者可以在自动驾驶装置100停放或停止之后通过使用相机1[0052]在操作S220，自动驾驶装置100可以基于第一RGB图像的亮度信息从第一RGB图像[0054]根据实施例，自动驾驶装置100可以基于第一RGB图像与通过动态视觉传感器102获得的动态视觉传感器(DVS)图像之间的差异来确定第一RGB图像中存在不能识别对象的[0056]在自动驾驶装置100已经确定第一RGB图像中存在不能识别对象的区域的概率大于阈值的情况下，自动驾驶装置100可以通过使用第一RGB图像的亮度信息从第一RGB图像一RGB图像中的亮度值在阈值范围之外的区域(例如，相当暗或相当亮的区域)定义为不能觉传感器102获得的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二区信息是关于由动态视觉传感器102检测到的对象的信息，并且可以包括DVS图像和从DVS图RGB图像的所述至少一个第一区域中存在对象的概率大于阈值(例如，98％)的区域定义为102具有比相机101的动态范围更宽的动态范围，所以动态视觉传感器102可以检测亮区域[0062]因此，自动驾驶装置100可以将动态视觉传感器102检测到对象但是相机101未捕[0070]根据实施例，自动驾驶装置100的AI处理器可以通过使用已经被训练为控制摄影装置100通过使用人工智能模型来控制相机101的摄影驶装置100可以通过使用至少一个提取的特征来识别第二RGB图像的感兴趣区域中的对象。[0073]根据实施例，自动驾驶装置100可以通过使用模板信息或人工智能模型来识别与所以自动驾驶装置100可以将外部车辆的类自动驾驶装置100可以通过将从第二RGB图像提取的特征与精确地图进行比较来识别对象[0075]另外，自动驾驶装置100可以通过使用精确地图来识别所识别的对象的当前位置[0077]根据实施例，动态视觉传感器102可以比相机101更早地检测到在自动驾驶装置下，自动驾驶装置100可以基于检测到新对象的位置来确定在相机101的RGB图像上识别出新对象的可能性大于阈值的候选区域。自动驾驶装置100可以通过对候选区域执行图像处跟踪包括在从所述多个帧中的每个帧识别的对象中的特征来获得自动驾驶装置100的位置一种用于通过使用先前帧与当前帧之间的差来预测移动装[0079]根据实施例，因为针对所有像素计算先前帧和当前帧的改变需要相当大量的计[0080]根据实施例，自动驾驶装置100可以通过在当前帧中匹配从先前帧提取的特征点距离信息(深度)或来自惯性传感器(IMU)的距离信息来将运动矢量转换为三维空间(x,y,z)中的坐标。自动驾驶装置100可以通过使用来自一组匹配的特征点的与先前帧中的特征点相应的三维坐标和与当前帧中的特征点相应的三维坐标来计算表示实际空间的变化量[0082]根据实施例，自动驾驶装置100可以基于通过视觉里程计识别的位置信息来产生[0089]在操作S510，自动驾驶装置100可以分析第一RGB图像以获得第一RGB图像的直方动驾驶装置100可以从第一RGB图像预测不能识别对象的至少一个第一区域(不能识别对象而不能识别对象的区域的第一参考值或用于检测由于区域的亮度而不能识别对象的区域[0097]尽管图7示出了第一参考值701与第二参考值702不同的情况，但是本公开不限于[0098]在操作S550，自动驾驶装置100可以将通过动态视觉传感器102获得的DVS图像的对象信息与第一RGB图像的对象信息进行比较，以从所述至少一个第一区域确定存在对象[0099]例如，自动驾驶装置100可以将DVS图像具有大量特征信息而第一RGB图像具有少[0101]在操作S560，自动驾驶装置100可以控制与所述至少一个第二区域(感兴趣区域)[0104]在操作S580，在从第二RGB图像的感兴趣区域(与第一RGB图像的所述至少一个第[0105]在操作S590，自动驾驶装置100可以通过使用识别出的对象来获得自动驾驶装置[0106]根据实施例，自动驾驶装置100可以将包括在识别的对象中的特征用作将被应用自动驾驶装置100可以通过使用预测的位置改变和通过立体相机或惯性传感器获得的距离信息来估计三维位置改变的量。自动驾驶装置100可以通过使用三维位置改变的量来产生[0108]图8是用于解释根据实施例的通过使用人工智能模型来识别对象的方法的流程亮度分布并且相当暗或相当亮的情况下，第一人工智能模型可以确定在第一RGB图像中存模型可以通过考虑周围情况信息来确定第一RGB图像中是否存在不能识别对象的区域。例前位置是出现背光的位置时，第一人工智能模型可以确定在第一RGB图像中存在不能识别人工智能模型从第一RGB图像预测不能识别对象的至少一个第一区域(不能识别对象的区[0117]在操作S850，自动驾驶装置100可以通过将DVS图像和第一RGB图像应用于第二人工智能模型来从所述至少一个第一区域确定学习的模型。第二人工智能模型可以是将DVS图像与RGB图像进行比较并且从RGB图像的不可以通过动态视觉传感器102获得DVS图像920。RGB图像910和DVS图像920可以被发送到AI[0122]根据实施例，第三人工智能模型可以是从相机101的RGB图像和摄影配置信息(例感兴趣区域930是隧道出口的相当亮的区域，所以第三人工智能模型可以确定摄影配置值[0124]在自动驾驶装置100将相机101的当前摄影配置值改变为由第三人工智能模型确如，增强的RGB图像1000通常可以比RGB图像910更暗，并且特征或边缘可以出现在增强的AI处理器900。AI处理器900可以将RGB图像1110和DVS图像1120输入到第二人工智能模型。型可以将关于感兴趣区域的信息发送到AI处理器[0126]AI处理器900可以将RGB图像1110和关于感兴趣区域的信息应用于第三人工智能[0127]在自动驾驶装置100将相机101的当前摄影配置值改变为由第三人工智能模型确上方区域1221检测到许多特征或边缘。在这种情况下，第二人工智能模型可以将RGB图像[0129]AI处理器900可以将RGB图像1210和关于感兴趣区域的信息应用于第三人工智能[0130]在自动驾驶装置100将相机101的当前摄影配置值改变为由第三人工智能模型确[0131]在操作S880，在从第二RGB图像的感兴趣区域(与第一RGB图像的所述至少一个第[0132]在操作S890，自动驾驶装置100可以通过使用识别出的对象来获得自动驾驶装置[0134]在下文中，将参照图13和图14详细描述在自动驾驶装置100已经定义了多个感兴趣区域的情况下根据所述多个感兴趣区域的优先级来控制相机101的摄影配置信息的操[0135]图13是用于解释根据实施例的根据多个感兴趣区域的优先级来控制相机的摄影[0140]例如，自动驾驶装置100可以将第一RGB图像中的亮度值在阈值范围之外的区域像中存在亮度值在阈值范围之外的多个区域的情况下，自动驾驶装置100可以检测多个不[0142]在操作S1330，自动驾驶装置100可以基于通过动态视觉传感器[0143]例如，自动驾驶装置100可以将相机101未捕获到对象但动态视觉传感器102检测此，可能难以通过仅调整一次相机101的摄影配置信息来检测多个感兴趣区域中的每个感[0145]根据实施例，自动驾驶装置100可以为具有低亮度的区域分配更高的优先级。例装置100可以通过控制与具有第n优先级的感兴趣区域相关的相机101的摄影配置信息来获[0149]例如，自动驾驶装置100可以通过控制与具有第一优先级的感兴趣区域相关的相别第二RGB图像的感兴趣区域(与具有第一优先级的感兴趣区域相应的区域)中的第一对的摄影配置信息来获得增强的第三RGB图像。自动驾驶装置100可以识别第三RGB图像的感第二对象可以彼此不同。自动驾驶装置100可以确定具有第二优先级的感兴趣区域是否是装置100可以通过控制与具有第三优先级的感兴趣区域相关相机101的摄影配置信息来获得增强的第四RGB图像，并且识别增强的第四RGB图像的感兴趣区域(与具有第三优先级的[0150]参照图14，将详细描述由自动驾驶装置100考虑多个感兴趣区域的优先级来控制[0152]自动驾驶装置100可以在通过隧道时通过相机101获得RGB图像1410，并且通过动自动驾驶装置100可以确定从RGB图像1410中的隧道出口区域(区域②)仅检测到少量特征况下，自动驾驶装置100可以将RGB图像1410中的左下方区域(区域①)和隧道出口区域(区[0153]在具有低亮度的感兴趣区域被设置为被分配高优先级的情况下，自动驾驶装置[0154]在这种情况下，自动驾驶装置100可以首先基于左下方区域(区域①)来控制相机[0158]高速检测模式是指通过对在RGB图像中检测到对象的可能性高的候选区域执行图像处理来高速检测对象的模式。可以基于由动态视觉传感器102检测到的信息来确定所述[0159]全区域检测模式是指通过对RGB图像的整个区域执行图像处理来检测对象的模[0162]在操作S1540，自动驾驶装置100可以通过动态视觉传感器检测自动驾驶装置100[0163]因为动态视觉传感器102基于每个像素获得数据而不是基于每个帧获得数据，所[0164]根据实施例，可以通过将DVS图像的当前帧与先前帧进行比较来检测自动驾驶装[0165]在操作S1550，自动驾驶装置100可以确定在RGB图像中识别出新对象的可能性大100的右侧区域出现的情况下，自动驾驶装置100可以将RGB图像中的右侧区域定义为候选[0167]在操作S1560，自动驾驶装置100可以通过对候选区域执行图像处理来从RGB图像驶装置100可以在RGB图像的候选区域中识别正在右侧车道行驶的外部车辆。在这种情况下，因为自动驾驶装置100不需要为了识别新对象而对RGB图像的整个区域执行图像处理，[0175]图16是用于解释由自动驾驶装置使用相机识别和跟踪由动态视觉传感器检测到[0176]参照图16的第一RGB图像1610，自动驾驶装置100可以通过使用前置相机101来识[0177]参照图16的DVS图像1620，自动驾驶装置100可以通过使用动态视觉传感器102检[0178]参照图16的第二RGB图像1630，在通过动态视觉传感器1620检测到新对象的情况下，自动驾驶装置100可以确定在通过相机101获得的第二RGB图像1630中识别出新对象的正在接近自动驾驶装置100的左侧的情况下，自动驾驶装置100可以将第二RGB图像1630的[0179]自动驾驶装置100可以通过对第二RGB图像1630的左侧区域1631执行图像处理来装置100的必不可少的组件。自动驾驶装置100可以由比图17所示的组件更多的组件实现，[0183]感测单元110可以包括被配置为检测关于自动驾驶装置100的周围环境的信息的相机可被布置在自动驾驶装置100的后部、两个相机可被布置在自动驾驶装置100的左侧[0186]处理器120通常可以控制自动驾驶装置100的整体操作。处理器120可以通过执行[0188]处理器120可以分析第一RGB图像以获得第一RGB图像的直方图，并且通过使用第一RGB图像的直方图来确定在第一RGB图像中可以将第一RGB图像中亮度值在阈值范围之外的区域定义为一区域确定存在对象的至少一个第二区域。处理器120可以通过控制与所述至少一个第二踪在第二RGB图像中识别出的对象。处理器120可以通过动态视觉传感器102来检测自动驾驶装置100周围出现的新对象，并且可以确定在通过相机101获得的第三RGB图像中识别出新对象的概率大于阈值的候选区域。处理器120可以通过对候选区域执行图像处理来从第可以通过使用已经从多个RGB图像训练的第一人工智能模型来确定在第一RGB图像中是否AI处理器可以通过使用第一人工智能模型来预测第一RGB图像中的至少一个第一区域(不驶装置100的运动。[0195]通信器130可以包括用于与另一装置(例如，外部车辆或外部服务器)无线通信的[0196]短距离无线通信器131可以包括但不限于蓝牙通信器、蓝牙低功耗(BLE)通信器、[0197]移动通信器132可以向移动通信网络上的基站、外部终端和服务器中的至少一个速度的数据包进行广播或通告。此外，通信器130可以接收由外部车辆广播或通告的数据[0200]驱动单元140可以包括用于驱动(操作)自动驾驶装置100以及用于执行自动驾驶示器151可以显示与呼叫模式下的呼叫相关联器还可以以投影类型被实现。投影类型是指在透明屏幕(诸如平视显示器(HUD))上投影并[0206]声音输出器152可以输出从通信器130接收的或存储在存储单元160中的音频数[0208]存储单元160可以存储用于处理器120的处理和控制的程序，并且可以存储输入/器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器[0210]输入器170是指用户通过其输入用于控制自动驾驶装置100的数据的装置。例如，学习器1310可以基于动态视觉传感器102的对象信息来学习用于识别RGB图像中的不能识以学习关于使用哪个数据来确定相机101的摄影配置信息以及如何通过使用该数据来确定习器1310可以学习用于规划自动驾驶装置100的运动的标准，或者可以学习用于识别自动过使用获得的图像数据作为输入值而输出的结果值[0216]数据学习器1310和数据识别器1320中的至少一个可以以至少一个硬件芯片的形或无线地将输入到数据识别器1320的数据作为附加训练数据提供给数学习器1310和数据识别器1320中的至少一个被实现为软件模块(或包括指令的程序模块)[0223]预处理器1310_2可以对获得的数据进行预处理以用于学习来确定对象识别情预处理器1310_2可以将获得的数据处理成预定义格式，使得下面将描述的模型学习器别情况的预定义标准从经过预处理的数据选择学习所需的数据。此外，训练数据选择器1310_3可以根据将在下面描述的模型学习器1310_4的学习基于预定义[0225]模型学习器1310_4可以基于训练数据来学习关于如何确定对象识别情况的标[0227]可以考虑应用识别模型的领域、学习目的或自动驾驶装置100的计算机性能来建(DNN)、递归神经网络(RNN)或双向递归深度神经网络(BRDNN)的模型可以用作数据识别模以将在输入训练数据和基本训练数据之间具有高关联的数据识别模型确定为将被训练的通过在没有监督的情况下自己学习确定情况所需的数据类型来找到用于确定所述情况的练后的数据识别模型存储在包括下面将描述的数据识别器1320的自动驾驶装置100的存储[0232]在这种情况下，存储训练后的数据识别模型的存储单元160还可以存储例如与自动驾驶装置100的至少一个其他组件相关的命令或数据。此外，存储单元160可以存储软件出的识别结果不满足预定义标准时，可以允许模型学习器1310_4重新训练数据识别模型。别结果的数量或比率超过预定义阈值时，模型评估器1310_5可以评估不满足预定义标准。例如，当预定义标准是2％并且在1000条评估数据中的多于20条评估数据上输出不正确的1310_4和模型评估器1310_5可以被安装在单个自动驾驶装置100上，或者可以单独地被安学习器1310_4和模型评估器1310_5中的一些可以被包括在自动驾驶装置100中，并且其余可以对获得的数据进行预处理，使得获得的数据可被用于确定对象识别情况。预处理器[0242]识别数据选择器1320_3可以从多条经过预处理的数据选择确定对象识别情况所[0243]识别结果提供器1320_4可以通过将选择的数据应用于数据识别模型来确定对象器1320_4可以通过使用由识别数据选择器1320_3选择的数据作为输入值来将选择的数据[0245]模型细化器1320_5可以基于对由识别结果提供器1320_4提供的识别结果的评估3、识别结果提供器1320_4和模型细化器1320_5中的至少一个可以被制造为至少一个硬件用于人工智能(AI)的专用硬件芯片的形式被制造，或者可以被制造为现有的通用处理器供单元1320_4和模型细化器1320_5可以被安装在单个自动驾驶装置100上，或者可以单独1320_4和模型细化器1320_5中的至少一个可以被实现为软件模块。当数据获得器1320_1、[0249]图21是示出根据实施例的自动驾驶装置100和服务器200交互操作以学习和识别[0251]在这种情况下，服务器200的模型学习器2340可以执