CN114092548B 信息处理装置、信息处理方法、存储介质以及车辆控制系统 （株式会社东芝）

WO2019171984A1,2019.09.测装置在互不相同的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结示每个2维的位置的畸变的畸变映射而校正后的特征点的检测位置与和特征点对应的3维位置的2获取部，获取多个探测信息，该多个探测信息为由一个以上探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信息，该多个探测信息包含存在于所述探测装置与所述对象之间且使所述电磁波透射的透射体所致推测部，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征点的所述畸变映射包括表示比所述检测信息小的分辨率的多个格子点的每个格子点的所使用对所述特征点的周边的多个所述格子点的滑移进行插值而求出的滑移的值来校所述信息处理装置还具备分类部，该分类部将获取到的多个所述探所述分类部将所述探测装置与所述透射体的相对的位置类似的多个探测信息分类为所述分类部将包含状态类似的所述透射体所致的畸变的多个探测信息分类为相同的所述信息处理装置还具备掩模生成部，该掩模生成部生成表示推测所所述推测部根据表示所述掩模所表示的区域所包含的每个位置的所述畸变的所述畸所述掩模生成部生成表示所述探测信息所包含的区域中的包括利用透射了所述透射所述掩模生成部生成表示所述探测信息内的包括特定的对象的区域的所所述掩模生成部生成表示包括比其它区域多的所述特征点的区域的所3所述推测部通过使表示所述误差且包括邻接的多个所述格子点的滑移的平滑化项的所述推测部通过使表示所述误差且包括以从特定的模型的滑移的位移为参数的偏置获取步骤，获取多个探测信息，该多个探测信息为由一个以上的的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信息，该多个探测信息包含存在于所述探测装置与所述对象之间且使所述电磁波透射的透射体所推测步骤，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征点所述畸变映射包括表示比所述检测信息小的分辨率的多个格子点的每个格子点的所使用对所述特征点的周边的多个所述格子点的滑移进行插值而求出的滑移的值来校获取步骤，获取多个探测信息，该多个探测信息为由一个以上的的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信息，该多个探测信息包含存在于所述探测装置与所述对象之间且使所述电磁波透射的透射体所推测步骤，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征点所述畸变映射包括表示比所述检测信息小的分辨率的多个格子点的每个格子点的所使用对所述特征点的周边的多个所述格子点的滑移进行插值而求出的滑移的值来校获取部，获取多个探测信息，该多个探测信息为由一个以上探测位置处使用电磁波来探测所述对象而得到的包含每个2维的位置的探测结果的信息，4该多个探测信息包含存在于所述探测装置与所述对象之间且使所述电磁波透射的透射体推测部，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征点的所述畸变映射包括表示比所述检测信息小的分辨率的多个格子点的每个格子点的所使用对所述特征点的周边的多个所述格子点的滑移进行插值而求出的滑移的值来校5测对象而得到的包含每个2维的位置的探测结果的信息，该多个探测信息包含存在于探测征点。推测部通过使根据表示每个2维的位置的畸变的畸变映射而校正后的特征点的检测6尺寸已知的检查图案的板那样的已知的对象进行摄像而得到的图像预先离线地执行摄像[0027](T2)通过与根据立体摄像机的一个摄像机的运动推测出的3维点对应起来，从而包含图像畸变参数地推测另一个摄像机的相[0030]第1实施方式的信息处理装置使用畸变映射，该畸变映射利用在图像上的各位置7如，能够针对每个2维的位置将包含表示从探测装置至对象为止的距离的值的距离图像用红外线摄像机使用红外线对对象进行摄像并将红外线图像作为探测信息而输出，上述LiDAR使用激光对对象进行摄像并将距离图像作为探测信息而输出。以在使用任意的探测装置的情况下都能够经由使使用的电磁波透射的物体即透射体而探测到[0040]动力控制部10G(车辆控制装置的一个例子)控制动力部10H。通过动力控制部10G[0042]输出部10A例如具备发送推测结果信息的通信功能、显示推测结果信息的显示功能以及输出表示推测结果信息的声音的声音输出功能等。输出部10A例如具备通信部10D、8以为用灰度表达的一通道的单色图像。摄像机10B对移动体10周边的时间序列的图像进行[0045]以下，以摄像机10B设置成经由前窗玻璃30包含移动体10的前方作为摄像方向的[0046]传感器10C为对测定信息进行测定的传感器。测定信息例如包含移动体10的速度以及移动体10的方向盘的转向角。传感器10C例如为惯性测量装置(IMU：Inertial[0054]获取部101获取在不同的摄像位置(探测位置的一个例子)处摄像到的多个图像9成构成立体摄像机的左右的摄像机的摄像位置互不相同。例如获取部101也可以获取在某[0056]检测部102从获取到的多个畸变图像分别检测特征点。特征点的检测方法也可以以使用考虑了是因前窗玻璃30而产生畸变的图像的检测方法。例如检测部102也可以与不103根据针对多个畸变图像分别检测到的多个特征点，推测对畸变图像进行摄像时的摄像机10B的姿态(pose)、特征点的3维的位置(3维位置)以及与畸变图像对应的畸变映射而输[0058]处理部20A例如也可以通过使CPU(CentralProcessingUnit，中央处理单元)等处理器执行程序而实现，即通过软件而实现。另外，例如，处理部20A也可以由专用的IC[0059]此外，在实施方式中使用的“处理器”的用语例如包括CPU、GPU(GraphicalProcessingUnit，图形处理单元)、面向特定用途的集成电路(ApplicationSpecific辑器件(SimpleProgrammableLogicDevice：SPLD)、复合可编程逻辑器件(ComplexProgrammableLogicDevice：CPLD)以及现场可编程门阵列(FieldProgrammableGate[0063]获取部101获取经由前窗玻璃30而在不同的位置处摄影到的多个图像(步骤没有前窗玻璃30的情况下，将3维点501与摄像机10B的中心进行连结的直线以及图像平面而被摄像的图像在图像上的各位置处产生不[0070]获取部101进而获取在移动体10移动到不同的位置之后经由前窗玻璃30摄像到的为在摄像机10B能够相对于移动体10的基准点相对地移动的情况下，与移动体10的移动分开地使摄像机10B移动。例如也可以在摄像机10B设置于臂部的前端的情况下仅使臂部移[0074]例如推测部103进行使用SIFT(ScaleInvariantFeatureTransform，比例尺不使用考虑了是因前窗玻璃30而产生畸变的图像的方法。例如推测部103也可以限定为在对特征线的周边的区域进行分割时畸变的影响[0075]接下来，推测部103推测摄像机10B的姿态的初始值以及特征点的3维位置的初始值(步骤S104)。例如推测部103不考虑图像畸变地推测摄像机10B的姿态以及特征点的3维[0077]在不考虑前窗玻璃30所致的图像畸变的3维重构中产生误差。图6至图9是用于说[0080]图8示出存在前窗玻璃30但不考虑图像畸变地进行3维重[0081]图9示出通过本实施方式作为表示图像上的偏离的图像畸变滑移911、912而考虑像畸变滑移911、912校正特征点的检测位置的点与摄像机10B的中心进行连结的直线的交[0084]图10是用于说明基于图像畸变滑移的校正以及最佳化处理的图。推测部103根据911)校正特征点的图像上的检测位置qij。畸变映射G能够解释为输出与所指定的检测位置[0087]关于(1)式内的和，计算特征点i与和检测到特征点i的图像对应的姿态j的配对用基于LM(LevenbergMarquardt)法的非线性最佳化。推测部103针对所有的图像而推测1平滑化项以及以从特定的模型的滑移的位移为参数的的3维位置以及畸变映射中的至少一个作为推测结果而输出。例如所输出的畸变映射以后[0093]如以上那样，第1实施方式的信息处理装置获取经由前窗玻璃等透明体而摄像到[0095]第2实施方式的信息处理装置针对图像被分类的多个群组的每个群组而推测畸变[0098]分类部104-2将获取到的多个图像分类为包括畸变相互类似的多个图像的多个群[0099](R1)将摄像机10B与前窗玻璃30的相对的位置类似的多个图像分类为相同的群[0101]既可以构成为获取部101利用外部的装置来获取分类为群组的图像，也可以构成点与第1实施方式的推测部103-2不同。推测部103-2在用畸变映射的对应的位置的畸变滑[0106]分类部104-2将由摄像机10B-a摄像到的畸变图像分类为群组G-a，将由摄像机[0107]推测部103-2推测与摄像机10B-a对应的畸变映射M-a和与摄像机10B-b对应的畸过图像的解析等来探测在图像内被摄像的特定的对象(例如车辆的发动机罩等)的位置的场所对由1个摄像机10B获取到的多个图像进行分类。例如分类部104-2也可以以移动距离的步骤S203～步骤S207针对每个群组而执行这点与第1实施方式的信息处理装置20中的步[0119]第3实施方式的信息处理装置生成示出推测畸变映射的区域的掩模，依照所生成[0122]掩模生成部105-3生成表示推测畸变映射的区域的掩模。用掩模示出的区域最好[0123]掩模既可以用是否推测畸变映射的2值表达，也可以如推测的优先级那样用连续[0127](M1)生成表示图像所包含的区域中的由透射了前窗玻璃30的光摄像到的区域的[0130]说明(M1)的详细内容。有时前窗玻璃30未覆盖摄像机10B的整体，而仅由摄像机[0132]掩模生成部105-3也可以针对多个摄像机10B的每个摄像机10B而生成不同的掩[0134]说明(M2)的详细内容。包括特定的对象的区域例如为包括移动体(与移动体10不包括移动体以外的区域的掩模。推测部103-3不将与移动体相当的区域的特征点用于畸变容易失败的对象。例外的对象例如能够使用语义分割以及特定物体识别等检测技术来检[0137]说明(M3)的详细内容。掩模生成部105-3作为掩模而生成包括比其它区域多的特征点的区域换言之充分地检测特征点的区域。推测部103-3通过使在多个图像中在相同的[0138]包括比其它区域多的特征点的区域例如为特征点的数量或者特征点的密度超过测部103-3也可以根据连续值对各特征点能够进行去除了前窗玻璃30的畸变的影响的[0148]由第1至第3实施方式的信息处理装置执行的程序也可以构成为通过能够安装的等网络提供或者分发由第1至第3实施方式的信息处[0150]由第1至第3实施方式的信息处理装置执行的程序能够使计算机作为上述信息处理装置的各部分发挥功能。该计算机的CPU51能够在主存储装置上从计算机可读取的存储同的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信息，该多个探测信息包含存在于所述探测装置与所述对象之间且使所述电磁波透射的透射体[0157]推测部，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征[0167]所述分类部将所述探测装置与所述透射体的相对的位置类似的多个探测信息分[0170]所述分类部将包含状态类似的所述透射体所致的畸变的多个探测信息分类为相[0174]所述推测部根据表示所述掩模所表示的区域所包含的每个位置的所述畸变的所[0177]所述掩模生成部生成表示所述探测信息所包含的区域中的包括利用透射了所述透射体的所述电磁波探测到的探测结果的区域的[0187]所述特征点使用根据所述畸变映射的分辨率以及所述探测信息的分辨率的差异相同的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信[0195]推测步骤，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特相同的探测位置处使用电磁波来探测对象而得到的包含每个2维的位置的探测结果的信[0200]推测步骤，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特同的探测位置处使用电磁波来探测所述对象而得到的包含每个2维的位置的探测结果的信[0208]推测部，通过使根据表示每个2维的位置的畸变的畸变映射而校正后的所述特征