CN111145139B 从2d图像中检测3d对象的方法、设备和计算机程序 （三星电子株式会社）

US2017220887A1,2017.08.03本申请提供了从2D图像中检测3D对象的方基于对象检测区域在3D坐标系中迭代搜索包括2基于所述对象检测区域，在3D坐标系中迭代搜索包括所述2D图像基于所述迭代搜索的结果从所述3D坐标系中检基于生成的所述体积块的方向的候选和所述体积块的尺寸在所述3D坐标系中估计所基于所述对象检测区域和所述体积块的与估计出的所述体积块的位置的候选对应的基于所选的所述一个体积块的位置的候选和所述对象在所述2代中确定的所述体积块的方向来生成所述体生成与所述2D图像中的所述对象的方向和指向所述对象检测区域的中心点的光线方选和所述体积块的尺寸对应的所述体积块的位检测区域的所述特征点中排除与所述对象的切除部分或隐藏部分基于所述重叠区域的尺寸从所述投影区域中选择一个选择与所选择的投影区域对应的所述体积块的位3至少一个处理器，用于从所述2D图像中获取对象检测区域，基于所基于所述体积块的方向的候选和所述体积块的尺寸在所述3D坐标系中估计所述体积基于所述对象检测区域和所述体积块的与所述体积块的位置的候选对应的投影区域，基于所选的所述一个体积块的位置的候选和所述对象在所述2更小的搜索范围和比所述先前迭代的分辨率更高的分辨率，生成所述体积块的方向的候述对象的方向和指向所述对象检测区域的中心点的光线方向对应的所述体积块的方向的4基于所述重叠区域的尺寸从所述投影区域中选择一个选择与所选择的投影区域对应的所述体积块的位5[0002]于2018年11月1日在韩国知识产权局提交的名称为“从2D图像中检测3D对象的方6[0019]本说明书中呈现的具体结构或功能描述是用于描述根据技术构思的实施例的示[0027]例如，2D图像可以是车辆正在行驶的图像。假设随时间输入第一帧110、第二帧可以在第三帧130中检测到第三边界框135，并且可以在第四帧140中检测到第四边界框7[0031]由于2D图像不包括z轴方向上的深度信息，因此可以使用投影几何学从2D边界框中检测3D边界框150。投影几何学涉及2D图像中的当几何对象经历投影变换时可以不进行于投影几何学迭代地搜索3D坐标系中的体积块的方向的候选来精确地检测3D坐标系中的所述的2D边界框(例如，使用四个角点的坐标或通过位置-尺寸组合限定的2D边界框)中检[0039]可以基于投影几何学将2D图像中的对象的方向(下文中称为局部方向)转换为3D以使用光线方向410和对象的方向420之间的局部角度θL(例如，图4中的光线方向410和车435和对象的方向420之间的全局角度θG来表示度θray和局部角度θL相加来计算全局角度θG。8图像的对象的检测到的体积块区域可以通过其在3D坐标系中的位置、尺寸和方位来限定。选指的是被检查以便确定3D坐标系中的对象的实际方向的可向319确定的全局方向也可以包括在初始全局中方向候选中。当使用指向被至少部分地隐[0051]可以基于全局方向候选320和体积块尺寸315在3D坐标系中估计体积块位置候选9[0054]图6B示出了2D图像的对象检测区域710中包括的第一特征点和3D坐标系中的对象体积块720中包括的第二特征点之间的对应关系。第一特征点中的一些和第二特征点中的位于3D坐标系的原点时并且可以由体积块的尺寸表示的也可以通过进一步考虑地平面的倾斜度来确定区域317最大重叠的投影区域或具有等于或大于预定临界值的值的投影区域，并且可以选围的搜索范围但具有高于先前迭代中的分辨率的分辨最优值来计算光线角度(930)。可以基于2D检测区域和与全局方位候选对应的3D框的投影过进一步考虑地平面的倾斜度来计算3D框的以存储使用传感器1030捕获的图像。存储器1010可以是易失性存储器或非易失性存储器。[0079]实施例的方法可以实现为可以在各种计算机上执行并且然后可以存储在计算机