CN112435287B 距离估计设备及其操作方法和主车辆设备 （三星电子株式会社）

US2021224560A1,2021.0提供了一种包括至少一个相机的距离估计获取边界框的区域中的与目标车辆的后表面对2利用处理电路确定第二世界宽度的值是否比期望的最小世界宽度小或比期望的最大响应于所述至少一个相机的光轴在边界框的利用处理电路基于所确定的与目标车辆对应3基于第一直线距离和边界框的宽度计算目标车辆的第计算第一比例，第一比例基于所获取的图像中的目标车辆计算第二比例，第二比例与目标车辆的后表面对确定第二世界宽度的值是否比期望的最小世界宽度小或比期望响应于第二世界宽度的值被改变为期望的最小世界宽度的值或期望的最大世界宽度基于目标车辆位于前向区域中确定第一直线距离和第基于所述至少一个相机的高度、所述至少一个相机的焦距以及边界基于所确定的与目标车辆对应的车辆类型设定第三比例的值，4基于所确定的后向区域的像素宽度、焦距和第二世界宽度计算基于第一直线距离和边界框的宽度计算目标车辆的第计算第一比例，第一比例基于所获取的图像中的目标车辆计算第二比例，第二比例与目标车辆的后表面对5[0001]本申请要求于2019年8月8日在韩国知识产权局提交的第10-2019-0096914号韩国[0003]包括图像传感器的图像拍摄装置可以被包括在各种类型的电子装置(诸如，智能[0004]自主车辆可以通过使用图像传感器来检测与外围车辆(例如，同自主车辆接近的估计与识别到的外围车辆的准确距离的必要性距离估计设备计算来自与目标车辆相对应的边界框之中的目标车辆的后向区域(后方区车距)和横向距离(横向车距)。本发明构思的一些示例实施例提供了一种距离估计设备的6基于第一直线距离和边界框的宽度计算出目标车辆的第一世界宽度，计算出第一比例(第一比例基于所获取的图像中的目标车辆的后表面的宽度和目标车辆的侧表面的宽度)，计算出第二比例(第二比例与目标车辆的后表面对应，第二比例基于边界框的宽度和第一比第一直线距离和边界框的宽度计算出目标车辆的第一世界宽度，计算出第一比例(第一比例基于所获取的图像中的目标车辆的后表面的宽度和目标车辆的侧表面的宽度)，计算出第二比例(第二比例与目标车辆的后表面对应，第二比例基于边界框的宽度和第一比例)，[0013]图3示出了根据至少一个示例实施例的投影到距离估计设备上的目标车辆的图像[0014]图4示出了根据至少一个示例实施例的目标车辆和距离估计设备中的每个的侧表[0019]图8示出了根据至少一个示例实施例的包括多个距离估计设备的主车辆的鸟瞰[0022]主车辆(hostvehicle)可以指其中嵌入有根据至少一个示例实施例的距离估计设动驾驶车辆(self-drivingvehicle)、自主车辆(autonomousvehicle)、自主驾驶车辆7括在根据至少一个示例实施例的距离估计设备中的相机拍摄到的并且将被执行距离估计[0024]图像平面可以指通过根据至少一个示例实施例的距离估计设备的相机来投影现(或称为右方向/右部方向)可以被表示为x轴，并且下侧方向(或称为下方向/下部方向)可[0025]世界坐标可以指用于表示与距离估计设备的相机的外部环境对应的现实世界的侧方向(或称为左方向/左部方向)对应，Z轴可以与相对于相机的前方的上侧方向(或称为车辆的后侧区域(或称为后部区域)在世界坐标中可以代表目标车辆的包括后表面和侧表面的全部的图像的[0032]参照图1，距离估计设备100可以包括相机110和/或图像信号处理电路(ISP)1208实施例中，相机110可以嵌入和/或集成到主车辆自身的一个或更多个组件(例如，挡风玻各种位置(诸如前保险杠和后保险杠等)中的两个或更示从距离估计设备100接收到的直线距离的信息，并且可以基于接收到的信息来控制主车制器210可以确认与目标车辆的直线距离小于阈值距离。响应于确认与目标车辆的直线距离小于阈值距离，车辆控制器210可以执行用于使主车辆200的速度降低和/或改变车辆正控制信号传输到制动系统，并且/或者可以生成指示方向盘的位置变化的控制信号并可以[0038]图3示出了根据至少一个示例实施例的投影到距离估计设备上的目标车辆的图像9[0044]图4示出了根据至少一个示例实施例的目标车辆和距离估计设备中的每个的侧表对应。Δy可以对应于图像平面的消失点370与目标车辆310的边界框320的底边缘330之间[0050]图像传感器430可以通过相机110的镜头420接收入射光，并且可以生成图像平面镜头420的高度来确定图3的消失点370的y轴3[0058]参照图5，示出了目标车辆310以及均包括在相机110中的镜头420和图像传感器当目标车辆310和主车辆200在同一车道中行驶时，可以基于下面的等式3来计算直线距离[0063]根据各种示例实施例，通过使用等式3估计直线距离的方法可以被称为基于宽度道中行驶时，边界框320可以包括目标车辆310的后表面的图像和目标车辆310的侧表面的宽度(例如，与目标车辆310和主车辆200在同一车道中行驶的以上场景中不一样，边界框中的尺寸与边界框320的宽度之间的比例)以及目标车辆的后表面在边界框320中的图像中的比例(例如，目标车辆的后表面在图像中的尺寸与边界框320的宽度之比)可以基于目标的边界框320的尺寸可以是大的，而在边界框320中的目标车辆310的侧表面的图像的尺寸310的侧表面的图像。下面将描述确定和/或获取沿着邻近车道行驶的目标车辆310的世界[0066]图6A示出了从上方观看主车辆200和目标车辆310时的情形，并且省略了与图3至以指与边界框320对应的世界坐标的世界宽度。它们之间的几何比例关系可以被表示为下0200是正与目标车辆310在同一车道中行驶还是正在邻近车道中行驶。在沿着图3的光轴入可以被定义为x轴中心与边界框320的左边缘340之间的像素距离和x轴中心与边界框320的200可以对通过相机110获取的图像的x轴中心和边界框320包括目标车辆310的后向区域的图像。在将目标车辆310的后表面的图像的宽度与边界框标车辆310的后面行驶并仅获取了目标车辆310的后世界宽度的比例与目标车辆310的后表面在边界框320中的图像的比例α之间的比例关系可k2.5如根据各个国家或地区中与车辆的大小和/或尺寸相关的法律和/或法规而设定的值。因或载重汽车的车辆的情况下，当基于其中使用与紧凑型车辆或中型车辆对应的低k值的条件来计算世界宽度和α时，基于低k值计算出的目标车辆310的世界宽度也可能小于最小世界宽度或大于最大世界宽度。这可以与尽管目标车辆310为紧凑型车辆或中型车辆但设定高k值的情况相同。或者换言之，如果使用与目标车辆的车辆类型不匹配和/或不对应的k[0097]根据各种示例实施例，ISP120可以通过使用期望的和/或任意的k值来计世界宽度Wmax值之间。当计算得到的世界宽度大于最小世界宽度且小于最大世界宽度时，世界宽度小于最小世界宽度或大于最大世界宽度时，ISP120可以确定期望和/或需要对k为3100mm时，ISP120可以将计算得到的世界宽度更新为与作为最大世界宽度值的2495mm120可以将计算得到的世界宽度更新为与作为最小世界宽度值的1595mm对应[0107]根据各种示例实施例，当没有关于与目标车辆310对应的世界宽度的信息或者关在基于从距离估计设备100获取的图像来检测目标车辆310的情况下，ISP120可以确定是否使用前一帧图像的图像来检测目标车辆310以及是否存储了最小世界宽度至最大世界宽度之间的世界宽度值。如果不存在与存储在存储器中的检测到的目标车辆310对应的世界[0108]根据各种示例实施例，当ISP120包括关于目标车辆310的世界宽度W和全长的比例k的信息时，ISP120可以通过使用下面的等式14来计算目标车辆310的后表面在像素宽度来计算边界框320中的与目标车辆310的后表面之间的距离可以包括这两台车辆之间的前向距离分量(或称为前方距离分量)和横向距离的类型与特殊车辆或公共汽车对应时，ISP120可以将k值设置为3.1与4.5之间的期望值[0125]图6B示出了当从上方看到主车辆200和目标车辆310时的情形，并且省略了与图3可以设定通过将行驶角度与图6A的角度θ相加或从图6A的角度θ减去行驶角度而获取的新距离)和横向距离(或称为侧向距离)的其他操作可以与图6A相同，因此，省略了它们的描施例不限于此。示例实施例还可以应用于主车辆200和/或目标车辆310的行驶角度改变确定目标车辆310进入了相机110在当前图像帧中的视场，并且可以确定不存在世界宽度[0132]在操作S703中，ISP120可以计算主车辆200与目标车辆310之间的初始底边缘到消失点的y轴像素距离之间的几何比例关系来计算初始直线距离，但示例实施例向(宽度方向)像素距离、相机110的焦距以及在操作S703中计算得到的初始直线距离之间论的，可以基于目标车辆310和主车辆200在同一车道中行驶的条件来提供初始世界宽度，后表面的图像在边界框320中所占据的宽度与边界框320的像素宽度[0136]在操作S707中，ISP120可以确定计算得到的世界宽度是否在可接受的世界宽度(例如，介于期望的最小世界宽度到期望的最大世界宽度之间)可以是基于多种车辆和/或后表面的图像在边界框320中所占据的宽度与边界框320的宽度的比例的基础上获取目标[0138]在操作S709中，ISP120可以通过使用最小世界宽度或最大世界宽度作为初始世度比期望的最小世界宽度小时，ISP120可以将计算得到的世界宽度的值设定为期望的最[0139]图8示出了根据至少一个示例性实施例的包括多个距离估计设备的主车辆200的可以包括更多个距离估计设备，并且每个距离估计设备可以被设置为获取围绕主车辆200等)的图像以及位于前向(前方)区域中的一台或多台目810获取的信息和由第二距离估计设备820获取的信息中的至少一者来估计与目标车辆310二距离估计设备820获取的第二世界宽度中的至少一者来估计与目标车辆310的前向距离。第一距离估计设备810可以基于k1值来计算目标车辆310的世界宽度，第二距离估计设备820可以基于k2值来计算目标车辆310的世界宽度，其中，k1和k2的定义与上述k的定义相[0142]例如，通过第一距离估计设备810基于k1值计算得到的世界宽度的值可以在期望二距离估计设备820基于k2值计算得到的世界宽度的值可以在期望的世界宽度范围内，例可以将通过第一距离估计设备810获取的第一前向距离确定为主车辆200与目标车辆310之[0143]作为另一示例，通过第一距离估计设备810基于k1值计算得到的世界宽度的值可能小于期望的最小世界宽度或大于期望的最大世界宽度。通过第二距离估计设备820基于310的世界宽度。ISP120可以通过使用由第二距离估计设备820计算得到的世界宽度来计是不合适的而第二距离估计设备820的k2值是合适的示例，但本示例实施例不限于此。例如，当第二距离估计设备820的k2值是不合适的而第一距离估计设备810的k1值是合适的辆310的世界宽度，并且可以基于所确定的世界宽度来估计目标车辆310与主车辆200之间第n帧的像素宽度之间的差大于期望的阈值，则ISP120可以确定在检测边界框930的过程像素宽度之间的差超过期望的阈值，则ISP120可以基于计算得到的世界宽度以及与连续时间流对应的边界框910、920和930的像素宽度来确定在估计与目标车辆的前向距离时发[0148]根据各种示例实施例，ISP120可以基于与至少一个先前时间对应的一个实像素宽度小的像素宽度进行校正，或者可以对基于边界框930的被检测为比该真实像素宽度大或比该真实像素宽度小的像素宽度而计算得到的世车辆200的行驶方向以及改变车道(例如，使车辆转向)或者提高或降低主车辆200的速度[0150]根据各种示例实施例，自主驾驶控制器(未示出)可以基于与目标车辆310的前向调节主车辆200的速度，并且基于风险等级使主车辆200的车道相对于目标车辆310的车道而改变。自主驾驶控制器(未示出)可以确定当前情况是否同与目标车辆310的前向距离小于期望距离和/或预定距离的情况