CN113887456B 三维可达空间的确定方法、车辆及计算机可读存储介质 （广州小鹏自动驾驶科技有限公司）

本发明实施例公开了一种三维可达空间的当前待处理位置图像输入训练好的图像识别模据深度估计图确定当前待处理位置图像包括的2通过训练好的图像识别模型对所述当前待处理位置图像进行深度估计根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对应的深度通过待训练的所述图像识别模型对所述样本图像进行深度估计，得到获取与所述样本图像对应的预测高度图，以及与所述样本图像对应的高度真值参考通过设置在车辆上的单目摄像头拍摄获取待识别的当前待通过训练好的图像识别模型对所述当前待处理位置图像进行高度估计根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对应的高度3通过待训练的所述图像识别模型对所述样本图像进行高度估计，得到获取与所述样本图像对应的高度真值参考图和可达空间掩模；所处理模块，用于通过训练好的图像识别模型对所述当前待处理位置图像进行深度估获取模块，还用于通过设置在车辆上的单目摄像头拍摄获取处理模块，还用于通过训练好的图像识别模型对所述当前待处理预测高度图对应的高度预测值得到的高度损失与预测深度图对应的深度预测值得到的深所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执4[0002]在车辆行车或泊车的过程中，车辆需要获取该车辆所处当前位置的三维可达空[0003]本发明实施例提供了一种三维可达空间的确定方法、车辆及计算机可读存储介[0007]根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度5位置；根据该高度估计图确定该当前待处理位置图像包括的二维可达空间对应的高度值，理位置图像包括的二维可达空间对应的高度值，以将该二维可达空间转换为三维可达空6[0025]该获取模块，还用于获取与该样本图像对应的高度真值参考该可达空间掩模用于指示车辆可达空间在该高度真值7[0043]本发明实施例提供了一种三维可达空间的确定方法、车辆及计算机可读存储介[0047]可以理解的是，当前待处理位置图像(Image)可以是通过设置在车辆上的单目摄[0055]与该样本图像分别对应的深度真值参考图中的深度真值可以是根据设置在车辆8[0057]可选的，该训练好的图像识别模型包括训练好的深度残差网络(DeepResidual过训练好的图像识别模型对该当前待处理位置图像进行深度估计得到该当前待处理位置择n层特征向该训练好的FPN输入，得到第一融合特征(FPN[0062]可选的，深度卷积层可以是二维卷积(2Dimensionalconvolution，kernel_size)+BatchNorm+Relu+conv(output_chn，input_chn，width_kernel_size，height_kernel_size)+BatchNo9[0070]103、根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对可以将当前待处理位置图像中的像素坐标(u，v)转换为三维可达空间中对应的世界坐标当前待处理位置图像中的像素点在世界坐标系下y轴的坐标，z1也可以表示当前待处理位该当前待处理位置对应的三维可达空间。车待训练的图像识别模型对该样本图像进行深度估计，得到该样本图像对应的深度估计图，[0082]需要说明的是，待训练的ResNet指的是可以提取到样本图像中不同层特征的网处理位置图像中待预测的可达空间对应的深度值和实际输出的三维可达空间对应的深度[0105]height_loss＝L1_loss(height_map_gt，height_map_pred)*DrivableSpace处理位置图像中待预测的可达空间对应的高度值和实际输出的三维可达空间对应的高度[0113]206、根据所述深度估计图确定所述当前待处理位置图像包括的二维可达空间对[0125]该HeightHead可以是conv(output_chn，input_chn，width_kernel_size，height_kernel_size)+BatchNorm+Relu+conv(output_chn，input_chn，width_kernel_[0127]303、根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对[0131]可以理解的是，y1也可以是当前待处理位置图像中的像素点在世界坐标系下y的可以将当前待处理位置图像中的像素坐标(u，v)转换为三维可达空间中对应的世界坐标[0143]其中，该可达空间掩模用于指示车辆可达空间在该高度真值参考图中的图像位[0151]406、根据所述高度估计图确定所述当前待处理位置图像包括的二维可达空间对[0156]处理模块502，用于通过训练好的图像识别模型对该当前待处理位置图像进行深理位置图像包括的二维可达空间对应的深度值，以将该二维可达空间转换为三维可达空[0168]处理模块502，还用于通过训练好的图像识别模型对该当前待处理位置图像进行该可达空间掩模用于指示车辆可达空间在该高度真值[0177]根据该深度估计图确定该当前待处理位置图像包括的二维可达空间对应的深度[0181]获取与该样本图像对应的预测高度图，以及与该样本图像对应的高度真值参考[0196]所述集成的单元如果以软件功能单元的形