CN119399595A 一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法和装置 （浙江工业大学）

一种基于轻量占用预测网络的汽车辅助驾一种基于轻量占用预测网络的汽车辅助驾立体深度估计的单目占用预测教师模型以及基人)进行连通域分析完成单目测距。本发明的方法克服了传统单目测距方法由于检测框不稳定2S5：使用教师网络中间层特征和输出进行学生2.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其3理和平滑操作得到；3.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其步骤S2.3中的BevPooling操作根据相机内参外参以及预先计算的视锥体伪点云将2D偿图片增强操作的影响；将补偿增强后的像素坐标乘以相机到自车和相机内参的逆矩阵，坐标减去预设的BEV空间三维方向的三个最小值并除以每个体素的长度，从而得到视锥体S2.5：构建占用预测头；首先把输入特征图输入到一个卷积层进行处理，接着进行channeltoheight(通道到高度)操作，从特征图的通道维度解码出高度方向体素对所有4.如权利要求3所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其4xyz5.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其Mspatial是生成的空间注意力图；输出特征图Fout由输入特征图F和空间注意力图Mspatial相乘得到；S3.5：构建占用预测头；对于输入特征图首先经过一个卷积层进行处理，接着进行channeltoheight(通道到高度)操作，从特征图的通道维度解码出高度方向体素对所有6.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其5log(d)+(1-d)log(1-d))(4.1)其中λ1和λ2是深度损失和占用损失的权重；返回最终损失，执行反向传播过程更新梯对于每个类别c计算其IoU(交并比)值；IoU的定义是预测区域与真实区域的交集除以其中：TP(c)是类别c的真正例(TruePositives)；FP(c)是类别c的假正例(False7.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其6其中MLP层由1×1卷积+ReLU+1×1卷积构成，N是训练时的batchsout和Sout中解码出高度方向上的占用预测，得到教师模型和学生模型对三维体素空间所有体素对所有类别物体的预测分o()用于将特征值转换为如下所示的概率分布：在整个训练过程蒸馏温度按照下式变化，遵从先高其中L是学生模型自身的2D语义损失，即2D语义图和2D语义伪标签之间的交叉熵损7occ8.如权利要求1所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方法，其S6.3.4：在搜索结束后，如果当前连通域的体素计数器大于1，则89.一种基于轻量占用预测网络的汽车辅助驾驶单目测述可执行代码时，用于实现权利要求1_8中任一项所述的一种基于轻量占用预测网络的汽实现权利要求1_8中任一项所述的一种基于轻量占用预测网络的汽车辅助驾驶单目测距方9高级辅助驾驶系统(AdvancedDrivingAssistanceSystem)，主要功能包括前车/后车碰块(3D目标检测、路径规划等)的统一视图。BEV的缺点是其压缩了整个三维空间中的高度法感知到高度或深度信息。2022年提出的占用预测网络技术解决了BEV存在的高度空间缺标检测矩形框来进行测距任务，通过目标在图像中的矩形框的宽度和相机矩阵去估算距自动驾驶领域的占用预测网络常含有复杂的深度估计、上下文预测或者基于Transformer[0004]知识蒸馏(KnowledgeDistillation)是一种深度学习度时，结合单目深度预测和基于MVS(时序多视图立体)的多目深度预测。对于多目深度预测和加权后的多目深度组合在一起以获得最终深度。使用BevPooling操作获得BEV特征。[0037]进一步地，步骤S2.3中的BevPooli[0039]S2.3.2：将伪点云像素坐标减去图片增强平移矩阵并乘以图片增强旋转矩阵的将自车坐标减去预设的BEV空间三维方向的三个最小值并除以每个体素的长度，从而得到channeltoheight(通道到高度)操作，从特征图的通道维度解码出高度方向体素对所有用与S2.3相同的BevPooling操channeltoheight(通道到高度)操作，从特征图的通道维度解码出高度方向体素对所有en=-(dlog(d)+(1-d)log(1-d))(4.1)[0076]对于每个类别c计算其IoU(交并比)值。IoU的定义是预测区域与真实区域的交集[0083]S5.1：读取并固定已经训练好的教师模型的权重，并且使教师模型处于评估到占用预测头内最后一个卷积层的特征图Sf失时使用mask只对前置相机视场范围之型对三维体素空间所有体素对所有类别物体的预测分数y[0100]Ltotat=λseg[0101]其中L是学生模型自身的2D语义损失，即2D语义图和2D语义伪标签之间的交叉[0103]其中是模型对于像素(i,j)处的真实类别yi,j的预测概存储连通域标识。一个布尔类型的数组：visited，用于记录访问过的体素。一个列表：[0120]本发明的第二个方面涉及一种基于轻量占用预测网络的汽车辅助驾驶单目测距[0123](1)将目前自动驾驶领域热门的占用预测引入单目测距领域。通过占用预测对3D[0125](3)使用结合了特征蒸馏和输出蒸馏的知识蒸馏技术提升模型性能。其中特征蒸[0132]图2是本发明的基于多帧时序融合和时序立体深度估计的单目占用预测教师模型[0136]图6是本发明基于单帧输入的轻量单目占用预测学生模型的单目测距方法流程[0139]下面根据附图和优选实例详细描述本发明，本发明的目的和效果将变得更加明时序立体深度估计的单目占用预测教师模型和基于单帧输入的轻量单目占用预测学生模[0165]步骤S2所述的构建基于多帧时序融合和时序立体深度估计的单目占用预测教师度时，结合单目深度预测和基于MVS(时序多视图立体)的多目深度预测。对于多目深度预测和加权后的多目深度组合在一起以获得最终深度。使用BevPooling操作获得BEV特征。[0169]进一步地，步骤S2.3中的BevPooli[0171]S2.3.2：将伪点云像素坐标减去图片增强平移矩阵并乘以图片增强旋转矩阵的将自车坐标减去预设的BEV空间三维方向的三个最小值并除以每个体素的长度，从而得到18)的特征图，代表模型对120×160×16个三维体素空间内所有体素在18个类别上的预测作后输出尺寸为(8,120,160,16,18)，代表模型对120×160×16个三维体素空间内所有体en=-(dlog(d)+(1-d)log(1-d))(4.1)[0208]对于每个类别c计算其IoU(交并比)值。IoU的定义是预测区域与真实区域的交集[0215]S5.1：读取并固定已经训练好的教师模型的权重，并且使教师模型处于评估L2损失时使用mask只对前置相机视场范围型对三维体素空间所有体素对所有类别物体的预测分数yT和yS。尺寸为(8,120,160,16,[0235]其中L是学生模型自身的2D语义损失，即2D语义图和2D语义伪标签之间的交叉[0243]步骤S6所述的对学生模型进行前向推理，根据推理结果完成单目测距，如图6所存储连通域标识。一个布尔类型的数组：visited，用于记录访问过的体素。一个列表：[0255]图7给出了采用本发明的蒸馏训练后学生模型的占用预测推理结果，可以清晰地所述可执行代码时，用于实现实施例