CN114724120B 基于雷视语义分割自适应融合的车辆目标检测方法及系统 （东揽(南京)智能科技有限公司）

道19号九龙湖国际企业总部园B1栋3基于雷视语义分割自适应融合的车辆目标本发明提供了一种基于雷视语义分割自适割方法对摄像机深度图和雷达点云数据进行分融合方法PC-ARVF基于每点的分类集合和置信2并获取深度分割图的标签矩阵，深度分割图的标签矩阵包括各图像点的分类集合与置信S202、步骤S201中生成的所述深度分割图中每S3、执行雷达原始点云语义分割流程，获取点云分S301、将原始特征输入独立特征学习模块提取S302、融合后的特征送入频道注意模块进行语义增强，最后利用MLP对每个点进行分S4、获取步骤S2中所述深度分割图和步骤S3中统一深度分割图和点云分割图的三维坐标，3S6、执行融合点云分割图的去噪与特征提取流程，根心点与车辆表面点最小距离、车辆中心点与距离车辆中心点距离最大的表面点相连直h=2racos8;表示车辆中心点与车辆表面点最小距离；：；4式中表示深度分割结果经坐标变换后各点的三维坐标表示点依据各点的分类集合与置信度可以判断各点的,原型向量个数q，各原型向量预设的类别标记,学习率；5;S604、找出与距离最近的原型向量如果，则6.车辆目标检测系统，用于驱动并执行如权利要求1至5中坐标系变换修正模块，用于获取相机深度分割图与雷达点云分割结果的坐标匹配关6提高雷视融合目标检测算法的准确率和简化复杂度是一项新颖具[0006]第一方面，提出一种基于雷视语义分割自适应融合的车辆目标[0008]S2：执行相机深度图语义分割步骤，利用Mobile-PSPNet网络实现深度图语义分应雷视信息融合方法PC-ARVF，结合深度分割图与点云分割结果各匹配点的坐标、语义信7[0014]在第一方面的一些可实现方式中，步骤S2的深度图分割方法利用Mobile-PSPNet过一层卷积网络生成最终深度分割图。深度分割图中每个像素点被赋予了一个类别标签，特征融合模块将邻域特征信息映射到每个反射点上并与每个反射点的独立特征融合得到融合特征。融合后的特征送入频道注意模块进行语义增强，最后利用MLP对每个点进行分[0016]在第一方面的一些可实现方式中，步骤S4的坐标转化和修正深度图分割结果经过坐标变换的点集，表示点云分割结果坐标的点8结果坐标点集中包括的各个反射点，表示深度分割结果经坐标变换后点集中包括的各d，以[0035]在第一方面的一些可实现方式中，步骤S6利用学习向量量化LVQ聚合车辆点云方9,从样本集中随机选取样本；[0037]找出与距离最近的原型向量如果，则检测模型CDA-SSD，利用聚类的中心点坐标(、车辆中心点与车辆表面点最大距离为车辆的包围框；：；[0048]h=2racos8;[0049]w=2rzra表示车辆中心点与车辆表面点最大距像点的分类集合与置信度；雷达原始点云语义分割模块用于获取点云分割图和标签矩阵，于反射点和置信度的自适应雷视信息融合方法PC-ARVF基于每点的分类集合和置信度，将需进行坐标的修正。表示深度图分割结果经过坐标变换的点集，云数据可以获取更为准确的距离信息，故考虑在较高的深度下赋予雷达数据较大的权重。[0096]聚类获取中心点：利用学习向量量化LVQ聚合车辆点云方法聚合车辆表面点得到[0099]找出与距离最近的原型向量如果，则离、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三：；[0110]h=2racos8;[0111]w=2rz[0118]综上可得，本发明采用语义分割方法对摄像机深度图和雷达提出基于反射点和置信度的自适应雷视信息融合方法PC-ARVF基于每点的分类集合和置信