CN120219692A 一种面向自动驾驶的稀疏点云数据补全方法及相关设备

(19)国家知识产权局(10)申请公布号CN120219692A(21)申请号202510696332.6(22)申请日2025.05.28(71)申请人湖南工商大学道569号GO6VGO6N易国栋吴博彭晗张震(74)专利代理机构长沙轩荣专利代理有限公司专利代理师丛诗洋(54)发明名称一种面向自动驾驶的稀疏点云数据补全方法及相关设备(57)摘要本发明提供了一种面向自动驾驶的稀疏点云数据补全方法及相关设备，在点云补全模型的编码模块中引入第一类别特征注意力单元，通过类别信息和点云几何特征的联合建模，使得补全网络在补全点云的过程中，能够更加精准地识别不同类别物体的结构特征，通过生成模块中的第二类别特征注意力单元动态调整稀疏点云的特征，确保模型能够适应不同环境，提高在多场景下的泛化能力，并通过生成模块中的上采样单元、第三类别特征注意力单元、第六多层感知机使得稀疏点云的补全过程从粗到细逐步优化，从步骤1,获取自动驾驶场景下的训练用稀疏点云步骤1,获取自动驾驶场景下的训练用稀疏点云步骤2,构建点云补全模型，点云补全模型包括编码模块和生成模块步骤3,利用训练用稀疏点云对点云补全模型进行训练，并利用点云补全损失和类别预测损失对训练后的点云补全模型的参数进行优化，得到训练后的点云补全模型步骤4,将目标自动驾驶车辆的稀疏点云数据输入训练后的点云补全模型进行补全，得到目标自动驾驶车辆的密集点云21.一种面向自动驾驶的稀疏点云数据补全方法，其特征在于，包括：步骤1,获取自动驾驶场景下的训练用稀疏点云；步骤2,构建点云补全模型，所述点云补全模型包括编码模块和生成模块；步骤3,利用所述训练用稀疏点云对所述点云补全模型进行训练，并利用点云补全损失和类别预测损失对所述训练后的点云补全模型的参数进行优化，得到训练后的点云补全模步骤4,将目标自动驾驶车辆的稀疏点云数据输入训练后的点云补全模型进行补全，得到所述目标自动驾驶车辆的密集点云；所述编码模块包括依次连接的拼接单元、第一多层感知机、用于融合类别注意力和特征注意力的第一类别特征注意力单元、最大池化单元；所述生成模块包括第二多层感知机、用于融合类别注意力和特征注意力的第二类别特单元、上采样单元、用于融合类别注意力和特征注意力的第三类别特征注意力单元、第六多层感知机。2.根据权利要求1所述的面向自动驾驶的稀疏点云数据补全方法，其特征在于，利用所述训练用稀疏点云对所述点云补全模型进行训练之前，还包括：计算所述训练用稀疏点云的点云质心；将所有训练用稀疏点云平移至以所述点云质心为原点的新坐标系下；计算训练用稀疏点云中的每个点云到所述点云质心的最大距离，并基于最大距离对所有训练用稀疏点云进行归一化处理，得到标准化处理后的训练用稀疏点云；使用独热编码将训练用稀疏点云中的每个点云的类别标签转换为类别嵌入向量，得到类别嵌入向量矩阵；通过局部邻域分析方法对标准化处理后的训练用稀疏点云进行去噪处理，得到去噪后的训练用稀疏点云。3.根据权利要求2所述的面向自动驾驶的稀疏点云数据补全方法，其特征在于，所述编码模块包括：通过所述第一多层感知机对输入的稀疏点云进行初步特征提取，得到点特征矩阵；将所述点特征矩阵与所述类别嵌入向量矩阵输入所述第一类别特征注意力单元进行类别注意力和特征注意力融合，得到更新后的点特征矩阵；将所述更新后的点特征矩阵输入所述最大池化单元进行最大池化操作，生成全局特4.根据权利要求3所述的面向自动驾驶的稀疏点云数据补全方法，其特征在于，所述生成模块包括：依次通过所述第二多层感知机、所述第二类别特征注意力单元、所述第三多层感知机、所述最远点采样单元对所述全局特征进行处理，生成种子点云；通过所述第四多层感知机对所述种子点云进行处理，得到处理后的种子点云；通过所述第五多层感知机对所述全局特征进行处理，得到处理后的全局特征；通过所述拼接单元对处理后的种子点云和处理后的全局特征进行拼接，得到种子点云特征矩阵；3利用所述上采样单元、所述第三类别特征注意力单元、所所述类别注意力层的输入端、所述特征注意力层的输入端均所述类别注意力层的输出端、所述特征注意力层的输出端均与所述融合层的输入端连所述融合层的输出端、所述特征注意力层的输入端均与所述残差连接层的输入端连所述前馈网络层的输出端为所述第一类别特征注意力单元、K=Wk·XV=W,·X4真实类别C的概率。9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上5一种面向自动驾驶的稀疏点云数据补全方法及相关设备技术领域[0001]本发明涉及点云补全技术领域，特别涉及一种面向自动驾驶的稀疏点云数据补全方法及相关设备。背景技术[0002]随着自动驾驶技术的快速发展，对三维环境感知的需求日益增加。电源数据作为三维环境感知的重要数据形式，能够提供丰富的空间和几何信息，这使得三维点云数据在自动驾驶中得到了广泛应用。然而，由于激光雷达等传感器采集的限制或环境遮挡，点云数据往往存在稀疏性和不完整性，这直接影响了自动驾驶车辆的环境感知和物体识别能力。因此，现有技术对高效的稀疏点云数据补全的研究已有诸多探索，这些现有技术主要包括基于几何插值的补全方法和基于规则的补全方法。[0003]近年来，深度学习方法在点云数据补全任务重展现了巨大的潜力，尤其是基于生成对抗网络、变分自编码器等模型的方法，能够在一定程度上学习点云的全局与局部特征，实现高质量的补全。然而，仅依赖稀疏点云进行补全仍存在以下问题：足够上下文信息的情况下，仅依赖现有点云进行补全，可能导致生成的点云结构不完整或形态失真，在自动驾驶场景中，远距离车辆或障碍物可能仅有少量点数据，直接补全可能会导致形状重建不准确，影响目标检测和路径规划的准确性；补全方法(如插值等)难以准确捕捉复杂形态的几何特征，在点云较稀疏的情况下，局部几何特征可能不足以准确推测物体表面的细节，导致补全点云存在形变甚至伪特征，进而影响目标检测和跟踪任务的稳定性；3、障碍物边界模糊：自动驾驶系统需要高精度的环境信息来进行路径规划和障碍物避让，稀疏点云的缺陷会导致障碍物边界模糊，使得车辆难以准确判断可行驶区域。发明内容[0004]本发明提供了一种面向自动驾驶的稀疏点云数据补全方法及相关设备，其目的是为了通过提高补全点云的一致性以提升自动驾驶系统的环境感知能力。[0005]为了达到上述目的，本发明提供了一种面向自动驾驶的稀疏点云数据补全方法，步骤1,获取自动驾驶场景下的训练用稀疏点云；步骤2,构建点云补全模型，点云补全模型包括编码模块和生成模块；步骤3,利用训练用稀疏点云对点云补全模型进行训练，并利用点云补全损失和类别预测损失对训练后的点云补全模型的参数进行优化，得到训练后的点云补全模型；步骤4,将目标自动驾驶车辆的稀疏点云数据输入训练后的点云补全模型进行补全，得到目标自动驾驶车辆的密集点云；6编码模块包括依次连接的拼接单元、第一多层感知机、用于融合类别注意力和特征注意力的第一类别特征注意力单元、最大池化单元；生成模块包括第二多层感知机、用于融合类别注意力和特征注意力的第二类别特单元、上采样单元、用于融合类别注意力和特征注意力的第三类别特征注意力单元、第六多层感知机。[0006]进一步来说，利用训练用稀疏点云对点云补全模型进行训练之前，还包括：计算训练用稀疏点云的点云质心；将所有训练用稀疏点云平移至以点云质心为原点的新坐标系下；计算训练用稀疏点云中的每个点云到点云质心的最大距离，并基于最大距离对所有训练用稀疏点云进行归一化处理，得到标准化处理后的训练用稀疏点云；使用独热编码将训练用稀疏点云中的每个点云的类别标签转换为类别嵌入向量，得到类别嵌入向量矩阵；通过局部邻域分析方法对标准化处理后的训练用稀疏点云进行去噪处理，得到去噪后的训练用稀疏点云。依次通过第二多层感知机、第二类别特征注意力单元、第三多层感知机、最远点采样单元对全局特征进行处理，生成种子点云；通过第四多层感知机对种子点云进行处理，得到处理后的种子点云；通过第五多层感知机对全局特征进行处理，得到处理后的全局特征；通过拼接单元对处理后的种子点云和处理后的全局特征进行拼接，得到种子点云特征矩阵；利用上采样单元、第三类别特征注意力单元、第六多层感知机对种子点云特征矩阵进行循环优化处理，生成密集点云。[0008]进一步来说，第一类别特征注意力单元和第二类别特征注意力单元均包括：类别注意力层的输入端、特征注意力层的输入端均为第一类别特征注意力单元、第二类别特征注意力单元的输入端；类别注意力层的输出端、特征注意力层的输出端均与融合层的输入端连接；融合层的输出端、特征注意力层的输入端均与残差连接层的输入端连接，残差连接层的输出端与归一化层的输入端连接，归一化层的输出端与前馈网络层的输入端连接；前馈网络层的输出端为第一类别特征注意力单元、第二类别特征注意力单元的输出端。将输入的类别嵌入向量矩阵内积后进行Softmax操作，得到类别注意力权重矩阵，计算表达式为：7K=W·XV=W,·X补全方法。本发明通过获取自动驾驶场景下的训练用稀疏点云；8和类别预测损失对训练后的点云补全模型的参数进行优化，得到训练后的点云补全模型；将目标自动驾驶车辆的稀疏点云数据输入训练后的点云补全模型进行补全，得到目标自动驾驶车辆的密集点云；编码模块包括依次连接的拼接单元、第一多层感知机、第一类别特征注意力单元、最大池化单元；生成模块包括第二多层感知机、用于融合类别注意力和特征注意力的第二类别特征注意力单元、第三多层感知机、最远点采样单元、第四多层感知机、第五多层感知机、拼接单元、上采样单元、用于融合类别注意力和特征注意力的第三类别特征注意力单元、第六多层感知机；与现有技术相比，本发明在点云补全模型的编码模块中引入第一类别特征注意力单元，通过类别信息和点云几何特征的联合建模，使得补全网络在补全点云的过程中，能够更加精准地识别不同类别物体的结构特征，通过生成模块中的第二类别特征注意力单元动态调整稀疏点云的特征，确保模型能够适应不同环境，提高在多场景下的泛化能力，并通过生成模块中的上采样单元、第三类别特征注意力单元、第六多层感知机使得稀疏点云的补全过程从粗到细逐步优化，从而提高补全点云的一致性，进而提升自动驾驶系统的环境感知能力。[0015]本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。附图说明[0016]图1为本发明实施例的流程示意图；图2为本发明实施例中点云补全模型的结构示意图；图3为本发明实施例中类别特征注意力单元的结构示意图；图4为本发明实施例中的终端设备的结构示意图。具体实施方式[0017]为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。而不能理解为指示或暗示相对重要性。以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。[0020]此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。[0021]本发明针对现有的问题，提供了一种面向自动驾驶的稀疏点云数据补全方法及相关设备。[0022]如图1、图2所示，本发明的实施例提供了一种面向自动驾驶的稀疏点云数据补全9步骤4,将目标自动驾驶车辆的稀疏点云数据输入训练后的点云补全模型进行补P₁=P₁-centroid(P)其中，scale表示最大距离，IIP{|表示新坐标系下训练用稀疏点云中的第i个点云到点云质心的距离，示新坐标系下训练用稀疏点云中的第i个点云的坐标；其中，P"表示标准化处理后的训练用稀疏点云P"中的第i个点云，使用独热编码将训练用稀疏点云中的每个点云的类别标签转换为类别嵌入向量，得到类别嵌入向量矩阵Ec=[e₁,e₂,…,en];对于标准化处理后的训练用稀疏点云中每个点云计算其近11维度，第一多层感知机的输入层接收预处理后的稀疏点云P",第一多层感知机的隐藏层使用多个全连接层进行特征提取，再经过输出层输出点特征矩阵X;将点特征矩阵与类别嵌入向量矩阵输入第一类别特征注意力单元进行类别注意嵌入向量矩阵；将更新后的点特征矩阵输入最大池化单元进行最大池化操作，生成全局特征，全局特征包含了点云的局部几何结构和类别分布信息，为后续生成任务提供上下文感知的形[0028]本发明实施例中，点云补全模型中生成模块基于编码模块提取的全局特征，逐步生成高质量的密集点云。[0029]具体来说，生成模块包括第二多层感知机、用于融合类别注意力和特征注意力的第二类别特征注意力单元、第三多层感知机、最远点采样单元、第四多层感知机、第五多层感知机、拼接单元、上采样单元、用于融合类别注意力和特征注意力的第三类别特征注意力依次通过第二多层感知机、第二类别特征注意力单元、第三多层感知机、最远点采样单元对全局特征进行处理，生成种子点云；通过第四多层感知机对种子点云进行处理，得到处理后的种子点云；通过第五多层感知机对全局特征进行处理，得到处理后的全局特征；通过拼接单元对处理后的种子点云和处理后的全局特征进行拼接，得到种子点云特征矩阵；利用上采样单元、第三类别特征注意力单元、第六多层感知机对种子点云特征矩阵进行循环优化处理，生成密集点云。[0030]在本发明实施例中，生成模块首先通过通过第二多层感知机将全局特征映射到X₁=MLP₂(v)随后通过第二类别特征注意力单元进行类别注意力和特征注意力融合：X₂=CFAM(X₁,Ec)再通过第三多层感知机将特征映射到三维空间，生成初始种子点云：通过最远点采样单元优化初始种子点云的空间分布，得到种子点云：将种子点云与全局特征经过第四多层感知机、第五多层感知机处理后进行拼接，生成种子点云特征矩阵：F₁=MLP₄(Sseed)F₂=MLP₅(v)其中，MLP₄和MLP₅分别用于将种子点云和全局特征转换为相匹配的特征矩阵，通过上采样单元对拼接后的特征矩阵进行特征提取，得到种子点云特征矩阵的特征Xup:随后通过第三类别特征注意力单元对上采样后的特征进行动态调整：通过第六多层感知机将调整后的特征Xcur逆映射到三维空间，生成初始密集点云[0031]对初始密集点云重复上述上采样、动态调整和逆映射步骤L次，逐步细化点云分辨率，最终输出完整且高密度的密集点云Sfinal:其中，L表示上采样层数，渐进式生成的方式可以在一定程度上避免单次上采样导致的模糊或过拟合问题。[0032]根据上述流程，生成器的输出为完整的密集点云，该密集点云既保留了全局形状信息，又具备丰富的局部细节和类别感知能力。[0033]最优选的是，第一类别特征注意力单元和第二类别特征注意力单元旨在通过动态权衡类别信息和局部几何结构信息，增强模型对点云数据的理解能力，如图3所示，均包括：类别注意力层的输入端、特征注意力层的输入端均为第一类别特征注意力单元、第二类别特征注意力单元的输入端；类别注意力层的输出端、特征注意力层的输出端均与融合层的输入端连接；融合层的输出端、特征注意力层的输入端均与残差连接层的输入端连接，残差连接层的输出端与归一化层的输入端连接，归一化层的输出端与前馈网络层的输入端连接；前馈网络层的输出端为第一类别特征注意力单元、第二类别特征注意力单元的输[0034]本发明实施例中，类别特征注意力单元可接收点特征矩阵和类别嵌入向量矩阵两种输入，其中点特征矩阵是预处理过后的点云数据经特征提取得到的，类别嵌入向量矩阵Ec是经过独热编码后得到的。将输入的类别嵌入向量矩阵内积后进行Softmax操作，得到类别注意力权重矩阵，计算表达式为：转置后的类别嵌入向量矩阵。使用线性变换对输入的点特征矩阵进行变换，得到查询矩阵、键矩阵；V=W,·XXfinal=FFN(X)=ReLu(W₁·X”其中，Xfinal表示类别特征注意力单元的输出结果，FFN()表示增强操作，[0040]本发明实施例利用点云补全损失和类别预测损失对训练后的点云补全模型的参数进行优化的目标是通过最小化生成点云与真实点云之间的差异，同时结合类别预测信L=αLcd+βLcls生成模块的点云补全模型；利用训练用稀疏点云对点云补全模块中的第二类别特征注意力单元动态调整稀疏点云的特征，确保模型能够适应不同环[0046]所称处理器D100可以是中央处理单元(CPU,CentralProcessingUnit),该处理用集成电路(ASIC,ApplicationSpecificIntegratedCircuit)、现成可编程门阵列(FPGA,Field-ProgrammableGateArray)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0047]所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡(SMC,Smart存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。[0048]需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处