基于深度学习的3D形状分类研究综述

基于深度学习的3D形状分类研究综述一、3D形状分类的研究背景与意义三维数据作为现实世界信息的核心载体，相较于二维图像具备更丰富的几何结构、空间位置与纹理属性，能够完整复刻真实场景中物体的三维形态特征。随着3D传感技术的快速迭代，LiDAR激光雷达、结构光摄像头、RGB-D深度相机等设备的采集成本持续下降，三维数据的获取效率与精度得到显著提升，在自动驾驶、智慧医疗、工业质检、元宇宙等多个领域形成了大规模的应用需求。其中3D形状分类作为三维视觉领域的基础任务，核心目标是通过算法自动识别3D物体的类别归属，是三维目标检测、三维分割、三维场景重建等高层任务的前置支撑技术，其识别精度直接决定了后续复杂三维任务的性能上限。在深度学习技术普及之前，传统3D形状分类方法主要依赖人工设计的特征描述子，例如点云特征中的自旋图像、形状上下文描述子，网格特征中的曲率特征、测地线距离特征等，这类方法需要研究者具备深厚的几何理论基础，且特征泛化能力极弱，在面对遮挡、噪声、视角变化等复杂场景时分类准确率通常不足60%，难以满足实际应用需求。2015年PointNet模型的提出标志着3D形状分类正式进入深度学习时代，该模型首次实现了直接对无序点云数据进行端到端特征提取，在ModelNet40数据集上的分类准确率突破了89%，相较于传统方法实现了性能跃升。此后十年间，深度学习技术与3D形状表征的融合不断深入，逐步形成了多数据模态适配、多任务协同优化的技术体系，在公开数据集上的最高分类准确率已经突破98%，部分受限场景下的分类精度已经达到商用落地标准。二、主流深度学习3D形状分类技术路线当前基于深度学习的3D形状分类方法根据输入数据模态的差异，主要可以分为基于体素的分类方法、基于点云的分类方法、基于网格的分类方法、基于多视图的分类方法四大技术路线，不同路线在特征提取效率、分类精度、场景适配性上存在显著差异。（一）基于体素的3D形状分类方法体素是三维空间中的最小单位，类似于二维图像中的像素，基于体素的分类方法首先将不规则的3D形状转换为规则的三维体素网格，随后利用3D卷积神经网络提取空间特征完成分类。早期代表性工作包括3DShapeNets，该方法将3D形状表示为二进制体素网格，通过深度置信网络学习体素的空间分布特征，在ModelNet10数据集上实现了83.5%的分类准确率。后续VoxNet等工作引入了3D卷积层替换传统特征提取器，进一步提升了特征提取的效率与精度。此类方法的优势在于能够直接复用二维卷积神经网络的成熟架构，网络设计难度较低，且能够完整保留3D形状的全局空间结构信息。但其缺陷也十分明显：体素网格的分辨率与计算复杂度呈三次方关系，当分辨率提升至64×64×64时，计算量与显存占用会呈现指数级增长，因此大部分体素方法只能采用低分辨率体素表示，会丢失大量精细的几何细节，导致小物体与边缘结构的分类准确率偏低。为解决这一问题，近年研究提出了稀疏体素卷积、八叉树体素编码等优化方案，例如OctNet利用八叉树结构对非空体素区域进行自适应编码，在相同显存占用下可将体素分辨率提升至256×256×256，有效平衡了计算效率与特征表达能力。（二）基于点云的3D形状分类方法点云是3D形状最原始的表示形式，由大量无序的三维坐标点构成，部分点云还包含颜色、法向量等附加属性。基于点云的分类方法无需对原始数据进行结构化转换，能够直接处理无序点云数据，是当前研究热度最高的技术路线。2017年提出的PointNet是该领域的里程碑工作，该模型通过多层感知机（MLP）对每个点进行独立特征提取，随后通过最大池化操作聚合全局特征，首次解决了点云无序性带来的特征提取难题，在ModelNet40数据集上达到了89.2%的分类准确率。但PointNet缺少局部特征提取能力，对局部结构相似的物体分类效果不佳，因此后续PointNet++通过引入多级分组采样机制，分层提取局部区域特征，将分类准确率进一步提升至91.9%。近年基于点云的分类方法主要向两个方向发展：一是基于卷积的点云特征提取，例如KPConv设计了可变形卷积核，能够自适应匹配点云的局部几何结构，在复杂场景下的特征提取能力显著优于固定感受野的卷积方法；二是基于Transformer的点云分类方法，例如PointTransformer引入自注意力机制建模点与点之间的长距离依赖关系，能够捕捉全局上下文信息，在ModelNet40数据集上的分类准确率已经突破93.7%。此外，针对点云噪声、稀疏性等问题，研究人员还提出了一系列鲁棒性优化方法，例如通过点云去噪、点云补全预处理模块提升输入数据质量，或者引入对比学习预训练策略提升模型对残缺点云的特征提取能力，当前在仅保留1024个点的稀疏点云输入下，最优模型的分类准确率依然能够保持在90%以上。（三）基于多视图的3D形状分类方法基于多视图的分类方法核心思路是将3D形状从不同视角投影为二维图像，随后利用成熟的二维卷积神经网络提取每个视图的特征，再通过视图聚合模块融合多视图特征得到全局表示，最终完成分类。代表性工作MVCNN将3D形状从12个不同视角进行渲染，通过共享权重的CNN提取每个视图的特征，随后采用最大池化操作融合所有视图特征，在ModelNet40数据集上的分类准确率达到了90.1%，首次超过了同期的体素与点云方法。后续的RotationNet通过引入视角预测子任务，实现了对未知视角输入的自适应视图对齐，进一步提升了方法在视角变化场景下的鲁棒性。此类方法的优势在于能够充分复用二维图像领域的预训练模型与优化技巧，模型训练难度低，且在规则物体分类任务上精度较高。但该类方法的性能高度依赖视图的数量与分布，当视图覆盖不全时容易丢失关键几何特征，且无法有效处理具有复杂内部结构的3D形状，同时视图渲染过程会丢失深度信息，导致对空间结构相似但尺寸不同的物体分类准确率偏低。近年的研究通过引入视图注意力机制优化特征融合过程，例如View-GCN利用图卷积网络建模不同视图之间的关联关系，自适应分配不同视图的特征权重，在减少视图数量的同时依然能够保持较高的分类精度，有效降低了方法的计算开销。（四）基于网格的3D形状分类方法网格是由顶点、边、面构成的结构化几何表示，广泛应用于工业设计、游戏建模等领域。基于网格的分类方法直接利用网格的拓扑结构信息进行特征提取，不需要额外的数据转换过程。早期的网格分类方法主要将网格转换为图结构，利用图卷积神经网络提取顶点特征，随后聚合得到全局特征。近年的MeshCNN提出了专门针对网格的卷积与池化操作，能够直接在网格的边结构上进行特征提取，在ShapeNet数据集上的分类性能显著优于将网格转换为点云或体素的间接方法。此类方法的优势在于能够充分利用网格的拓扑信息，对精细几何结构的特征表达能力更强，适合处理工业零件、艺术模型等高精度网格数据。但该类方法的局限性在于无法直接处理点云、深度图等非网格输入数据，且不同模型的网格拓扑结构差异较大，模型的泛化能力较差，难以应用于大规模无结构三维数据的分类任务。三、3D形状分类的核心挑战与前沿研究方向尽管基于深度学习的3D形状分类技术已经取得了显著进展，但在实际落地过程中依然面临诸多核心挑战，相关前沿研究主要围绕以下几个方向展开：首先是少样本与零样本3D形状分类问题。当前主流模型的高性能依赖于大规模标注训练数据，而3D数据的标注成本远高于二维图像，部分稀有类别甚至难以获取足够的标注样本。因此近年少样本3D形状分类成为研究热点，通过元学习、度量学习等方法，仅利用少量标注样本即可实现新类别的分类。例如FS-Net通过特征对齐与原型学习，在ModelNet40数据集上仅使用5个标注样本即可实现超过70%的新类别分类准确率。零样本3D形状分类则进一步尝试通过类别语义嵌入实现对未见过类别的分类，无需任何目标类别的标注样本，目前已经在细粒度3D形状分类任务上取得了初步进展。其次是跨模态与跨域3D形状分类的鲁棒性问题。实际应用中3D数据来源多样，不同传感器采集的数据存在显著的域差异，例如CAD模型与真实场景扫描点云的分布差异巨大，在CAD数据集上训练的模型直接迁移到真实场景时分类准确率通常会下降30%以上。因此域自适应3D形状分类成为当前的研究重点，通过对抗学习、自训练等方法减小源域与目标域之间的分布差异，提升模型的跨域泛化能力。此外，多模态融合分类方法也得到了广泛关注，通过融合点云、RGB图像、文本等多模态信息，进一步提升复杂场景下的分类精度，例如在自动驾驶场景中融合LiDAR点云与摄像头图像数据，能够有效提升对小目标、遮挡目标的分类准确率。第三是轻量级与实时3D形状分类技术。移动端、嵌入式设备的算力与显存资源有限，当前高精度3D分类模型的参数量通常超过100M，推理速度低于10FPS，无法满足自动驾驶、AR/VR等场景的实时性需求。因此研究人员开始关注轻量级3D分类模型的设计，通过模型剪枝、量化、知识蒸馏等方法压缩模型体积，同时优化特征提取结构提升推理速度。例如PointMLP通过简化特征提取流程，去除复杂的注意力与卷积模块，仅用多层感知机就实现了与PointTransformer相当的分类精度，同时推理速度提升了5倍以上，参数量仅为原来的1/10。目前已经出现了一批参数量低于5M、推理速度超过30FPS的轻量级模型，能够在嵌入式设备上实现实时3D形状分类。最后是细粒度3D形状分类研究。通用3D形状分类主要区分大类别差异，例如区分椅子、桌子、飞机等，而细粒度分类需要区分类别内的子类差异，例如区分不同型号的飞机、不同款式的椅子，对特征的精细度要求更高。当前细粒度3D形状分类的研究重点在于如何捕捉类内细微的几何差异，通过引入局部特征注意力、部件级特征对齐等方法，提升模型对细微结构的感知能力。目前在细粒度3D家具分类数据集上，最优模型的分类准确率已经突破85%，逐渐能够满足电商模型检索、工业零件质检等场景的需求。四、3D形状分类的典型应用场景基于深度学习的3D形状分类技术已经在多个行业实现落地应用，典型应用场景包括：在自动驾驶领域，3D形状分类是激光雷达目标检测的核心模块，通过对LiDAR采集的点云进行分类，能够准确识别车辆、行人、交通标志、障碍物等目标类别，为自动驾驶决策提供支撑。当前主流自动驾驶方案中，3D形状分类模型已经能够在100米范围内实现对车辆95%以上的分类准确率，对行人的分类准确率也超过90%，配合多传感器融合方案能够有效应对复杂城市道路场景。在智慧医疗领域，3D形状分类技术广泛应用于医学影像分析，例如对CT、MRI扫描得到的三维医学影像进行分类，能够辅助医生识别肿瘤、骨折、心血管病变等病灶。在口腔医疗领域，通过对三维牙模数据进行分类，能够自动识别牙齿的类型与病变情况，辅助正畸方案设计，目前相关技术已经在口腔诊所实现商用，分类准确率超过专业牙科医生的平均水平。在工业质检领域，针对工业零件的3D形状分类能够自动识别零件的型号与缺陷，替代传统人工质检。例如在汽车制造生产线中，通过扫描零件的三维点云进行分类，能够快速检测出零件的型号错误、尺寸偏差、结构缺陷等问题，检测效率是人工质检的10倍以上，误检率低于0.1%，显著提升了生产线的自动化水平。在元宇宙与数字孪生领域，3D形状分类技术能够实现