CN114494708B 基于多模态特征融合点云数据分类方法及装置 （中山大学）

基于多模态特征融合点云数据分类方法及本发明公开了一种基于多模态特征融合点用预先设立的多视角卷积神经网络模型进行图像特征提取；利用预先设立的点云Transformer和点云特征利用特征融合模块进行多模态特征融合，根据融合后的特征得到点云数据分类结果；所述特征融合模块包括第一通路和第二通角卷积神经网络模型的数据和特征融合模块的Transformer模型获得的特征，也在中间对应尺度的位置将原点云Transformer模型的输出和中2利用预先设立的点云Transforme将图像特征和点云特征利用特征融合模块进行多模态特征融合，将所述多视角卷积神经网络模型提取的特征图通过第一编码器降维后形成n*1维度的所述第三向量经过第一解码器得到4n*1维度的第四向量和n/2*1维度的第五向量，所四向量与所述多视角卷积神经网络模型对应尺度的第一全连接层的输出进行第一次叠加，云Transformer模型对应尺度的第一全连接层的输出进行第将两个通路第一次叠加后的向量进行拼接形成n*1维度的第六向量，所述第六向量经Transformer模型相同维度的第二全连接层的输出进行叠加就，得到n/4*1维度的第十向将第九向量和第十向量拼接形成n/2*1维度的第十一向量，所述第十一向量经过第三的第三全连接层和点云Transformer模型的第三全连接层的输出进行拼接，然后统一经过将多视角卷积神经网络模型最后的设定维度的向量与点云Transformer模型最后的设用共享权重的VGGNet分别提取K个视角图像的特征图，这个特征图通过视角池化操作，将3.根据权利要求2所述基于多模态特征融合的输出分别作为多模态特征融合模块多视角卷积输入的通路34*1的向量最后转化为设定维度的向量，这后续的三个全连接层也会分别输入给特征融合模块的点云Transformer输入通路的对应所述图像特征提取模块，用于通过预先设立的多视角卷积神经网络所述点云特征提取模块，用于通过预先设立的点云Transformer模型对点云数据进行所述多模态特征融合模块，用于将图像特征和点云特征进行多模态特是从所述点云Transformer模型获得的特征，也在中间对应尺度的位置将原点云Transformer模型的输出和中间结所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任现权利要求1-6任一项所述的基于多模态特征融合点4[0003]现有技术中，ICCV2015的论文《Multi-viewConvolutionalNeuralNetworks该模型将点云数据通过多个角度的投影得到多视角的2D图像，然后卷积神经网络提取特5[0007]本发明一方面提供了一种基于多模态特征融合点云数据分类方法，包括下述步模拟K个位置的照相机视角得到的图像利用共享权重的VGGNet分别提取K个视角图像的特层从n*1的向量变为n/2*1的向量然后是n/4*1的向量最后转化为设定维度的向量，这后续的三个全连接层也会分别输入给特征融合模块的点云Transformer输入通路的对应尺度的[0020]将所述多视角卷积神经网络模型提取的特征图通过第一编码器降维后形成n*1维将所述第一向量和第二向量拼接为2n*1[0021]所述第三向量经过第一解码器得到4n*1维度的第四向量和n/2*1维度的第五向量与点云Transformer模型对应尺度的第一全连接层的输出进6[0022]将两个通路第一次叠加后的向量进行拼接形成n*1维度的第六向量，所述第六向向量经过第三编码器得到n/4*1维度的第九向量；在第二通路中，将第八向量与点云Transformer模型相同维度的第二全连接层的输出进行叠加就，得到n/4*1维度的第十向[0023]将第九向量和第十向量拼接形成n/2*1维度的第十一向量，所述第十一向量经过模型的第三全连接层和点云Transformer模型的第三全连接层的输出进行拼接，然后统一[0024]将多视角卷积神经网络模型最后的设定维度的向量与点云Transformer模型最后[0027]所述点云特征提取模块，用于通过预先设立的点云Transformer模型对点云数据通路是从所述点云Transformer模型获得的特征，也在中间对应尺度的位置将原点云Transformer模型的输出和中间结果进7[0039]图2是本发明实施例提供的基于多模态特征融合点云数据分类系统的结构示意性。本发明使用不同模态的特征融合，但是不同模态的特征之间维度差别很多，使用[0044]多视角卷积神经网络模型MVCNN使用多视图CNN以端到端方式融合多个2D特征投影生成的特征。首先将三维形状投影到多个视图中，将多个视图放在基础的2D图像CNN之[0045]PCT主要是通过使用transformer固有的顺序不变性来避免定义点云数据的顺序attentionfeature定义为所有value向量与attention权重的加权和，得到attention8[0046]请参阅图1，为本发明实施例提供的一种基于多模态特征融合点云数据分类方法给定输入的12个不同位置的投影来模拟12个位置的照相机视角得到的图像(12个视角每个[0052]S22、将四层注意力操作的结果进行拼接，再经过线性变换(Linear)、批归一化续操作，经过全连接层从1024*1的向量变为512*1的向量然后是256*1的向量最后转化为40*1的向量。这后续的三个全连接层也会分别输入给特征融合模块的点云Transformer模通路)为从上述多视角卷积模型获得的特征图进行输入，并在中间使用对应尺寸将原来模Transformer得到的特征也为一个1024的通路部分)以及512*1维度的第五向量(点云Tran9经过编码器2将维度变为512*1的向量。对于点云Transformer输入通路的512*1的第五向量，也将点云Transformer模型的对应尺度的第一全连接层的输出与这个第五向量进行第七向量(多视角卷积输入的通路部分)以及一个256*1维度的第八向量(点云Transformer输入的通路部分)。多视角卷积输入通路部分仍然是将这个第七向量和对应维度的多视角卷Transformer输入通路也将点云Transformer模型相同维度的第二全连接层的输出进行叠[0063]在本发明的另一个实施例中将对一种基于多模态特征融合点云数据分类装置进[0066]所述点云特征提取模块，用于通过预先设立的点云Transformer模型对点云数据通路是从所述点云Transformer模型获得的特征，也在中间对应尺度的位置将原点云Transformer模型的输出和中间结果进[0069]给定输入的K个不同位置的投影来模拟K个位置的照相机视角得到的图像利用共[0070]更进一步的，所述图像特征通过三个全连接层，将维度从25088*1变为4096*1、1的向量变为512*1的向量然后是256*1的向量最后转化为40*1的向量，这后续的三个全连接层也会分别输入给特征融合模块的点云Transformer输入通路的[0077]将所述多视角卷积神经网络模型提取的特征图通过第一编码器降维后形成1024*1维度的第一向量，将所述多视角卷积神经网络模型提取的点云特征作为1024*1维度的第[0078]所述第三向量经过第一解码器得到4096*1维度的第四向量和512*1维度的第五向中，将第四向量与所述多视角卷积神经网络模型对应尺度全连接层的输出进行第一次叠点云Transformer模型对应尺度的全连接层的输出进向量经过第二解码器解码成4096*1维度的第七向量和256*1维度的第八向量；在第一通道Transformer模型相同维度的第二全连接层的输出进行叠加就，得到256*1维度的第十向[0080]将第九向量和第十向量拼接形成512*1维度的第十一向量，所述第十一向量经过模型的第三全连接层和点云Transformer模型的第三全连接层的输出进行拼接，然后统一[0081]将多视角卷积神经网络模型最后的40*1维度的向量与点云Transformer模型最后法的实施例阐述的技术特征及其有益效果均适用于基于多模态特征融合点云数据分类装子设备300的移动硬盘。所述第一存储器302在另一些实施例中也可以是电子设备300的外器302还可以既包括电子设备300的内部存储单元也包括外部存储设备。所述第一存储器[0086]所述第一处理器301在一些实施例中可以由集成电路组成，例如可以由单个封装处理器及各种控制芯片的组合等。所述第一处理器301是所述电子设备的控制核心储在所述第一存储器302内的程序或者模块(例如联邦学习防御程序等)，以及调用存储在[0088]所述