CN118628802B 多模态特征融合图像分类方法及在人形机器人中的应用 （江苏云幕智造科技有限公司）

多模态特征融合图像分类方法及在人形机涉及多模态特征融合图像分类方法及在人形机雷达图像；运用基于交叉注意力的Transformer度Transformer网络进行深层次的特征提取与融2步骤S101：采集深度图像和雷达图像，对获取的深度图步骤S102：针对分块处理后的深度图像块和雷络进行初步特征提取，捕获深度图像块的空间深度特征信息和雷达图像块的抽象特征信步骤S103：将初步提取的深度图像特征与雷达图像特征通过基于交叉注意力的两个CrossAttention网络；其中第一个CrossAttention网络的Query由雷达图像的抽象步骤S1041：对融合后的特征使用二维卷积生成Query/Key/在步骤S1041中，对融合后的特征使用二维卷积投影生成Query/KeyV生成与原特征维度相同的标记信息，为后续多尺度自注意力机制35.一种多模态特征融合图像分类方法在人形机态特征融合图像分类方法为权利要求1至4任一项所述的多模态特征融合图6.根据权利要求5所述的多模态特征融合图像分类方法在人形机器人中的应用，其特4[0004]当前基于计算机视觉的机器人环境感知技术多是基于卷积神经网络(CNN)和循环5[0009]步骤S103：将初步提取的深度图像特征与雷达图像特征通过基于交叉注意力的理采用结合三维卷积(Conv3D)与异质核卷积(HetConv2D)的特征提取模块；将深度图像块HetConv2D模块采用并行的组卷积(Groupwiseconvolution)与逐点卷积(Pointwise过程中应用批量归一化和ReLU激活函数以优化特征提取并保持特征[0017]步骤S1041：对融合后的特征使用二维卷积生成Query/Key/Value(Q/K/V)标记信6[0021]本发明第二方面提出的是多模态特征融合图像分类方法所述多模态特征融合图像分类方法即为上文介绍的多模态特征融合图[0024]本发明提供的多模态特征融合图像分类方法，可应用于人形机器人的使用场[0035]S101：对采样得到的深度图像和雷达图像进行分块(Tiling)和填充(Padding)处7对于深度图像而言，其所携带的深度信息使得CNN能够充分利用其在提取层次化特征及控合三维卷积(Conv3D)和异质核卷积(heterogeneouskernel_basedconvolutions，HetConv2D)的特征提取模块，这种模块不仅能够利用HIS的上下文信息进行充分的特征归[0045]之后将Conv3D提取到的抽象特征输入到HetConv2D中，HetConv2D并行利用两个Conv2D层，其中一个执行逐组卷积(Groupwiseconvolution)，另一个执行逐点卷积(Pointwiseconvolution)。这两个卷积的输出以对应元素数值加和的方式整合为[0047]Conv3D层和HetConv2D层的输出都经过各自的批量归一化(BatchNorm，BN)和ReLU激活层。BN层用于解决由于训练样本数量较少引起的过度拟合问题并加速训练性能。[0048]如图4所示，雷达图像的特征提取模块由一个二维卷积以及它之后的批量归一化8[0051]使用基于交叉注意力的Transformer网络进行多模数据融合：使用交叉注意力可[0052]交叉注意力网络主要采用Transformer中Multi_HeadAttention结构，其详细结9[0062]为了在不同的数据集上取得更好的分类性能，特征编码器中增加了超参数深度Ex，在不同数据集上的重复MSMHSA模块不同次数卷积投影生成的特征张量可以表示为特征图在CA维度按照分割此时i计算头中的特征图按照分割尺度pi被分割为ni个，数值如公式(8)所不同计算头的特征张量hi经过变形和级联后HSRHaxvaxcA,其定义如公式(11)所示。i个计算头中输入特征张量Qi中分割出的第m[0074]在实施例1的多模态特征融合图像分类方法的基础上，提供多模态特征融合图像[0075]具体地，将多模态特征融合图像分类方法以程序集成于人形机器人的交互系统领域技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。