CN119418140A 融合毫米波雷达和摄像头的运动物体感知方法及系统 （北京中成康富科技股份有限公司）

融合毫米波雷达和摄像头的运动物体感知本申请公开了一种融合毫米波雷达和摄像技术对图像数据进行目标对象区域提取和背景2S5，对于每对配对的毫米波雷达数据和摄像头数据间中的像素位置；如果毫米波雷达的数据点对应的像素位置位于某个目标的像素区域范分别提取所述图像的目标对象区域以及背景区域以得到目标对象感兴趣区域图像和对所述目标对象感兴趣区域图像进行图像特征提取以得到目标对象图对所述目标对象背景部分进行背景语义特征提取以得到背景语义基于所述背景语义描述特征向量，对所述目标对象图像特征图进行分别提取所述图像的目标对象区域以及背景区域以得到目标对象感兴趣区域图像和目标对所述图像进行目标检测以得到所述目标对象感基于所述目标对象感兴趣区域图像，对所述图像施加掩码以得到将所述图像输入基于Yolo模型的目标检测网络以得到所述目标对象将所述目标对象感兴趣区域图像输入基于第一空洞卷积神经网络模型的对象特征提将所述目标对象背景部分输入基于第二空洞卷积神经网络模型的背景语义特征提取3将所述目标对象图像特征图和所述背景语义描述特征向量输入基于仿转换器结构的跨模态联合编码器以得到所述背景语义关联强化目标对象图像将所述目标对象图像特征图和所述背景语义描述特征向量输入基于仿转换器结构的跨模对所述目标对象图像特征图进行点卷积编码和空间卷积编码以得到目标对象图像空复制所述目标对象图像空间深化特征图以得到备份目标对象图分别对所述备份目标对象图像空间深化特征图和所述目标对象图像空间深化特征图进行特征形状重塑以得到备份目标对象图像空间深化特征矩阵和目标对象图像空间深化计算所述仿查询特征矩阵与所述仿键特征矩阵的转置矩阵之间的乘积以得到目标对将所述目标对象图像局部语义自相关库矩阵输入基于GELU函数的注意力门控单元以关库权重矩阵与所述值特征向量之间的乘积以得到跨模态交互融合将所述背景语义关联强化目标对象图像特征图输入基于分类器的目标识别模块以得感兴趣区域和背景区域提取模块，用于分别提取图像的目背景语义特征提取模块，用于对所述目标对象背景部分进行特征关联强化模块，用于基于所述背景语义描述特征向类别信息生成模块，用于基于所述背景语义关联强化目标对45[0008]根据本申请的一个方面，提供了融合毫米波雷达和摄像像素区域范围和目标的类别信息；根据毫米波雷达和摄像头的相对位置以及摄像头的内[0009]分别提取所述图像的目标对象区域以及背景区域以得到目标对象感兴趣区域图处理以得到背景语义关联强化目标对象图像[0014]根据本申请的另一个方面，提供了融合毫米波雷达和摄像头的运动物体感知系景区域以得到目标对象感兴趣区域图像和目标特征图进行特征关联强化处理以得到背景语义关联强化目和背景区域分离，基于背景区域语义特征对目标对象区域进行深度特征提取和语义增强，以此来智能识别目标对象的类别，可以有效提高复杂场景下的目标分类的准确性和鲁棒6[0022]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、[0023]图1为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知方法的流程[0024]图2为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知方法的数据[0025]图3为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知方法的子步[0026]图4为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知系统的框[0029]虽然本申请对根据本申请的实施例的系统中的某些模块任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性国家相应数据保护法规政策的前提下，并获得由相应装置所有者给予授权的前提下进行待一种优化的融合毫米波雷达和摄像头的运动物72为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知方法的数据流动示意述目标对象图像特征图进行特征关联强化处理以得到背景语义关联强化目标对象图像特ConvolutionalNeuralNe8进一步采用了基于第二空洞卷积神经网络模型的背景语义特征提取器对所述目标对象背申请进一步采用了基于仿转换器结构的跨模态联合编码器对所述目标对象图像特征图和特征图进行点卷积编码和空间卷积编码以提取其深层次空间特征，增强其空间表达能力，并以此构建查询特征矩阵和键特征矩阵，通过计算查询特征矩阵与键特征矩阵转置的乘输入基于仿转换器结构的跨模态联合编码器以得到所述背景语义关联强化目标对象图像深化特征图进行特征形状重塑以得到备份目标对象图像空间深化特征矩阵和目标对象图9述目标对象图像局部语义自相关库矩阵输入基于GELU函数的注意力门控单元以得到目标算所述目标对象图像局部语义自相关库权重矩阵与所述值特征向量之间的乘积以得到跨量输入基于仿转换器结构的跨模态联合编码器以得到所述背景语义关联强化目标对象图[0042]F2=copy(R)[0043]Ma=Gelu[reshape(F2)&(reshape(F))7][0044]V=Ma8VR表示所述目标对象图像特征图，LN表示层归一化操作convx1表示点卷积，conv3x3表示基于3×3卷积核的卷积操作，表示目标对象图像空间深化特征图，Copy(-)表示复制操作，E表示备份目标对象图像空间深化特征图，reshMa表示目标对象图像局部语义自相关库权重矩阵，vf表示所述背景语义描述特征向量，表示跨模态交互融合条件权重向量，表示所述背景语义关联强化目标对象图像特征图。图输入基于分类器的目标识别模块以得到识别结果，所述识别结果为所述目标的类别信量分别表示目标对象感兴趣区域图像的图像语义特征和目标对象背景部分的图像语义特换器结构来实现目标对象图像特征与背景语义特征之间的语义门控跨模态联合编码。但[0050]将所述背景语义关联强化目标对象图像特征图展开为背景语义关联强化目标对如L2距离，并取所述距离的平方根以获得背景语义关联强化目标对象图像距离表示矩阵，V表示所述背景语义关联强化目标对象图像特征向量，vi和vj表示所述背联强化目标对象图像特征向量的第i和第j特征值之间的距离，Dij表示背景语义关联强化目标对象图像距离表示矩阵中(i,j)位置的特征值；[0054]获得所述背景语义关联强化目标对象图像特征向量的背景语义关联强化目标对[0055]将所述背景语义关联强化目标对象图像特征向量与所述背景语义关联强化目标对象图像距离表示矩阵进行矩阵相乘以获得背景语义关联强化目标对象图像一级映射向[0056]将所述背景语义关联强化目标对象图像一级映射向量与所述背景语义关联强化目标对象图像距离表示矩阵和所述背景语义关联强化目标对象图像自关联矩阵的矩阵乘v"=v'8(D8D')[0057]将所述背景语义关联强化目标对象图像多级映射向量与由所述背景语义关联强化目标对象图像自关联矩阵的本征值组成的背景语义关联强化目标对象图像关联本征向[0058]将所述优化的背景语义关联强化目标对象图像特征向量输入基于分类器的目标语义关联强化目标对象图像特征图的自关联的完全相似性实例化进行基于多级分布层次[0060]综上，根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知方法被阐[0062]图4为根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知系统的框区域以得到目标对象感兴趣区域图像和目标对象背景部分；目标对象图像特征提取模块背景语义特征提取模块330，用于对所述目标对象背景部分进行背景语义特征提取以得到所述目标对象图像特征图进行特征关联强化处理以得到背景语义关联强化目标对象图像[0063]如上所述，根据本申请实施例的融合毫米波雷达和摄像头的运动物体感知系统300可以实现在各种无线终端中，例如具有融合毫米波雷达和摄像头的运动物体感知算法运动物体感知系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该融合毫米波雷达和摄像头的运动物体感知系统300可以是该无线终端的操作系统中的一达和摄像头的运动物体感知系统300同样可以是该无线终端的众多硬件模无线终端也