CN119131748B 基于毫米波雷达的视觉融合感知方法与系统 （北京中成康富科技股份有限公司）

基于毫米波雷达的视觉融合感知方法与系统地公开了一种基于毫米波雷达的视觉融合感知方法与系统，其获取由摄像头采集的障碍物图通过对其前景特征和背景特征进行联合感知分2分别提取所述障碍物图像的背景特征和前景特征以得到障碍物背景特征图和障碍物对所述障碍物背景特征图和所述障碍物前景特征图分别进行自相关特征强化以得到将所述障碍物背景特征图和所述障碍物前景特征图分别输入特征空间结构一致性自对所述障碍物背景特征图进行层归一化以得到归一化障碍物背对所述归一化障碍物背景特征图进行点卷积处理以得到障碍物背景通道上下文关联对所述障碍物背景通道上下文关联表示特征图进行卷积编码以得到障碍物背景空间对所述障碍物背景通道上下文关联表示特征图和所述障碍物背景空间上下文关联表复制所述障碍物背景空间上下文关联表示特征图以得到备份障碍物背景空间上下文对所述障碍物背景通道上下文关联表示特征图、所述障碍物背景空间特征图和所述备份障碍物背景空间上下文关联表示特征图进行特征形状重塑以得到障碍计算所述障碍物背景通道上下文关联表示特征矩阵和所述障碍物背景空间上下文关使用Softmax函数对所述跨通道交叉协方差矩阵进行激活以得到障碍物背景特征全局计算所述备份障碍物背景空间上下文关联表示特征矩阵与所述障碍物背景特征全局对所述注意力强化障碍物背景特征表示矩阵进行特征形状重塑以得到所述强化障碍将所述强化障碍物背景特征图和所述强化障碍物前景特征图输入前景3将所述障碍物图像输入前景一背景划分模块以得到障碍物背景对所述障碍物背景部分图像和所述障碍物前景部分图像分别进行图像特征提取以得碍物背景部分图像和所述障碍物前景部分图像分别进行图像特征提取以得到所述障碍物将所述障碍物背景部分图像输入基于第一空洞卷积神经网络模型的背景特征提取器将所述障碍物前景部分图像输入基于第二空洞卷积神经网络模型的前景特征提取器对所述强化障碍物背景特征图和所述强化障碍物前景特征图进行特征形状重塑以得对所述强化障碍物背景特征向量和所述强化障碍物前景特征向量进行关联编码以得对所述前背景依赖关系矩阵进行线性插值以得到维度调整前将所述维度调整前背景依赖关系矩阵与所述强化障碍物前景特征向量进行矩阵相乘对所述前背景联合感知特征向量进行特征形状重塑以得到所述前背景联合感知特征将所述前背景联合感知特征图输入基于分类器的障碍物识别器6.基于毫米波雷达的视觉融合感知系统，用于执行如权前背景特征提取模块，用于分别提取所述障碍行自相关特征强化以得到强化障碍物背景特征图和强化障碍物前景前背景联合感知模块，用于将所述强化障碍物背景特征4前背景划分单元，用于将所述障碍物图像输入前景一背图像特征提取单元，用于对所述障碍物背景部进行图像特征提取以得到所述障碍物背景特征图和所述障碍物前景5[0003]如公开号为CN111060904A的发明专利提出了一种基于毫米波与视觉融合感知的所述障碍物背景特征图和所述障碍物前景特征图分别进行自相关特征强化以得到强化障障碍物前景部分图像分别进行图像特征提取以得到所述障碍物背景特征图和所述障碍物像分别进行图像特征提取以得到所述障碍物背景特征图和所述障碍物前景特征图，包括：6将所述障碍物背景部分图像输入基于第一空洞卷积神经网络模型的背景特征提取器以得所述障碍物背景特征图和所述障碍物前景特征图分别输入特征空间结构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图和所述强化障碍物前景别输入特征空间结构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图和障碍物背景空间上下文关联表示特征图；对所述障碍物背景通道上下文关联表示特征图、所述障碍物背景空间上下文关联表示特征图和所述备份障碍物背景空间上下文关联表示碍物背景通道上下文关联表示特征矩阵和所述障碍物背景空间上下文关联表示特征矩阵之间的跨通道交叉协方差矩阵；使用Softmax函数对所述跨通道交叉协方差矩阵进行激活示特征矩阵与所述障碍物背景特征全局交互注意力矩阵之间的乘积以得到注意力强化障物背景特征图和所述强化障碍物前景特征图进行特征形状重塑以得到强化障碍物背景特合感知特征向量进行特征形状重塑以得到所述前背景联合感7述障碍物图像输入前景一背景划分模块以得到障碍物背景部分图像和障碍物前景部分图进行图像特征提取以得到所述障碍物背景特征图和所述障碍物前景[0020]图1为本申请实施例的基于毫米波雷达的视觉融合感知方法中，基于机器视觉传[0021]图2为本申请实施例的基于毫米波雷达的视觉融合感知方法中，基于机器视觉传[0022]图3为本申请实施例的基于毫米波雷达的视觉融合感知方法中，分别提取所述障碍物图像的背景特征和前景特征以得到障碍物背景特征图和障碍物前景特征图的示意性[0023]图4为本申请实施例的基于毫米波雷达的视觉融合感知方法中，将所述障碍物背景特征图和所述障碍物前景特征图分别输入特征空间结构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图和所述强化障碍物前景特征图[0024]图5为本申请实施例的基于毫米波雷达的视觉融合感知方法中，对所述障碍物背8[0025]图6为本申请实施例的基于毫米波雷达的视觉融合感知方法中，将所述强化障碍机器视觉传感器对障碍物的有效识别的示意性流程图。图2为本申请实施例的基于毫米波雷达的视觉融合感知方法中，基于机器视觉传感器对障碍物的有效识别的数据流动示意图分别进行自相关特征强化以得到强化障碍物背景特征图和强化障碍物前景特征图；9障碍物背景部分图像和所述障碍物前景部分图像分别进行图像特征提取以得到所述障碍分图像和所述障碍物前景部分图像分别进行图像特征提取以得到所述障碍物背景特征图网络模型分别对所述障碍物背景部分图像和所述障碍物前景部分图像进行图像特征提取，景部分图像分别进行图像特征提取以得到所述障碍物背景特征图和所述障碍物前景特征经网络模型的前景特征提取器以得到所述障碍征图和所述障碍物前景特征图分别进行自相关特征强化以得到强化障碍物背景特征图和引入了特征空间结构一致性自关注跨通道强化模块对所述障碍物背景特征图和所述障碍所述障碍物前景特征图分别进行自相关特征强化以得到强化障碍物背景特征图和强化障空间结构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图和所述强化障构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图和所述强化障碍物前分别输入特征空间结构一致性自关注跨通道强化模块以得到所述强化障碍物背景特征图间全局交互注意力融合以得到所述强化障碍物背景空间上下文关联表示特征矩阵和备份障碍物背景空间上下文关联表示特征矩阵；S1343，计算所述障碍物背景通道上下文关联表示特征矩阵和所述障碍物背景空间上下文份障碍物背景空间上下文关联表示特征矩阵与所述障碍物背景特征全局交互注意力矩阵背景特征表示矩阵进行特征形状重塑以得到所述强化障碍物背前景特征图分别进行自相关特征强化以得到强化障碍物背景特征图和强化障碍物前景特障碍物背景特征向量和所述强化障碍物前景特征向量进行关联编码以得到前背景依赖关值除以所述前背景联合感知特征图的最大特征值与最小特征值之差以获得前背景联合感与所述前背景联合感知分布调制值进行点减后，取绝对值并计算以2为底的对数值的负数息特征图和所述概率化的前背景联合感知分布调制偏置值与作为超参数的权重的乘积进通过所述基于分类器的障碍物识别器以得到所述识别背景联合感知特征图中的最大特征值和最小特征值，p表示所述前背景联合感知分布表征值，F表示所述前背景联合感知特征图通过概率化函数进行激活后得到的概率化的前背景达障碍物图像中的背景部分和前景部分经特征空间结构一致性自关注跨通道强化后的图景背景联合感知模块时，得到的所述前背景联合感知特征图也会由于图像空间维度和通分布的伯努利概率调制分布来进行所述前背景联合感知特征图的基于特征值的概率信息述前背景联合感知特征图的离群特征分布到类回归概率的反事实推理映射来提升所述优相关特征强化模块230，用于对所述障碍物背景特征图和所述障碍物前景特征图分别进行分别进行图像特征提取以得到所述障碍物背景特征图和所述[0063]上述基于毫米波雷达的视觉融合感知系统中的各个步骤的具体操作已经在上面参考图1到图6的基于毫米波雷达的视觉融合感知方法的描述中得到了详细介绍，并因此，盘(digitalvideodisc，DVD))、或者半导体介质(