CN116311364B 基于跨模态特征增强与置信融合的多光谱行人检测方法 （西安电子科技大学）

基于跨模态特征增强与置信融合的多光谱本发明公开了基于跨模态特征增强与置信在单模态条件下行人检测漏检率和虚警率较高图像构成数据集，并按8:2的比例将其化分为训化层多尺度自适应融合模块及置信度融合模块通过小批量梯度下降对该双流行人检测网络进2(1)获取可见光和红外的图像构成数据集，并按8:2的比例将其化分为训练集和测试(2c)建立由四层卷积层和sigmoid函数级联的模态内置信度模块；建立由一层卷积层和sigmoid函数级联的模态间置信度模块，将模态内置信度模块和模态间置信度模块连接(2d)在现有VGG16特征提取主干网络的每个卷积层之间添加共有注意力模块，在最后(2a2)将红外特征池化向量Va和可见光特征池化Vb作为输入，通过多层卷积层和通过Sigmoid函数约束在0到1之间；3所述全连接层由线性层和sigmoid函(2b3)该1024维向量通过两个独立的全连接层得到两个(2c1)将可见光细粒度特征和红外细粒度特征Ft(p)分别输入到模态内置信度模块48.根据权利要求1所述的方法，其特征在于，所述步骤5[0005]Hwang等人提出的《Multispectralpedestriandetection:Benchmarkdataset心设计了一个光照意识机制，并根据光照度对不同光照条件下的输入数据进行可靠融合，[0007]Li等人提出的《Multispectralpedestriandetectionviasimultaneous6[0008]Zhou等人提出的《Improvingmultispectralpedestriandetectionby[0014](2a)建立由多层全局池化层和多层卷积层交叉级联组成[0015](2b)建立由一层全局池化层，两层全连接层级联的池化层多尺度自适应融合模[0016](2c)建立由四层卷积层和sigmoid函数级联的模态内置信度模块；建立由一层卷积层和sigmoid函数级联的模态间置信度模块，将模态内置信度模块和模态间置信度模块[0017](2d)在现有VGG16特征提取主干网络的每个卷积层之间添加共有注意力模块，在[0022]本发明由于设置了跨模态特征增强与置信融合的多光谱7[0038](2.1)建立由多层全局池化层和多层卷积层交叉级联组成的交互共有注意力模[0039](2.2)建立由一层全局池化层，两层全连[0040](2.3)建立由模态内置信度模块和模态间置信度模块连接组成的置信度融合模8[0043](2.4)选用现有VGG16特征提取主干网络和现有[0049](3.2.1)交互共有注意力模块对红外特征It以及可见光特征Irgb分别进行全局平[0061](3.4.4)将1024维向量通过两个独立的全连接层得到两个512维的小尺度权重向9[0074](3.7)根据预测的行人目标框的坐标Pr及分类Pc和真实的行人目标框的坐标Gr及[0080](4.1)按顺序从测试集M中取c个样本输入行人检测网络，得到每个图像Qc对应的在可见光以及红外图像中具有相同的绝对位置，说明该数据集具有良好的模态间对齐条得到训练好的预测模型，再用训练好的预测模型对KAIST数据集的测试集进行多光谱行人得了4.405.292.75％的性能指标。相比于现有最好的MLPD方法分别提升了0.52%,得了37.6634.3143.35％的性能指标，相比于现有最好的MLPD方法提升了分别[0100]仿真结果表明，本发明基于跨模态特征增强与置信融合的