CN119478000A 一种基于CNN-Transformer混合架构的单目深度估计方法 （南京航空航天大学）

一种基于CNN-Transformer混合架构的单目Transformer的单目深度估计方法，属于航空领法有效提取局部_全局信息的问题，设计内容主要包括：改进基于加性注意力机制的视觉Transformer架构，优化图像块间的特征交互运CNN_Transformer模块的深度网络编码器，有效提取出局部_全局特征信息；引入通道注意力机简明，在低空无人机飞行数据集Mid_Air上训练获得了优异的测试结果，有效增强了局部_全局2全局注意力查询向量来简化图像块间的特征信息交互运算以学习图像络结构划分为CNN局部特征表示模块和Transformer全局特征表示模块，CNN局部特征表示模块采用连续深度卷积与逐点卷积操作实现局部特征的精确提取，Transformer全局特征表示模块通过基于改进加性注意力机制的Transformer结构学习特征图的全局信息，最后上采样和融合预测相机的运动姿态，并根据预测的姿态信息将源视图重投影到目标视图，3通过其局部特征提取能力，有效处理图像数据，推动了深度估计技术的发展。随后，征和语义信息的完整性上存在不足；基于视觉Transformer的方法在图像块间的特征匹配一个兼具提取局部_全局特征信息能力的方法。通过改进基于加性注意力机制的视觉估计在低空无人机复杂飞行场景中的深度感[0005]本发明要解决的问题在于，提供一种基于CNN_Transformer混合架构的单目深度[0006]为解决上述问题，本发明提供一种基于CNN_Transformer混合架构的单目深度估[0009]步骤3、构建基于CNN_Transformer混合架构的单目深度估计方法深度网络编码4损失函数包含最小光度重投影误差损失函数以及平滑与一个可学习参数向量w,eR",相乘，以此学习网络编码器分四阶段对输入图像进行局部_全局特征提取，每个阶段均由相同的混合CNN_混合方式。基于CNN_Transformer混合模块的编码器先将特征图输入第一阶段的混合CNN_Transformer模块中的组合卷积模块进行特征混合方式的优化，随后输入至混合模块提取征图与原始输入特征图之间实行跳跃连接后[0025]优选的，在步骤3中，混合模块将网络结构划分为CNN局部特征表示模块和实现局部特征的精确提取从而得到特征图，Transformer全局特征表示模块通过基于改进5加性注意力机制的Transformer结构学习特征图的全局信息，最后将局部特征表示模块的输出和全局特征表示模块的输出共同输入到线性处理层得ReLU激活函数的全连接层和包含Sigmoid激活函数的全连接层产生每个通道的权重，最后通过尺度因子和权重向量重新调整特征图的大小得态网络以图像序列作为输入，采用ReaNet18作为骨干网络的轻量级编码器提取图像特征，[0028]优选的，在步骤6中，视图重构损失函数由最小光度误差损失函数和像素掩膜组6[0044]针对深度估计任务中局部_全局特征信息提取不充分的问题，本发明提供了一种络和损失函数三部分。深度网络由以混合CNN_Transformer架构为骨干的多层多尺度编码7[0055]步骤S30构建基于CNN_Transformer混合架构的单目深度估计方法深度网络编码器于优化特征混合方式。基于CNN_Transformer混合模块的编码器先将特征图输入第一阶段的混合CNN_Transformer模块中的组合卷积模块进行特征混合方式的优化，随后输入至混CNN_Transformer架构为骨干的多层多尺度编码器中，特征图在进入第一阶段后先完成到中间输出χDC公式表达为：Local特征图被送入Transformer全局特征表示模块，该模块通过[0067]χGlobal＝Attention(χLo线性计算层生成具有非线性特性的局部_全局特8[0075]具体地，利用最小由最小光度误差损失函数和像素掩膜p为最小光度重投影误差损失。引入像素掩膜μ,过滤掉序列中前后两帧图像中[0086]具体地，将综合多尺度下的视图重构损失Lss与平滑度损失Lsm的平均值作为指导9[0090]具体地，选取Mid_Air数据集进行训练，硬件平台为单个NVIDIAGeForceRTX