CN119417995A 抗遮挡区域的无监督多视图立体重建方法 （安徽大学）

本发明公开一种抗遮挡区域的无监督多视比一致性损失和感知一致性损失为深度估计过掘输入图像自身的特征，估计出高质量的深度2步骤S1、输入多视角图像数据Imgs和摄像机参数c；Imgs中的N幅多视角图像包括一幅参考视图和N-1幅源视图；每个阶段均使用特征金字塔网络FPN提取幅多视角图像的二维特征图，3阶段完成后得到多视角图像特征F={F,F,…,Ei,…,FW}；S=0,1,2；步骤S5、基于步骤S4得到代价体，使用全局信息步骤S6、在无监督学习的训练过程中，分别使用光度S1中的多视角图像数据Imgs和摄像机参数c的表达式如下：;;Imgs中的N幅多视角图像包括一幅参考视图和N-1幅源视图；表示第k个摄像机的内部参数矩阵，ke[1,49]；R1,k和T,k分别表示第1个摄像机与第k个摄S2中的特征金字塔网络FPN中引入有通道注意力模块CA和空间注意力模块SA；所得幅多S3所得深度假设平面在最小深度值和最大深3最后，经过一层1x1的卷积操作，可变形的大核注意力网络输出归一化后的概率体;。;将多视角图像与对应的结构化遮挡掩码逐元素相乘，生成一组增强样本;;表示二值有效性掩码。先利用预训练的特征提取网络VGG19提取参考视图的微调特征提取网络VGG19，即在特征提取网络VGG19的最后添加一层丢弃4使用感知一致性损失强制参考图像和逆扭曲图像之间的特征语义相;56[0009]步骤1、输入多视角图像数据Imgs={l1,l2,…,li,…,IW}和摄像机参数C={PIpi=(KP,RX,TX)}；视图；i表示Imgs中多视角图像的序号，ie[1,N]；N表示Imgs中多视角图像的数[0011]步骤2、对于Imgs中的N幅图像，使用一个FPN来计算多视角图像的多尺度特征；为增强FPN对重要特征的关注，引入通道注意力信息的识别能力；[0013]步骤3、根据输入多视角图像Imgs的已知深度范围生成一系到与输入的多视角图像Imgs相同的大小；7;糙的阶段j=48，在中间阶段j=32，在最后的细化阶段j=8；softmax()函数用于将代整保留，从而生成一组增强样本Imgs_ets={I_ets兴1，其中，i表示Imgs_ets中多视角图l；[0036]进一步地，所述步骤6构造感知一致性损失策略，提供伪监督信号的详细步骤如'relu_3_1','relu_4_1'）中提取基于步骤S1输入多视角图像数据Imgs中参考视图的8i表示多视角图像的序i幅逆扭曲图像的高级语义特征。[0058]步骤S1、输入多视角图像数据Imgs={l1,l2,…,li,…,IW}和摄像机参数C={PIpi=(KP,RX,TX)}；视图；9i表示Imgs中多视角图像的序号，ie[1,N]；N表示Imgs中多视角图像的数到与输入的多视角图像Imgs相同的大小；于步骤S3中扩展后的深度假设平面，得到一组重投影特征p'；再将重投影特征p'与参考视适应的注意力机制增强了对全局信息的聚合能力，特别是在场景中存在复杂遮挡的情况反卷积操作逐步恢复特征图的空间分辨率，经过以上步骤进行得到正则化的代价体;;[0077]上述步骤S6构造无监督的对比一致性损失函数，提供伪监督信号的详细步骤如;l；视图立体重建方法在处理遮挡和纹理缺失区域时的局限性，进而计算出精确的点云模型。施例输出的点云模型如图5所示，可以看出从图像数据中重建出的云模型与真实场景具有