CN115661224B 一种基于无监督的多帧内镜场景深度估计方法及设备 （山东科技大学）

一种基于无监督的多帧内镜场景深度估计本发明公开了一种基于无监督的多帧内镜得到交叉教学一致性损失以及自主教学一致性型进行优化训练，输出优化后的内镜场景深度2确定内镜场景图像对应的点云转换视图，并将所述点云转换根据深度合成式：得到源帧视图s到目标帧视图t根据所述目标帧，得到交叉教学一致性损失以及自主教学一致性通过所述光度损失、所述交叉教学一致性损失、所述自主教学一致性t根据所述总优化损失，对无监督多帧单目训练深度估计模型进无监督多帧单目训练深度估计模型输出优化后的内镜场3通过深度网络以及位姿网络，对获取的内镜场景图像每根据源帧视图到目标帧视图的映射框架、内镜场景的相机本身3.根据权利要求2所述的一种基于无监督的多帧内镜场景深度估计方法，其特征在于根据权重系数、加权损失、结构相似性项以及结构相似性通过所述平面扫描立体匹配代价算法，对每个不同深度的所述源帧进行深度特征映根据所述映射特征，对所述目标帧的特征映射之间距离进行平均值根据得到所述采样像素深度4所述色彩抖动模块用于调整所述内镜场景图像的亮度抖动、饱所述掩蔽模块用于模拟所述内镜场景图像的多个输入帧之间的遮挡，以所述存储器存储有能够被所述至少一个处理器执行的指令，以使所能够执行根据权利要求1_6任一项所述的一种基于无监督的多5硬件无法收集密集的深度图。目前许多方法将单一的RGB相机的单目深度定位为一种新型监督多帧单目训练深度估计模型输出优化后的内镜场景深[0007]本申请实施例通过可学习的块匹配模块以及自主教学与交叉教学范式来优化新型的无监督的多帧内镜场景深度估计模型，也就是对内窥镜的深度图估计模型来进行优6pk周围像素的特网络，对所述自相关体中的偏移场进行解码；根据到所述采样像素深度帧视图t的支持域*;7持域的深度图；根据l-*(In)-得到所述源帧到所述目标帧的所述支持域合t[0015]在一种可行的实施方式中，根据所述目标帧，得到交叉教学一致性损失以及自机掩码确定的未遮挡掩码，D'(p)为外观模拟器导出的帧与原始帧一致[0018]本申请实施例采用掩蔽是为了模拟多个输入帧之间的遮挡，在生成的二值掩码主教学一致性损失以及预设边缘感知平滑性损失，得到总优化损失，具体包括：根据Les=IVD(P)Ixe-VI'(P)l,得到所述预设边缘感知平滑性损失施方式所述一种基于无监督的多帧内镜场景8的问题，同时也解决了在光滑的组织和器官液的表面会产生强烈的非朗伯反射和相互反[0023]图1为本申请实施例提供的一种基于无监督的多帧内镜场景深度估计方法流程[0026]图4为本申请实施例提供的一种基于无监督的多帧内镜场景深度估计设备的结构9pk周围像素的特征相自相关体中的偏移场进行解码。根据得到支持有代表性的关键点作为块匹配模块的中心像素，然后将每个关键点与一个局部块结合起[0040]在一个实施例中，对于关键点的检测，采用高效的视觉里程计算法(Direct帧支持域的深度图。根据得到源帧到目标帧的支持域合成帧t式中，利用AF_SfMLearner训练的深度网络来使无监督多帧单目训练深度估计模型进行正[0047]自主教学范式可以让无监督多帧单目训练深度估计模型对最终匹配代价中的有t2＝无监督多帧单目训练深度估计模型输出优化后的内镜场督多帧单目训练深度估计模型输出优化后的内镜[0065]上述对本申