CN115424115B 一种基于偏振成像和深度学习的透明目标检测方法 （西北农林科技大学）

I138-1926.一种基于偏振成像和深度学习的透明目标本发明公开了一种基于偏振成像和深度学的深度学习网络检测模型对透明目标进行目标2步骤13，对训练数据集中的每一个原始偏振图像数据步骤14，根据步骤13中每一个原始偏振图像数据得到的四个角度的线偏振图像I0(x，步骤15，对训练数据集中的每一个原始偏振图像数据进行图根据Mask掩码数据集中的每一个Mask掩码图像制作相应的E步骤16，将训练数据集中的每一组S0,DoLP,IE和L1表征图像输入深度学习网络检测标注的Mask掩码图像作为训练目标，用相应的Edge边缘图像在训练过程中进行边缘监督；其中所述深度学习网络检测模型以ResNet_101网络或VGG网络为主干网络，其特征在将S0,DoLP,IE,L1四幅表征图像输入深度学习网络检测模型；每个输入图像都通过3干网从第二层开始的每一层卷积出来的四张图片通过一个一对一的融合模块融合成一张分支的融合特征图被相应的原始偏振图像数据最后，将四个输入S0,DoLP,IE和L1分别通过相应的骨干网融合出来的四张图片输入步骤18，设置一个包含透明目标原始图像数据的测试集，使用两个评价指标MAE和S_Edge：即原始偏振图像数据的边缘图像，根据相应的原始偏振图像步骤142，线偏振度DoLP和线偏振角AoLP是被广泛应用于目标检测任务的两个关键指4pp除运算引入的，当S0和S1接近于0时，会发生计算的误差，AoLP中0和π的混叠问题是由于了一种ρ和θ的等效表达式，也即去除arctan运算的新的表深度学习网络检测模型的损失函数由三个部分的损第一部分：为了显式地建模透明边缘特征，我们添加了额其中Y+和Y_分别表示透明区域像素集和不透明像素集；rr(v,-lci")是预测图，其中5其中K+和K_表示FPN输出的最终透明目标分割结果中的透明区域像素集和不透明像素步骤22，对待测透明目标的偏振图像进行解马赛克得到四个角度的线偏振图像I0(x,步骤24，将步骤23中得到的S0,DoLP,IE和L1四幅表征图像输入训练好的深度学习网6其细化为详细的粗输入。需要注意的是，TOM_Net在训练过程中需要一个折射流图作为标74590(x,y)进行计算得到的参数，表示水平方向上的光强与竖直方向上光强的差；S2是根据已标注的Mask掩码图像作为训练目标,用相应的Edge边缘图像在训练过程中进行边缘监8[0033]步骤142，线偏振度DoLP和线偏振角AoLP是被广泛应用于目标检测任务的两个关pp是AoLP：[0041]进一步，所述步骤14中的深度学习网络检测模型以ResNet_101网络或VGG网络为9干网从第二层开始的每一层卷积出来的四张图片通过一个一对一的融合模块融合成一张和L1分别通过相应的骨干网融合出来的四张图片输入到[0044]特征图金字塔网络FPN(FeaturePyramidNetworks)是2017年提出的一种网络，FPN(FeaturePyramidNetwork)算法同时利用低层特征高分辨率和高层特征的高语义信[0048]Edge:即原始偏振图像数据的边缘图像，根据相应的原始偏振图像数据的Mask掩[0058]其中K+和K_表示FPN输出的最终透明目标分割结果中的透明区域像素集和不透明[0068]S_measure=γOi+(1_γ)Or#(13)[0077](1)本发明基于偏振成像和深度学习的透明目标检测方法，与其他合成多尺度特征或利用后处理的方法不同，专注于偏振图像中边缘信息和透明对象信息之间的互补性，和络中每一相同层的特征图加权融合，然后将融合出来的四个特征图输入FPN网络融合出最[0080](4)本发明中，为了获得更准确的透明目标检测结果，渐进透明对象特征提取，Conv3_3、Conv4_3、Conv5_3分支的融合特征图和最终的分割结果都被透明目标的掩码监[0081](5)本发明实现了透明物品的检测，在智能制造等领域具有极其重要的现实意义[0087]图1至图4示出了本发明一种基于偏振成像和深度学习的透明目标检测方法的具络检测模型的结构示意图；图4是本发明实施方式中基于偏振成像和深度学习的透明目标[0088]如图1至图4所示，本实施方式中的基于偏振成像和深度学习的透明目标检测方4590(x,y)进行计算得到的参数，表示水平方向上的光强与竖直方向上光强的差；S2是根据已标注的Mask掩码图像作为训练目标,用相应的Edge边缘图像在训练过程中进行边缘监[0117]步骤142，线偏振度DoLP和线偏振角AoLP是被广泛应用于目标检测任务的两个关pp是AoLP：[0126]优选地，所述步骤14中的深度学习网络检测模型以ResNet_101网络或VGG网络为干网从第二层开始的每一层卷积出来的四张图片通过一个一对一的融合模块融合成一张和L1分别通过相应的骨干网融合出来的四张图片输入到[0131]Edge:即原始偏振图像数据的边缘图像，根据相应的原始偏振图像数据的Mask掩[0141]其中K+和K_表示FPN输出的最终透明目标分割结果中的透明区域像素集和不透明和I135中每一相同层的特征图加权融合，然后将融合出来的四个特征图输入FPN网络融合出最后并通过一对一融合模块