CN115631121B 一种基于自监督学习的全景图像显著性预测方法 （电子科技大学）

predictionbyEmbeddingSelf一种基于自监督学习的全景图像显著性预本发明公开了一种基于自监督学习的全景标签ERP图像集训练编码器，包括以下子步骤：i2所述特征融合网络包括特征变换和点乘操作两个部共享的全连接层得到rE和然后通过下面的方S3、将待识别的全景图像输入训练好的编码器中32.根据权利要求1所述的一种基于自监督学习的全景图像显著性预测方法，其特征在显著性图像获取：以头部和眼部运动的记录文件作为解码器的训与训练集中图像大小相同的零矩阵，头部和眼部的记录文件中会记录下不同的视点位置，4[0004]公开号为CN14998310A的专利申请公开了一种基于图像处理的显著性检测方法及[0005]公开号为CN107274419A的专利申请公开了一种基于全局先验和局部上下文的深5[0006]公开号为CN107346436A的专利申请公开了一种融合图像分类的视觉显著性检测[0007]本发明的目的在于克服现有技术的不足，提供一种利用不同图像的特征的基于自监督学习的全景图像显6[0019]然后将得到的全局特征FE和局部特征F重不共享的全连接层得到rE和然后通过下面的方78ci的原始位置对Pi进行更新得到代理任务的标签p(过程，全局特征提取网络fog与局部特征提取网络foc均采用VGG16去掉尾部5层后的模型；ConvolutionalNetworksforLarge_ScaleImageRecognition[J].arXive_prints,[0069]首先将FE和Fe经过两个权重不共享的全连接层得到rE和然后通过下面的方程9[0082]本实施例中使用的无标签ERP图像集来源为《DjilaliY,KrishnaT,McguinnessK,etal.Rethinking360degImageVisualAttentionModellingWithUnsupervisedLearning.[C]//InternatioFe->y被构造用于预测最终的显著性结果gθ基于《PanJ,CantonC,Mcguinnes360°ImmersiveVideos[C]//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2018》数据集中所提供的头部和眼部像右侧的方形图为左侧小方块内图像的放大图)。可以看见在图2(b)和(c)之间的对比中，基于CMP的转换方法更加倾向于忽略纬度较高区域中的视点。与图2中的ERP格式的图像不将这些距离相近的点转对待成了赤道附近较XavierG,KevinMG,etal.Scanpathandsaliencypredictionon360degreeimagY,ZhangL,HamidoucheW,etal.AMulti_FoVViewport_BasedVisualSaliencyModelUsingAdaptiveWeightingLossesfor360$^circ$Images[J].InstituteofMcguinnessK,etal.ATSal:AnAttentionBasedArchitectureforSaliencyetal.Rethinking360degImageVisualAttentionModellingWithUnsupervisedLearning.[C]//Internation[0099]表1给出了在Salient360！数据集((《GutierrezJ,DavidEJ,CoutrotA,etal.IntroducingUNSalient360！Benchmark:Aplatformforevaluatingvisualattentionmodelsfor360°contents[C]//2018TenthInternationalConferenceon[0