CN119494968A 一种基于广义隐式反射感知的镜像检测方法 （徐州市低空产业发展有限公司）

区垞城街道科创园孵化中心A栋1-一种基于广义隐式反射感知的镜像检测方法本发明公开了一种基于广义隐式反射感知基准上以极低的计算复杂度实现了最先进的性2对输入图像I∈R3xHxw提取多尺度的长程依赖特征图即生成多尺度特征图S3在提示链生成模块中，首先对提示参数进行3×3转置卷积2倍上采样得到提示参4,3:f=foo',f2=foo'5在提示链生成模块中，首先对提示参数进行3×3转置卷积2倍上采样得到提示参数pa:,2:6Qf,:Qf=foo',f'=⃞foo'算出二元交叉熵损失和加权交并比损失得到完全监督下的或基于预测图oj分别计算出部分交叉熵损失和平滑损失得到弱监督下的总损根据总损失Lfully或总损失Lwea对基于视觉提示的广义隐式反将待检测的图像送入基于视觉提示的广义隐式反射感知网络中，按照步骤7[0003]与传统的低级结构分割任务，如伪装物体检测(CamouflageObject简称COD)、显著物体检测(SalientObjectDetection，简称SOD)或语义分割(Semantic像的独特干扰并定位镜面区域。在具体任务中，像物体识别(Wang等，2023b)、路径规划器解码器架构通过几个组件的高低层次设计捕捉细节和语义相关性。b)由SATNet(Huang8[0009]使用金字塔视觉转换器(PyramidVisionTransformer，简称PVT)网络作为骨干[0016](3)、解码生成预测图o3并更新9[0049](4)、解码生成预测图o2并更新生成下一尺度解码所需的特征图ff产以及提示参数2:[0088](5)、解码生成预测图o1并更新生成下一尺度解码所需的特征图pl[0093]在提示链生成模块中，首先对提示参数[0094]再根据特征图f1生成通道权[0102]p2=upt(p2)[0110]pl=con[0111]5.4)、在提示注入模块中生成特征图以及提示参数j:别计算出二元交叉熵损失和加权交并比损失L%,得到完全监督下的总损失Lfully：[0130]或基于预测图oj分别计算出部分交叉熵损失和平滑损失得到弱监督下的[0132]根据总损失Lfully或总损失Lweakly对基于视觉提示的广义隐式反[0134]将待检测的图像送入基于视觉提示的广义隐式反射感知网络中，按照步骤(1)到[0136]本发明基于广义隐式反射感知的镜像检测方法构建了一个基于视觉提示的广义[0137]图1是本发明基于广义隐式反射感知的镜像检测方法一种具体实施方式的整体架[0138]图2是本发明基于广义隐式反射感知的镜像检测方法一种具体实施方式的流程[0143]图7是本发明(IRP)与10个现有检测方法在权重F测量IoU以及使用MSD数据集[0149]本发明提出了基于视觉提示的IRP框架，以隐式感知镜面区域的上下文。具体来[0150]本发明重新思考现有的MD框架，并制定IRP框架以隐式感知反射并解决遮挡和尺[0154]图1是本发明基于广义隐式反射感知的镜像检测方法一种具体实施方式的整体架模块增强链中元素之间的耦合并减少噪音。最后利用PI模块将精炼的提示注入到特征图[0156]在本实施例中，通过金字塔视觉转换器(Wang等，2021年)获得多尺度特征4}，R表示空间。在解码阶段，本发明随机初始化提示参数，并通过PCG模块生成提示链[0157]图2是本发明基于广义隐式反射感知的镜像检测方法一种具体实施方式的流程[0167]在本实施例中，如图1所示，聚合预测模块(AggregatingandPredicting结构细节如图3所示。首先随机初始化可学习参数并通过转置卷积1×1卷积以获得通道权重并利用全局最大池化(GlobalMaxPooling，简称GMP)和7×7卷积以获得空间权重w3,过程表示为：[0186]尽管由提示链生成模块即PCG模块生成的提示链已经实现了整体推理，但个别提[0187]在j＝1时，本发明利用通道混洗(Zhang等，2018年)处理p3以隐式感知镜像对称[0190]⃞=con[0193]通过提示更新(PromptUpdating，简称PU)模块精炼的提示可以指导定位镜像区[0194]在本实施例中，提示注入模块详细结构如图5所示，具体来说，根据(Zamir等，[0201]类似地，可以获得特征图到提示的相关矩阵Corrp→f、Corrf→p。与以往的工作[0218]W'=conv[0220]W=con[0237]p=con数2:[0241]%,数pl进行3×3转置卷积2倍上采样得到提示参数pae:[0275]pl=con[0286]最后得到注入了提示的特征图计算出二元交叉熵损失和加权交并比损失L%,得到完全监督下的总损失Lfully:[0295]或基于预测图oj分别计算出部分交叉熵损失和平滑损失以,得到弱监督下的[0297]根据总损失Lfully或总损失Lweakl对基于视觉提示的广义隐式反射感知网络进行训[0300]图6是现有镜面检测及通用二分割框架图，(a)为以HetNet为代表的简单编码_解可以泛化到不同的任务，如COD。通过隐式学习，我们可以从任意角度获得对称感知，而HetNet或SATNet仅通过随机旋转90度(或其倍数)在固定范围内建立实体_图像相关性。如张图像)和126个视频(7152张图像)[0305]伪装场景数据集：CAMO(Le等，2019)有1000和250张图像分别用于训练和测试。过使用官费代码进行预训练得到。督，我们选择五种镜面检测方法：MirrorNet(Yang等，2019)，PMDNet(Lin,Wang和Lau2020),HetNet,SATNet以及CSFwinformer(Xie等2024)。三个SOD方法：MENet(Wang等2023a),SETR(Zheng等2021)和VST(Liu等2021)三个COD方法：FSPNet(Huang等2023b)，[0317]表2是在数据集Mirror_RGBD数据集上的定量比较。如表2所示，我们选择RGB_D[0342]我们验证提出模块(如表7和图9所示)、掩码指导(表8)以及在MSD数据集上提示并将PU和PI模块集成到Baseline+PCG中进一步提高[0345]PI模块的影响：通过添加PI模块，我们超越了Baseline+PCG模型，但没有达到