CN115511708B 基于不确定性感知特征传输的深度图超分辨率方法及系统 （武汉大学）

基于不确定性感知特征传输的深度图超分本发明公开了一种基于不确定性感知特征传输时构建迭代式上下采样的流水线替代现有RGB引导图像之间分辨率差距的同时避免了噪声定性建模。然后利用生成的不确定性图对RGB特征加权从而去除与深度图像纹理不匹配的RGB特2将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知特征传输网络的SUFT模块中，所述SUFT模块首先复制并在空间维度中水平翻转输入的深度特其中是从低分辨率深度图中提取的特征，是通过上采样得到的高分辨率输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的SUFT模所述第一残差块、第二残差块、第三残差块由两个3×3卷积层和一个正线性单元层和八个通道注意力模块构成；所述上投影单元由两个核大小自适应的卷积将输入低分辨率深度图上采样得到一个模糊的高分步骤2：利用步骤1中获得的两个水平镜像的高分辨率深步骤3：将步骤2中获得的不确定性图与步骤1中提取的高分辨率RGB引导图像特征3表示比例因子为s的下投影操作。2.根据权利要求1所述的基于不确定性感知特征传输的深度图超分辨率方法，其特征像特征中的纹理不匹配信息，输出高分辨率RGB图像和低分辨率深度图的融合特征进入所述不确定性模块由一个卷积层和一个归一化层构成，输入镜像的所述第一上投影单元，第二上投影单元和下投影单元由两个核大小自适应的卷积层、3.根据权利要求1所述的基于不确定性感知特征传输的深度图超分辨率方法，其特征c(r")))t)4.根据权利要求1_3任意一项所述的基于不确定性感知特征传输的深度图超分辨率方4通过计算网络重建的高分辨率深度图与真实的高分辨率深度图之间的均方根误差ij代表真实的高分辨率图像中位置(i,j)处的5.一种基于不确定性感知特征传输的深度图超将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知特征传输网络的SUFT模块中，所述SUFT模块首先复制并在空间维度中水平翻转输入的深度特其中是从低分辨率深度图中提取的特征，是通过上采样得到的高分辨率输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的SUFT模所述第一残差块、第二残差块、第三残差块由两个3×3卷积层和一个5正线性单元层和八个通道注意力模块构成；所述上投影单元由两个核大小自适应的卷积将输入低分辨率深度图上采样得到一个模糊的高分模块2：利用模块1中获得的两个水平镜像的高分辨率深度特征计算对模块3：将模块2中获得的不确定性图与模块1中提取的高分辨率RGB引导图像特征ef""=(r""),(7)表示比例因子为s的下投影操作。6[0002]深度图像是对RGB模态的重要补充，可以为人类或计算机视觉系统更好地理解场[0003]现有的一些深度图超分辨率方法通常利用同一场景下配准的高分辨率RGB图像来[0004]1.分辨率差距：深度图和RGB引导[0010]对于深度图和RGB引导图像之间的分辨率差距，现阶段的方法通常使用前置插值做法忽略了两种图像的跨模态差距。RGB图像中的高频信息并不全都是深度图重建所需要[0011]综上所述，如何使深度特征和RGB特征在空间大小上保持一致的同时避免上述副作用以及在特征传输过程中准确地估计并去除与深度图像纹理不匹配的RGB特征，从而使得模型能够准确地重建高分辨率深度图是一个[0012][文献1]He,Linzhi,etal."TowardsFastandAccurateReal_WorldDepthSuper_Resolution:BenchmarkDatasetandBaseline."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2021.7[0013][文献2]Tang,Qi,etal."BridgeNet:AJointLearningNetworkofDepthSuper_ResolutionandMonocularDepthEstimation."Proceedingsofthe29thACM[0014]针对现有技术存在的问题，本发明提供了一种基于不确定性感知的特征传输提取低分辨率深度图像和高分辨率RGB引导图[0017]将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知构成，输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的组成，输入低分辨率深度图，经过Depth分支，提取低分辨率深度图的特征以传入相应的块将输入低分辨率深度图上采样得到一个模糊的高分辨8[0028]其中是从高分辨率RGB引导图像中提取的特征，是融合后的特征，提取低分辨率深度图像和高分辨率RGB引导图[0034]将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知[0037]其中是从低分辨率深度图构成，输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的组成，输入低分辨率深度图，经过Depth分支，提取低分辨率深度图的特征以传入相应的9块将输入低分辨率深度图上采样得到一个模糊的高分[0045]其中是从高分辨率RGB引导图像中提取的特征，是融合后的特征，[0050](1)本发明在特征传输中构建迭代式上下采样流水线替代常用的前置插值上采[0051](2)本发明提出的对称不确定性方案可以在特征传输过程中精确地选择RGB引导[0052](3)本发明提出的方法可以作为一个独立模块添加到现有的颜色引导的深度图超提取低分辨率深度图像和高分辨率RGB引导图[0059]将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知[0062]其中是从低分辨率深度图中提取的特征，是通过上采样得[0080]步骤3：将步骤2中获得的不确定性图与步骤1中提取[0082]其中是从高分辨率RGB引导图像中提取的特征，是融合后的特征，表示比例因子为s的下投影操作，其确保SUFT模块的输出与输入具有不确定性感知特征传输的深度图超分辨率方法的具体实施流程2215个RGB_深度图像对用于训练和405个RGB_深度图像对用于测试。其中NYUv2数据集和RGB_D_D数据集深度图的值代表以毫米为单位的16位绝对深度，Middlebury的深度图的值中低分辨率深度图通过手机ToF摄像头拍摄，大小为192×144；高分辨率深度图通过工业辨率深度图和高分辨率RGB图像裁剪成256×256的固定大小的块，这可以在不削弱网络性测试集，Middlebury数据集以及RGB_D_D的测试集上测试，以验证本发明的性能和泛化能[0093]在训练期间，批大小设置为1，并且使用Adam优化器对模型进行优化，其中β1=[0096]更新包括前向传播和反向传播两部分。前向传播通过网络计算输出与损失函为了和现有方法进行公平的比较，本发明在训练网络时采用了与现有方法相同的损失函率深度图之间的均方根误差(RootMeanSquareError，RMSE)来衡量重建结果的质量。[0105](1)DJF:YijunLi,Jia_BinHuang,NarendraAhuja,andMing_Hsuan[0106](2)SVLRM:JinshanPan,JiangxinDong,JimmySRen,LiangLin,JinhuiTang,andMingHsuanYang.2019.Spatiallyvariantlinearrepresentationmodelsforjointfiltering.InCVP[0107](3)DJFR:YijunLi,Jia_BinHuang,NarendraAhuja,andMing_HsuanYang.2019.Jointimagefilteringwithdeepconvolutionalnetworks.IEEETPAMI[0108](4)FDKN，DKN:BeomjunKim,JeanPonce,andBumsubHam.2019.Deformablekernelnetworksforguideddepthmapupsampling.I[0109](5)FDSR:LingzhiHe,HongguangZhu,FengLi,HuihuiBai,RunminCong,ChunjieZhang,ChunyuLin,MeiqinLiu,andYaoZhao.2021.Towardsfastandaccuratereal_worlddepthsuper_resolution:Benchmarkdatasetandbaseline.InCVPR.9229–9238.imagefunctionforguideddepthsuper_resolution.InACMMM.4390–4399.Xu.2021.Learningscenestructureguidanceviacross_taskknowledgetransferforsingledepthsuper_resolution.InCVPR.7792–7801.YaoZhao,andSamKwong.2021.BridgeNet:AJointLearningNetworkofDepthMapSuper_ResolutionandMonocularDepthEstimation.InACMMM.2148–215