CN116485664B 一种基于模糊核先验学习的图像盲去模糊网络及方法 （西安电子科技大学）

一种基于模糊核先验学习的图像盲去模糊本发明涉及一种用于图像去模糊的网络及集差异和图像局部模糊核的变化导致较差的泛到模糊图像的模糊核图像，其包括特征提取网网络用于通过模糊图像和估计出的模糊核图像2所述模糊核估计网络用于估计得到模糊图像的模糊核图像，其包括所述去模糊网络用于输入待处理的模糊图像，并利用估计的模糊核图像得到清晰图的多个下采样层，沿信号输出方向依次编号为第一下采样层、第二下采样层…第m下采样所述上采样层包括依次连接的基础模块和上每个下采样层的模糊核注意力模块的输入端均与标准化流模型的输过前一编号的下采样模块输出端与后一编号的模糊核注意力模块的另一输入端连接；第m采样层和下采样层之间通过上采样层的下采样模块输出端与下采样层的基础模块输入端相邻编号的上采样层之间通过前一编号的基础模块输入端与后一编号的上采样模块第一下采样层的模糊核注意力模块的图像特征卷积层的输他采样层的模糊核注意力模块的图像特征卷积层的输入端分别与前一编号的采样层的下所述相加层的输出端与同一模糊核注意力模块的基础模块的输3.根据权利要求1或2所述的一种基于模糊核先验学所述基础模块包括依次连接的第一LayerNorm层、第一卷积层、第二卷积层、第一所述SimplifiedChannelAttention层包括连接的AveragePooling层和第3所述第一SimpleGate层用于将图像特征图按通道平均分为两部分所述第一SimpleGate层和第二SimpleGate层结所述标准化流模型包括依次连接的二十个flowb所述flowblock包括依次连接的batchnormalizationlayer、permutationlayer和所述上采样层数量为三个，沿信号输出反方向依次编号为第一上采清晰图像集X中选取对应的清晰图像作为参考样本，采用自监督损失函数对模糊核估计网4(k)表示参数为θ的标准化流模型，其输入为模糊核图像集K中随机选取的模糊核图θ步骤5.3)中，所述重建损失函数Lrecon为重模糊损失函数Lreblur与PSNR损失函数LPSNR的重模糊损失函数Lreblur和PSNR损失函数LK(yi)表示利用模糊核估计网络从模糊图像中估计10.根据权利要求9所述的一种基于模糊核先验学习的图像盲去模糊方法，其特征在6.1.2)特征提取网络将隐编码zi和标准差σi送入不确定性学习模块中进行高斯重采56方法恢复出清晰的图像(参见AmitGoldsteinandRaananFattal.Blur_kernelestimationfromspectralirregularities.InEuropeanConferenceonComputerVision,pages622–635.Springer,2012.以及JinshanPan,ZheHu,ZhixunSu,andMing_HsuanYang.Deblurringtextimagesvial0_regularizedintensityandgradientprior.InProceedingsoftheIEEEConferenceonComputerVisionandPattern了优越的性能(参见OrestKupyn,VolodymyrBudzan,MykolaMykhailych,DmytroMishkin,andJiˇr/1Matas.Deblurgan:Blindmotiondeblurringusingconditionaladversarialnetworks.InProceedingsoftheIEEEconferenceonandpatternrecognition,pages8183–8192,2018.以及OrestKupyn,TetianaMartyniuk,JunruWu,andZhangyangWang.Deblurgan_v2:Deblurring(orders_of_magnitude)fasterandbetter.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pages8878–8887,2019.以及Sung_JinCho,Seo_WonJi,Jun_Pyo7Hong,Seung_WonJung,andSung_JeaKo.Rethinkingcoarse_to_fineapproachinsingleimagedeblurring.InProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision,pages4641–4650,2021.以及DasongLi,YiZhang,KaChunCheung,XiaogangWang,HongweiQin,andHongshengLi.Learningdegradationrepresentationsforimagedeblurring.InEuropeanConferenceonComputer经网络直接从模糊图像中估计非均匀模糊核，其中与本发明最接近的工作是孙剑等人在2015年提出的方法(参见JianSun,WenfeiCao,ZongbenXu,andconvolutionalneuralnetworkfornon_uniformmotionblurremoval.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,恢复出原始的清晰图像，在这类方法中与本发明相近的工作是DeepDeblur方法(参见SeungjunNah,TaeHyunKim,andKyoungMuLee.Deepmulti_scaleconvolutionalneuralnetworkfordynamicscenedeblurring.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,pages3883–3891,2017.)，于深度学习的图像盲去模糊方法从单幅图像中同时估计清晰图像和图像模糊核仍然是一[0008]本发明的目的是解决现有基于深度学习的图像盲去模糊方法将图像盲去模糊视[0009]本发明提出的一种基于模糊核先验学习的图像盲去利用标准化流模型和不确定性学习模块将复杂的运动模糊核空间映射为简单的高斯分布8间通过前一编号的下采样模块输出端与后一编号的模糊核注意力模块的另一输入端连接；第m下采样层的下采样模块的输出端与中间单元最前端的基础模块输入端连接；相同编号的上采样层和下采样层之间通过上采样层的下采样模块输出端与下采样层的基础模块输[0017]相邻编号的上采样层之间通过前一编号的基础模块输入端与后一编号的上采样模块输出端连接；第m上采样层的基础模块输入端与中间单元的最末端的基础模块输出端连接；图像特征卷积层和模糊核特征卷积层的输出端分别与融合特征卷积层的输入端连[0019]第一下采样层的模糊核注意力模块的图像特征卷积层的输入端用于输入模糊图9化流模型包括依次连接的二十个flowblock；所述flowblock包括依次连接的batch[0029]5.1)标准化流模型训练：从时从清晰图像集X中选取对应的清晰图像作为参考样本，采用自监督损失函数对模糊核估清晰图像集X中选取对应的清晰图像作为参考样本，先将模糊图像输入到模糊核估计网络[0038]fθ(k)表示参数为θ的标准化流模型，其输入为模糊核图像集K中随机选取的模糊失函数LPSNR的加权和：Lrecon＝LPSNR+λLreblur，其中，λ为重模糊损失函数的权重，λ取值为[0062]1、本发明网络利用标准化流模型和不确定性学习模块将复杂的运动模糊核空间隐空间来估计非均匀模糊核，即利用特征提取网络来估计模糊核在隐空间中的编码系数，不确定性分量相加得到最终的隐编码，进一步提高了非均匀模糊核估计的准确性和鲁棒[0069]图1为本发明一种基于模糊核先验学习的图像盲去模糊方法实施例获得的运动模[0070]图2为本发明一种基于模糊核先验学习的图像盲去模糊网络的标准化流模型形成[0072]图4为本发明一种基于模糊核先验学习的图像盲去模糊网络的模糊核估计网络框[0073]图5为本发明一种基于模糊核先验学习的图像盲去模糊网络的去模糊网络框架示[0074]图6为本发明一种基于模糊核先验学习的图像盲去模糊网络的模糊核注意力模块[0076]图8为本发明一种基于模糊核先验学习的图像盲去模糊方法实施例与现有不同方[0077]图9为本发明一种基于模糊核先验学习的图像盲去模糊方法实施例与现有不同方法在HIDE数据集上的视觉对比图(编号1表示输入的模糊图像；编号2表示从模糊图像截取[0078]图10为本发明一种基于模糊核先验学习的图像盲去模糊方法实施例与现有不同方法在RealBlur数据集上的视觉对比图(编号1表示输入的模糊图像；编号2表示从模糊图像截取的局部放大图；编号3表示局部放大图的真实图像；编号4_8依次表示采用HINet、[0079]图11为本发明一种基于模糊核先验学习的图像盲去模糊方法实施例与现有不同方法在RWBI数据集上的视觉对比图(编号1表示输入的模糊图像；编号2表示从模糊图像截取的局部放大图；编号3表示局部放大图的真实图像；编号4_8依次表示采用HINet、元的最末端的基础模块输出端连接；第一上采样层的上采样模块输出端用于输出清晰图注意力模块的图像特征卷积层的输入端分别与前一编号的采样层的下采样模块的输出端[0086]基础模块包括依次连接的第一LayerNorm层、第一卷积层、第二卷积层、第一积层、第二SimpleGate层和第五卷积层；SimplifiedChannelAttention层包括连接的化流模型包括依次连接的二十个flowblock；flowblock包括依次连接的batchflowblock叠加而成，每个flowblock包括依次连接的batchnormalizationlayer、一个permutationlayer和一个affinetransformation块包括依次连接的第一LayerNorm层、第一卷积层、第二卷积层、第一SimpleGate层、SimplifiedChannelAttention层、第三卷积层、第二LayerNorm层、第四卷积层、第二[0103]fθ(k)表示参数为θ的标准化流模型，其输入为模糊核图像集K中随机选取的模糊[0106]训练完成之后，标准化流模型能够在模糊核图像和相应的隐变量z之间建立一个[0107]5.2)模糊核估计网络模型训练：从模糊图像集Y中随机选取模糊图像yi作为输入[0112]G(yi)表示从yi估计出的最终的隐编码，即不确定性模块的输出的最终的隐编码为重模糊损失函数Lreblur与PSNR损失函数LPSNR的加[0124]6.1)将待处理的模糊图像输入到训练好的模糊核估计网络得到估计出的模糊核码zi和标准差σi送入不确定性学习模块中进行高斯重采样得到每个隐编码zi的不确定性分[0132]6.2)将待处理的模糊图像和对应的[0148](一)为了证明本发明提出的一种基于模糊核先验学习的图像盲去模糊网络的有[0149](1)为了证