CN119515723A 去模糊方法、系统、电子设备及可读存储介质 （博智感知交互研究中心有限公司）

质本申请实施方式提供了一种去模糊方法及2基于与模糊图像对应的事件相机信号生成运动流，其中所述运及根据所述运动流、所述事件特征和所述图像特征，将所述模糊图像恢基于所述多个区间，将所述事件相机信号切分且预处理为与所述所述特征图包括所述模糊图像的像素以及与所述模糊图像对应的清晰图像的像素之基于所述多个区间，将所述事件相机信号切分且预处理为与所述所述特征图包括所述模糊图像的像素以及与所述模糊图像对应的清晰图像的像素之基于与所述模糊图像对应的所述曝光时间内的清晰图像数据集训3基于与多帧所述模糊图像对应的事件相机信号和多帧所述模糊图像生成所述交叉帧其中，所述交叉帧运动流表征与多帧所述模糊图像对应的事其中，所述图像编码器包括双路径去模糊模块，所述双路径去通过所述逐点去模糊路径，融合级联的所述图像特征和所述事件特征通过所述空间去模糊路径，利用所述运动流对所述图像特征和所述将级联的所述图像特征和所述多尺度逐点双模态特征输入所述通过自监督与所述模糊图像对应的清晰图像从清晰到模糊的再模糊所述模糊图像包括照片图像、照片图像的局部、视频帧图像以及视频帧4再模糊网络，被配置为基于与模糊图像对应的事件相机信号生成动流表征所述事件相机信号与导致所述模糊图像模糊的动作去模糊网络，被配置为对所述事件相机信号和所述模糊图像进行特基于所述多个区间，将所述事件相机信号切分且预处理为与所述所述特征图包括所述模糊图像的像素以及与所述模糊图像对应的清晰图像的像素之基于所述多个区间，将所述事件相机信号切分且预处理为与所述所述特征图包括所述模糊图像的像素以及与所述模糊图像对应的清晰图像的像素之基于与所述模糊图像对应的所述曝光时间内的清晰图像数据集训基于与多帧所述模糊图像对应的事件相机信号和多帧所述模糊图像生成所述交叉帧5其中，所述交叉帧运动流表征与多帧所述模糊图像对应的事其中，所述图像编码器包括双路径去模糊模块，所述双路径去所述逐点去模糊路径被配置为融合级联的所述图像特征和所述事件特所述空间去模糊路径被配置为利用所述运动流对所述图像特征和所述多尺度逐点双所述空间去模糊路径包括运动流导向去模糊模块，其中所述运动将级联的所述图像特征和所述多尺度逐点双模态特征输入所述所述再模糊网络被进一步配置为通过自监督与所述模糊图像对应的清晰图像从清晰所述去模糊网络被进一步配置为基于所训练的所所述模糊图像包括照片图像、照片图像的局部、视频帧图像以及视频帧所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被6令用于使所述计算机执行权利要求1_13中任一项7[0002]去模糊方法主要包括含盲去模糊(blinddeblurring)和非盲去模糊(non_blind基于GAN(GenerativeAdversarialNetworks)以及基于RNN(RecurrentNeuralNetwork)的去模糊的方法也得到广泛应用，例如DeblurGAN(DeblurGenerativeAdversarialNetworks)、DeblurGAN_v2(DeblurGenerativeAdversarialNetworksversion2)等等。[0005]本申请实施方式提供了一种可至少部分解决相关技术中存在的上述问题的去模像的像素以及与所述模糊图像对应的清晰图像[0008]在本申请一个实施方式中，基于与模糊图像对应的事件相机信号生成运动流包8[0009]在本申请一个实施方式中，通过自监督所述清晰图像从清晰到模糊的再模糊过糊图像的像素以及与所述模糊图像对应的清晰图像的像素之间的位移，基于所述运动流，去模糊网络包括：通过自监督与所述模糊图像对应的清晰图像从清晰到模糊的再模糊过9和导致多帧所述模糊图像模糊的动作之间的显式算机指令用于使所述计算机执行如本申请一方面提供[0034]通过阅读参照以下附图所作的对非限制性实施例的详细描述，本申请的其它特相机通常以设定帧速率对场景进行采样量化获取视觉信息，在图像帧之间会出现欠采样，相机的每个图像帧记录所有像素的强度信息，而不管该信息相对于上一时刻是否发生更类在内的生物视觉系统采用异步事件驱动(asynchronouseventdriven)，并在大规模神TimebasedImageSensor)和DAVIS(DynamicandActivePixelVi事件相机不是以恒定速率输出强度图像帧，而是仅输出局部像素级光强变化的相关信息，[0055]标准相机或事件相机均可能会受到因曝光期间的诸如相机抖动或物体运动而引包括模糊图像的像素以及与模糊图像对应的清晰图像相机信号与导致模糊图像模糊的动作之间的显[0074]对于模糊图像恢复处理，大多数去模糊方法将2维事件图像或3维事件体素网格事件的3维时空直方图。3维时空直方图在下文中也可称为事件体素网格，可用则运动流其包括对应于2N个时间区间的2N个特征图F[k]。无需手工制作的先验或额外的已标记的光流数以利用类似U_Net的网络预测运动流。再模糊网络Gr以模糊图像X以及与模糊图像X对应的事件体素网格E作为输入或者仅以与模糊图像X对应的事件体素网格E作为输入预测运动EFNet在一些明显模糊的区域的表现更差。这可能是因为通道级的注意力缺少空间标记之[0106]在本申请的一个实施方式中，步骤S2对事件相机信号和[0108]可选地，空间去模糊路径可采用运动流导向去模糊模块(BlurringflowGuidedDeblurringModule，BGDM)，对图像特征hi和多尺度逐点双模态特征Hi进行空间聚合征(resultingfeatures)。事件编码器V从与模糊图像X对应的事件体素网格E中产生多尺中，引入了一种新型的运动流导向去模糊模块(BlurringflowGuidedDeblurring对图像特征和多尺度逐点双模态特征进行采样和[0114]对于每个用于卷积的像素，运动流图的第k个预测的特征图F[k]可引导第k个F+0,w)，其中Concat为通道数增加的操作；f+0为预测的运动流和预测的核权重[0116]去模糊网络Gd的解码器W可包括卷积层，以输出最终的结果去模糊处理后的清晰图像p.去模糊网络Gd可以端到端的方式进行训练，可选地，再[0123]可选地，可采用GoPro数据集训练去模糊系统，并基于REBlur数据集对其进行微[0125]REBlur数据集包括486对模糊和清晰的图像以及相应的事件组成的训练集，以及[0126]UEVD数据集是一个未知曝光的基于事件的视频数据集，由DAVIS346彩色事件相的随机噪声可申请数据扩充。可选地，去模糊系统在8个英伟达V100GPUs(General其中单图像去模糊方法包括Nahetal.(Nah等人提出的图像去模糊方法)、MIMO_UNet(Multi_inputmulti_outputU_network)、MPRNet(Multi_StageProgressiveImage(Scale_recurrentNetwork)、HINet(HalfInstanceNormalizationNetwork)、InstanceNormalizationNetwork+)以及ours(本申请的去模糊方法)。其中，SRN+和的事件表示已从对称累积事件表示(SymmetricCumulativeEventRepresentations，在使用相同的事件体素网格E后，本申请至少一个实施方式提供的去模模糊效果，然而EFNet和EFNett无法恢复输入的模糊图像本申请示例性实施方式提供的去模糊方法恢复的清晰图像中可清楚的分辨行驶中的汽车[0136]表2示出了基于REBlur数据集(RealBlurDataset)的去模糊方法(method)的比[0139]如表2所示，去模糊的方法可包括：SRN(Scale_recurrentNetwork)、NAFNet(NonlinearActivationFreeNetwork)、Restormer、HINet(HalfInstance方式提供的去模糊方法与表现最好的基于事件的去模糊方法EFNet相比，PSNR提高了性实施方式提供的去模糊方法恢复的清晰图像中可清楚的分辨移动复选框、文本和圆圈[0145]表3示出了真实的基于事件的视频数据集(real_worldevent_basedvideodataset)的去模糊方法(method)的比较。如表3所示，去模糊的方法可包括：Nahetal.(Nah等人提出的图像去模糊方法)、DMPHN(DeepStackedHierarchicalMulti_patchNetwork)、CDVD_TSP(CascadedDeepVideoDeblurring_usingTemporalSharpness件体素网格EeR16XHXWV作为事件表示；“ours”表示使用了本申请的去模糊方法；"ours-vidf"表示使用了本申请的去模糊方法，并采用交叉帧运动流对基于事件的视频去述方法均通过参数PSNR和SSIM的得分进行比模糊方法相比，PSNR提高了0.59dB。另外，未采用交叉帧运动流和BGDM的采用交叉帧运动流的情况下，本申请示例性实施方式提供的去模糊方法的PSNR将下降键组成。表4示出了在使用相同的训练设置来训练的情况西，多个去模糊方法被比较的情况，其中改变多个条件/参数的消融实验可包括：去除BGDM的逐点路径的双模输入(bi_modalinBGDM，表示为“Ours_1”)；去除BGDM的逐点路径的双模输入以及运动流导向验还包括去除再模糊网络Gr中的下采样和上采样(Down，表示为“LBF_1”)这种改变导致对于基于事件的去模糊，根据本申请示例性实施方式提供的去模糊方法ourst与EFNet相于此获得更清晰的结果图像以及使去模糊方法及系统适用于更多极端模糊网络100被配置为基于与模糊图像对应的事件相机信号生成运动流，其中运动流表征事件相机信号与导致模糊图像模糊的动作之间的显式关系。去模糊网络200被配置为对事动流表征与多帧模糊图像对应的事件相机信号和导致多帧模糊图像模糊的动作之间的显[0174]在本申请的一个实施方式中，逐点去模糊路径221_2被配置为融合级联的图像特应的清晰图像的像素之间的位移，空间去模糊路径221_1被进一步配置为基于特征图的像有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的去模糊方[0186]存储器3200作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、[0190]此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或面或