CN114511487B 图像融合方法及装置、计算机可读存储介质、终端 （展讯通信（上海）有限公司）

US2020267300A1,2020.图像融合方法及装置、计算机可读存储介2对参考帧原始图像和匹配帧原始图像分别进行特征提取，以得到参考在第一轮对齐融合处理中，将对所述参考帧特征和所述匹在之后的每一轮对齐融合处理中，将对前一轮得到的融合特征直至对齐融合处理的轮次达到预设轮次时，将对齐融合处理后得到的其中，在所述多轮对齐融合处理中，对所述参考帧特征进考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行下采样的确定多帧针对同一场景采集的曝光时间不同且标注相同从所述多组分组后图像中选取一组图像作为所述参考帧原始图像，以及3.根据权利要求1或2所述的方法，其特征所述对参考帧原始图像和匹配帧原始图像分别进行特将所述参考帧原始图像和所述匹配帧原始图像分别输入由多个残差卷积神经网络组基于对前一轮确定的偏移量进行上采样后的上采样偏移量，征进行上采样后得到的上采样融合特征以及对所述参考帧特征进行下采样后得到的下采对该轮得到的对齐后特征和该轮中的所述下采样参考帧特征进3其中，所述对前一轮确定的偏移量进行上采样的倍数和对采用连接函数Contact，对该轮得到的对齐后特征和该轮中的所述下采样参考帧特征将该轮得到的连接后特征输入由多个残差卷积神经网络组成的残差块进行采用卷积神经网络算法，根据该轮中得到的所述对齐后特征和该将该轮中得到的所述对齐后特征与所述去鬼影权重值相乘，得到该采用连接函数Contact，对该轮得到的所述去鬼影后特征和该轮中的所述下采样参考将该轮得到的连接后特征输入由多个残差卷积神经网络组成的残差块进行特征提取模块，用于对参考帧原始图像和匹配帧原始图像分别进行4在第一轮对齐融合处理中，将对所述参考帧特征和所述匹在之后的每一轮对齐融合处理中，将对前一轮得到的融合特征直至对齐融合处理的轮次达到预设轮次时，将对齐融合处理后得到的其中，在所述多轮对齐融合处理中，对所述参考帧特征进考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行下采样的被处理器运行时执行权利要求1至11任一项所述图像融合5法采用经过各种处理后的图像作为算法输入，例如在8比特位(Bit)的红绿蓝色域(Red-各帧降噪效果不一致容易导致最终融合图像上产生噪声水平突变现象，严重影响融合效6法还包括：确定多帧针对同一场景采集的曝光时间不同且标注相同噪声标签的原始图像；进行预设倍数的下采样后得到的第一轮的下采样参考帧特征和第一轮的下采样匹配帧特一轮得到的融合特征进行上采样后得到的上采样融合特征以及对所述参考帧特征进行下处理的轮次达到预设轮次时，将对齐融合处理后得到的融合特征作为所述最终融合特征；特征进行下采样的倍数与当前轮中对所述参考帧特征进行下采样的倍数轮得到的融合特征进行上采样后得到的上采样融合特征以及对所述参考帧特征进行下采7Contact，对该轮得到的所述去鬼影后特征和该轮中的所述下采样参考帧特征进行连接处8的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调对同一场景采集的各帧图像存在帧间偏移的情况，因此可能导致图像的人工处理痕迹明9[0044]所述参考帧原始图像和匹配帧原始图像分别作为本发明实施例中最初输入的图局部运动是由于图像拍摄或采集过程中采集对象的轻微变化(例如人的表情变化、车辆的法还包括：确定多帧针对同一场景采集的曝光时间不同且标注相同噪声标签的原始图像；[0050]在本发明实施例中，相比于现有的很多HDR算法采用经过各种非线性处理后的图经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前分别进行预设倍数的下采样后得到的第一轮的下采样参考帧特征和第一轮的下采样匹配上采样后得到的上采样融合特征以及对所述参考帧特征进行下采样后得到的下采样参考的不同特征，从而完成不同的任务。通常来说粒度更小/更密集的采样可以看到更多的细轮中对所述参考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行下采样的倍数等于前一轮中对所述参考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行实施例采用多尺度方法，首先对输入的参考帧特征和匹配帧的特征分别经过下采样之后，轮得到的融合特征进行上采样后得到的上采样融合特征以及对所述参考帧特征进行下采量是指该轮中的所述上采样融合特征和所述下采样参考帧参考帧特征进行下采样的倍数相比前一轮中对所述参考帧特征进行下采样的倍数都减小1参考帧特征进行下采样的倍数相比前一轮中对所述参考帧特征进行下采样的倍数减小不[0084]其中，所述可变形卷积神经网络算法(DeformableConvolutionNeural以零为中心的，这会导致权值更新时只能朝一个方向更新，从而影响收敛速度。Tanh是Contact，对该轮得到的所述去鬼影后特征和该轮中的所述下采样参考帧特征进行连接处[0093]在具体实施中，有关步骤S21至步骤S23的更多详细内容请参照前文以及图1中的像，所述短时间曝光的原始图像和所述长时间曝光的原始图像作为所述匹配帧原始图像；帧图像是针对同一场景采集的具有不同曝光时间和相同噪声标签的图像；设置损失函数，并采用所述训练样本集对所述图像融合模型进行训练，直至所述损失函数收敛时停止训卷积神经网络对所述参考帧特征与所述对齐后特征进行卷积，得到卷积结构；然后采用contact连接得到连接后特征，再由所述残差块对所述连接后特征进行融合，输出融合特[0115]需要指出的是，图5示出的所述采用多尺度方法的图像融合模型仅作为本发明的比前一轮中对所述参考帧特征进行下采样的倍数可以减小固定值(如图5中示出的逐轮减数等于前一轮中对所述参考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行[0117]在步骤S61中，确定多帧针对同一场景采集的曝光时间不同且标注相同噪声标签分别进行预设倍数的下采样后得到的第一轮的下采样参考帧特征和第一轮的下采样匹配上采样后得到的上采样融合特征以及对所述参考帧特征进行下采样后得到的下采样参考述参考帧特征进行下采样的倍数与当前轮中对所述参考帧特征进行下采样的倍[0130]特征提取模块71，用于对参考帧原始图像和匹配帧原始processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，简称DSP)、专用集成电路(applicationspecific处理器可以是微处理器或者该处理器也可以是任何常规的处可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-只读存储器(erasablePROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess存取存储器(randomaccessmemory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronou