CN114511449B 图像增强方法、装置及计算机可读存储介质 （株式会社理光）

利用多组训练数据对所述图像增强模型进行训成式对抗网络进行训练；以第二图像为目标图2构建包括第一级生成式对抗网络和第二级生成式表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频4.根据权利要求1至3任一项所述的图像增强方法，其对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与η33所述第二图像的色相差低于所述第一图像的训练模块，用于构建包括第一级生成式对抗网络和第一生成网络，用于基于所述第一图像的低频特征进行所述训练模块，还用于以所述第二图像作为目标图像，利用所述第融合模块，用于对所述第一图像和增强低频图像相同位置的所述训练模块，还用于以所述第二图像作为目标图像，利用所述4构建包括第一级生成式对抗网络和第二级生成式5[0003]为了解决以上问题，现有技术提出了对图像进行增强和超分辨率(Super-[0004]本发明要解决的技术问题是提供一种图像增强方法、装置及计算机可读存储介6[0015]其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函[0019]可选的，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2=η[0020]其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损η378[0063]所述训练数据中，同一组训练数据中的第一图像和第二图像所拍摄的内容相[0065]步骤102，构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强到训练好的图像增强模型。具体的，所述训练结束条件可以是达到纳什均衡(Nash9可以直接降低或去除噪声的影响，由于噪声是产生伪影的主要因素(因为高频通常用精细生成增强的低质量图像(增强低频图像)，第一级判决网络判断所述低质量图像(增强低频卷积层的输出图也可以根据其空间频率分解和分组。OctConv使用一个系数α,将特征图显[0081]关于OctConv的更为具体的结构，可以参考相关论文(DropanOctave:ReducingSpatialRedundancyinConvolutionalNeuralNetworkswithOctaveConvolution，[0084]其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失 [0085]LG1表示针对所述增强低频图像与第二图像的对抗损失函数，即保真度的对抗性[0086]Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数，可以使得增强η1＝1e-2等。生成式对抗网络的结果(即增强低频图像)相融合的融合图像(也可以是从融合图像中提取[0094]Loss_G_2=η2Lcobi-表示针对所述增强图像与第二图像的对抗损失函数。Lcolor2表示针对所述增强图像与第η3[0096]Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下发明实施例可以借鉴CoBi-loss函数的实现。例如，CoBi-Loss函数是对上下文损失[0098]不同于Cobi-loss函数更加关注VGG特性，本发明实施例利用RGB和空间信息直接可以使用增强图像的高频特征和第二图像的高频特征上2x2图像块的相似性来替换。上述损失函数只集中在生成图像的高频部分，因此可以直接减少伪影的产生(特别是极限像通过融合所述第一图像和增强低频图像得[0112]其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函[0119]Loss_G_2=η2Lcobi-[0120]其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损η3[0134]进一步地，如图5所示，该图像增强装置500还可以包括网络接口501、输入设备理器可以包括中央处理器(CPU,CentralProcessingUnit)和/或图形处理器(GPU，描述的装置和方法的存储器504旨在包括但不限于这些和任意其它适合[0143]本发明上述实施例揭示的图像增强方法可以应用于处理器502中，或者由处理器图像增强方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列[0151]其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函[0153]对所述第一图像和增强低频图像相同位置的像素进行相加，并基于所述融合图[0155]具体地，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2=η[0156]其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图