CN111696028B 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 （华南理工大学）

本申请涉及一种基于人工智能的真实场景映射在卡通域上的抽象卡通图像；抽象卡通图2通过已训练的深度神经网络中的第一阶段抽象网络中的第一生成通过所述已训练的深度神经网络中的第二阶段线条描绘网络中的根据所述视频帧序列中每张真实场景图像卡通化后的卡通图像，生成卡通化视频文或，当所述视频文件被播放时，实时获取与所述视实时根据所述视频帧序列中真实场景图像卡通化后的4.根据权利要求1至3中任一项所述的方法，其特征将所述真实场景图像输入所述已训练的深度神经网络中，以在第一基于提取的语义信息，对所述真实场景图像进行图像重构处理，得将所述样本数据集输入待训练的深度神经网络中进行迭代训构重建损失值和双边滤波平滑损失值，并根据所述结构重建损失值和双边滤波平滑损失其中，所述结构重建损失值，用于表示所述第一生成器根据所3所述双边滤波平滑损失值，用于根据像素值相似性和空间位置相似性，6.根据权利要求5所述的方法，其特征在于，所述对所述抽象卡通图像进行风格化处在所述第一阶段中，通过所述第一生成器对所述抽象卡通图像7.根据权利要求6所述的方法，其特征在于，所述第一阶段抽象网络还包括第一判别所述在每轮迭代中确定结构重建损失值和双边滤波平滑损失值，并根其中，所述风格增强损失值，是由所述第一判别器根据所获取原始卡通图像的第三集合；所述第三集合中的原始卡通图像具有同一种艺术风根据提取的所述轮廓边缘线条和所述原始卡通图像，生成抽象卡通样在第二阶段中，将在所述第一阶段生成的风格卡通图像，输入至4所述边缘线条分配损失值，用于表示以所述抽象卡通样本图作为所述入时所生成的具有线条的图像，与所述抽象卡通样本图所对应的原始卡通图像之间的差所述边缘线条增强损失值，是将所述第二生成器以所述第一生成器所获取真实场景样本图的第一集合、抽象卡通样本图的第二集合将所述第一集合输入待训练的抽象网络中进行结构重建迭代训练将所述第一集合和所述第二集合输入至所述初始化抽象网络、以及将根据所述综合损失值，调整所述初始化抽象网络的所述第一生抽象处理模块，用于通过已训练的深度神经网络中的第5线条生成模块，用于通过所述已训练的深度神经网络中的输出模块，用于当所述视频帧序列为视频文件中的图像帧序列时，16.根据权利要求13至15中任一项所述的真实场景图像卡通化的处理装置，其特征在场景样本图的第一集合；将所述样本数据集输入待训练的深度神经网络中进行迭代训练，所述结构重建损失值，用于表示所述第一生成器根据所述真实场景样本图生成的卡通图6风格卡通图像进行轮廓边缘线条生成处理，得到所述真实场景图像卡通化后的卡通图像；所述第二集合和所述第三集合输入至待训练的第二阶段线条描绘网络进行网络层叠迭代7理器执行时实现权利要求1至12中任一项所述的方法89[0017]在一个实施例中，输出模块还用于当视频帧序列为实时视频流中的图像帧序列重建损失值和双边滤波平滑损失值，并根据所述结构重建损失值和双边滤波平滑损失值，[0051]本申请提供的真实场景图像卡通化的处理方法，可以应用于如图1所示的应用环[0052]终端102可以获取用户输入或者自身采集的真实场景图像，将真实场景图像发送至服务器104中，由服务器104执行本申请各实施例中的真实场景图像卡通化的处理方法。服务器104可以将生成的卡通图像输出至终端102[0053]可以理解，终端102自身也可以具备执行本申请各实施例中的真实场景图像卡通输出展示。这里并不限定执行本申请各实施例中的方法的执行主体，即终端102和服务器[0055]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0058]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”图像风格化为与宫崎骏大师的创作风格相似[0089]在一个实施例中，当步骤204中的深度神经网络中包括至少两个阶段的神经网络得到真实场景图像映射在卡通域上的抽象卡通图像，将图像重构和抽象平滑处理相结合，视频帧序列中的每张真实场景图像皆执行本申请各实施例中的方法，将其转换为卡通图文件触发卡通播放模式后，实时展示与视频帧序列中各真实场景图像卡通化后的卡通图[0111]当深度神经网络为单独的神经网络时，计算机设备则可其中定义为表示空间域的权重系数函数；R(l,)定为第一判别器的输出结果；D(A)为将第Y个抽象卡通样本图A卡通样本图也具有与第三集合中的原始卡通图像二集合进行训练，则训练完毕的第一生成器则可以将真实场景图像转换成A风格的卡通图GT表示抽象卡通样本图Ay所对应的原始卡通图像。损失函数，是为了让第二生成器生成的图像的线条的强度接近于原始卡通图像的线条强一生成器生成的图像和第二阶段的第二生成器生成的图像。DL(L(G(I)))表示将第二生成[0196]为了便于理解两阶段神经网络，现结合图3对两阶段神经网络的网络结构进行示[0197]参照图3，第一阶段抽象网络中的第一生成器G是具有编码器E块(FlatConv)F1e平移块F1e可并重新整合特征以学习更多的全局表示。在解码器D1之后可以设置一个平坦的转换块F1d，以将解码器D1输出的特征转换为三通道输出。通过反射填充Reflectionping减少周围图每个卷积块的归一化层之后，使用LeakyReLU(带泄露修正线性单元函数)作为激活函数。器中的残差块的数量(比如，第一生成器使用9个残差块，则第二生成器可以使用6个残差[0204]第一判别器可以从第二集合A中随机选择预设数量的抽象卡通样本图作为参考，来判别第一生成器G输出卡通图像G(I)属于抽象卡通样本图的风格的概率(即第一概率)，yy生成器生成的卡通图像L(G(I))输入至第二判别器，第二判别器可以以原始卡通图像CGT作为参考，输出一个用于表征卡通图像L(G(I))与原始卡通图像CGT之间的线条强度差异的概平滑处理的第一阶段抽象网络和能够生成线条得到能够实现图像重构和抽象平滑处理的第一阶段抽象网络和能够生成线条的第二阶段而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交通样本图或原始卡通图像)所训练得到的深度学习网络，可以用来生成不同风格的卡通图408这种C艺术家的风格的卡通图像的深度学习网络，在训练中则是将C艺术家的风格的抽[0225]图6为一个实施例中本案与参照组的比对实验效果图。图6中的(a)即为输入的真实场景图像，(b)为CycleGAN(CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网算机视觉与模式识别会议)2018中的基于一个GAN模型将真实照片转换为卡通图像的神经[0227]图7为采用本申请的方案实现不同风格的卡通图像的对比图。从左到右依次为输[0235]在一个实施例中，输出模块808还用于当视频帧序列为实时视频流中的图像帧序[0236]在一个实施例中，抽象处理模块804还用于将真实场景图像输入已训练的深度神构重建损失值和双边滤波平滑损失值，并根据所述结构重建损失值和双边滤波平滑损失[0240]在一个实施例中，抽象处理模块804还用于通过第一生成器对抽象卡通图像进行别器的参数、以及调整待训练的第二阶段线条描绘网络的第二生成器和第二判别器的参[0248]关于真实场景图像卡通化的处理装置的具体限定可以参见上文中对于真实场景或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过包括非易失性和易失性存储器中的