CN114419178B 一种基于深度学习的壁画对应线稿生成方法及设备 （北京联合大学）

号一种基于深度学习的壁画对应线稿生成方本发明提供了一种基于深度学习的壁画对实线稿图像IRX按照RGB通道依次分别作为壁画风格转化。本方案采用循环生成对抗网络的方换较逼真风格图像的同时保持原本的纹理结构2;步骤2、将真实壁画图像IXS、真实线稿图像IU按照RGB通道依次分别作为壁画生成真实壁画图像IXS作为壁画生成器的输入，输出生成壁画图像Ins；真实线稿图像IXS和生成壁画图像Ins作为壁画判别器的输入，输出IXS和Ins为真实图像的概率；IU和生成线稿图像作为线稿判别器的输入，输出lu和Im为真实图像的概率；34在着较大困难。传统人工修复墓室壁画的方法是依靠科研工作者丰富的经验和绘画技术，画临摹出相对应的线稿。通过对线稿的补全上色等操作能更快更好的辅助数字壁画的修[0003]在以往的许多研究中需要用到配对的图像5[0015]IRB和生成壁画图像IFB作为壁画判别器的输入，输出IRB和IFB为真实图像的概率；[0027]优选的，所述壁画判别器和/或所述线稿判别器由一个或多个判别链接组串接构6[0036]IRB和生成壁画图像IFB作为壁画判别器的输入，输出IRB和IFB为真实图像的概率；同时通过对抗损失函数和内容损失函数控制网络能够在转换较逼真风格图像的同时保持原本的纹理结构信息。我们采用PSNR/SSIM衡量经过两次风格转化后的图像与原图像的相建图像的精度(PSNR/SSIM)和风格转化后的观感(NIQE)上与其他现有的技术(PIXTOPIX、7公主墓壁画、懿德太子墓壁画扫描的数字图像，此外，将图像分割裁剪至512×512作为[0049]其中真实的壁画图像IRB作为壁画生成器的输入，真实的线稿图像IRX作为线稿生[0050]生成器通过构造密集链接残差块防止训练深层网络的不稳定性，引入了残差尺深度提取特征，将深度特征扁平化处理后通过sigmoid函数输出IRB和IFB为真实图像的概[0052]本实施例中基于生成对抗网络的壁画生成对应线稿的方法的生成器和判别器具[0053]将真实的壁画IRB/线稿IRX图像按照RGB通道作为线稿GA/壁画GB生成器的输入。在[0054]在一个优选的实施方式中，生成器具体可由3×3的卷积块(即图2中Conv层)和8接的方式组成，多个密集链接残差块提取的特征利用残差的方式和主干上的特征相加(例如图2中为5个密集链接残差块)，在多次(例如图2中为3次操作)这样的操作后输出3通道个判别链接组串接构成的结构。该判别链接组由一个3×3卷积块、批归一化层和leaky层和leakyRELU激活函数组成的串联结构深度提取特征，将深度特征扁平化处理后通过线稿图像尽可能被线稿判别器判断为真实图像。同时要求生成的壁画/线稿作为输入再由线稿/壁画生成器得到的线稿/壁画与原始输入的IRX/IR衡量真实的图像分布和生成的线稿/壁画图像再作为壁画/线稿生成器的输入，其生成的壁画/线稿图像应与最初输入9数控制风格在循环转化的过程中减少信息的丢[0076]本发明提出的方法在图像重建质量(PSNR/SSIM)和观感(NIQE)上均取得了明显的[0083]IRB和生成壁画图像IFB作为壁画判别器的输入，输出IRB和IFB为真实图像的概率；的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。[0086]在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAcces