CN115018727B 一种多尺度图像修复方法、存储介质及终端 （中国地质大学（武汉））

与对应的二值缺损掩膜，构建待修复图像数据在生成器的不同尺度上嵌入极化自注意力机制过在跳跃连接上添加多尺度特征融合方法进一2的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试步骤S200：构建多尺度极化自注意力生成对抗网络，所述生成对抗所述极化自注意力机制模块包含通道自注意力分支和空所述空间自注意力分支的具体实现包括：将输入的特征图输入到空间自注意力分支将通道自注意力分支和空间自注意力分支的结果进行融合，得到步骤S400：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行所述损失函数包括对抗损失函数Laav、感知损失函数Lperceprual、风格损失函数3;示提取到第i层特征图的高度、宽度和通道数目，表示计算L1范数，、xp表示图像中数，、分别代表真实图像和修复图像孔洞区域的像素值，、 分别代表真实图像和修复图像有效区域的像素值，{,az...,ac}表示各个损失在总损失函数中所占的权重；4步骤S101：从图像修复数据集和Mask掩膜数据集中构建用于图像修复的缺失像素图像所述卷积层分支通过对输入的特征图进行卷积、归一化和激活函数激所述反卷积层分支通过对输入的特征图进行两层反卷积将这两条分支的相同大小的特征图进行拼接融合，得到空间和语修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模具体所述生成器G从待修复图像中提取原始图像整体特征，并尽可能地生成与真实图像相所述判别器D判断输入的图像数据是真实图像还是来自所述生成器G生成的修复后图5[0004]除此之外，随着生成网络(包括生成对抗网络和变分自编码器VAE)被用于图像修使用了跳跃连接和压缩维度操作，无法充分利用到原始图像丰富的语义信息和空间信息，[0010]步骤S400：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的评价指标来评价模型的修复性[0011]进一步的，在步骤S100中，所述获取原始真实图像与对应的二值缺损掩膜具体包[0012]步骤S101：从图像修复数据集和Mask掩膜数据集中构建用于图像修复的缺失像素6[0017]所述反卷积层分支通过对输入的特征图进行两层反卷积、归一化和激活函数激练过程中通过对多个损失函数之和进行优化，得到多尺度极化自注意力生成对抗修复模[0021]将待修复图像和对应的掩膜图像同时输入到所述生成器G中，同时提取它们的特[0022]所述生成器G从待修复图像中提取原始图像整体特征，并尽可能地生成与真实图[0023]所述判别器D判断输入的图像数据是真实图像还是来自所述生成器G生成的修复7度和通道数，分别代表真实图像和修复图像孔洞区域的像素值，表示各个损失在总损失函数中所占的权重。8xy表示x和y的协方差，c1和c2是两个不为零的常ole即为训练时的验证损失和孔洞损失。[0066]图1为本发明实施例中于极化自注意力机制的多尺度图像修复方法的程序流程9ParisStreetView中训练数据集和测试数据集中的图像尺寸大小上测试数据集中重新调整大小后的图像上生成测试图像,使用该测试图像，可测试其模型256*256，对于原图和掩膜图像，首先应当进行尺寸调整，通过适当裁剪使图像尺寸变为[0085]步骤S400：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的峰值信噪比PSNR、结构相似性[0091]解码器由8个解码特征映射模块、2个像素级注意力模块和2个多尺度特征融合模[0094]生成器G的作用是从缺失了像素点的待修复图像中提取原始图像的整体特征，并[0095]判别器D的作用是判断输入的图像数据是真实图像还是来自生成器生成的修复后通过跳跃连接和多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给解码器D[0107](2)将大小3×3的背景补丁块整合为3×3的卷积核，并对前景区域进行相应的卷力在空间维度和通道维度都没有进行很大程度的压缩(在空间维度上保持原大小，在通道分别代表真实图像和修复图像有效区域的像素值，行所述计算机指令时执行所述的多尺度图像修复方