CN114782265B 基于对抗多尺度与残差多通道空间注意力的图像修复方法 （南京信息工程大学）

基于对抗多尺度与残差多通道空间注意力本发明公开了一种基于对抗多尺度与残差始破损图像进行卷积操作获得特征图对其通道多通道空间融合注意力生成器重构输出完整粗意力编码器和多尺度解码器对输入粗略修复图别将不同尺度的精细修复图像输入多尺度鉴别发明使得缺失区域与已知区域更加平滑进而获22.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，3.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，步骤B1，在编解码器结构的基础上联合残差块和空步骤B2，确保残差多通道空间融合注意力生成器中的编码器是在U-Net解码器的基础步骤B4，由卷积层通道特征图经过自适应平均池化层和网络的输入图像特征图的每个通道分别乘以对应步骤B5，将新缺失图像特征图输入空间注意力机制4.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，3步骤C4，空间注意力机制通过计算缺失区域内外补丁间步骤C6，编码器输出不同通道修复特征图逐层进5.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，步骤D2，将真实图像根据不同尺度的修复图像Iinpainted2(n)调整为与修复图像步骤D3，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入到全局鉴别器网步骤D4，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig中已知区域内的像素都置6.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，步骤E2，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入多尺度鉴别器中步骤E3，将只保留了修复区域的不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别步骤E4，计算残差多尺度空间注意力生成器损失LG2，其中损7.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，行通道切割输出四个同等通道大小的新缺失图像步骤F3，将经过填充的四个通道新修复图像特征图进行c4特征图，并输入到残差多通道空间融合注意力网络的解码器中，输出粗略的修复图像步骤F5，将X6与X5同时输入注意力机制中获得特征图X7，X7步骤F6，将X7与X6进行特征连接获得UPX1，X8与UPX采样卷积得到的特征图进行特征连接获得UPX4，X11与UPX4上采样卷积得到的特征图进行5[0001]本发明涉及图像修复方法，尤其涉及一种多通道融合注意力机制的图像修复方[0005]步骤A，将真实图像Iorig和掩膜图像Imask进行连接，生成待修复图像Iinput作为输[0008]步骤D，将不同尺度的修复图像Iinpainted2(n)和不同尺度的修复图像缺失区域输入6[0017]步骤B2，确保残差多通道空间融合注意力生成器中的编码器是在U-Net解码器的基础上逐层加入残差模块和通道空间融合注意力机制，多尺度解码器为U-Net的解码器结机制网络的输入图像特征图的每个通道分别乘以对应通道的[0031]步骤D2，将真实图像根据不同尺度的修复图像Iinpainted2(n)调整为与修复图像[0032]步骤D3，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入[0033]步骤D4，将不同尺度的修复图像Iinpainted2(n)和真实图像I7[0037]步骤E2，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入[0038]步骤E3，将只保留了修复区域的不同尺度的修复图像Iinpainted2(n行特征连接获得UPX2，X9与UPX2上采样卷积得到的特征图进行特征连接获得UPX3，X10与UPX3上采样卷积得到的特征图进行特征连接获得UPX4，X11与UPX4上采样卷积得到的特征与多尺度的引入使得模型能够获得图像不同尺度的特征，能够获得更加精细化的修复图8[0061]如图1所示为本发明的图像修复方法总流程图。本发明采用由粗到精的两阶段图结合残差多尺度空间注意力编码器和多尺度解码器对输入粗略修复图像重构获得不同尺[0062]步骤(A)，将真实图像Iorig和掩膜图像Imask进行连接生成待修复图像Iinput作为输[0065]步骤(D)，将不同尺度的修复图像Iinpainted2(n)和不同尺度的修复图像缺失区域输9和DTD纹理数据集四个基准数据集；同时使用的不规则掩膜数据集来自Nvidia团队提出的实图像Iorig)与掩码数据集图像Imask进行逐元素相乘，得到包含缺失区域的待修复图像的基础上逐层加入了残差模块和通道空间融合注意力机制，多尺度解码器则为U-Net的解平均池化层(AdaptiveAveragePooling)和自适应最大池化层(AdaptiveMaximumPooling)进行特征压缩输出大小为1×1×C的特征向量；经过两层卷积层以及ReLU激活函道权重；通道注意力机制网络的输入图像特征图的每个通道分别乘以对应通道的权重值，[0086]对于步骤(D)，将不同尺度的修复图像Iinpainted2(n)和不同尺度的修复图像缺失区[0089]步骤(D3)，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分[0090]步骤(D4)，将不同尺度的修复图像Iinpainted2(n)和真实图像Io[0094]步骤(E2)，将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分[0095]步骤(E3)，将只保留了修复区域的不同尺度的修复图像Iinpainted2(n)和真实图像不同尺度的修复图像Iinpainted2(n)和真实图像Iorig、只保留了修复区域的不同尺度的修复图像Iinpainted2(n)和真实图像Io[0102]步骤(F4)，输入粗略的修复图像Iinpainted1到残差多尺度空间注意力编码器结构，UPX3上采样卷积得到的特征图进行特征连接获得UPX4，X11与UPX4上采样卷积得到的特征不同尺度的修复图像；其中UPX6作为最终输出图像大小为256×256×3，即最终的修复图[0107](1)本发明使用的多通道空间注意力可以在不同通道上修复图像的纹理细节并更[0108](2)本发明使用的对抗多尺度思想可以在不同尺度上修复图像的全局和局部语义[0109](3)