CN119515731A 基于密集采样和自适应稀疏采样的图像复原系统及方法 （上海交通大学）

基于密集采样和自适应稀疏采样的图像复一种基于密集采样和自适应稀疏采样的图Transformer特征处理模块和图像重构模块，本2得到处理后的图像特征；映射层根据图像特征进行一层3一次3x3卷积处理得到输出后高质量图像IHQ或根据特征处理模块输出的特征F2作为输入，7.根据权利要求1_6中任一所述的系统的基于密集采样和自适应稀疏采样的图像复原第一步、从常用的图像复原测试数据集中选取单张低质量图像输入图像特征提取模意力矩阵attn∈RHDxhw，通过注意力矩阵更新值向量value以获取新的输出特征和稀疏系数第三步：将第二特征F1依次经过多个残差模块组RG处理，处理后的特征经过一个映射层，进行3x3卷积处理得到输出特征，输出特征通过跳跃连接和输入特征F1相加得到结果采样Transformer子模块，第2i个子模块设置为基于可变系数I的稀疏采样Transformer子模块，经过N个Transformer子模块处理后的特征经过一层理，得到的结果进一步经过输出单元，进行一层3x3卷积处理，得到高质量图像：IHQ=2.1)对第一特征F0正则化normalize处理得到中间特征之后经过卷积核大小为1xstride为4，padding为0的卷积神经42.2)计算更新后的第一特征⃞=softmax(祭)xvalue,其中：注意力矩阵attn=queryXkeyTHDXhwproj()为一层线性层神经网络。3.1)将输入特征，经层归一化处理得到中间特征Fs，再对HXD的特征图以密集采样方RWWXCn由多个Ft沿第一维度级联得到；的特征Fa-softmax(⃞)x3.3)将自注意力交互后的特征Fa经一层线性层处理后，通过跳跃连接与中间特征Fs相10.根据权利要求7所述的基于密集采样和自适应稀疏采样的图像复原方法，其特征n由多个_Ft沿第一维度级5[0002]现有基于Transformer架构的图像复原方法，其设计自注意力机制时一般会采用应稀疏采样Transformer子模块(sTB)和映射层，其中：第2i_1个子模块设置为密集采样6输出结果x4通过跳跃连接和输入x3进行相加得到最终结果进行一次3×3卷积处理得到输出后高质量图像IHQ或根据特征处理模块输出的特征F2[0016]如图1所示，为本实施例涉及的一种基于密集采样和自适应稀疏采样的图像复原70.5的激活值设为1，统计1的数量得到激活率和稀[0025]所述的注意力矩阵attn∈RHD×hw内部包含的信息表征图像像素之间的关联性程限gate操作过滤掉小于0.5的激活值，因此保留下来的图像像素信息则为表征能力较强的[0027]2.4)根据中间特征和更新后的第一特征计算得到第二特征结果F2Transformer子模块，经过N个Transformer子模块处理后的特征经过一层3×3卷积神经网8特征图某个窗口范围的密集区域，得到的更新的中间特征每组token特征即Fn由多个Ft沿第一维度级联得到。交互后的特征max()x征通过跳跃连接与FFN的输入特征相加得到最终的输出每组token特征为其中，m＝I×n由多个_Ft沿第一维度级联得到。max(⃞x[0037]3.c)将自注意力交互后的特征_Fa经一层线性层处理后，通过跳跃连接与归一化征通过跳跃连接与FFN的输入特征相加得到最终的输出F*＝Conv3×3(F2)；新的输出F*经过上采样单元(Upsample)，进行一层3×3卷积处理和andvideosuper_resolutionusinganefficientsub_pixelconvolutionalneuralnetwork》(ProceedingsoftheIEEEconferenceoncomputervisionandpattern9recognition.2016)中记载的sub_pixe关代码都是由Python语言编写，其版本为3.8.11，搭建神经网络时使用的机器学习库由练数据训练500000步，训练使用L1loss，优化器使用Adam，初始学习率2e_4，随后训练[0046]上述具体实施可由本领域技术人员在不背离本发明原理