CN120219245A 基于先验特征和线性扫描的图像恢复方法、系统、装置

(19)国家知识产权局(71)申请人烟台大学地址264005山东省烟台市莱山区清泉路30号迟浩坤曹贞波张同吴昊(74)专利代理机构济南众德知识产权代理事务所(普通合伙)37455(54)发明名称基于先验特征和线性扫描的图像恢复方法、本发明属于图像的复原技术领域，具体涉及基于先验特征和线性扫描的图像恢复方法、系将先验特征经线性处理注入到待恢复图像，用于特征提取；将先验特征经线性处理注入到第一特征图，用于线性扫描；将先验特征经线性处理注入到第二扫描特征图，用于生成高质量图像。另外，在线性扫描过程中，采取六种扫描方式进行全方位扫描，增强对易缺失区域(如边缘、纹理)21.一种基于先验特征和线性扫描的图像恢复方法，其特征在于，包括：S1:获取待恢复图像，将待恢复图像压缩到潜在特征空间，得到条件向量；从标准高斯分布中随机采样得到的初始噪声利用条件向量，进行迭代去噪，生成预测的先验特征；S2:预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图后，经池化操去掉第一张量的宽度维度后，将通道维度和高度维度交换，得到第二张量，经卷积操作后，将通道维度和高度维度交换，得到第一分支特征图；第一张量经全连接处理，得到第二分支特征图后，与第一分支特征图融合，得到第一特征图；S3:预测的先验特征经线性处理注入到第一特征图，得到待扫描特征图；进行深层卷积处理后的待扫描特征图，在纵向和横向上执行左上-右下、左下-右上的双向扫描后，经Mamba处理，得到第一扫描特征图；第一扫描特征图与深层卷积处理后的待扫描特征图相乘S4:预测的先验特征经线性处理注入到第二扫描特征图后，通过点卷积和深度可分离2.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述S2,预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图，为由公式：式中，F'为待恢复特征图，F为待恢复图像，Z为预测的先验特征，◎表示元素级乘法，示线性处理。3.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述4.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述式中，F₂为第二扫描特征图，O₁为在纵向和横向上执行左上-右下、左下-右上的双向扫描后的特征图，02为待扫描特征图经1×1卷积处理后得到的特征图，Wc表示1×1的卷积操5.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述S4,通过点卷积和深度可分离卷积进行聚合，生成恢复图像，为由公式：式中，0为恢复图像，F₂'为预测的先验特征经线性处理注入到第二扫描特征图后的特征为激活函数。36.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述S4通过点卷积和深度可分离卷积进行聚合后，还包括：通过点卷积和深度可分离卷积进行聚合后的特征图，作为待恢复图像，执行S2,直至达到预设条件。7.根据权利要求1所述的基于先验特征和线性扫描的图像恢复方法，其特征在于，所述S1,将待恢复图像压缩到潜在特征空间，得到条件向量，为待恢复图像通过全局平均池化将特征压缩成固定大小的全局向量后，经两个带有ReLU激活函数的全连接处理，得到条件向8.一种基于先验特征和线性扫描的图像恢复系统，其特征在于，包括：先验特征生成模块：用于获取待恢复图像，将待恢复图像压缩到潜在特征空间，得到条件向量；从标准高斯分布中随机采样得到的初始噪声利用条件向量，进行迭代去噪，生成预测的先验特征；特征融合模块：预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图后，经池化操作，得到第一张量；去掉第一张量的宽度维度后，将通道维度和高度维度交换，得到第二张量，经卷积操作后，将通道维度和高度维度交换，得到第一分支特征图；第一张量经全连接处理，得到第二分支特征图后，与第一分支特征图融合，得到第一特征图；线性扫描模块：预测的先验特征经线性处理注入到第一特征图，得到待扫描特征图；进行深层卷积处理后的待扫描特征图，在纵向和横向上执行左上-右下、左下-右上的双向扫描后，经Mamba处理，得到第一扫描特征图；第一扫描特征图与深层卷积处理后的待扫描特征图相乘后，进行前后方向扫描，得到第二扫描特征图；恢复模块：预测的先验特征经线性处理注入到第二扫描特征图后，通过点卷积和深度可分离卷积进行聚合，生成恢复图像。9.一种基于先验特征和线性扫描的图像恢复装置，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7中任一项所述的基于先验特征和线性扫描的图像恢复方法。4技术领域[0001]本发明属于图像的复原技术领域，具体涉及基于先验特征和线性扫描的图像恢复背景技术[0002]基于深度学习的方法(如卷积神经网络CNN和Transformer)在图像恢复领域取得了显著进展，能够捕捉图像的深层特征并恢复细节。然而，这些方法在处理长距离依赖、实时性和多任务适应性方面仍存在不足。Mamba将状态空间模型(SSM)与先进的深度学习技术相结合，使用选择性状态表示根据输入数据实现动态调整。尽管Mamba模型在捕捉长距离信息方面表现出色，但在处理二维图像的边缘信息时可能丢失局部结构细节，造成局部语义信息的模糊。发明内容[0003]本发明提供基于先验特征和线性扫描的图像恢复方法、系统、装置。[0004]本发明的技术方案如下：本发明提供了一种基于先验特征和线性扫描的图像恢复方法，包括：S1:获取待恢复图像，将待恢复图像压缩到潜在特征空间，得到条件向量；从标准高斯分布中随机采样得到的初始噪声利用条件向量，进行迭代去噪，生成预测的先验特征；S2:预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图后，经池化去掉第一张量的宽度维度后，将通道维度和高度维度交换，得到第二张量，经卷积操作后，将通道维度和高度维度交换，得到第一分支特征图；第一张量经全连接处理，得到第二分支特征图后，与第一分支特征图融合，得到第一特征图；S3:预测的先验特征经线性处理注入到第一特征图，得到待扫描特征图；进行深层卷积处理后的待扫描特征图，在纵向和横向上执行左上-右下、左下-右上的双向扫描后，经Mamba处理，得到第一扫描特征图；第一扫描特征图与深层卷积处理后的待扫描特征图相乘S4:预测的先验特征经线性处理注入到第二扫描特征图后，通过点卷积和深度可[0005]所述S2,预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图，为由5F₁=F'·σ(W(mix(σ(X₁⊙X₂),o(XT⊙XZ))),实现；F₂=We(Wp(Ws(Mb(Wp(Mb(01)◎式中，F₂为第二扫描特征图，O₁为在纵向和横向上执行左上-右下、左下-右上的双向扫描后的特征图，0₂为待扫描特征图经1×1卷积处理后得到的特征图，Wc表示1×1的卷[0008]所述S4,通过点卷积和深度可分离卷积进行聚合，生成恢复图像，为由公式：式中，为恢复图像，F₂'为预测的先验特征经线性处理注入到第二扫描特征图后GELU为激活函数。[0009]所述S4通过点卷积和深度可分离卷积进行聚合后，还包括：通过点卷积和深度可分离卷积进行聚合后的特征图，作为待恢复图像，执行S2,直至达到预设条件。[0010]所述S1,将待恢复图像压缩到潜在特征空间，得到条件向量，为待恢复图像通过全局平均池化将特征压缩成固定大小的全局向量后，经两个带有ReLU激活函数的全连接处[0011]本发明还提供一种基于先验特征和线性扫描的图像恢复系统，包括：先验特征生成模块：用于获取待恢复图像，将待恢复图像压缩到潜在特征空间，得到条件向量；从标准高斯分布中随机采样得到的初始噪声利用条件向量，进行迭代去噪，生成预测的先验特征；特征融合模块：预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征去掉第一张量的宽度维度后，将通道维度和高度维度交换，得到第二张量，经卷积操作后，将通道维度和高度维度交换，得到第一分支特征图；第一张量经全连接处理，得到第二分支特征图后，与第一分支特征图融合，得到第一特征图；线性扫描模块：预测的先验特征经线性处理注入到第一特征图，得到待扫描特征图；进行深层卷积处理后的待扫描特征图，在纵向和横向上执行左上-右下、左下-右上的双向扫描后，经Mamba处理，得到第一扫描特征图；第一扫描特征图与深层卷积处理后的待扫描特征图相乘后，进行前后方向扫描，得到第二恢复模块：预测的先验特征经线性处理注入到第二扫描特征图后，通过点卷积和6深度可分离卷积进行聚合，生成恢复图像。[0012]本发明还提供一种基于先验特征和线性扫描的图像恢复装置，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现所述的基于先验特征和线性扫描的图像恢复方法。[0013]有益效果本发明利用先验特征来引导图像恢复，包括：将先验特征经线性处理注入到待恢复图像，用于特征提取；将先验特征经线性处理注入到第一特征图，用于线性扫描；将先验特征经线性处理注入到第二扫描特征图，用于生成高质量图像。另外，在线性扫描过程中，采取六种扫描方式进行全方位扫描，增强对易缺失区域(如边缘、纹理)的感知能力，在低复杂度的计算成本下有效获取二维全局信息。附图说明[0014]图1为采取本发明图像恢复方法的处理效果示意图。具体实施方式[0015]以下实施例旨在说明本发明，而不是对本发明的进一步限定。[0016]本发明提供了一种基于先验特征和线性扫描的图像恢复方法，包括：S1:获取待恢复图像，将待恢复图像压缩到潜在特征空间，得到条件向量；从标准高斯分布中随机采样得到的初始噪声利用条件向量，进行迭代去噪，生成预测的先验特征。[0017]优选地，将待恢复图像压缩到潜在特征空间，得到条件向量，为待恢复图像通过全局平均池化将特征压缩成固定大小的全局向量后，经两个带有ReLU激活函数的全连接处[0018]在实际操作中，为了使得预测的先验特征更为精确，在对待恢复图像进行处理前，还利用低质量图像与真实高质量图像生成实际的先验特征，并使用L₁损失函数进行优化，以使得预测的先验特征更加接近实际真实的先验特征。具体如下：首先，低质量图像与真实高质量图像经过Pixel-Unshuffle操作，将空间信息重排到更高的通道维度，将这些重排后的特征进行拼接操作，通过一个3×3卷积层和多个残差块捕获生成深层次的层次化特征。层次化特征经过一系列卷积层逐步增加特征维度，并通过全局平均池化将特征压缩成固定大小的全局向量。通过两个带有ReLU激活函数的全连接[0019]然后，利用扩散模型的正向扩散过程，在T次迭代步骤中逐步向实际的先验特征添加高斯噪声，直到其被转换为纯噪声。[0020]接着，为了生成更真实的先验特征，将低质量图像压缩到潜在特征空间，并得到条件向量，去噪过程中，在条件向量的引导下预测每步噪声，对纯噪声进行T次去噪后，生成预测的先验特征。[0021]最后，为了使得预测的先验特征更加接近实际真实的先验特征，使用L₁损失函数对模型进行优化。[0022]利用优化的扩散模型，待恢复图像进行处理后，便可生成预测的先验特征。7[0023]S2:预测的先验特征经线性处理注入到待恢复图像，得到待恢复特征图后，经池化去掉第一张量的宽度维度后，将通道维度和高度维度交换，得到第二张量，经卷积操作后，将通道维度和高度维度交换，得到第一分支特征图；第一张量经全连接处理，得到第二分支特征图后，与第一分支特征图融合，得到第一特征图。[0024]由于待恢复图像为低质量图像，在进行后续处理前，先通过一个3×3的卷积操作进行初步处理，提取出初始的特征图。由于卷积具有局部感受野，所以这种方式可以提升特征表达能力，并且将低质量图像转化为适合后续处理的特征。[0025]然后，预测的先验特征经线性处理注入到初始的特征图或待恢复图像，得到待恢式中，F′为待恢复特征图，F为待恢复图像，Z为预测的先验特征，◎表示元素级乘数channel,H是特征图的高度height,W是特征图的宽度width。张量。这一步是为了压缩空间信息，提取每个通道的全局特征。一是，去掉第一张量最后一个维度大小为1的维度，得到形状为[B,C,1]的张量，然后交换最后两个维度，即通道维度和高度维度，得到形状为[B,1,C]的张量，记为第二张量。通过一维卷积对第二张量进行卷积操作，得到的张量形状仍为[B,1,C],然后进行维度交换，恢复为[B,C,1],得到第一分支特征图X₁。[0029]一是，第一张量经全连接处理，得到第二分支特征图X₂。经过池化操作后的数据，虽然保留了每个通道的全局特征，但通道之间的信息是相对独立的。全连接处理可以对这些通道特征进行线性组合，使不同通道的特征相互融合，学习到通道之间的相关性和依赖[0030]最后根据生成的权重进行双分支融合，得到得到第一特征图，增强待恢复图像中重要的特征信息，提高对关键特征的感知能力。[0031]优选地，得到第一特征图F₁,为由公式：卷积；◎表示元素级乘法，mix表示对双分支处理的结果做融合操作。[0032]本发明首先通过分支一结合先验特征的引导获取全局信息，通过分支二获取局部信息，最后利用得到的权重实现全局和局部特征信息更好的融合。[0033]S3:预测的先验特征经线性处理注入到第一特征图，得到待扫描特征图；进行深层卷积处理后的待扫描特征图，在纵向和横向上执行左上-右下、左下-右上的双向扫描后，经8Mamba处理，得到第一扫描特征图；第一扫描特征图与深层卷积处理后的待扫描特征图相乘[0034]首先，根据公式：,将预测的先验特征Z经线性处理注入到第一特征图F₁,得到待扫描特征图F1。[0035]然后，待扫描特征图F₁经过1×1卷积处理后，得到的X进行线性扫描处理。线性扫二维图像平面上从左上到右下扫描、从左下到右上扫描以及从前到后扫描特征通道，另外三种为扫描方向相反的方法。具体如下：X进行深层卷积处理后，作为输入流O₁,而[0036]输入流01,在纵向和横向上执行“H、W双向扫描”,以捕获特征的平面二维信息。再[0037]第一扫描特征图与0₂相乘后，执行池化操作，显著降低了计算复杂性，同时保持了[0038]最后再利用1×1卷积进行特征通道信息整合得到与F′₁维度大小相同的F₂。[0039]进一步的，得到第二扫描特征图F₂,为由公式：F₂=We(Wp(Ws(Mb(Wp(Mb(01)◎式中，F₂为第二扫描特征图，O₁为在纵向和横向上执行左上-右下、左下-右上的双向扫描后的特征图，0₂为待扫描特征图经1×1卷积处理后得到的特征图，Wc表示1×1的卷操作。[0040]S3这一流程从对输入图像进行一系列扫描操作，旨在提取多尺度特征。然后，将这些多尺度特征传递到Mamba中，以优化特征提取。在Mamba捕捉长距离信息的基础上，通过这种线性扫描机制可以在低复杂度的计算成本下有效获取二维全局信息。[0041]S4:预测的先验特征经线性处理注入到第二扫描特征图F₂后，通过点卷积和深度[0042]关于预测的先验特征经线性处理注入到第二扫描特征图，类似于S2、S3的注入操[0043]优选地，通过点卷积和深度可分离卷积进行聚合，生成恢复图像，为由公式：式中，为恢复图像，F₂'为预测的先验特征经线性处理注入到第二扫描特征图F₂[0044]在图像恢复阶段，采用1×1卷积来聚合不同通道的信息，并使用3×3深度可分离卷积来聚合空间邻域像素的信息。此外，还引入了门控机制来恢复信息编码，通过参数学习9动态调整信息流的方式，抑制不相干特征信息流的干扰，平衡了局部和全局信息的建模需[004