CN119444578B 基于混合专家和稳定扩散的图像超分辨率重建方法及系统 （哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)）

基于混合专家和稳定扩散的图像超分辨率专家和稳定扩散的图像超分辨率重建方法及系建方法包括得到多尺度控制条件及空间控制条的输入中减去当前时间步的去噪主干网络预测重建结果，提高了真实清晰的超分辨率重建效2将所述低分辨率图像通过训练好的变分自编码器进行编码，再与在每个采样时间步中，将加噪特征隐层空间表示作为训练好的去噪主干网络的输入，经过多个采样时间步，不断从去噪主干网络的当前采样步的去噪主干网络预测的噪声，然后将去噪结果作为下一个时间步去噪主干网络的输入，2.如权利要求1所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在3.如权利要求1所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在将训练样本中的低分辨率图像作为退化感知条件图像编退化感知条件图像编码器的每个基础模块通过自适应调制的方式将低分辨率图像的退化感知条件图像编码器输出的隐层表示经过由基础模块构成的解4.如权利要求3所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在第(i,j)位置像素的第k个通道值。5.如权利要求1所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在3;或z=E；6.如权利要求1所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在对训练样本中的低分辨率图像提取退化嵌入结合训练样本中的低分辨率图像及其退化嵌入，采用训将特征嵌入通过混合专家图像反演适配器，从图像提将训练样本中的低分辨率图像所对应的高分辨率真实图像通过变分自编码器进行编将加噪特征隐层空间表示作为去噪主干网络的输入，多尺度基于采样的原始噪声和预测噪声的计算损失来优化混合专家条件控制网络和混合专7.如权利要求1所述的基于混合专家和稳定扩散的图像超分辨率重建方法，其特征在利用真实图像的隐层特征作为图像质量驱动冻结变分自编码器及其对应的解码器的参数，基于解码图像和真实图像分别计算的重复上述冻结判别模型参数及冻结变分自编码器及其对应的解码器的控制条件生成模块，其用于利用退化嵌入及训练好的退化4特征加噪模块，其用于将所述低分辨率图像通过训练好噪声预测模块，其用于在每个采样时间步中，将加噪隐层空间表达模块，其用于经过多个采样时间步，超分辨率图像重建模块，其用于利用训练好的图像质量驱动的退化感行时实现如权利要求1_7中任一项所述的基于混合专家和稳定扩散的图像超分辨率重建方混合专家和稳定扩散的图像超分辨率重建方法中5[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技型通常假设一个已知的退化算子，并仅使用像素级损失进行优化，因而难以准确模拟真实世界的图像退化过程且重建结果过于平滑。随着生成对抗网络（GenerativeAdversarialNetwork,GAN）在图像生成领域的广泛应用，其在提升超分辨率图像清晰度和真实感方面模型通过在海量数据集上的预训练，积累了丰富的先验知识，为超分辨率任务提供了一种（Controlnet将低分辨率图像作为条件控制，引导扩散模型逐步从噪声生成高分辨率图图像重建的影响，同时提示条件主要依赖文本输入，忽略了图像本身所蕴含的丰富提示信息。6[0007]本发明的第一个方面提供了一种基于混合专家和稳定扩散的图像超分辨率重建[0010]利用退化嵌入及训练好的退化感知条件图像编码器对所述低分辨率图像进行编[0018]退化感知条件图像编码器的每个基础模块通过自适应调制的方式将低分辨率图[0019]退化感知条件图像编码器输出的隐层表示经过由基础模块构成的解码器进行解的第(i,j)位置像素的第k个通道值。7[0031]将特征嵌入通过混合专家图像反演适配器，从图像提示空间映射到文本提示空[0032]将训练样本中的低分辨率图像所对应的高分辨率真实图像通过变分自编码器进控制条件与去噪主干网络的中间特征进行交叉注意力计算，获得去噪主干网络预测的噪[0034]基于采样的原始噪声和预测噪声的计算损失来优化混合专家条件控制网络和混[0041]重复上述冻结判别模型参数及冻结变分自编码器及其对[0042]本发明的第二个方面提供了一种基于混合专家和稳定扩散的图像超分辨率重建[0043]在一个或多个实施例中，一种基于混合专家和稳定扩散的图像超分辨率重建系8利用训练好的混合专家图像反演适配器将特征嵌入从图像提示空间映射到文本提示空间，[0046]特征加噪模块，其用于将所述低分辨率图像通过训练好的变分自编码器进行编[0049]超分辨率图像重建模块，其用于利用训练好的图像质量如上述所述的基于混合专家和稳定扩散的图像超分[0055]本发明适用于普通图像超分辨率重建，从混合专家模型量驱动的退化感知解码器将重建隐层表征解码到像素空间，进一步提高了重建结果的质[0057]图1是本发明实施例的基于混合专家和稳定扩散的图像超分辨率重建过程示意9[0063]图7是本发明实施例的基于混合专家和稳定扩散的图像超分辨率重建方法流程[0064]图8是本发明实施例的基于混合专家和稳定扩散的图像超分辨率重建系统结构示[0071]通过预训练的退化和特征嵌入提取模型Mna-cup对lun提取退化嵌入embaeg和特征嵌入embimg；其过程如公式为：embaegembimg=Mna-cup(luq)。。。[0079]步骤B：退化感知条件图像编码器的每个基础模块通过自适应调制的方式将低分用预训练的退化和特征嵌入提取模型MDa-cup提取对应的退化嵌入embaeg；然后经过连续4个残差块进行特征提取和降采样，最终得块包含2个2D退化感知残差块。图3中的（a）为2D退化感知残差块，其主要包括组归一化[0087]退化感知条件图像编码器MEncoder过自适应调制的方式来融合图像的退化嵌入[0088]步骤C：退化感知条件图像编码器输出的隐层表示经过由基础模块构成的解码器进行解码，根据解码图像和低分辨率图像所对应的真实图像计算损失作为训练目标函数，[0089]解码器端主要采用去除了退化嵌入的2D残差块来进行特征映射和上采样，图3中的第(i,j)位置像素的第k个通道值。。分别代表softmax函数，softplus函数，N(0,1)代表标准正态分布噪声，LayerNorm代表为。[0117]实施例的混合专家条件控制网络Mcontrotnet在每个基础模块后面加入了由多个[0118]本实施例通过Top_P混合专家模块对输入的控制特征进行细粒度特征处理，同时Top_P选择策略保证了根据图像实际包含的退化类型动态选择不同数目的专家模型，而不[0119]特征嵌入embimg经过混合专家图像反演适配器MropkvoEaaapter来进行特征空本实施例通过Top_K路由动态分发输入至多样化的专家集合，提高了计算效率和任务适应[0120]混合专家图像反演适配器旨在实现图像提示空间到文本合专家模块的输出；TOP-k代表Top_K选择策略，softmax,softplus分别代表softmax函数，softplus函数；N(0,1)代表标准正态分布噪声，LayerNorm代表层归一化操作，件图像编码器在初步去除退化的同时对低分辨率图[0132]步骤e：将训练样本中的高分辨率真实图像所对应的真实图像通过变分自编码器噪主干网络的下采样部分进行加和，并与上采样部分的特征在通道维度进行拼接和映射；[0134]步骤g：基于采样的原始噪声和预测噪声的计算损失来优化混合专家条件控制网a)[0143]具体地，结合变分自编码器对于编码得到的中间特征及退化嵌入[0145]步骤1：利用变分自编码器编码训练样本中的高分辨率真实图像所对应的真实图[0150]步骤6：重复上述冻结判别模型参数及冻结变分自编码器及其对应的解码器的参码器对应层的中间特征以及退化嵌入，解码隐层特征到像素空间。解码器[0170]本实施例的图像质量驱动的退化感知解码器的输入为解码器的中间特征以及来[0174]控制条件生成模块802，其用于利用退化嵌入及训练好的退化感知条件图像编码[0175]特征加噪模块803，其用于将所述低分辨率图像通过训练好的变分自编码器进行[0178]超分辨率图像重建模块806，其用于利用训练好的图像质量驱动的退化感知解码序指令也可