CN117058009B 一种基于条件扩散模型的全色锐化方法（西北工业大学深圳研究院）

(12)发明专利(10)授权公告号CN117058009B(21)申请号202310740976.1(22)申请日2023.06.21(65)同一申请的已公布的文献号申请公布号CN117058009A(43)申请公布日2023.11.14(73)专利权人西北工业大学深圳研究院道高新南九道45号(72)发明人邢颖慧瞿立涛张艳宁张世周张秀伟尹翰林(74)专利代理机构西安凯多思知识产权代理事务所(普通合伙)61290专利代理师刘涛(56)对比文件(54)发明名称一种基于条件扩散模型的全色锐化方法(57)摘要本发明公开了一种基于条件扩散模型的全色锐化方法，该模型包括正向加噪过程和反向去噪过程，算法的正向加噪过程通过马尔科夫链过程逐步将训练数据加噪为高斯噪声，反向去噪过程从高斯噪声出发，通过噪声预测网络的输出，逐步去噪采样得到高分辨率的多光谱图像；本方法使用细节信息(全色图像与上采样多光谱图像的差)作为条件，引导逆向去噪过程的从高斯噪声生成全色图像和多光谱图像的融合结果。训练好的噪声预测网络通过反向马尔科夫链过程进行多轮去噪迭代，生成最终的融合结果。本发明(57)摘要21.一种基于条件扩散模型的全色锐化方法，其特征在于，包括如下步骤：步骤1:数据集准备；对成对、配准的大幅遥感多光谱MS图像和全色图像PAN按照从左到右、从上到下的顺序截取图像块，并将这些图像块分为训练集、验证先对训练集、验证集和测试集进行归一化处理；再对训练集、验证集和测试集中的图像块按照Wald协议进行处理，然后将处理过的图像块作为模型的输入；原始MS图像块作为参考图像；步骤2:正向加噪过程；设置加噪的总步长为T,对任意时间步t～{1,...,T},通过公式(1)和(2)直接计算原始多光谱图像R₀加噪到t时刻的数据分布：q(Rt|R₀)=N(R;√YtR₀,(1-Y其中1是预定义的固定参数，取值范围为(0,1);∈为服从标准高斯分布的噪声信息；R₀为多光谱图像；R表示加噪至t时刻的多光谱图像；I表示一个值全为1的矩阵；步骤3:噪声预测网络模型构建；所述噪声预测网络接收的输入信息包括时间步t、时间步t的加噪图像R、细节信息P²-M↑,其中P⁰表示全色图像在通道维度上复制到与多光谱图像通道数量一致，M表示多光谱图像进行r倍上采样至空间分辨率与全色图像一致，求差后得到细节信息作为网络的引导噪声预测网络采用U型网络架构，包括四个部分：时间步模块、下采样模块、上采样模块和融合模块；时间步模块编码加噪时刻t并传入网络的其他模块，输入信息依次通过下采样网络在输入端，细节信息P-M与加噪图像R,在通道维度上连接；所述噪声预测网络使用一个卷积层统一处理输入信息；具体各个部分的构建过程如下：步骤3-1:构建时间步模块；所述噪声预测网络与时间步相关，输入的时间步t～{1,...,T}编码为一维向量，随后通过Linear线性变化层，该一维向量将传入噪声预测网络的所有上采样模块、下采样模块和融合模块；一维向量在传入每个模块前，会再通过一个Linear线性变化层，将其长度转换为当前模块的输入通道数量，从而与当前模块的输入求和；步骤3-2:构建下采样模块；层的下采样操作通过调整步长实现，将输入下采样模块的特征图进行2倍空间下采样，输出通道相对输入通道数量翻倍；步骤3-3:构建上采样模块；3序级联的结构；融合模块的卷积层使用跳跃连接，接收第一个卷积层的输出与网络输入(P-M,R);所述噪声预测网络摸模型e。(R,t,P⁰-M)通过变分下界推导的损失函数进行优化，以采样得到∈,从训练数据中选取一个批量的参考图像R₀,通过公式(2)加噪得到R,计算细步骤5:反向去噪流程；噪声预测网络训练结束后，基于马尔科夫链过程，从标准正态分布中采样得到两个样4.根据权利要求1所述的一种基于条件扩散模型的全色锐化方法，其特征在于，所述Wald协议处理指首先使用5×5大小的高斯平滑核对原始MS和PAN图像进行滤波，然后下采4一种基于条件扩散模型的全色锐化方法技术领域[0001]本发明属于图像处理技术领域，具体涉及一种基于条件扩散模型的全色锐化方背景技术两种传感器同时捕获具有互补特点的遥感图像，即高光谱分辨率、低空间分辨率的多光谱(MS)图像和高空间分辨率、低光谱分辨率的全色(PAN)图像，为全色锐化技术提供了充分的数据来源。全色锐化(Pansharpening)是融合多光谱和全色图像的技术，其本质是使用全色图像中精细的空间细节信息锐化多光谱图像，从而获得高空间分辨率的多光谱图像。有利于变化检测、目标检测、土地分类等任务，也可利用该技术实现图像增强以提高图像可读性，因而在现实生活中具有重要作用。[0003]全色锐化技术的关键在于利用全色图像的细节信息增强多光谱图像的空间分辨率。基于生成对抗网络的全色锐化模型通常使用双通路生成器融合多光谱和全色图像，并设计判别器用来衡量生成器输出的融合结果与真实高分辨率多光谱图像之间的差异。生成对抗网络通过交替迭代的方式获得高分辨率多光谱图像，但由于其训练不稳定，易陷入模式崩塌，导致锐化结果存在高频分量损失、频谱或空间失真等问题。发明内容[0004]为了克服现有技术的不足，本发明提供了一种基于条件扩散模型(Conditionaldenoisingdiffusionprobabilisticmodel)的全色锐化方法，该模型包括正向加噪过程和反向去噪过程，算法的正向加噪过程通过马尔科夫链过程逐步将训练数据加噪为高斯噪声，反向去噪过程从高斯噪声出发，通过噪声预测网络的输出，逐步去噪采样得到高分辨率的多光谱图像；具体地，本方法使用细节信息(全色图像与上采样多光谱图像的差)作为条件，引导逆向去噪过程的从高斯噪声生成全色图像和多光谱图像的融合结果。其中，噪声预测网络采用U型网络架构，通过重加权的变分下界损失函数优化模型参数，模型接收上述细节成分、加噪图像、时间步作为输入，输出加噪图像中包含的噪声信息；训练好的噪声预测网络通过反向马尔科夫链过程进行多轮去噪迭代，生成最终的融合结果。本发明得到的融合结果空间和光谱信息保真度高，显著提高了噪声预测的精度。[0005]本发明解决其技术问题所采用的技术方案包括如下步骤：[0007]对成对、配准的大幅遥感多光谱MS图像和全色图像PAN按照从左到右、从上到下的顺序截取图像块，并将这些图像块分为训练集、验证集和测试集；[0008]先对训练集、验证集和测试集进行归一化处理；再对训练集、验证集和测试集中的图像块按照Wald协议进行处理，然后将处理过的图像块作为模型的输入；5[0011]所述加噪过程如图2所示，设置加噪的总步长为T,对任意时间步t～{1,…,T},通过公式(1)和(2)直接计算原始多光谱图像R₀加噪到t时刻的数据分布：[0014]其中Yt=li=1αi,α是预定义的固定参数，取值范围为(0,1);∈为服从标准高斯分布的噪声信息；R₀为多光谱图像；R表示加噪至t时刻的多光谱图像；I表示一个值全为1的[0015]步骤3:噪声预测网络模型构建；[0016]所述噪声预测网络接收的输入信息包括时间步t、时间步t的加噪图像R、细节信息P²-Mr,其中P⁰表示全色图像在通道维度上复制到与多光谱图像通道数量一致，MF表示多光谱图像进行r倍上采样至空间分辨率与全色图像一致，求差后得到细节信息作为网络的模块和融合模块；时间步模块编码加噪时刻t并传入网络的其他模块，输入信息依次通过下[0018]网络在输入端，细节信息P²-M与加噪图像R,在通道维度上连接；所述噪声预测网络使用一个卷积层统一处理输入信息；[0019]具体各个部分的构建过程如下：[0021]所述噪声预测网络与时间步相关，输入的时间步t～{1,…,T}编码为一维向量，随后通过Linear线性变化层，该一维向量将传入噪声预测网络的所有上采样模块、下采样模块和融合模块；一维向量在传入每个模块前，会再通过一个Linear线性变化层，将其长度转换为当前模块的输入通道数量，从而与当前模块的输入求和；[0023]所述下采样模块为组归一化GN层、leaklyRelu激活函数、卷积层顺序级联的结构；卷积层的下采样操作通过调整步长实现，将输入下采样模块的特征图进行2倍空间下采样，输出通道相对输入通道数量翻倍；长为1的卷积层顺序级联的结构，将输入上采样模块的特征图进行2倍空间上采样，输出通道相对输入通道数量减半；上采样模块的卷积层使用跳跃连接，接收同尺寸的下采样模块输出；所述上采样层采用双线性插值算法实现2倍的空间上采样；层顺序级联的结构；融合模块的卷积层使用跳跃连接，接收第一个卷积层的输出与网络输入(P⁰-M,R);6布中采样得到∈,从训练数据中选取一个批量的参考图像R₀,通过公式(2)加噪得到R,计[0037]优选地，所述Wald协议处理指首先使用5×5大小的高64×4;测试集的PAN图像块尺寸为102图像的差作为条件信息引导，从任意服从标准高斯分布的数据样本通过T步迭代生成同时附图说明7和反向去噪过程，通过马尔科夫链逐步将训练数据加噪为高斯噪声，再通过噪声预测网络的输出逐步去噪采样得到高分辨率的多光谱图像。噪声预测网络使用U型网络结构架构，通过重加权的变分下界损失函数优化模型参数，输入为细节信息、加噪图像和时间步，输出加噪图像中的噪声信息。训练好的噪声预测网络通过反向马尔科夫链过程进行多轮去噪迭代，生成最终的融合结果。细节信息为全色图像与上采样多光谱图像的差值。包括如下步[0048]数据来自QuickBird(QB)、WorldView-4(WV-4)和WorldView-2(WV-2)卫星传感器。绿、红和近红外波段。对于WV-4数据，PAN的空间分辨率为0.3米，MS的空间分辨率为1.2米，波段。三个数据集中MS和PAN图像之间的空间分辨率比均为4。[0049]训练集和验证集的图像块尺寸为256×256(PAN)/64×64×4(MS),测试集的图像没有参考图，对训练集、验证集和测试集中的MS图像块和PAN图像块按照Wald协议进行处理，然后将处理过的图像作为网络的输入，将原始MS图像作为参考图像，处理后的PAN图像块记作P,MS图像块记作M,原始MS图像块记作R。[0050]步骤2:正向加噪过程[0051]所述加噪过程如图2所示，设置加噪的总步长T=1000,对任意时刻t～{1,…,T},通过下述公式直接计算原始多光谱图像R₀加噪到t时刻的数据分布：[0054]其中Y=Ili=1αi,α是预定义的固定参数，取值范围为(0,1),随着时间步t的增加，多光谱图像R。会逐步被高斯噪声打乱，若加噪总步长T足够大，R将会服从高斯分布N(0,I),I表示一个值全为1的矩阵；∈为服从标准高斯分布的噪声信息；[0055]所述α服从线性噪声策略(Linearnoiseschedule),即α=1-β,β₂在[10⁶,10²]块和融合模块，网络接收的输入信息包括时间步t,该时刻的加噪图像R,细节信息P-M,其中P°表示全色图像在通道维度上复制到与多光谱图像通道数量一致，M表示多光谱图像进行r倍上采样至空间分辨率与全色图像一致，求差后得到细节信息作为网络的引导条件；[0059]所述噪声预测网络与时间步相关，输入的整数时间步t～{1,...,T}编码为一维向量，随后通过Linear线性变化层，该向量将传入U型网络结构的所有上采样、下采样和融合8模块；所述向量在传入每个模块前，会再通过一个Linear线性变化层，将其长度转换为当前模块的输入通道数量，从而与当前模块的输入求和。[0060]步骤3-2:构建下采样模块[0061]所述下采样模块为组归一化GN层、leaklyRelu激活函数、卷积层顺序级联的结构；卷积层窗口大小为3×3,填充为2,步长为1,从而对特征图进行2倍下采样，输出通道相对输入通道数量翻倍；[0062]步骤3-3:构建上采样模块积层顺序级联的结构；卷积层窗口尺寸为3×3,填充为1,步长为1,从而对特征图进行2倍上采样，输出通道相对输入通道数量减半；上采样模块的卷积层使用跳跃连接，接收同尺寸的下采样模块输出；所述上采样层采用双线性插值算法实现2倍的空间上采样。[0064]步骤3-4:构建融合模块[0065]所述融合模块为组归一化GN层、leaklyRelu激活函数、跳跃连接、卷积层顺序级联的结构；卷积层窗口尺寸为3×3,填充为1,步长为1,从而保持特征图尺寸不变；融合模块的卷积层使用跳跃连接，接收第一个卷积层的输出与网络输入(P⁰-M,R.);[0066]步骤4:训练噪声预测网络[0067]所述噪声预测网络ε。(R,t,P-M)通过变分下界推导的损失函数进行优化，以R₀到R,加入的噪声∈为目标；从均匀分布中选取某个时刻t～{1,...,T},从标准正态分布中采样得到∈,从训练数据中选取一个批量的参考图像R₀,通过公式(2)加噪得到R,计算细节信息，通过下式使噪声预测网络的参数训练至收敛：[0069]具体地，使用Adam优化器，以0.收敛时停止训练。[0070]步骤5:反向去噪流程[0071]所述反向去噪流程如图2所示；所述噪声预测网络训练结束后，算法基于马尔科夫链过程，从标准正态分布中采样得到两个样本R₁和z,使用下述公式进行T步迭代，当t=0时迭代终止，算法从高斯噪声R₁去噪得到全色图像P和多光谱图像M的融合结果：PD-M1)使用全卷积网络架构，直接应用于原始分辨率下遥感图像的融合，基于公式(4)从高斯分布噪声出发通过T步去噪迭代得到融合结果。[0076]使用宽高比例均为4:1且互相配准的全色图像和多光谱图像，进行如下处理：[0077]①读取图像，将原图划分成两部分，分别作为训练数据图像、测试数据图像，划分原则为使两部分的宽度相同且高度比例为9:1.PAN、MS均做此处理；9像块，其中PAN的图像块尺寸为256×256、MS的图像块尺寸为64×64×4(4为通道数，当MS通道数为8时，可相应改为8)。测试数据部分以类似方式构造，其中PAN的图像块尺寸为1024×1024、MS的图像块尺寸为256×256×4。[0079]③训练数据部分随机划分出1/9作为验证集数据。[0080]至此得到训练集、验证集、含743对图像，测试集包含156对图像；对于WV-4,训练集包含7166对图像，验证集包含772对图像，测试集包含271对图像；对于WV-2,训练集包含9641对图像，验证集包含试集包含136对图像。[0081]④根据Wald协议进行处理时，将PAN图和MS图用以高斯核为5×5、标准差取2的方式进行高斯模糊后，再下采样4倍作为新图像构成训练集。验证集和测试集进行相同操作。[0082]至此数据集准备步骤完成。[0083](2)噪声预测融合网络模型构建[0084]网络结构图见图3,构建网络的重要参数包括：[0085]①整个网络所使用的卷积层：所有卷积层的窗口尺寸为3×3;下采样模块的卷积层步长为2,填充为1;其他模块的卷积层步长为1,填充为1。量；所述跳跃连接发生在上采样模块和融合模块，将输入信息与下采样模块的输出传入网络后半段，在通道维度上连接分辨率相同的特征；[0087]②所述时