CN119398268A 一种基于多模态融合和动态加权损失的短临降水预测方法 （南京邮电大学）

一种基于多模态融合和动态加权损失的短本发明公开了一种基于多模态融合和动态数据分别输入三层包含上采样和RNN的网络中进RNN的网络进行特征融合与解码。最后在动态加22.根据权利要求1所述的一种基于多模态融合和动态加权损失的短临降水预测方法，其中x表示当前像素值，min和max分别表示当前图像中的最小和3.根据权利要求1所述的一种基于多模态融合和动态加权损失的短临降水预测方法，4.根据权利要求1所述的一种基于多模态融合和动态加权损失的短临降水预测方法，其中l={0,1,2}代表层数，t代表时间步长，表示上一时刻35.根据权利要求1所述的一种基于多模态融合和动态加权损失的短临降水预测方法，b和x是超参数。m代表输入帧数，n代表预测帧数，t代表第几帧，(h,w)表示一个像素，Rr分别表示第t帧中(h,w)像素的权重、真实值和预测值。用于确保PSNR和BMAE+BMSE处于同一数量级，BDWLOSS;表示融合模态的损失，BDWLOSS,代表雷达模态的损失，BDWLOSS,代表地面站点气象4[0002]传统的降水预报主要依赖于数值天气预报(NWP)。在给定初始条件和边界条件的是目前用于短期降水预报的领先深度学习模型，它结合了卷积神经网络(CNN)与长短期记达观测难以做出准确判断。多模态学习为这一问题提供了一种新的解决方案，如MM_RNN、[0005]因此，如何有效融合多源数据及动态分配损失权重以实现更精准的短临降水预5[0017]fe=Avg(conv2(conv1(f)))[0021]fw=sigmod(conv(f))[0022]outs=outc因w[0023]outes=outs田f[0024]out=RNW(outs)6Rr用于确保PSNR和BMAE+BMSE处于同一数量级，BDWLOSS;表示融合模态的损失，BDWLOSS,代表雷达模态的损失，BDWLOSS,代表地面站点气象要素模态的损[0038]1)提出了一种新的多模态融合模型用于降水临近预报。该模型整合了雷达回波[0039]2)提出了一种基于通道和空间注意力机制的融合网络。通道注意力机制系统地[0040]3)设计了一种基于切块的动态加权损失函数，以减轻预测误差和数据不平衡的[0041]4)设计了一个新的多模态损失函数来保持单模态和融合模态的一致性，促使模[0042]图1为本发明提供的一种基于多模态融合和动态加权损失的短临降水预测方法的[0043]图2为本发明提供的短临降水预测方法采用的多模态预测模型中的编码器和解码7[0045]图4为本发明提供的短临降水预测方法中基于切块的动态加权损失函数中切块的[0062]所述步骤S4中将编码特征图数据输入三层包含融合、上采样和RNN的网络进行解8[0067]fe=Avg(conv2(conv1(f)))[0072]在通道注意力模块之后，引入空间注意力模块为输入数据中的空间位置分配权[0074]fw=sigmod(conv(f))[0075]outs=outc因w[0076]outes=outs田f[0077]out=RNW(outs)基于分块的动态加权损失函数在整个训练过程中根据每个块的预测误差动态分配损失权模型能够更好地集中精力于更复杂的降水区域，从而提高其在预测强降雨事件上的敏感9和Rr分别表示第t帧中(h,w)像素的权重、真实值和预测值。用于确保PSNR和BMAE+BMSE处于同一[0093]其中BDWLOSS;表示融合模态的损失，BDWLOSS,代表雷达模态的损失，BDWLOSS,代表地面站点气象要素模态的损失，a和b用于设置相应项的权重系数，[0096]本方法验证数据集为韩国气象局(KMA)提供的多模态数据集RAIN_F。该数据集包94.333.990.360.17[0102]所有输入图像均匀插值为128×128像素。所有RNN使用3×3的卷积核。我们使用f=16。