CN115205147B 一种基于Transformer的多尺度优化低照度图像增强方法 （福州大学）

一种基于Transformer的多尺度优化低照度本发明涉及一种基于Transformer的多尺度据预处理；构建基于Transformer的多任务恢复和增强子网络；设计基于Transformer的多尺度Transformer的低照度图像特征增强子网络和多2步骤C、设计基于Transformer的多尺度优化低照度图步骤C1的输出特征图，每一分支的输入特征均先经过一层1×1卷积层变换到相同的通道过上采样操作或步长为2的卷积操作变换到第某分支的尺中第一分支的输出特征图，输出特征图由输入特征图与输入特征图经过步骤B中的基于Transformer的多任务恢复和增强子网络后得到的特征图2.根据权利要求1所述的一种基于Tra步骤A2、将所有的真实低照度图像都进行不同的三次随步骤A4、分别对噪声图像和标签图像、水下图像和标签3步骤B2、使用多任务数据集预训练步骤B1中构建的基于Transformer的多任务恢复和lmwed表示第i个任务的损坏图像，Trans(l,mwea)表示输入为ltmped时基于Transformer的多任务恢复和增强子网络得到的结果，Igt表示损坏图像l'ommd对应的在训练过程中，每个批次随机从除合成低照度图像增强任务之外的n-1个任务中选择标签图像对，将损坏图像输入步骤B1构建的基于Transformer的多任务恢复和增强子网络步骤B3、使用合成低照度图像数据集微调步骤B2中基于Transformer的多任务恢复和增强子网络中，得到增强图像；根据网络的目标损失函数，直至迭代次数达到阈值，保存训练好的模型，完成网络训练过程；最终得到基于Transformer的多任务恢复和增强子网络的模型参数，该模型将在后续步骤中作为预训练4.根据权利要求3所述的一种基于Transfor4FrommtedEgocr分解成一系列的块P是块的大过Transformer解码器后得到一系列的块输出foe"c,再将N个块输出fu重组成特征率任务的尾部由一个卷积层和一个上采样层组成，其他任务的尾部均由一个卷积层组成，骤B11得到输出特征图Fomwess将Fomwe输入身体部分，由步骤B12得到输出特征图Fo；步骤C1、设计多尺度浅层特征提取子网络，网络的输入为度的特征Fwi=1,2,3,加上原始尺度得到的特征FW,共得到四个尺度的浅层特征，其中4-i表示ResNet的第4-i个阶段的操作；5中第一分支的输出特征图输出特征图由输入特征图与输入特征图经过步骤B中的其中，TransBody(rfusn)表示将特征图Ffasom送入步骤B中得到的基于Transformer浅层特征提取子网络，得到四个尺度的浅层特征Fwi=1,2,3,4,第一到第四尺度依次变aonj=1,2,3,A:再把Fhum输入步骤C3中基于Transformer的低照度图像特征增强子网度低照度图像增强子网络，其中和tout输入多尺度低照度图像增强子网络的第1分支；和分别输入第2和3分支，得到每个分支增强后的不同尺度图像块6.根据权利要求5所述的一种基于Trans6均池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到另一个分支执行空间的全局最大池化得到尺度为1×1×C的向量后与Fch1活函数后得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fch相乘后得ch表示输入的特征图Fatt经过通道注意力模块后得到输出特征图，Fch1表示通过表示空间的全局最大池化分支得到的特征图，Conv1是1×1卷积，用于升维和降维，得到尺度为H×W×1的向量，再与Fsp1相乘得到另一个分支执行通道维度sp表示输入的特征图Fatt经过空间注意力模块后得到输出特征图，Fsp1表示通过7图为Fatt，将步骤C41得到的通道注意力模块的输出Och和步骤C42得到的空间注意力模c和Ocolor分别表示色彩校正模块的中间特征图和输出特征图，SE(·)表示SE模C3得到的输出特征图tout反卷积后与步骤C2中得到的输出特征图um拼接得到的特征和1个3*3卷积层后输出特征图网络第二分支的输入为第一分支的输出特征FAe反卷Fur:网络第三分支的输入为第二分支的输出特征反卷积后与步骤C2中得到的输出特ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图Fur:各分支的输出特征图Fur,i=1,2,3经过步长为1的3×3卷积后，与由步骤C1中输入低照度图像块Iin缩放为与该分支对应尺度一致的图像块liaw相加，得到分支对应尺度的增强图像块用于后续计算8其中，R为步骤C中设计的基于Transformer的多尺度优化低照度图像增强网络的最终多尺度低照度图像增强子网络第二分支对应尺度的大小，Resize1表示把图像块缩放为步骤C4中多尺度低照度图像增强子网络第一分支对应尺8.根据权利要求1所述的一种基于Tran将配对的低照度图像块和对应的标签图像块随机划分为若干个批次，每个批次包含N9.根据权利要求4所述的一种基于Trans步骤F2、依次将步骤F1切出的图像块输入训练好9步骤F3、将步骤F2中的增强图像块按照步骤F1中的动态范围，具备的可学习参数量较少，缺失对图像结构信息的有效建模；二是基于Retinex的低照度图像增强方法，把图像分解为决定图像固有性质的反射分量和代表环境发明设计了一种基于Transformer的多尺度优化低照度图像增强方法，首先根据低照度图像在各个问题上的严重程度构建基于Transformer的多任务恢复和增强子网络对低照度图且在每个分支设置了注意力模块和色彩校正模块有针对性地针对色差和对比度问题进一[0005]本发明的目的在于提供一种基于Transformer的多尺度优化低照度图像增强方上的严重程度构建了基于Transformer的多任务恢复和增强网络，能够对低照度图像存在[0016]图3是本发明实施例中基于Transformer的多尺度优化低照度图像增强网络的结[0020]本发明提供一种基于Transformer的多尺度优化低照度图像增强方法，如图1所[0036]其中，表示第i个任务的损坏图像，Trans(l:,mpea)表示输入为时基于Transformer的多任务恢复和增强子网络得到的结果，Igt表示损坏图像对[0037]在训练过程中，每个批次随机从除合成低照度增强任务之外的n-1个任务中选择中预训练得到的网络模型作为预训练模型，作为接下来微调网络参数过程的初始网络参[0040]步骤B11：构建头部结构，每个任务的头部结构由一个卷积层和两个残差结构组图FcorrtedEgoc分解成一系列的块P是块的大过Transformer解码器后得到一系列的块输出再将N个块输出fu重组成特征图将步骤B11中提到的损坏图像lomed输入头部，由步骤B11得到输出特征图Fomwes:将特征Fwi=1,2,3,加上原始尺度得到的特征共得到四个尺度的浅层特征，其中第一[0051]FW=In[0053]其中，Iin表示输入低照度图像4-i表示ResNet的第4-i个阶段的操作。骤C2中第一分支的输出特征图输出特征图由输入特征图与输入特征图经过步骤B中的基于Transformer的多任务恢复和增强子网络后得到的特征图相加得到，计算方式如Transformer的多任务恢复和增强子网络的身体部分aonj=1,2,3,A:再把rhamr输入步骤C3中基于Transformer的低照度图像特征增强子网度低照度图像增强子网络，其中和tout输入多尺度低照度图像增强子网络的第1分支；和分别输入第2和3分支，得到每个分支增强后的不同尺度图像块Ibun,i=1,2,3,其中，第三个分支得到的增强图像块局平均池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到另一个分支执行空间的全局最大池化得到尺度为1×1×C的向量后与Fch1活函数后得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fch相乘后得Fch12表示空间的全局最大池化分支得到的特征图，Conv1是1×1卷积，用于升维和降维，的最大池化得到尺度为H×W×1的向量，再与相乘得到将尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fsp相乘后得到空间注意力特征图为Fatt，将步骤C41得到的通道注意力模块的输出Och和步骤C42得到的空间注意力模由步骤C3得到的输出特征图tout反卷积后与步骤C2中得到的输出特征图fusion拼接得到的模块和1个3*3卷积层后输出特征图F;网络第二分支的输入为第一分支的输出特征反卷积后与步骤C2中得到的输出特征图拼接得到的特征图，依次经过1个3*3卷积层、图网络第三分支的输入为第二分支的输出特征反卷积后与步骤C2中得到的ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图Fur.各分支的输出特征图Fue,i=1,2,3经过步长为1的3×3卷积后，与由步骤C1中输入低照度图像块Iin缩放为与该分支对应尺度一致的图像块liw相加，得到分支对应尺度的增强图像块用于后续计算[0088]Fur=conv3(color(Ff)+Ff),i=1,2,3经过步骤C44中色彩校正模块前的特征图，Conv3表示步长为1的3×3卷积，lrelu表示LeakyRelu激活函数，Atten表示步骤C43中的注意力模块，Concat表示按通道维度拼接，表示由输入低照度图像块缩放为与分支i对应尺度一致的图像块，Resizei表示把图像[0095]l=II[0096]其中，R为步骤C中设计的基