CN115272787B 基于ViT-Pix2Pix的光学图像翻译方法 （北京理工大学）

号US2017350974A1,2017.12.07本发明提供一种基于ViT-Pix2Pix的光学图目标翻译网络模型，并通过成对的SAR图像和光获取目标翻译网络模型，目标翻译网络模型为VisionTransformer与Pix2Pix相结合的模型，学图像是否为SAR图像匹配的真光学图像，生成器和判别器以对抗的形式完成神经网络训练优2构建初始目标翻译网络模型，并通过成对的SAR图像和光学图像对所述初始目标翻译网络模型进行参数优化，获取目标翻译网络模型，所述目标翻译网络模型为Vision其中，所述判别器的训练优化具体包括：将第一图像对输入Vision自我注意力层的Transformer编码器中完成处理；将分类符号的输出特征输入多层感知器所述VisionTransformer网络模型的自我注意力层改进，具体包括q量化L2距离，是每个头部的特征尺寸；采用谱归一化方法，对改进后的Vision2.根据权利要求1所述的基于ViT-Pix2Pix的光学图建初始目标翻译网络，并通过成对的SAR图像和光学图像对所述初始目标翻译网络进行参以Pix2Pix为基础模型，结合VisionTransf将数据增强后的图像对输入判别器，通过判别器将图像对分割为通过交叉熵损失函数、L1损失函数与平衡一致性正则化方法，对生3.根据权利要求2所述的基于ViT-Pix2Pix的34.根据权利要求3所述的基于ViT-Pix2Pix的光学]L1cGANx,yL1为可设置的超参数；根据生成器的总损失，采用反向传播算法更新生成器的5.根据权利要求4所述的基于ViT-Pix2Pix的光学图像翻将改进后的VisionTransformer网络模型应用到判别器中，根cGAN6.根据权利要求5所述的基于ViT-Pix2Pix的光学图像对SAR图像与伪光学图像对、SAR图像与真实光学图像对分别进行数强后的图像对输入改进后的VisionTran7.根据权利要求6所述的基于ViT-Pix2Pix的光λbCR_real为可设置的超参数；4[0001]本发明涉及图像翻译技术领域，尤其涉及一种基于ViT-Pix2Pix的光学图像翻译建初始目标翻译网络模型，并通过成对的SAR图像和光学图像对所述初始目标翻译网络模述生成器和判别器以对抗的形式完成神经网络训练优化；将所述待测SAR图像输入所述目5示对SAR图像计算损失后的期望；根据所述L1损失和分类损失，计算所述生成器的总损失[0015]在其中一个实施例中，所述判别器的训练优化具体包括：将所述图像对输入[0016]在其中一个实施例中，所述VisionTransformer网络模的矢量化L2距离，是每个头部的特征尺寸；采用谱归一化方法，对改进后的Vision[0019]在其中一个实施例中，所述判别器训练过程中产生的分类损失为：将改进后的6构建初始目标翻译网络模型，并通过成对的SAR图像和关系各部图像对初始目标翻译网络[0033]图4为一个实施例中VisionTransformer网络模型自我注意力层的改进方案示意7目标翻译网络模型进行参数优化，获取目标翻译网络模型，目标翻译网络模型为Vision[0039]具体地，基于VisionTransformer与Pix2Pix构建初始目标翻译网络模型，以性嵌入进行处理，输出光学图像为真实图像且与SAR图像匹配的概率；通过交叉熵损失函8力层的Transformer编码器中完成处理；将分类符号的输出特征输入多层感知判别器完成代替自我注意力过程中的点积运算，并用于查询和输入自我注意的投影矩阵的权重绑定，的矢量化L2距离，是每个头部的特征尺寸；采用谱归一化方法，对改进后的Vision我注意力的投影矩阵的权重绑定，获取改进自我注意力层的VisionTransformer网络模9像和伪光学图像的L1损失，采用分类损失函数得到真光学图像或伪光学图像的分类损失，的SA