CN116579924B 一种傅里叶叠层显微成像重建方法、装置及设备 （长春大学）

本发明公开一种傅里叶叠层显微成像重建域，用于解决现有技术中重建方法数据计算量傅里叶叠层显微成像仿真图像数据以及真实数力机制构建得到包括生成网络和判别网络的注注意力生成对抗网络中，得到重建后的目标图2获取图像数据集；所述图像数据集中包括傅里叶叠层显微成像基于注意力机制构建得到注意力生成对抗网络；所述注意力生采用所述仿真图像数据对所述注意力生成对抗网络进行训练，得到初采用所述真实数据集对所述初始注意力生成对抗网络的参数进行调整将待处理图像数据输入所述目标注意力生成对抗网络中，得到重建基于生成网络以及判别网络基于注意力机制构建得到注意力生成对所述解码模块通过子像素卷积逐步放大特征，其中网络在每个编码其频谱中包含的所有频率分量的综合贡献自适应的重新调整每个所述跨级连接模块用于高低层语义特征的融合，在编解码模块采集傅里叶叠层显微成像仿真过程中的基础图像数据；所述基将所述基础图像数据在傅立叶域中合成，并通过傅立叶逆变换多组图像数据组成图像数据集，每组图像数据中设定网络学习训练时的损失函数；所述判别网络目标函数定设定网络学习训练时的参数设置；所述参数至少包括训练过程所述生成网络通过跨级连接对傅里叶叠层显微成像仿真图像数据中的特征进行提取3所述跨级连接模块用于高低层语义特征的融合，在编解码模块所述解码模块对分层特征图进行上采样，所述解码模块由拼接层、上所述解码模块经过卷积扩大特征通道数或者按特征通道维度拼接融合自编码部分的通过预设上采样操作将融合后的底层特征图的空间分辨率加倍，通通过所述编码模块中从输入中提取分层特征图；每个编码模块包于识别输入图像是否为真实图像或识别输入图像是否注意力生成对抗网络构建模块，用于基于注意力机制构建得到注意力生成对抗网络；初始注意力生成对抗网络训练模块，用于采用所述仿真图4基于生成网络以及判别网络基于注意力机制构建得到注意力生成对所述解码模块通过子像素卷积逐步放大特征，其中网络在每个编码其频谱中包含的所有频率分量的综合贡献自适应的重新调整每个所述跨级连接模块用于高低层语义特征的融合，在编解码模块采用所述仿真图像数据对所述注意力生成对抗网络进行训练，得到初采用所述真实数据集对所述初始注意力生成对抗网络的参数进行调整将待处理图像数据输入所述目标注意力生成对抗网络中，得到重建基于生成网络以及判别网络基于注意力机制构建得到注意力生成对所述解码模块通过子像素卷积逐步放大特征，其中网络在每个编码其频谱中包含的所有频率分量的综合贡献自适应的重新调整每个所述跨级连接模块用于高低层语义特征的融合，在编解码模块5[0002]傅里叶叠层成像技术(Fourierptychographicmicroscopy，FPM)是一种新兴的计算成像技术，该技术可有效地解决传统显微成像领域中高分辨率和大视场不可兼得的问率和定量相位成像的优势而成为计算成像领域重要的研究课题。FPM需要采集具有一定冗[0012]将待处理图像数据输入所述目标注意力生成对抗网络中，得到重建后的目标图6括傅里叶叠层显微成像仿真图像数据以及真实数据集，且添加有高斯噪声的图像数据集；层显微成像仿真图像数据对注意力生成对抗网络进行训练，得到初始注意力生成对抗网[0019]目标图像重建模块，用于将待处理图像数据输入所述目标注意力生成对抗网络微成像的仿真图像数据以及真实数据集，且所述图像数据集中图像数据中添加有图像噪[0025]将待处理图像数据输入所述目标注意力生成对抗网络中，得到重建后的目标图7练，本网络能更好的解决成像系统噪声对傅里叶叠成显微重建图像纹理造成的干扰问题，8[0043]图像数据集可以包括大规模傅里叶叠层成像显微成像仿真低分辨率数据集和小据重建结果和重建时间上验证注意力生成对抗网络[0053]采用图1中的方法构建完成的目标注意力生成对抗网络的整体结构可以结合图29级连接可以使神经网络能尽可能利用完整的频率信息，将不同层级输出的特征进行融合，好的解决成像系统噪声对傅里叶叠成显微重建图像纹理造成的干扰问题，生成真实的纹分别代表强度和相位的双通道。25600组高分辨率图像数据中每组强度和相位的组合作为[0063](2)合成后的复振幅数据通过傅里叶叠层成像模型进行仿真，在仿真成像过程中[0064](3)傅里叶叠层低分辨率数据通过传统的傅里叶叠层重建算法合成低分辨复振根据其频谱中包含的所有频率分量的综合贡献自适应的重新调整[0073]所述生成网络通过跨级连接对傅里叶叠层显微成像仿真图像数据中的特征进行[0076]所述解码模块经过卷积扩大特征通道数或者按特征通道维度拼接融合自编码部举例形式说明生成网络的网络结构：[0083]网络的第一层可以使用3×3卷积层接收输入的低分辨率合后的深层特征信息通过relu激活的3×3卷积和Sigmoid激活的3×3卷积来输出双通道复[0086]上述生成网络部分将残差注意力网络设计成编解码结构的多尺度残差注意力网的图像作为输入，从5个级联的Conv_LReLU模块开始，每个模块中的卷积滤波器数分别为FPGAN方法，随机初始化了网络，并以2×10_5的典型起始学习率训练了生成模型和判别模[0106]真实数据集采集中先对实验成像系统参数进行设置，物镜的数值孔径NA设置为[0109]实验训练在配备一个TeslaV100图形处理卡(NVIDIA)的计算机电脑上进行。在训生成对抗网络在真实数据上的普适性，在真实数据上进一步测试了方法的有效性和通用添加到输入图像中进行重建，具体来说在成像仿真过程中加入了零均值和标准差为1×10_4有频率分量的综合贡献自适应的重新调整每个特征图，帮助网络专注于更有用的通道信[0127]注意力生成对抗网络构建模块520，用于基于注意力机制构建得到注意力生成对[0128]初始注意力生成对抗网络训练模块530，用于采用所述仿真图像数据对所述注意[0129]目标注意力生成对抗网络确定模块540，用于采用所述真实数据集对所述初始注[0130]目标图像重建模块550，用于将待处理图像数据输入所述目标注意力生成对抗网根据其频谱中包含的所有频率分量的综合贡献自适应的重新调整[0146]所述生成网络通过跨级连接对傅里叶叠层显微成像仿真图像数据中的特征进行[0149]所述解码模块经过卷积扩大特征通道数或者按特征通道维度拼接融合自编码部;;[0157]基于同样的思路，本说明书实施例还提供了一种傅里叶叠层显微成像重建设微成像的仿真图像数据以及真实数据集，且所述图像数据集中图像数据中添加有图像噪[0162]将待处理图像数据输入所述目标注意力生成对抗网络中，得到重建后的目标图[0170]存储器可以是只读存储器(read_onlymemory，ROM)或可存储静态信息和指令的和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread_onlymemory，EEPROM)、只读光盘(compactdiscread_令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。理器、数字信号处理器(digitalsignalprocessing，DSP)、ASIC、现成可编程门阵列产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令可读