【《深度学习方法的物体上转换散射成像案例分析》6000字】

深度学习方法的物体上转换散射成像案例分析目录TOC\o"1-3"\h\u31218深度学习方法的物体上转换散射成像案例分析 175321.1卷积神经网络结构和损失函数设计 140471.2物体经过散射介质后的上转换成像实验 484781.2.1实验光路设计 4304601.2.2神经网络结构 6200811.2.3实验结果和讨论 865491.3非线性螺旋相衬散射成像 10280521.3.1实验中使用的光路设计 1149981.3.2实验结果 121.1卷积神经网络结构和损失函数设计为了从散斑图像中恢复原有图像内容，我们参考了编码和解码（Encoder-Decoder）结构的经典网络U-Net网络框架（图1.1），最初这个结构的提出主要是为了压缩图像和去除噪声，而后成为医疗影像语义分割任务的主要框架[95]，最近也被用在端到端的光学计算成像领域中[24，91-95]。U-Net的第一个特点是完全对称，输入是一幅图，经过多个卷积层和池化层进行下采样编码，相当于压缩，然后再经过对称的卷积层和上采样解码，还原到原来的图像大小。通过U-Net中的下采样过程可以提取到图像的高维特征，降低运算量和增加感受野的大小。第二个特征是跳跃连接（SkipConnection），把经过下采样的特征与解码过程中经过对应次数上采样的特征进行叠（ConcatenationOperation）的计算后得到的结果输入后续网络计算，这样可以结合深层和浅层的特征。图1.1U-Net神经网络结构图[95]在卷积神经网络设计过程中，普遍认为卷积神经网络的学习能力是随着神经网络的深度增加的。但是传统的卷积神经网络在网络堆叠到一定深度时，会出现梯度消失和梯度爆炸的现象，无法通过梯度反向传播的算法继续进行学习。当前卷积神经网络中一般会在卷积层后加入批量标准化（BatchNormalization，BN）层的方法解决梯度消失或梯度爆炸的问题。基于小批量的随机梯度下降法，在每一次使用卷积层进行特征提取后，使用当前小批量样本集的均值和方差近似估计总体样本的期望和方差，对得到的特征矩阵（FeatureMap）进行批量标准化，计算过程如图1.2所示，使特征矩阵满足均值为0，方差为1的标准正态分布规律，可以提高优化效率，加速网络收敛。批量标准化操作放在卷积层和非线性激活函数之间，具有平移变换的性质，所以卷积层不再需要学习偏置参数[101]。因为批量归一化使得神经网络在训练时对一个样本的预测不但与其本身有关，也与同一批次中的其他样本相关，并且样本批次是随机选取的，使得神经网络不会过拟合到某个特定的样本，从而提高网络的泛化能力[102]。图1.2批量标准化计算过程示意图[101]在使用深度学习方法的计算成像任务中，最常使用的损失函数是MSE和平均绝对误差（MeanAbsoluteError，MAE）。MSE指的是模型预测值与样本真实值之间距离平方的平均值，其公式如1.1式所示：.（1.1）其中yi表示第i个样本的真实值，fxi.（1.2）MAE损失函数在大部分情况下梯度都是相等的，所以对于误差较小的情况MAE计算得到的梯度也较大，不利于模型的快速收敛。由于MAE计算的是误差的绝对值，所以在计算中对所有点计算得到的误差赋予的权重都是一样的，受离群点的影响较好，模型能够较好地表征正常数据的分布情况。同时，图像数据在计算中用矩阵表示时通常是稀疏的，而MAE能更好地促进预测目标的稀疏性。这两个损失函数都只是以单个像素为尺度进行计算的，对一个有语义的图像进行计算往往还需要考虑图像中的局部相关性。使用相关度量的方式可以把图像中的局部相关性考虑在内，如皮尔逊相关系数（PearsonCorrelationCoefficient，PCC），在用作损失函数时通常使用负的PCC（NPCC）来表示模型的优化方向，它的定义公式如1.3式所示：（1.3）其中f表示模型的预测值，f表示样本的真实值，<f>和<f>分别表示它们的平均值。它相对于MSE和MAE能够在计算中更好地考虑到图像的结构相似度，PCC最初是在统计学中用于测量亚种群之间的进化相关性，在计算成像中有研究表明能够提高计算中权重的稀疏性，减少计算量，同时与MAE相比也能够更好得提高对预测结果的稀疏性。从图像稀疏性的角度考虑，有研究人员从信息论的研究中引入了交叉熵用于计算成像的深度学习，本论文的实验中采用了平均二元交叉熵（BinaryCross-Entropy，BCE）作为损失函数，其定义公式如（1.4）其中N表示图像的像素总数，Q表示模型得到的预测值，P表示样本的真实值。1.2物体经过散射介质后的上转换成像实验我们提出了一种利用图像上转换结合深度学习计算的方法，实现红外波段的激光透过随机散射介质的成像。我们的目标是就建立一个深度学习的模型，能够利用原始图像在散射介质后形成的散斑中的统计不变性，在不同的散射介质后都能恢复出原始图像。1.2.1实验光路设计图1.3第一种上转换成像光路，上转换发生在傅里叶平面，距透镜L1一倍焦距的物体Object在上转换之后用透镜L2在距其一倍焦距的位置成像[103]在图1.3中所示的第一种上转换成像光路中，第一个透镜L1将带有物体信息的红外光的傅里叶变换投射到晶体中心。傅里叶变换的红外目标场也可以看作是平面波的叠加，每单个红外平面波不会产生单个上转换平面波，而是产生具有角扩散的场，其第二个透镜L2执行最终的傅里叶变换，将上转换场的叠加带回到空间域。图1.4第二种上转换成像光路，上转换发生在像平面上，首先通过透镜L1让物点g成像在晶体中的P点上，再由透镜L2形成最终的像[103]对于第一种上转换成像光路，成像的空间分辨率是由泵浦光束的直径决定的，而对于图1.4中所示的第二种上转换成像光路，其成像的空间分辨率是一个由相位匹配特性和晶体长度决定的参数，通常在一个较小的范围。所以第一种上转换成像光路更加常用，它对晶体的不均匀性有更强的鲁棒性。实验使用的光路如图1.5所示。我们使用了可编程的SLM(HamamatsuX13138-03)来显示原始图像，其分辨率为1272×1024，每个像素大小是12.5µmx12.5µm。实验中使用的是相位型的液晶空间光调制器，在加载目标图像之前，我们测试了空间光调制器加载0~255灰度值时对应的反射率，选取了两个反射率相差最大的灰度值（100和230）对应显示二值化的目标图像的两个像素值(0和1)，间接实现了对光强的调控。使用分辨率为1920×1080，像素大小为5.04µmx5.04µm的相机(ThorlabsCS2100M-USB)进行图像采集。为了让SLM上显示的图像与相机上采集到的图像像素尽可能地相同，我们在4f的基础上选择了两个焦距比例为0.4的透镜。透镜L1距SLM的距离等于L1的焦距100mm，透镜L2距CCD相机的距离为L2的焦距40mm，两个透镜之间的距离为两个透镜的焦距之和，这样等于将SLM上显示的图像缩小到0.4倍成像到相机所在的位置，图像近似占有相同的像素个数，有利于后续进行数据处理和神经网络的计算和学习。基频光光源使用的是输出波长为1064nm，脉宽10ns,重复频率10Hz的Nd:Yag激光器(Spectra-PhysicsQuanta-Raypro230)。图中虚线框中的532nm窄带滤光片（ThorlabsFL532），KTP倍频晶体和磨砂玻璃散射片（Diffuser）是在光路校准后的数据采集的实验阶段再加入光路中的。图1.5实验数据采集光路示意图HWP：1064nm的半波片，L（1,2）透镜，FL532:532nm波长的滤波片，CCD：照相机在实验中，我们在SLM上加载的图像数据集使用了深度学习成像常用的EMNIST数据集，其中包括了传统的手写数字数据集MNIST还有手写的大写和小写英文字母。原始数据集中的图像分辨率均为28×28。在加载到SLM上之前，我们对原始图像使用了最近邻插值法进行放大到512×512像素大小，再对其二值化后显示在SLM的液晶的中央部分，以匹配光束的光斑尺寸。首先，调整和准直光路，使1064nm的基频光能够被相机捕获并且光斑成像在相机中心，然后在SLM上加载放大后的EMNIST图像，调整图像在SLM上占用的像素位置，使手写数字/字母加载到光斑的中心部分(如图1.6(a-b))。图1.6(a)加载在SLM上的图像。(b)CCD上采集到的SLM反射光图像接下来，我们在光路中放置KTP倍频晶体，调整晶体的位置和半波片的旋转角度，实现相位匹配二次谐波，产生532nm的绿色可见光。在相机之前加上532nm窄带滤光片，在相机上仍然能看到加载的手写字母/数字。为了减少计算量，我们从CCD相机获得的原始散斑图中选取字母/数字所在的中央512×512像素进行图像数据的采集。在光路完成校准后在图1.3中的Diffuser所示的位置处加入散射介质，使用的是Thorlabs制造的N-BK7材质的磨砂玻璃散射片，在CCD上采集并通过计算机保存被磨砂玻璃散射后再经过上转换的散斑。在我们的实验中一共使用了八个磨砂玻璃散射片，包括是四个220目的散射片和四个120目的散射片，细砂（220目）的散射范围更小，粗砂（120目）的散射范围较大。我们共采集了8200个散斑-原始目标对，其中7200对用于训练，800对用于在训练过程中对神经网络的测试和参数调整，200对用于评价神经网络最后得到的训练效果。1.2.2神经网络结构我们使用了编码和解码结构的经典网络U-Net网络框架，这个网络结构的主要特征是完全对称，网络结构包括四次下采样升维并减小特征矩阵的大小和四次上采样降维同时恢复图像原来的大小，多次下采样和上采样的目的是使网络能够从不同的维度学习信息。同时通过跳跃连接将下采样和上采样过程得到的数据进行共享和链接，提高网络的学习能力。为了提高神经网络的学习能力，我们最初使用了残差单元[104]作为网络特征提取部分的主干，但是在实验中该网络结构训练过程中非常容易出现过拟合的现象（图1.5），即对未经训练的散斑恢复的效果不理想，甚至得到的恢复效果会像训练集中的其他图像。图1.7使用有残差结构的U-Net训练后出现过拟合的恢复结果为了解决过拟合的问题，我们最终在实验中采用了结构比较简单，经过优化的U形网络（图1.6），但是保留了残差神经网络中提出的批量归一化层和其他正则化方法。图1.8实验中最终使用的U形神经网络结构图为了尽量减少网络的过拟合现象和提高网络的泛化能力，我们采用了在传统神经网络优化器Adam的基础上，对神经网络的权值进行衰减和正则化的AdamW[105]优化器。1.2.3实验结果和讨论我们的实验中使用的神经网络是在Pytorch和Python1.6的基础上构建的，训练中使用了Nvidia2080Ti的图形计算器，使用AdamW优化器共对网络进行了340个历元的训练。神经网络的训练过程是把所有训练样本对随机打乱后分成小批量输入神经网络训练，每批次的样本数量受图形计算卡的显存限制，当所有样本都分批次输入神经网络进行计算后称为神经网络训练的一个历元，在每个历元之间用测试集样本对神经网络进行测试以便了解神经网络的训练状态，在新训练历元开始之前需要重新打乱所有的训练样本对，这样可以提高神经网络的泛化能力。实验中使用的AdamW优化器的初始化参数是神经网络的超参数，需要根据经验进行人为的设置。我们实验中设置的初始学习率为1e-2，正则化参数为β1=0.9，β2=0.99，权值衰减设置为1e-4。为了使神经网络能够寻找到最优化问题的更优解，通常在刚开始训练时为优化器设置较大的学习率即搜索步长以便快速使神经网络快速收敛，在训练的后期逐渐减少学习率以免错过实际存在的更优解。我们在实验中设置了每50个训练历元将优化器的学习率乘以0.1，学习率的最小值设置为1e-5。实验中神经网络训练的时间共计持续了15小时。图1.9实验恢复的图像结果。包括原始图像，从两种规格八个不同毛玻璃散射片测量的散斑和恢复得到的图像图1.9中显示了实验的代表性结果，分别是CCD相机中得到的散斑与神经网络最终预测的结果和加载在SLM上的实际图像（GroundTruth）。可以看到对于同一个原始物体，尽管通过不同散射片的散斑图明显不同但神经网络始终能表现出高质量的恢复能力。恢复的结果存在误差，因为神经网络做出的是像素级别的恢复，而不是整个图像的分类。为了量化评价实验的恢复效果，我们使用了两种图像相似度的评价标准：MSE和SSIM。SSIM的定义为：(1.5)SSIM的取值范围是-1到1，如果两张图片完全相同，他们计算得到的SSIM值是1。MSESSIM120_10.01250.624120_20.01410.619120_30.01310.634120_40.01300.626120_Total0.01320.626220_10.01410.628220_20.01290.628220_30.01390.626220_40.01260.625220_Total0.01340.627表1.1用两种指标量化评价深度学习散斑上转换成像的实验结果从表1.1中可以看出，训练得到的神经网络具有很好的散斑图像恢复的能力。只要通过对神经网络的单次训练，就使神经网络具有从多个不同散射介质产生的散斑中恢复原始图像的能力。1.3非线性螺旋相衬散射成像在生物学成像中，一些组织和细胞样品是透明的，不会明显地吸收或者散射入射光，但是折射率的空间分布是不均匀的，光在经过这些物体时振幅基本不变而相位会发生变化，这类物体称为相位物体。光电探测器，包括人类的视网膜，只对能量有反应，而对光的相位没有反应。所以对相位物体成像的原理是将相位变化转化为强度变化。Zernike相衬法是用于相位物体成像最成功的技术之一。Zernike发现，在光照射相位物体的情况下，光可以分为两组：不与样品发生作用的弹道光束和被样品衍射的光束。由于被衍射的光束相对于弹道光束经历了相移，因此两者不能在像面发生干涉，如果在弹道光束上附加的相移，就能让两者发生干涉，从而揭示出物体的相位信息[106]。受Zernike相衬成像方法的启发，如果可以将一个物体的相位梯度进行可视化，那么就可以对物体进行边缘增强，显示物体的轮廓。边缘增强技术可以在光学信息处理中突出显示物体的轮廓，并且已广泛用于图像处理[107]，显微镜和生物成像[108]。在数字图像处理中，边缘增强可以通过数值空间微分或二维希尔伯特变换来实现[109]。而光学中对物体边缘进行增强主要是通过螺旋相衬（SpiralPhaseContrast，SPC）成像技术。光学方法能够实现实时成像，并且能够并行处理。螺旋相衬成像本质上是一种空间滤波技术，该技术主要通过在4f系统的傅里叶平面添加螺旋相位作为滤波器，在图像的负频率分量和正频率分量之间引入π的相差，使物体的相位梯度和强度梯度获得各向同性的增强。2005年，Furhapter等人首先将SPC技术与显微镜技术相结合，证明该方法相较于传统方法能够获得更好的边缘增强的亮度和对比度[110]。2018年，厦门大学Qiu等[111]首次在实验上构建了一个非线性螺旋滤波器，利用非线性晶体的倍频效应，对待测物体