【图形去雾算法设计实现分析案例4900字】

图形去雾算法设计实现分析案例目录TOC\o"1-2"\h\u3348图形去雾算法设计实现分析案例 1247781算法设计与实现 197481.1物理模型 1310121.2深度可分离卷积 2109081.3金字塔池化 371541.4网络设计 4260171.5损失函数设计 6252602训练与评估 79502.1数据集 794152.2训练模型 838332.3评价指标 867522.4训练环境 9173212.5实验结果 91算法设计与实现本章介绍了去雾算法的具体实现，设计网络模型的具体思路以及去雾网络模型的特点。1.1物理模型Narasimhan在1925年提出的单色大气散射模型解释了图像在雾霾天气下的退化过程[13]，根据经典的大气散射模型公式，如式1.1所示：I(x)=t(x)J(x)+(1−t(x))A(1.1)其中传输矩阵t(x)可以被定义如式1.2所示：t(x)=(1.2)式中β表示大气光的散射系数，d(x)表示目标物体与图像采集设备之间的距离。因此，根据式1.1可以重写公式来表示出去雾后的清晰图像，如式1.3所示：I(x)=t(x)J(x)+(1−t(x))A(1.3)目前的大多数使用深度学习算法进行图像去雾的算法都是通过估计大气透射率图进行对带雾图像的去雾工作。首先通过从复杂的深层模型将模糊图像估计出传输矩阵，然后通过先验知识估计出大气光值，最后估计出去雾后的清晰图像。但是这类方法无法获得最优解方案，因为在每一步进行估计时，无法最小化图像的重建误差，造成无法实现最优解方案，以至于级间误差累积造成最后结果的误差变大，无法很好的还原出无雾图像。因此本文参考Li等人在对大气散射模型的公式变换上提出了一种直接用带雾图像去估计无雾图像的卷积神经网络(All-in-oneDehazingNetwork,AOD-Net)[23]的方法提出了一种改进后的去雾算法MAOD-Net(ModifiedAll-in-oneDehazingNetwork)。首先通过公式变换将原始的大气散射模型变换成一个大气散射模型的变式，如式1.4所示：JK(1.4)中K(x)用来表示需要估计的未知量，即将经典大气散射模型中的未知量进行统一。因为式中的未知量K(x)取决于输入图像I(x)，该方法设计一种自适应输入的深度模型，其参数将会随着输入图像I(x)而变化，使得输出图像J(x)和真实值之间重建误差最小。1.2深度可分离卷积在MobileNets的论文[27]中提出了一种深度可分离卷积(DepthwiseSeparableConvolution，DSC），深度可分离卷积是分解卷积的一种形式。深度可分离卷积将标准卷积分解成两步卷积，即深度卷积(DepthwiseConvolution)和点态卷积(PointwiseConvolution)。使用深度可分离卷式可以在很大一定程度上减少卷积的运算量，同时也可以减少卷积神经网络模型的参数数量。标准卷积的步骤如图1.1所示。图1.1标准卷积标准卷积的输入是一个H*W*C的特征图P。其中，H是输入特征图的高度，W是输入特征图的宽度，C是输入特征图的通道数。我们使用N个滤波器，其中滤波器包含的卷积核大小为k*k与输入特征图P进行标准卷积，并使用适当的步长(stride)和填充(padding)来确保输出特征图F的大小为H*W*N。分解后的深度可分离卷积，即深度卷积和点态卷积如图1.2所示。图1.2深度可分离卷积深度可分离卷积首先将输入特征图P，比标准卷积相同，经过了深度卷积，深度卷积根据通道数C将相同的输入特征图P分为P组，然后通过大小为k*k的卷积核得到每组特征图，输出为深度特征图。接着进行点态卷积。将深度特征图作为输入通过大小为1*1的N个卷积核，最终得到输出特征图P，该输出特征图P与标准卷积的输出相同。1.3金字塔池化摄像采集仪器不断改进，采集到的图像的分辨率不断提高。在分辨率很大的图像中，图像的距离较大的上下文信息和不同尺度的信息对图像处理有着很重要的影响。因此Yang等人提出了一种改进后的池化，即空间金字塔池化(Spatialpyramidpooling，spp)[28]，如图1.3所示。图1.3空间金字塔池化[28]空间金字塔池化可以很大程度的增加卷积的感受野，从而在进行对图像的特征提取的时达到感受野增大的效果，可以很好的通过跳跃连接的方式连接长距离上下文信息和结合多尺度的图像信息。金字塔池化通过稠密的方式连接了一组空洞卷积层(atrousconvolutionallayer)，从而达到了生成多尺度特征的效果，在不显著增加网络模型大小的前提下，空间金字塔池化生成的多尺度特征不仅覆盖了更大的尺度范围，而且覆盖的尺度范围也更加密集。Zhao等人也提出了一种类似的金字塔池化(Pyramidpoolingmodule,PPM)[29]。该金字塔池化通过对输入特征按照从多到少的顺序进行多次池化操作来实现增大感受野和提高了全局上下文信息的利用率的目的。1.4网络设计本文设计的MAOD-Net网络在大气散射模型的转换公式的基础上主要由两个部分组成，如图1.4所示。图1.4MAOD-Net网络框图第一个部分首先通过输入带雾图像I(x)进行估计K(x)，然后第二个部分通过利用估计得到的K(x)作为自适应输入估计得到去雾后的无雾图像J(x)。K估计模块是MAOD-Net网络中的关键部分，其主要目的是为了估计景观深度和相对雾度，如图1.5所示。图1.5K估计模块本网络使用五个深度可分离卷积层，每一层都由深度卷积和点态卷积组成，深度卷积首先根据输入图像的RGB颜色通道将图像分为三组，然后使用高斯滤波器对每组通道进行卷积操作，然后通过点态卷积，使用高斯滤波器对所有通道进行卷积操作，最后得到特征图，进行对输入图像特征的提取，使用深度可分离卷积可以很好的减少网络模型中的参数数量，很大程度上的减少运算量，实现了轻量化网络的目标。在网络中激活层中使用修正线性单元ReLU作为激活函数，可以对深度可分离卷积层的输出特征结果进行非线性回归，很好的增加了非线性性，同时也很好的避免了梯度消失的问题。通过融合形成的多尺度特征使用不同的滤波器。在平行分布的卷积层中，该网络使用了不同大小的滤波器将粗尺度的网络特征和细尺度的网络特征像连接起来，可以很好的提取出图像中的深层特征。因此，在网络中，concat1连接层将conv1层和conv2层的特征相连接。同样的concat2连接层将conv2层和conv3层的特征相连接concat3层将conv1层、conv2层、conv3层和conv4层的特征相连接。通过这样的多尺度的设计可以很好的将不同尺度的特征相结合，同时中间的连接层可以很好的弥补了卷积过程中造成的信息损失。在每一个卷积层中使用了三个滤波器，因此该网络相比于其他的深层网络，很好的实现了轻量化的要求。该网络将conv5层的输出结果作为金字塔池化模块的输入，金字塔池化模块的设计,如图1.6所示。图1.6金字塔池化模块该模块通过四个不同尺度大小的池化层，对输出特征图的不同尺度的上下文信息进行整合。池化核的大小分别为4*4、8*8、16*16、32*32。因为金字塔有着不同层次的特性，为了确保全局特征的权重，因此在每一个池化层后通过卷积操作将每一层通道都缩小到原始通道。然后通过上采样通道，将特征图的大小还原到池化之前的大小，并连接到一起作为输出。最后对金字塔池化模块的输出结果进行卷积操作，卷积核大小为3*3。最后的输出结果就是K的估计值。1.5损失函数设计在卷积神经网络中，常常使用损失函数(lossfunction)来描述模型估计值与真实值之间的距离大小，在机器学习领域中常常用于模型的参数估计。常见的损失函数有L1loss和L2LL(1.5)此类损失函数常常使用在各种回归模型中，通过使损失函数最小化来进行对参数进行估计。在该网络损失函数的设计中，由于考虑到图像去雾的实际要求，在研究了不同的损失函数后，引入了结构相似性(StructuralSimilarity,SSIM)，用来衡量两幅图像相似度的指标这一图像质量评价指标，与传统的损失函数相结合作为该网络的损失函数，其包含重要的感知现象能够很好的满足需要主观评价的图像。考虑到像素点的SSIM的值是一个从0到1的实数，并且当SSIM的值趋近于1时，表示两幅图像的结构相似性越高，相反当SSIM的值趋近于0时，表示两幅图像的结构相似性越低。因此，考虑到损失函数的数学意义，设计的SSIM的损失函数为式1.6。L(1.6)其中p为区域P的中心像素值。因为即使网络学习中心像素最大化SSIM的全中国，所学习的卷积核也可以应用到图像中的所有像素。Zhao等人提出了一种多尺度的SSIM(multi-scaleSSIM，MS-SSIM)[30]作为卷积神经网络的损失函数，该损失函数可以更好的保留图像特征的原本结构，在图像中的平坦区域也有很好的效果。因此，本网络在MS-SSIM的基础上改进了损失函数，设计了一种将L2损失函数和MS-SSIM损失函数相结合的损失函数，为式1.L(1.7)式中α为自适应参数。该损失函数可以很好的对K参数进行估计，同时也会有很好的保留了图像的原本结构，有着很好的主观效果。2训练与评估本章介绍了实验的训练过程与评估结果。2.1数据集本文模型使用的数据集为NYU2DepthDatabase[31]，如图2.1所示。图2.1NYU2Depth数据集NYU2Depth数据集是由微软Kinect通过RGB和深度摄像机采集的各种室内场景的视频序列组成。该数据集包含着1449张标注后的RGB和深度图像，数据集中的图像来自3个城市中的464个场景。本实验通过使用该数据中的室内图片合成带雾图片，分为五个不同的等级设置不同的大气光附加在原始图像中，具体的合成雾的数据为:A为[0.6,1.0]中的任意值，β∈{0.4,0.6,0.8,1.0,1.2,1.4,1.6}。实验使用了25000张图像作为训练集，使用3000张图像作为非重叠测试集A，此外从Middleburystereo数据集中选取了800张全尺寸合成图像作为测试集B。同时，本实验还对自然带雾图像进行试验，用来评估模型的泛化能力。2.2训练模型在训练过程中，使用高斯随机变量来进行对权重的初始化。在训练过程中，使用了ReLU神经元，因为在训练过程中发现ReLU神经元的效果要远好于BReLU[21]神经元和ELU神经元。此外，在训练参数的设计中，momentum参数被设置为0.9，权重衰减参数被设置为0.001，学习率参数被设置为0.0001。输入图像的大小为480*640。在训练过程中，该网络模型大约需要训练10个epoch可以完成收敛，而且在10个epoch之后的表现较为优秀。本文的模型是通过将epoch设置为15之后训练得到的。在损失函数的选择上，本模型选择了本文设计的MSSSIM+L2l2.3评价指标2.1.1峰值信噪比峰值信噪比(PeakSignalNoiseRatio,PSNR)是一种图像质量评价中的客观指标[33]，用来测量重构图像的质量，但PSNR作为客观指标无法直观的表示出人眼主观感受的图像质量。2.1.2结构相似性结构相似性(Structuralsimilarity,SSIM)和PSNR一样，也是一种图像质量评价中的客观指标，用来衡量两幅图像的相似度。结构相似度的指数通过图像组成的多个要素的角度，将图像的结构信息分为亮度，对比度来反映出图像的结构的属性[33]。2.4训练环境本模型的训练环境是在实验室中的服务器，其环境为linux。训练使用的GPU为4块NVIDIA的GeForceGTX1080Ti显卡，其cuda版本为10.2。本文使用的语言为python，其版本为1.8.2，机器学习框架为Pytorch，其版本为1.2.0。2.5实验结果2.5.1客观指标在NYU2Depth数据集中，将MAOD-Net模型去雾后图像与其他经典去雾模型:暗通道优先(DCP)[18],AOD-Net[23]去雾后图像的客观指标比较如表2.1表2.1客观指标对比SystemPSNRSSIMDCP18.50.83AOD-Net22.50.85MAOD-Net21.30.87表2.1显示了MAOD-Net的平均PSNR和SSIM结果。由MAOD网络是在特殊设计的损失函数下进行端到端优化的，因此它的PSNR性能比其他网络要高也就不足为奇了。即使SSIM不是一个直接的优化标准，更吸引人的是观察到MAOD的SSIM甚至比先前的去雾网络具有更大的SSIM优势。由于SSIM评价是基于像素，因此众所周知它更真实地反映了人类的感知，因此我们很好奇AOD网络的哪一部分实现了这种一致的改进。MAOD-Net方法在使用了深度可分离卷积替代标准卷积运算之后，在训练之后的模型参数从AOD-Net的1700个减少到了MAOD-Net的700个。测试图片的时间比较如表2.2所示表2.2运行时间比较SystemTime(s)AOD-Net0.55MAOD-Net0.43本文设计的MAOD-Net模型比AOD-Net模型在对相同图像进行去雾操作时