【《基于深度学习的图像合成技术基础》2700字】

基于深度学习的图像合成技术基础目录TOC\o"1-3"\h\u5541基于深度学习的图像合成技术基础 1106481.1卷积神经网络基础 1112741.2生成对抗网络 2119101.3常用数据集 3316231.4评价指标 4卷积神经网络是基于深度学习的图像合成方法的实现基础，生成对抗网络是本文研究方法的关键技术之一。基于此，本章介绍了卷积神经网络和生成对抗网络的相关基础知识。此外，本章简要介绍了基于深度学习的图像合成方法相关的数据集和性能评价指标。1.1卷积神经网络基础随着基于深度学习的算法在计算机视觉领域[54]-[55]的快速应用，卷积神经网络在多个视觉任务上获得了较高性能。其基础结构主要包括卷积层、全连接层、激活层以及池化层。卷积层可以利用特定大小的卷积核对输入数据进行运算，获得输入数据的特征，通过采用多个不相同尺寸的卷积核可以获取不同感受野的特征图。一般情况下，卷积神经网络通过堆叠的卷积层获得输入数据的特征信息。其中，浅层卷积层用于提取低维度特征，例如输入图像的结构信息、边缘信息等。深层卷积层用于提取高维度特征，例如输入图像的高级语义信息等。对于输入图像，和分别为输入图像的高度和宽度，为通道数目。假定卷积层的卷积核数量是，步长是，卷积核尺寸是，padding表示为，则输入图像对应的输出特征图为，其中输出特征图的高度和宽度公式表示如下： (2-1) (2-2)全连接层通常主要用于卷积层之后。通常条件下，全连接层放置在所设计网络的最后几层以降低网络的参数量。此外，利用全连接层能够减少输入特征自身空间结构的影响。由于经过全连接层输出的特征中的任一维特征均与输入特征的所有维建立联系，提取并整合输入数据的有用信息可以获取数据的全局特征表示。激活层一般位于卷积层后，主要作用在于将由卷积层所获取的特征进行非线性变换，以将所获得的特征映射到非线性空间，从而提高模型的泛化能力。理论上，采用激活层能够使得网络拟合任何非线性函数，从而学习复杂的数据分布。目前，激活层所利用的激活函数主要囊括ReLU、Tanh以及Sigmoid等函数。ReLU函数因其具有结构简单、收敛速度快以及求解方便等特点被广泛用于各种卷积神经网络中，并且ReLU函数可以有效地解决梯度消失问题。池化层一般位于卷积层和激活层后，主要通过降低输入特征的分辨率的大小来减少数据的冗余，其可以在一定程度上降低网络学习的参数量并解决卷积神经网络的过拟合问题。池化方法主要包括最大值池化和均值池化两种，其中最大值池化为一种常用池化方法，设池化层输入特征为，最大值池化公式表示如下： (2-3)其中，表示中第个像素，表示所对应特征图的邻域。1.2生成对抗网络生成对抗网络是基于深度学习的图像合成方法中较为重要的模型，其主要包括生成器和鉴别器两部分。其中，生成器通过模拟真实图像的分布获得指定的目标图像，判别器用于判别生成器所获得的图像是否为真实图像，以指导指导生成器学习。生成对抗网络借助零和博弈的思想进行网络参数优化，即判别器每次都将生成器获得的图像判定为虚假，而将真实的图像判定为真实。而生成器试图生成最为接近真实图像的目标图像以对抗判别器的判定。生成对抗网络的网络结构如图2-1所示。其中图(a)表示以随机变量作为输入的无条件型生成对抗网络，图(b)表示以给定图像作为输入的条件型生成对抗网络。图2-1生成对抗网络的网络结构示意图生成器的结构一般为传统的编码器-解码器结构，其中编码器用以获取输入变量或者输入图像的特征，而解码器用以将特征解码以获得最终的目标图像。判别器的网络结构一般为堆叠的卷积层结构，用以将生成的图像和真实的图像进行特征层面的判别。假设生成器的输入为、真实图像为，则生成器生成的图像为，生成对抗网络通过对抗损失约束所设计的网络以实现指定图像的合成，对抗损失函数具体公式表示如下： (2-4)其中，表示经过鉴别器的输出，表示经过鉴别器的输出。生成器试图获得较大，判别器试图获得较小的，通过上述对抗约束以使得生成的目标图像与真实的目标图像相近。1.3常用数据集典型的自由视点系统图像合成任务数据集为ShapeNet数据集[56]，典型的医学图像合成任务数据集为Brats2018数据集[57]，以下将对上述两个数据集作简要介绍。ShapeNet数据集[56]是一个3D数据集，因其数据规模较大、注释内容丰富而被广泛应用于自由视点系统图像合成。表2-1列出了基于深度学习的自由视点系统图像合成领域中较为常用的为Chair类别的图像数据以及Car类别的图像数据。表2-1ShapeNet数据集编号类别样本数1car74972chair6778在基于深度学习的自由视点系统图像合成任务中，一般将ShapeNet数据集中的3D模型根据任务需求进行图片绘制，主要做法为采取2D投影的方式依据设置的旋转角和仰角进行多视点图像绘制。Brats2018数据集[57]共包含285个病人实例，其中每个病人实例有4个模态图像，分别为T1模态图像、T2模态图像、T1ce模态图像以及Flair模态图像。每个病人实例大小为240×240×155，其中240×240为图像的高度和宽度，155为病人实例的切片数。该数据集主要应用于脑部肿瘤分割任务以及图像合成任务。在脑部肿瘤分割任务中需要分割增强肿瘤（enhancetumor，ET），全肿瘤（wholetumor，WT）和肿瘤核心（tumorcore，TC）3个部分。在图像合成任务中，主要根据其中一个或多个模态图像合成其他指定模态的图像。1.4评价指标为定量评估基于深度学习的图像合成方法的性能，本文选择平均绝对误差（MeanAbsoluteError,MAE）、峰值信噪比（PeakSignaltoNoiseRatio,PSNR）、归一化均方根误差（NormalizedMeanSquaredError,NMSE）以及结构相似度（StructuralSimilarityIndexMeasurement,SSIM)评估合成图像的质量，上述指标通过计算真实目标图像和合成图像间的像素误差及结构误差来评估所得目标图像的质量。1）平均绝对误差（MAE）平均绝对误差是图像合成领域中应用较为广泛的性能评价指标，其主要计算预测值与真实值之间绝对误差的均值。 (2-5)其中，与分别表示所合成的图像和真实图像在处的像素值，表示图像中像素的个数。2）峰值信噪比（PSNR）PSNR也是图像合成领域中应用较为广泛的性能评价指标，其单位为分贝（dB），主要用于衡量所合成的图像与真实的图像之间的图像失真水平，其计算公式表示如下： (2-6)其中，与分别表示图像的高度和宽度，表示图像像素比特数，的值通常为8。所合成的图像与真实图像之间的失真水平越低，则所合成的图像所含噪声得程度越低，PSNR值越大。3）归一化均方根误差（NMSE） (2-7)归一化均方根误差NMSE从归一化的均方根误差角度衡量合成图像与真实图像之间的误差。3）结构相似度（SSIM）该指标能够从图像组成角度衡量合成图像与真实图像之间的结构相似度，其计算公式如下： (2-8) (2-9) (2-10) (2-11)其中，与分别表示合成图像和真实图像，表示此两张图像的亮度变化函数，表示此两