【《人脸图像超分辨率重建方法分析》6900字】

人脸图像超分辨率重建方法分析目录TOC\o"1-3"\h\u2234人脸图像超分辨率重建方法分析 [46]这两个数据集上进行实验，Helen数据集中包含人脸图像信息和人脸特征点信息，但是不包含人脸解析图信息，需要对特征点进行连接操作后才能得到解析图信息；CelebAMask-HQ数据集只包含人脸图像信息，不包含人脸特征点和人脸解析图的信息，需要借助外部方法生成解析图信息。Helen数据集提供的人脸图像如图1.8左侧所示，共有2330张图像，图片尺寸大小不一致。该数据集提供了默认的194个人脸特征点，为了获取人脸解析图，本文利用数据集提供的人脸特征点信息，对具有关联的部位进行特征点连接操作，然后对其着色，以获取相应的人脸语义分割图，即人脸解析图信息，并将其作为目标值，如图1.8右侧所示。训练时使用其中的2280张图像作为训练集，剩余的50张图像作为验证集。CelebAMask-HQ人脸数据集提供的人脸图像如图1.9左侧所示，共有30000张图像，均为1024×1024大小。采用预训练人脸解析图预测网络（BiSeNet）[19]进行获取并将其作为目标值，如图1.9右侧所示，获得的解析图大小均为512×512，涵盖了人脸部位的19个类别，包括皮肤、眉毛、眼睛、鼻子、嘴巴、耳朵、头发、眼镜、帽子和脖子等，训练时使用其中的29900张图像作为训练集，其余100张图像作为测试集。图1.8Helen数据集（左：人脸图像，右：人脸语义分割图）Fig.1.8Helendataset(left：faceimage,right：facesemanticsegmentation)图1.9CelebAMask-HQ数据集（左：人脸图像，右：人脸语义分割图）图1.9CelebAMask-HQdataset(left：faceimage,right：facesemanticsegmentation)本文首先将数据集中的图像重新采样为128×128像素大小作为原始高分辨率目标图像，然后采用三次样条插值（Bicubic）方法将图像下采样为16×16像素大小作为超分辨率重建任务的低分辨率输入人脸图像，输入图像会首先经过Bicubic方法处理为128×128的目标尺寸大小作为超分辨率重建网络的输入图像。其目标真实高分辨率图像和输入的目标尺寸低分辨率图像的实例如图1.10所示，最后将人脸语义分割图都重新采样为64×64像素大小合作为人脸解析图的真实值。图1.10输入图像和目标图像Fig.1.10Inputimageandtargetimage（2）训练设置本文采用PyTorch实现本文所提出的超分辨率重建网络，采用RMSprop优化器进行训练，并设置学习率为2.5e-4。在生成网络和对抗网络的训练中使用自适应策略进行网络优化，在网络每迭代10k次之后，将学习率衰减为上次的90%，最小批次大小为8，并分别设置λ=1，α=0.1，β=0.001。训练所使用的硬件设备配置如表表1.1训练设备配置Table1.1trainequipmentsetting硬件/软件参数GPUGTX2070CPUi7-8700K操作系统windows10Pytorchv1.2.01.4.2实验结果分析本文设计的网络前部为预放大网络，整体为8×重建网络。预放大网络目的是为后续网络提供更准确的输入，便于预测出人脸解析图信息。对于整体的8×重建网络，将其同传统Bilinear方法、Bicubic方法、利用像素损失VDSR[6]方法还有首次利用GAN网络的SRGAN方法进行对比。网络输出的预放大图像和最终8×图像以及人脸解析图如图1.11所示。图1.11网络输出（依次为目标图像、输入图像、预放大图像以及输出图像）Fig.1.11Networkoutput(fromlefttorightaretargetimage,prezoomimageandoutputimage)（1）预放大网络网络前半部分为预放大网络，其重建效果如图1.11中的第三列所示。由重建效果图和重建指标数据可以看出，本文的预放大网络生成的预放大图像的主观视觉感受和客观事实数据（包括PSNR和SSIM数值）均优于原始输入的Bicubic方法，为本文的后部重建网络及人脸解析图提取网络提供了更高的输入准确性，对于整体网络效果的提升具有促进作用。（2）8×重建网络网络的整体为8×重建网络，从客观数据和主观感受两个角度对本文的重建方法和现有的超分辨率重建方法进行对比。如图1.12所示，图中展示了不同方法的重建效果，从图中可以看出本文重建算法生成的高分辨率人脸图像更加真实，且具有更加丰富的细节，在主观感受上优于其他算法。表1.2则提供了不同重建方法的在本文提供的配置下的客观数据指标（均为本算法相同实验环境和数据集下测试结果），VDSR在训练时采用了像素权重损失提高了数据指标；SRGAN首次采用了GAN网络生成具有更高感官舒适度的平滑图像，其数据指标优于VDSR，但是由于这些网络针对的都是泛化图像，由图1.8可以看出这些方法在人脸细节方面恢复效果较差；本文首先采用带有注意力机制的预放大网络回归出更准确的输入图像，提取到人脸特有的解析图信息，能够针对人脸超分辨率重建这一特定任务进行约束，本文方法在客观数据相较于其他方法有一定提升。BilinearBicubicVDSRSRGANOursTarget图1.12重建效果图（8×重建网络）Fig.1.12reconstructionresult(8×reconstructionnetwork)表1.28×重建方法实验结果对比Table1.28×Reconst