【《基于深度学习的图像合成方法研究国内外文献综述》4600字】

基于深度学习的图像合成方法研究国内外文献综述1传统的图像合成方法1）自由视点系统图像合成方法。早期的自由视点系统图像合成方法主要分为基于几何建模的图像合成方法、基于彩色图像的图像合成方法以及基于深度图像的图像合成方法。基于几何模型的自由视点系统图像合成方法[12]-[14]首先根据多个不同源视点图像的纹理以及颜色等信息构建物体的三维模型，然后利用此三维模型绘制目标视点图像。由于该类方法直接构建物体的三维模型，其合成的目标视点图像结构较为清晰，视点图像的位置较为准确。但是，由于需要对整个物体或者场景进行三维建模，对于具有较为复杂结构的物体或场景，基于几何模型的合成方法通常具有较高的时间复杂度，并且难以较好地合成目标视点图像。不同于基于几何模型的合成方法，基于彩色图像的自由视点系统图像合成方法利用多维全光函数[15]重建场景或物体的光场，并在目标视点位置对重建的光场进行采样以获得最终的目标视点图像。在理想条件下，连续的全光函数能够生成较高质量的目标视点图像，但是基于有限的源视点图像通常难以重构连续的全光函数，因此该方法难以合成质量较高的目标视点图像。与构建全光函数的合成方法不同，基于深度图像的自由视点系统图像合成方法通过计算给定的多个源视点图像之间像素的相对位置生成目标视点图像[16]-[18]。基于深度图像的自由视点系统图像合成过程如图1-1所示。首先，利用匹配算法将所获得的深度图像与相应的源视点图像进行配准。然后，利用预处理操作填充配准后深度图像的空洞。最后，将预处理后的深度图像和源视点图像进行3DWarping操作以获得目标视点图像。其中，深度图可以通过深度相机进行采集、或者利用立体匹配算法获得的视差图进行转换获得。图1-1基于深度图像的自由视点系统图像合成过程2）医学图像合成方法。早期的医学图像合成方法主要囊括基于手工特征的图像合成方法、基于图谱配准的图像合成方法以及基于强度变换的图像合成方法。基于手工特征的医学图像合成方法[19]-[20]首先从源模态图像中按照特定规则提取像素块，然后借助手工特征学习源模态图像与目标模态图像对应像素块间的映射关系，最后利用像素块间的映射合成目标模态图像。此类方法将预测目标模态图像的过程看作像素块回归过程，并采用回归约束实现源模态图像到目标模态图像的转换。基于图谱的医学图像合成方法[21]-[22]主要将源模态图像与图谱中相应模态图像进行匹配，并根据配准结果将对应图谱目标模态图像形变为真实的目标模态图像。该类方法虽然操作较为简单、生成的目标模态图像结构较为清晰，但是对于匹配的精度要求较高。因此，对于目标模态图像中匹配难度较大的精细结构部分，基于图谱的合成方法难以获得较好的合成结果。不同于基于手工特征的图像合成方法和基于图谱配准的图像合成方法，基于强度变换的图像合成方法通过学习一些强度变换函数将源模态图像转换为目标模态图像[23]-[25]。该类方法选取成对的图像数据学习图像的滤波过程，并将学习到的滤波器应用到源模态图像以合成目标模态图像。2基于深度学习的图像合成方法1）基于深度学习的自由视点系统图像合成方法。随着深度学习的发展，基于深度学习的合成方法逐渐成为自由视点系统图像合成任务的主流方法。相较于传统的自由视点系统图像合成方法，基于深度学习的合成方法依赖于卷积神经网络对数据强大的建模能力，可以更为充分地挖掘源视点图像与目标视点图像之间的像素相关性，从而合成质量更佳的目标视点图像。此外，在合成目标视点图像的过程中，基于深度学习的合成方法不需要额外的辅助数据，例如深度图像等。目前基于深度学习的自由视点系统图像合成方法主要分为两类，分别为流预测方法[23]和像素生成方法[24]。流预测方法合成目标视点图像的过程如图1-2所示，首先利用卷积神经网络预测源视点到目标视点的视差图或深度图，然后利用视差图或深度图对源视点图像进行Warping操作以合成目标视点图像。例如，Habtegebrial等人[29]通过预测源视点图像的深度图来实现从源视点图像到目标视点图像的映射。Xie等人[30]首先利用网络预测源视点与目标视点之间的多个不同的视差范围，然后根据视差范围对源视点图像进行双线性插值以合成目标视点图像。Liu等人[31]提出一种几何结构网络预测目标视点图像的深度图和法线图，借助预测的深度图和法线图实现目标视点图像的合成。Zhou等人[32]预测源视点图像和目标视点图像之间的视差图，并利用双线性插值操作将源视点图像的像素根据视差图进行线性搬移，以获得最终的目标视点图像。由于该类方法直接对源视点图像的像素进行操作，因此所合成的目标视点图像的纹理内容较好。但是，对于目标视点图像中的遮挡区域，流预测方法通常难以获得较好的合成结果，合成的目标视点图像中对应的遮挡区域往往会出现空洞、伪影等现象。图1-2基于流预测方法自由视点系统图像合成过程为了解决流预测方法无法较好地合成目标视点图像遮挡区域像素的问题，像素生成方法受到了研究人员的广泛关注。像素生成方法合成目标视点图像的过程如图1-3所示，其利用卷积神经网络学习源视点图像的特征，并将此特征转换为目标视点图像。例如，Tatarchenko等人[33]提出了无需生成视差图或深度图的视点合成网络，该网络通过像素回归方法直接生成遮挡区域的像素。Rematas等人[34]利用网络预测的结构信息匹配多个视点图像，以合成目标视点图像中的像素。Flynn等人[35]利用不同视点图像之间的相关性推断目标视点图像中的像素值，然后对所生成的像素进行回归计算以约束网络的学习过程。Eslami等人[36]提出了一种生成查询网络，该网络首先学习源视点图像的外观表示，然后利用所学的外观表示合成目标视点图像的像素。此外，一些研究者将自由视点系统图像合成看作在3D空间的像素映射问题。该类方法通过卷积神经网络学习源视点图像的3D表示，利用3D旋转操作将此3D表示转换到目标视点，并通过绘制目标视点的3D表示以获得目标视点图像。例如，Kyle等人[37]将源视点图像从2D空间映射到3D空间以获得源视点位置的3D表示，然后根据目标视点位姿信息的引导旋转上述3D表示以获得目标视点位置的3D表示，最后将目标视点位置的3D表示经过2D投影以获得最终的目标视点图像。虽然像素生成方法能够合成目标视点图像遮挡区域的像素，但所合成的目标视点图像的纹理信息欠佳、图像内容较为模糊。图1-3基于像素生成方法自由视点系统图像合成过程针对上述像素生成方法与流预测方法存在的问题，一些研究工作致力于综合利用这两种方法的优势，以获得更好的目标视点图像合成结果。为了解决流预测方法在合成目标视点图像时存在空洞、伪影的问题，Park等人[38]提出了一种遮挡感知的外观流网络，该网络首先通过预测遮挡掩膜以表征位于遮挡区域的像素，然后根据此掩膜对处于遮挡区域的像素进行优化，从而获得更好的目标视点图像。Sun等人[39]有效地结合流预测方法和像素生成方法，通过网络预测两种方法合成的目标视点图像的权重图以聚合两个目标视点图像，该方法有效利用了流预测方法和像素生成方法的优势。虽然上述方法通过结合流预测方法和像素生成方法获得了较好的图像合成性能，但当源视点图像与目标视点图像具有较大相对位姿时，合成目标视点图像的质量仍相对较差。因此，设计一种更有效的源视点图像到目标视点图像的转换网络以提高图像合成的性能具有较高的研究价值。2）基于深度学习的医学图像合成方法。通常情况下，医学图像由特定设备采集获得，根据输入源模态图像的数量，基于深度学习的医学图像合成方法主要分为单模态医学图像合成方法[40]-[41]和多模态医学图像合成方法[42]-[43]两类。单模态医学图像合成方法旨在利用单个源模态图像实现指定目标模态图像的合成。例如，Huang等人[40]引入了新颖的单模态医学图像合成方法，该方法旨在利用弱耦合和几何正则化方法进行联合字典式学习以合成目标模态图像，此外，该方法利用图像配准操作实现非成对数据图像间的转换训练，取得了较好的合成性能。Nie等人[41]提出了一种上下文感知的生成对抗网络以实现目标模态图像的合成，该方法使用三维卷积实现源模态图像到目标模态图像的3D映射以获得更好的特征表示，并在一定程度上解决了病人模态图像切片不连续的问题。Wolterink等人[44]提出利用生成对抗网络消除所获取的CT图像的噪声，从而生成高质量的目标模态图像。Dar等人[45]提出利用生成对抗网络对不同模态图像进行对比学习，并利用对抗损失逐像素地约束生成的目标模态图像以保留图像内容的高频信息。Wei等人[46]提出一种3D全卷积网络学习源模态图像和目标模态图像的相关性以合成目标模态图像。Huang等人[47]提出了一种新颖的双重卷积滤波器，其通过学习闭环信息反馈以改进医学图像合成性能。单模态医学图像合成方法针对已有的单个源模态图像，通过设计有效的深度学习网络以实现目标模态图像的合成，这在一定程度上减少了资源获取的难度。但是，单模态医学图像合成方法忽略了相同个体其他模态图像所包含的不同表征信息，因此难以获得更高质量的目标模态图像。多模态医学图像合成方法旨在同时利用多个不同的源模态图像所包含的信息实现目标模态图像的合成。例如，Olut等人[42]提出利用网络学习T1模态和T2模态图像到目标模态图像的映射关系，该方法利用多个源模态图像之间的互补信息获得了质量较好的目标模态图像。Yang等人[43]提出借助生成对抗网络构建多模态图像合成模型以合成目标模态图像。此外，一些研究者利用网络获得多个源模态图像的共同表示[48]-[49]，并利用此共同表示实现目标模态图像的合成。例如，Ngiam等人[50]提出利用卷积神经网络融合不同模态的图像并学习一个共同表示以合成所需目标模态图像。Zhou等人[51]提出一种多模态融合模块，该模块学习多个源模态图像不同分辨率的共同表示以合成最终的目标模态图像。Wang等人[52]提出一种多模态自适应融合网络，该网络利用学习到的共同表示合成高质量的目标模态图像。Mehta等人[53]提出一种基于分割回归的网络，该网络从多个源模态数据中探索共同表示，从而合成缺失模态的医学图像。当前基于深度学习的多模态数据间的医学图像合成方法虽然取得了较好的性能，但现有大多数方法均采用简单的前期融合策略或者后期融合策略以融合多个源模态的信息，如何充分挖掘多源模态图像的有用信息并进行有效融合以提升医学图像的合成性能具有较大的研究意义。综上所述，如何有效学习输入的源图像到目标图像的转换关系，对于提高图像合成性能至关重要。基于此，本文旨在综合考虑源图像信息以及源图像和目标图像对之间的映射关系，设计适合于自由视点系统图像以及医学图像的图像合成网络，充分挖掘源图像的纹理与结构信息，构建有效的源图像到目标图像的像素映射方式，从而获得高质量的目标图像。参考文献TianS,ZhangL,MorinL,etal.AbenchmarkofDIBRsynthesizedviewqualityassessmentmetricsonanewdatabaseforimmersivemediaapplications[J].IEEETransactionsonMultimedia,2018,21(5):1235-1247.WuP,LeeY,TsengH,etal.Abenchmarkdatasetfor6DoFobjectposetracking[C].IEEEInternationalSymposiumonMixedandAugmentedReality,2017:186-191.YueG,HouC,GuK,etal.CombininglocalandglobalmeasuresforDIBR-synthesizedimagequalityevaluation[J].IEEETransactionsonImageProcessing,2019,28(4):2075-2088.SattlerT,MaddernW,ToftC,etal.Benchmarking6DOFoutdoorvisuallocalizationinchangingconditions[C].IEEEConferenceonComputerVisionandPatternRecognition,2018:8601-8610.ZhangS,ChanS,QiuR,etal.Onthedesignandimplementationofahighdefinitionmulti-viewintelligentvideosurveillancesystem[C].IEEEInternationalConferenceonSignalProcessing,CommunicationandComputing,2012:353-357.Ndjiki-NyaP,KoppelM,DoshkovD,etal.Depthimage-basedrenderingwithadvancedtexturesynthesisfor3-Dvideo[J].IEEETransactionsonMultimedia,2011,13(3):453-465.WangL,HouC,LeiJ,etal.ViewgenerationwithDIBRfor3Ddisplaysystem[J].MultimediaToolsandApplications,2015,74(21):9529-9545.ChenD,SangX,WangP,YuX,etal.Dense-viewsynthesisforthree-dimensionallight-fielddisplaybasedonunsupervisedlearning[J].OpticsExpress,2019,27(17):24624-24641.ChenD,SangX,WangP,etal.Multi-parallaxviewssynthesisforthree-dimensionallight-fielddisplayusingunsupervisedCNN[J].OpticsExpress,2018,26(21):27585-27598.LiuX,CheT,LuY,etal.AUTO3D:novelviewsynthesisthroughunsuperviselylearnedvariationalviewandglobal3Drepresentation[C],EuropeanConferenceonComputerVision,2020:52-71.ChartsiasA,JoyceT,GiuffridaM,etal.MultimodalMRsynthesisviamodality-invariantlatentrepresentation[J].IEEETransactionsonMedicalImaging,2018,37(3):803-814.CurlessB,LevoyM.Avolumetricmethodforbuildingcomplexmodelsfromrangeimages[C].AnnualConferenceonComputerGgraphicsandInteractiveTechniques,1996:303-312.AsaiT,KanbaraM,YokoyaN.3Dmodelingofoutdoorenvironmentsbyintegratingomnidirectionalrangeandcolorimages[C].IEEEFifthInternationalConferenceon3-DDigitalImagingandModeling,2005:447-454.DebevecP,TaylorC,MalikJ.Modelingandrenderingarchitecturefromphotographs:Ahybridgeometry-andimage-basedapproach[C].AnnualConferenceonComputerGraphicsandInteractiveTechni