CN115018767B 基于本征表示学习的跨模态内镜图像转换及病灶分割方法 （复旦大学）

基于本征表示学习的跨模态内镜图像转换本发明通过构建的基于本征表示学习的神经网于窄带图像辅助的病灶区域分割能够自动定位2(一)通过构建的基于本征表示学习的神经网络，将消化道内窥镜白光图像(WLI)转换步骤(一)中，对于给定白光图像(WLI)，目标是生成相应的窄带取模态不变特征的模态不变特征编码器E",得到白特征经过一个获取模态不变特征的模态不变特征编码器得到窄带图像INBI的本质特征n:F"和n组合输入一个白光图像生成器GWLI中生成白光图像和组合输入窄带图像生成器GNBI中生成窄带图像两个本质特征和分别像经过一个获取光学信息的特定模态特征编码器EMS,得到新的白光图像光学特征F",经过获取模态不变特征的模态不变特征编码器得到新的白光图像本质特征同理，可得新的窄带图像的光学特征"和本质特征和组合输入白光图像生成器GWLI中，得到白光图像1,和组合输入窄带图像生成器GNBIGEigenn:与输入白光图像(WLI)具有相同34.根据权利要求3所述的方法，其特征在于，在神经网络测试时，输入内镜白光图像两个本质特征和输入本征生成器GEigen中分别生成白光图像本征表示特征提取器EMI中再次提取本征表示与最初的白光图像光学特征组合输入白光图像生成器GWLI中生成重构的白光图像在和原始白光图像IWLI之间计算循环损失Lcycle；生成的白光图像本征表示和窄带图像本征表L=λ1Lperceptual+λ2LEigen+λ3Lfeature+λ4Lcy45[0008]本发明提供的基于无监督本征表示学习的跨模态内镜图像转换及病灶区域分割[0009](一)通过构建的基于本征表示学习的神经网络，将消化道内窥镜白光图像(WLI)6态不变特征的模态不变特征编码器得到白光图像的本质特征同理，对于窄带图像INBI经过一个获取光学信息的特定模态特征编码器EMS得到NBI的光学特征经过一个获取模态不变特征的模态不变特征编码器得到NBI图像的本质特征n:F"和组合输入白光图像生成器GWLI中生成白光图像和组合输入窄带图像生成器GNBI中生成窄带成像图像两个本质特征和分别输入本征生成器到新的白光光学特征经过获取模态不变特征的模态不变特征编码器得到新的白光图像本质特征同理，可得新的NBI图像的光学特征"和本质特征和组合输入白光图像生成器GWLI中，生成得到白光图像和组合输入窄带图像生成器GNBI中，生成得到窄带像图像循环后得到的白光图像和窄带像图像应和原始输入的白光图像IWLI和窄带图像INBI一致，即可以使用像素级的损失的本质，从而使得跨模态、跨设备图像能保留更好的一致性。以WLI为例，假设本质特征7可以有效地表达WLI图像中的组织，我们可以得到一个本质图与输入WLI具有用来生成真实的本质图像来迷惑鉴别器。通过对抗性学习,不仅可以获得更真实的本质图[0018]两个本质特征和输入本征生成器GEigen中分别生成白光图像本征表示[0020]窄带成像分支中，光学特征和窄带本质特征En组合输入白光图像生成器GWLI中生成白光图像通过判别器Dgen计算GAN损失LGAN。白光图像本征表示重新输入本质特征提取器EMI中再次提取本征表示与最初的白光图像光学特征组合输入白光图像生成器GWLI中生成重构的白光图像1:,在和原始白光图像IWLI之间计算循环损失Lcycle。生成的白光图像本征表示和窄带图像本征表示en输入本征判别器[0025]L=λ1Lperceptual+λ2LEigen+λ3Lfeature+λ4Lcycl2＝18[0028]所述空洞空间卷积池化金字塔(ASPP)网络连接在固定本质特征提取器EMI后面；本发明不是以图像作为分割网络的输入，而是使窄带图像和原始白光图像同时做分割网络的输入，可以输出精确的白光图像病灶分割结[0031]本发明还提供首个多模态(WLI和NBI)食管内窥镜视频数据集和像素级对齐的配[0032](1)数据对象的选择。缺乏大规模配对数据集是阻碍内窥镜图像转换任务的关键9[0036]本发明的有益效果在于：本发明设计了一个基于本征表[0048](3)使用白光图像转换网络可以得到转换后的窄带图像，使用网络生成的窄带图[0049]图3、图4为同数据集和跨数据集WLI和NBI的图像转换结果。由于Pix2Pix和本发明在数据集内和跨数据集实验中都具有稳定[0050]图5为转换生成的NBI图辅助WLI病变分割的结果。本发明不仅可以生成更真实的[0051]图6为本质特征用于病变分割的结果。即使是有监督训练的端到端分割方法也难[0053][1]MamonovAV,FigueiredoIN,FigueiredoPN,etal.Automatedpolypdetectionincoloncapsuleendoscopy[J].IEEETransactionsonMedicalImaging,2014,33(7):1488-1502.[0054][2]GhatwaryN,ZolgharniM,YeX.Earlyesophagealadenocarcinomadetectionusingdeeplearningmethods[J].InternationalJournalofComputerAssistedRadiologyandSurgery,2019,14(4):611-621.[0055][3]MesejoP,PizarroD,AbergelA,etal.Computer-AidedClassificationofGastrointestinalLesionsinRegularColonoscopy[J].IEEETransactionsonMedicalImaging,2016,35(9):2051.[0056][4]GaiW,JinXF,DuR,etal.Efficacyofnarrow-bandimagingindetectingearlyesophagealcancerandriskfactorsforitsoccurrence[J].IndianJournalofGastroenterology,2018.[0057][5]P.Isola,J.Zhu,T.ZhouandA.A.Efros,Image-to-IConditionalAdversarialNetworks[C].2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2017,pp.5967-5976,doi:10.11[0058][6]J.Zhu,T.Park,P.IsolaandA.A.Efros,UnpairedImage-to-ImageTranslationUsingCycle-ConsistentAdversarialNetworks[C].2017IEEEInternationalConferenceonComputerVision(ICCV),2017,pp.2242-2251,doi:10.1109/ICCV.2017.244.[0059][7]HeK,ZhangX,RenS,etal.SpatialPyramidPoolinginDeepConvolutionalNetwork