【《基于深度学习的影像组学建立的模型研究国内外文献综述》3700字（论文）】

基于深度学习的影像组学建立的模型研究国内外文献综述随着信息化时代的迅速变革，存储技术得到了大大的发展，医学影像数据得以保存下来，成为了不可忽视的大数据资源。医学影像大数据与计算机的交叉融合，促使了影像组学这一新兴研究领域的诞生。2012年荷兰学者PhilippeLambin[6]教授提出了影像组学的概念，其定义为从影像（CT、MRI、PET等）中高通量地提取大量影像信息，实现肿瘤分割、特征提取与模型建立，凭借对海量影像数据信息进行更深层次的挖掘、预测和分析来辅助医师做出最准确的诊断。影像组学可直观地理解为将视觉影像信息转化为深层次的特征来进行量化研究。高通量特征的提取是影像组学的关键所在，按照提取方式的不同，可以分为传统影像组学和基于深度学习的影像组学。传统的影像组学方法在获取影像数据及将实际的临床问题转换为分类问题或者回归问题后，需要进行感兴趣区域（RegionofInterest,ROI）的选择，这是传统影像组学分析过程中最为关键的一步之一。ROI的分割通常由具有丰富经验的放射科医生手动勾画，然而这种手动分割方式费时费力。当面对大量的影像数据时，放射科医生需要花费数月的时间进行ROI的勾画，这无疑为整个研究过程增加了时间成本。而且，ROI的分割与放射科医生的经验和习惯息息相关，不同放射科医生在同一影像数据集上勾画的ROI可能存在较大的差异。虽然涌现了半自动分割方式以及自动分割方式，但是这两种方式也少不了放射科医生的确认。在完成病灶分割后，需要进行高通量特征的提取。HugoJ.W.L.Aerts于2014年在NatureCommunication上发表了关于高通量特征提取的方法的文章[7]。直方图强度特征、形状特征、纹理特征是主要被提取的特征，直方图强度特征包括熵、能量等，形状特征包括肿瘤体积、面积等，纹理特征包括灰度共生矩阵（Gray­LevelCo­occurrenceMatrix,GLCM）、灰度游程矩阵（Gray­LevelRun­lengthMatrix,GLRLM）等。高通量的特征存在高度的相关性，为了防止过拟合，因此需要特征的选择。特征选择主要选择机器学习中的经典算法：最小绝对收缩和选择算法（LeastAbsoluteShrinkageandSelectionOperator,LASSO）、主成分分析（PrincipalComponentAnalysis,PCA）等等。最后一般使用监督模型：随机森林（RandomForest），支持向量机（SupportVectorMachine,SVM），逻辑斯蒂回归（LogisticsRegression）来建立预测模型。Lei等人[8]从训练集的乳腺X线摄影图像中一共提取了8286个特征，利用LASSO选取了6个最佳特征用于构建影像组学标签，与绝经状态结合，通过逻辑回归分析建立BI­RADS4类良性钙化预测模型，在验证集中，联合预测模型的诊断效能AUC值为0.80。Yang等人[9]基于147个患者的肿瘤区域提取了299个特征，通过LASSO算法选取了10个特征构建影像组标签，并利用支持向量机构建了乳腺癌腋窝淋巴结转移状态预测模型，训练集和测试集的C­Index分别为0.779（95%CI，0.752­0.793）和0.809（95%CI，0.794­0.833）。Cui等人[10]基于乳腺钼靶X线摄影的ROI提取了纹理特征、一阶直方图特征、Hu不变矩特征等455个特征，利用最大相关最小冗余（MinimumRedundancyMaximumRelevance,mRMR）算法进行了特征选择，最后利用KNN、RF、SVM构建了多个良恶性预测模型，证明了纹理特征对乳腺癌良恶性预测的有效性。传统影像组学高度依赖于人工定义的特征，而基于深度学习的影像组学可以自动地从图像中学习特征的提取和选择并进行预测。基于深度学习的影像组学没有像传统的影像组学一样有固定的被人为提前定义的的特征。针对不同的临床问题，基于深度学习的影像组学会从图像中提取有针对性的特征，不需要给出明确的计算公式。就乳腺癌良恶性分类问题来说，可以将模型分为多视图模型和单视图模型。与单视图模型不同，多视图模型利用乳腺钼靶X线摄影的不同方向的视图进行建模。Li等人[11]基于DenseNet设计了单视图DenseNet­II网络，该网络以DenseNet为基础，将DenseNet的第一个卷积层替换为InceptionNet中的Inception结构，在乳腺钼靶良恶性分类问题上，该网络与AlexNet、VGGNet、GooLeNet、DenseNet相比，取得了更优的性能，准确率为94.55%，AUC=0.912，灵敏度为95.60%，特异性为95.36%。Xie等人[12]以DenseNet和MobileNet网络为特征提取器，对乳腺钼靶视图做了特征提取，对提取的特征分别做了1/16比例池化、1/4比例池化、全比例池化，汇总三种不同池化操作的特征，基于这些特征训练得到一个良恶性分类器。以DenseNet121作为特征提取器的模型取得了准确率为96.34%和AUC为0.9713的效果，并在文中比较了不同大小的输入图片对模型的影响，结果表明更大的输入图片产生了更优的性能。Shu等人[13]基于DenseNet169对裁剪的乳腺钼靶图像提取了特征，提出了两种不同的池化方法：基于区域的最大群池化（RegionbasedGroup­maxPooling,RGP）和全局最大群池化（GlobalGroup­maxPooling,GGP），并对提取的特征分别做了上述两种池化，组成最后的特征向量用于良恶性分类，最后在CBIS­DDSM（CuratedBreastImagingSubsetofDigitalDatabaseforScreeningMammography）公共数据集上取得了92.2%的准确率和0.924的AUC，在INbreast公共数据集上取得了准确率为76.2%和AUC为0.838的结果。Ragab等人[14]设计了四种不同的模型，第一种为直接利用预训练的网络基于乳腺钼靶视图做端到端的训练，第二种为用预训练的网络提取特征，用支持向量机（SupportVectorMachine,SVM）做分类，第三种为对提取的特征做深层特征融合，再用SVM做分类，第四种为在第三种模型的基础上，深层特征融合后，用主成分分析（PrincipalComponentAnalysis,PCA）做特征选择，最后使用SVM分类。其中利用预训练的ResNet50做特征提取，使用带有二次核函数的SVM做分类的第四种模型在公共数据集MIAS（MammographicImageAnalysisSociety）上取得了95.4%的准确率，0.99的AUC，0.966的灵敏度，0.921的特异性。Geras等人[15]以多视图模型为基础，探究了不同的输入图片大小和不同的输入图片分辨率对模型效果的影响。Wang等人[16]利用添加了注意力机制的InceptionV3对勾画了ROI的CC、MLO视图提取了特征，并使用长短期记忆网络（LongShort­TermMemory，LSTM）汇总了视图特征以及放射科医生手动提取的特征（纹理、形状等），双视图的模型在公共数据集BCDR­F03（BreastCancerDigitalRepository）取得了准确率为82.8%和AUC为0.882的结果。Wu等人[17]先在BI表1-1国内外研究现状研究视图方法任务结果Lei2019单视图传统影像组学良性钙化预测AUC=0.80$Yang2019单视图传统影像组学淋巴结转移状态预测C-Index=0.81&Cui2019单视图传统影像组学良恶性分类ACC=0.82Li2019单视图深度学习影像组学良恶性分类ACC=0.95;AUC=0.91Xie2020单视图深度学习影像组学良恶性分类ACC=0.96;AUC=0.97Shu2020单视图深度学习影像组学良恶性分类ACC=0.92;AUC=0.93Ragab2021单视图深度学习影像组学良恶性分类ACC=0.95Geras2017多视图深度学习影像组学BI-RADS0,1,2分类macAUC=0.73Wang2018多视图深度学习影像组学良恶性分类ACC=0.85;AUC=0.89Wu2019多视图深度学习影像组学良恶性分类AUC=0.895Khan2019多视图深度学习影像组学良恶性分类ACC=0.81;AUC=0.77Li2020多视图深度学习影像组学BI-RADS0,1,2分类ACC=0.92;AUC=0.98Seyyedi2020多视图深度学习影像组学BI-RADS0,1,2分类macACC=0.83$AUC为受试者工作特征曲线下面积&C-Index为一致性指数­RADS分类任务上预训练了ResNet­22网络，利用乳腺钼靶X线摄影的四个视图：L­CC、L­MLO、R­CC、R­MLO，建立了四种不同汇总各个视图的特征的模型：视图预测模型、图片预测模型、同侧预测模型、共同预测模型，为了获取钼靶图片的中细粒度细节信息，在模型中添加了辅助块级别分类模型，利用其产生的热图辅助主模型进行良恶性分类任务。视图预测模型达到了AUC=0.895的效果。此文的特色在于不仅使用全分辨率的钼靶视图作为模型的输入，建立了多视图模型，更利用辅助网络挖掘了图像块的信息。Khan等人[18]建立了以多视图感兴趣区域（RegionofInterest,ROI）为基础的卷积神经网络模型，并和单视图的VGG16、VGG19、InceptionV3、ResNet50网络做比较，证明了多视图模型的优良性。Li等人[19]以ResNet50为基础，在网络中添加了空洞卷积（DilatedConvolution,DA）以及通道注意力模块（Channel­wiseAttention），设计了四视图的模型、CC双视图模型以及MLO双视图模型，在BI­RADS分类问题上，四视图的模型得到了准确率为92.1%，F1­score为0.912，AUC为0.981的结果。Seyyedi等人[20]认为对乳腺钼靶X线摄影图片采取降尺度操作是不合理的。自然图像的许多图像分类和对象识别研究都会对原始高分辨率图像进行降尺度操作，以提高内存利用率并降低其模型的计算复杂性。但是，由于存在可能代表早期癌症或原位导管癌（DCIS）的更精细特征，为了保留精细的空间特征，作者在训练分类任务之前未对图像进行任何降尺度操作。总之，从当前的研究结果来看，基于深度学习的影像组学建立的模型性能要高于传统的影像组学建立的模型，这得益于深度学习能深度挖掘医学图像中信息的能力。参考文献[1]C.P.Wild,B.W.Stewart,E.Weiderpass.Worldcancerreport:Cancerresearchforcancerpre-vention[EB/OL].http://publications.iarc.fr/586,February,2020[2]郑莹,吴春晓,张敏璐.乳腺癌在中国的流行状况和疾病特征[J].中国癌症杂志,2014,23（8）:561-569[3]I.Christoyianni,A.Koutras,E.Dermatas,etal.Computeraideddiagnosisofbreastcancerindigitizedmammograms[J].Computerizedmedicalimagingandgraphics,2002,26（5）:309-319[4]K.Wang,X.Lu,H.Zhou,etal.Deeplearningradiomicsofshearwaveelastographysignificantlyimproveddiagnosticperformanceforassessingliverfibrosisinchronichepatitisb:aprospectivemulticentrestudy[J].Gut,2019,68（4）:729-741[5]D.Ribli,A.Horváth,Z.Unger,etal.Detectingandclassifyinglesionsinmammogramswithdeeplearning[J].Scientificreports,2018,8（1）:1-7[6]P.Lambin,E.Rios-Velazquez,R.Leijenaar,etal.Radiomics:extractingmoreinformationfrommedicalimagesusingadvancedfeatureanalysis[J].Europeanjournalofcancer,2012,48（4）:441-446[7]H.J.Aerts,E.R.Velazquez,R.T.Leijenaar,etal.Decodingtumourphenotypebynoninvasiveimagingusingaquantitativeradiomicsapproach[J].Naturecommunications,2014,5（1）:1-9[8]C.Lei,W.Wei,Z.Liu,etal.Mammography-basedradiomicanalysisforpredictingbenignbi-radscategory4calcifications[J].Europeanjournalofradiology,2019,121:108711[9]J.Yang,T.Wang,L.Yang,etal.Preoperativepredictionofaxillarylymphnodemetastasisinbreastcancerusingmammography-basedradiomicsmethod[J].Scientificreports,2019,9（1）:1-11[10]C.Yanhua,Y.Li,J.Zhu,etal.Predictionofbenignandmalignantbreastmassesusingdigitalmammogramstexturefeatures[J].AnnalsofOncology,2019,30:v581[11]H.Li,S.Zhuang,D.-a.Li,etal.Benignandmalignantclassificationofmammogramimagesbasedondeeplearning[J].BiomedicalSignalProcessingandControl,2019,51:347-354[12]L.Xie,L.Zhang,T.Hu,etal.Neuralnetworksmodelbasedonanautomatedmulti-scalemethodformammogramclassification[J].Knowledge-BasedSystems,2020,208:106465[13]X.Shu,L.Zhang,Z.Wang,etal.Deepneuralnetworkswithregion-basedpoolingstructuresformammographicimageclassification[J].IEEEtransactionsonmedicalimaging,2020,39（6）:2246-2255[14]D.A.Ragab,O.Attallah,M.Sharkas,etal.Aframeworkforbreastcancerclassificationusingmulti-dcnns[J].ComputersinBiologyandMedicine,2021,131:104245[15]K.J.Geras,S.Wolfson,Y.Shen,etal.High-resolutionbreastcancerscreeningwithmulti-viewdeepconvolutionalneuralnetworks[J].arXivpreprintarXiv:1703.07047,2017,[16]H.Wang,J.Feng,Z.Zhang,etal.Breastmassclassificationviadeeplyintegratingthecontextualinformationfrommulti-viewdata[J].PatternRecognition,2018,80:42-52[17]N.Wu,J.Phang,J.Park,etal.Deepneuralnetworksimproveradiologists’performanceinbreastcancerscreening[J].IEEEtransactionsonmedicalimaging,2019,39（4）:1184-1194[18]H.N.