CN114418954B 一种基于互学习的半监督医学图像分割方法及其系统 （中国科学院深圳先进技术研究院）

一种基于互学习的半监督医学图像分割方及一种基于互学习的半监督医学图像分割方法路，采用至少两个半监督学习模型进行对偶组2S2.两个所述半监督模型以对偶的形式连接，使两个所述半监督模型中的教师网络以S3.为所述基于互学习的深度半监督学习网络输入样本，通过所述教师网络和所述学所述教师网络的参数由所述学生网络在训练过程中的参数移动平所述交叉模态分布对齐机制以最大化平均差异算法度量不同模态之间的特征分布相所述基于互学习的深度半监督学习网络模型由至少两个半监督学习模两个所述半监督模型以对偶的形式连接，使两个所述半输入所述样本后，所述基于互学习的深度半监督学习网络通过所述所述教师网络的参数由所述学生网络在训练过程中的参数移动平8.根据权利要求7所述的图像分割系统，其特征在于，所述学生网络的损失函数还包3模态分布对齐机制消除不同模态间样本的分布偏移的多模态在于，所述计算机程序被处理器运行时执行如权利要求1-6任意一项所述的医学图像分割4标记数据和大量的未标记数据建立有效的模型是当前人工智能模型可泛化的关键挑战之上，仅依靠单种模态的数据难以发现图像中不同层次不同因素之间蕴含的协同语义信息。半监督学习方法中，一般遵循一些假设的支撑[3]：平滑-低密度假设(Smoothness&Low-densityassumption)和流形假设(Mani[0005]平滑-低密度假设是指样本数据间的距离相互比较近时，则他们拥有相同的类别且决策边界应该尽量通过数据较为稀疏的地方，避免把稠密的样本分到决策边界的两侧。[0006]流形假设主要基于输入空间由多个低维流形组成，所有数据点都位于这些流形5使用置信度最大的类作为伪标签。Ding等人[8]通过对抗训练学习生成模型以此逼近实际语义的完整性，目前多模态融合架构分为三类[12][13]：联合(Joint)架构、协作于交叉模态相似性方法,旨在学习一个共享子空间，从而使不同模态表示集的相关性最大要关注共享语义捕获和多模序列的编解码问题。为了更有效地捕获两种模态的共享语义，编码器通常利用一些正则化技术保持模态之间的语义一致性。解码器负责推理高级语义，[0010][1]VanEngelenJE,HoosHH.“AsurveyonsemiMachineLearning,2020,109(2):373-440.1617.6IEEEWinterConferenceonApplicationsofComputerVision,2021:1369-1378.supervisedlearning,”inProceedingsoftheIEEEInternatio[0015][6]WangQ，LiW,GoolLV.“Semi-supervisedlearningbyaugmenteddistributionalignment，”inPonComputerVision,2019:1466-1475.[0016][7]LeeDH.“Pseudo-label:Thesimpleandefficientsemi-supervisedlearningmethodfordeepneuralnetworks,”inWorkshoponchallengesinrepresentationlear[0017][8]DingG,ZhangS,KhanS,Tang,Z.,Zhang,J.,Porikli,F.“Featureaffinity-basedpseudolabelingforsemi-supervisedpersonre-identification,”IEEETransactionsonMultimedia,2019,21(11):2891-2902.Representations.2017.[0019][10]XieQ,DaiZ,HovyE,Luong,M.T,Le,Q.V.“UnsuperviseddataConsistencyandConfidence,”inProceedingsoftheAdvancesinNeuralInformationProcessingSystems,2020,33.Asurveyandtaxonomy，”IEEETransactionsonPatternAnalysisandMachineIntelligence,2018,41(2):423-443.[0022][13]ZhangC,YangZ,HeX,Deng,L.“Multimodalintelligence:Representationlearning,informationfusion,andapplicatioSelectedTopicsinSignalProcessing,2020,14(3):478-493.BinariesforCross-ModalVideoRetrieval，”IEEETransactionsonImage“Bottom-upandtop-downattentionforimagecaptioningandvisualquestionanswering,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018:6077-6086.[0026][17]ZhangJ,PengY,YuanM.“Sch-gan:Semi-supervisedcross-modalhashingbygenerativeadversarialnetwork,”IEEETransactionsonCybernetics,72018,50(2):489-502.[0027][18]ZhangH,WangY,LongY,Yang,L.,Shao,L.“Modalityindependentadversarialnetworkforgeneralizedzeroshotimageclassification,”NeuralNetworks,2021,134:11-22.learningforexemplar-basedimagetranslation,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2020:5143-5153.[0029][20]HuangX,LiuMY,BelongieS,etal.Multimodalunsupervisedimage-to-imagetranslation，”inPrVision,2018:172-189.[0032]S2.两个所述半监督模型以对[0033]S3.为所述基于互学习的深度半监督8员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0051]S2.两个所述半监督模型以对络(T1和T2)第t次迭代更新的参数由学生网络(S1和S2)在训练过程中的第t次参数[0055]S3.为所述基于互学习的深度半监督9[0057](1)利用标签样本计算监督学习损失(LS,,LS2),通常可选用交叉熵损失来表示该[0058](2)模仿损失:使不同学生之间、教师之间以及学生-教师间的类别预测概率保持[0060]本发明设计基于互学习的方式，构建基于互学习的深度半监督学习(mean-(f1)特征之间的关系A(i，j)组成边集E，如每条边定义为两相邻实例特征之间的欧式距离[0072]由此同理可构建对应扰动样本实例的关系图G'=(V',E')=(if'兴,,A),约束其关系矩阵之间的一致性，定义C2表示样本间关系的一致性，A，A′分别表示样本特征[0074]类别关系水平：样本间关系水平的一致性刻画了一组样本实例之间的关系(相似应的类中心集合利用对应的扰动样本特征得到扰动后的类中心计算类中心的相似度矩阵s,s(i,j)=Ilci-cylI⃞,i,j=1,…,k和扰动后的类中心相似度矩阵j)=Ilef-B,i,j=1,…,k,K表示类别数目，约束其相似度矩阵之间的一致[0075]C3=IIS-S'IIf。[0079]在上述实施例中，在互学习的半监督模型中进一步引入[0082]所述交叉模态分布对齐机制以最大化