CN114783604B 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质 （华南理工大学）

本发明公开了一种乳腺癌前哨淋巴结转移签的WSI作为训练数据集，进行预处理得到图像集输入原型聚类模块中，通过聚类提取多个原型；对乳腺癌前哨淋巴结WSI划分图像块后输入乳腺癌前哨淋巴结WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。本方法在保2获取带标签的WSI作为训练数据集，进行预处理得到图像块集；所述训练数据集表示所述预处理是指将训练数据集中带标签的WSI进行二值化处理，再划分为多个长宽一所述特征提取器基于卷积神经网络构建，使用最大池化多示例学习方法进行预训练，原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类，得到第一阶其中，表示对Xi中图像块的特征向量进行AP聚类得到的第一阶段聚类中心集其中，表示对第一阶段聚类中心进行AP聚类得到的第二阶段聚类中心集3对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提取器中提取图像块特将图像块特征和原型输入特征融合模块进行匹配，生成软分配直方图引入TOP-K选择机制，使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与使用选择池化来聚合K个最相关图像块特征的相似度分数，获得乳将乳腺癌前哨淋巴结WSI的特征向量送入全连接层获取WSI分类分数并进3.根据权利要求2所述的一种乳腺癌前哨淋巴结转移的预测方法，其特征在于，所述4所述预处理是指将训练数据集中带标签的WSI进行二值化处理，再划分为多个长宽一所述模型构建模块用于构建WSI分类模型；所述WSI分类模型包括所述向量提取模块用于使用图像块集对特征提取器进行预训练，获得所述原型提取模块用于将特征向量集输入原型聚类模块中，通过聚类提取多个原型，原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类，得到第一阶其中，表示对Xi中图像块的特征向量进行AP聚类得到的第一阶段聚类中心集其中，表示对第一阶段聚类中心进行AP聚类得到的第二阶段聚类中心集5所述特征提取模块用于对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提所述特征向量构造模块用于将图像块特征和原型输入特征融合模块进行引入TOP-K选择机制，使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与使用选择池化来聚合K个最相关图像块特征的相似度分数，获得乳所述分类分数获取模块用于将乳腺癌前哨淋巴结WSI的特征向量送入全连接层获取现权利要求1-3任一项所述的一种乳腺癌前哨淋巴结6扫描并存储为数字病理全切片图像(WSI)，然后利用计算机视觉算法，特别是深度学习算辨率，通常拥有千兆个像素，使得无法将一张完整的WSI直接输入到普通的卷积神经网络后通过常见的instance-space(IS)范式或者embedding-space(ES)范式来打通图像块和预测结果就是WSI的预测结果。另一种基于注意力的多示例学监督对比学习的双流多实例学习(DSMIL)提出了一的判别能力不是很强，使得阳性图像块中的判别信息会在融合过程中被阴性图像块所覆7[0012]对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提取器中提取图像块[0014]将乳腺癌前哨淋巴结WSI的特征向量送入全连接层获取WSI分类分数并进行转移[0019]所述预处理是指将训练数据集中带标签的WSI进行二值化处理，再划分为多个长8[0025]原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类，得到第[0027]其中，表示对Xi中图像块的特征向量进行AP聚类得到的第一阶段聚类中[0028]使用AP聚类算法对第一阶段聚类中心进行聚类，得到第二阶段聚类中心作为原[0030]其中，表示对第一阶段聚类中心进行AP聚类得到的第[0045]使用选择池化来聚合K个最相关图像块特征的相似度分数，获得乳腺癌前哨淋巴9[0050]0=[o,1-o]"=softma[0056]所述数据获取模块用于获取带标签的WSI作为训练数据集，进行预处理得到图像[0058]所述向量提取模块用于使用图像块集对特征提取器进行预训练，获得特征向量[0060]所述特征提取模块用于对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特[0062]所述分类分数获取模块用于将乳腺癌前哨淋巴结WSI的特征向量送入全连接层获[0065]1、本发明原型聚类模块采用两段式的无监督聚类方式提取原型，在第一阶段对连接层量化与乳腺癌前哨淋巴结阳性的相关性，使用选择池化来获得乳腺癌前哨淋巴结只需要给定WSI的标签而不需这些示例标签的情况下，通过对这些图像块进行处理来学习[0094]由于在整个训练集中有太多的图像块，很难直接应用传统的聚类算法(比如K-[0097]其中，表示对Xi中图像块的特征向量进行AP聚类得到的第一阶段聚类中[0100]其中，表示对第一阶段聚类中心进行AP聚类得到的第[0101]由于采用的是无监督的AP聚类算法(AffinityPropagationClustering)，所以[0104]通过捕获典型的病理模式，原型有望以更细致的方式表示具有较大类内方差(在本任务中为前哨淋巴结转移阳性和前哨淋巴结转移阴性)的语义类，从而使WSI分类模型F[0105]S5、对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提取器中提取图[0107]设乳腺癌前哨淋巴结WSI表示为X，通过特征提取器得到的图像块特征表示为[0109]为了使WSI分类模型能够适应计算病理的任务，特别是在乳腺癌前哨淋巴结转移[0111]使用可学习全连接层FC2将图像块特征映射到新的特征空间，通过余弦相似性来[0116]使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与乳腺癌前哨淋巴[0117]Ir,,1-rlI'=softmax(w;n)[0120]使用选择池化来聚合K个最相关图像块特征的相似度分数，获得乳腺癌前哨淋巴[0124]0=[o,1-o]"=softma力上是负担不起的(因为它需要并行存储所有图像块的众多中间特征图以进行反向传播)；预训练特征提取器gθ,然后在模型训练过程中将特征[0137]特征提取模块用于对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提[0139]分类分数获取模块用于将乳腺癌前哨淋巴结WSI的特征向量送入全连接层获取法的实施例阐述的技术特征及其有益效果均适用于一种乳腺癌前哨淋巴结转移的预测系[0147]对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提取器中提取图像块[0