CN115082743B 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 （之江实验室）

US2021090217A1,2021.0WO2007049282A2,2007.05考虑肿瘤微环境的全视野数字病理图像分本发明公开了一种考虑肿瘤微环境的全视和相似度感知模块相结合可以更加准确地赋予每个图像块对应的权重以实现对病灶区域更加2ZhuWentao等.AnatomyNLearningforFastandFuWhole-volumeSegmentatiMengfanXue等.OneSpatio-TempSharpeningAttentionMechanisWeightTOLOModelsBasePreprocessingForFullFieldDigiMammographicSegmentationandR3对应的特征图进行融合获得融合了肿瘤微环境信其中关键示例gm是注意力分数从大到小排序前m个小图像相似度感知注意力模块，用于计算获取每一小图像块的特征向量gk与关键示例gm之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的gu-,；全连接层，用于将第一融合特征与该小图像块对应的特征图mk相加融合后的特征图转ak具体为：4对每一小图像块进行随机裁剪、随机色彩失真和/或随机高斯模糊变换，得到增广图构建自监督对比学习网络，所述自监督对比8.根据权利要求7所述的构建方法，其特征在于，所述自监督对比学习网络的结构为5诊或漏诊而耽误治疗的黄金时期，此外人工对全视野数字病理图像的分析具有不可复制视野数字病理图像的诊断和病灶区域检测的自动化，辅助医生提高诊断的效率和准确率。6肿瘤微环境感知且无需大规模病灶区域标注的数据集却具有较高分类精度的全视野数字[0006]本发明旨在解决现有基于深度学习的全视野数字病理图像分类方法都受制于大[0011]肿瘤微环境感知模块，用于将每一小图像块特征图mk与该小图像块相邻的c圈小m是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；[0013]相似度感知注意力模块，用于计之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级7力分数。将所有小图像块的最终注意力分数作为权重，与信息向量加权求和后可以得到[0027]进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部感知注意力模块组合获得考虑肿瘤微环境的全视[0033]进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部8[0037]进一步地，所述自监督对比学习网络的结构为ResNet、DenseNet、AlexNet或步正负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深9[0048]图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构[0052]图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构例gm之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成[0070]然后计算每一张小图像块的搜寻向量与关键示例的搜寻向量之间的相似度分数数字病理图像训练自监督对比学习网络，获得训练好的自监督对比学习网络的具体步骤负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深度加网络的具体步骤为：将每张全视野数字病理图像生成的K张小图像块的特征向量mk输入至于各种医学全视野数字病理图像分类的癌症诊断和病灶检测任务，对于病理科医生来说，本发明可以有效的辅助医生判定整张病理图像所属的癌症作为特征提取网络的骨架网络,获取增广图像块[0108]步骤S41：使用标注过肺癌亚型的全视野数字病理图像生成的小图像块送入训练[0109]步骤S42：取出与该小图像块相邻的1圈小图像块对应的总计9个特征图送入肿瘤每一张小图像块的注意力分数ak，选取分数最高的前8个特征向量求和并取均值得到特征m为关键示例向量；[0111]步骤S44：将融合了肿瘤微环境信息的特征向量gk送入相似度感知模块得到小图[0119]步骤S3：使用训练好的以ResNet-50为骨架的自监督对比学习网络提取每一张小