CN120218162A 一种基于全病理切片图像的任务无关的特征学习方法

(19)国家知识产权局地址210016江苏省南京市秦淮区御道街29号张道强(普通合伙)11818专利代理师刘岩GO6N3/096(2023.01)一种基于全病理切片图像的任务无关的特本发明公开了一种基于全病理切片图像的采用Gumbel-Softmax重参数化技术进行架构参21.一种基于全病理切片图像的任务无关的特征学习方法，其特征在于，包括以下步骤：步骤S1、对全切片病理图像进行预处理，提取肿瘤及肿瘤浸润淋巴细胞区域的多尺度步骤S2、构建任务无关特征学习器，通过神经架构搜索自动优化网络结构，采用Gumbel-Softmax重参数化技术，实现架构参数连续化更新；步骤S3、通过任务级元学习算法，联合优化网络权重与架构参数，提取跨任务可重用特2.根据权利要求1所述的一种基于全病理切片图像的任务无关的特征学习方法，其特征在于，在步骤S1中，对全切片病理图像进行预处理，提取肿瘤及肿瘤浸润淋巴细胞区域的步骤S11、将全切片病理图像分割为512×512像素的非重叠图像块；步骤S12、采用预训练的U-Net模型对图像块进行语义分割，识别肿瘤区域和肿瘤浸润淋巴细胞区域；步骤S13、计算每个图像块中肿瘤和肿瘤浸润淋巴细胞的面积占比，筛选出面积占比前100的图像块；步骤S14、使用ImageNet预训练的ResNet-50模型，提取筛选后图像块的深度特征；步骤S15、通过多示例学习方法，将每个多示例学习视为一个包，其包含的图像块作为3.根据权利要求1所述的一种基于全病理切片图像的任务无关的特征学习方法，其特征在于，在步骤S2中，构建任务无关特征学习器，通过神经架构搜索自动优化网络结构，采用Gumbel-Softmax重参数化优化任务无关特征学习器的网络拓扑结构；步骤S23、将搜索得到的最优单元堆叠8次，构建任务无关特征学习器主干网络，进行多4.根据权利要求3所述的一种基于全病理切片图像的任务无关的特征学习方法，其特定义搜索空间，将网络的单元结构设计为包含6个节点的有向无环图，具体包括：(1)2个输入节点，用于接收前驱单元的输出特征；(2)2个中间节点，支持的操作包括可分离卷积、膨胀卷(4)1个输出节点，用于汇集所有中间节点和Transformer节点的特征，生成单元的输5.根据权利要求3所述的一种基于全病理切片图像的任务无关的特征学习方法，其特36.根据权利要求1所述的一种基于全病理切片图像的任务无关的特征学习方法，其特7.根据权利要求6所述的一种基于全病理切片图像的任务无关的特征学习方法，其特8.根据权利要求6所述的一种基于全病理切片图像的任务无关的特征学习方法，其特不同任务的需求；9.根据权利要求6所述的一种基于全病理切片图像的任务无关的特征学习方法，其特4点j的平滑化架构参数，通过Gumbel-Softmax重参数化后的连续概率分布；C(Zi)为熵正则化项；在此引入熵正则化约束架构参数，其定义如下：C(Z;)=-Zijlog(Z;)-(1其中，Zi,j表示架构参数的采样概率，表示节点i到节点j的连接概率。10.根据权利要求1所述的一种基于全病理切片图像的任务无关的特征学习方法，其特征在于，在步骤S4中，通过少量任务特定微调，适应未见临床任务，并验证模型性能，具体过程如下：步骤S41、固定任务无关特征学习器干网络的参数，确保在后续微调过程中，其参数不发生变化；步骤S42、使用任务特定样本对分类层进行微调，更新任务特定头的参数；步骤S43、输出模型的预测结果，并对关键特征区域进行可视化展示。5一种基于全病理切片图像的任务无关的特征学习方法技术领域[0001]本发明涉及医学影像分析技术领域，尤其涉及一种基于全病理切片图像的任务无关的特征学习方法。背景技术[0002]全切片病理图像(Whole-SlideImages,WSIs)是癌症诊断和预后的金标准。近年来，随着数字病理技术的发展，基于WSIs的计算机辅助诊断系统逐渐成为研究热点。多任务学习(Multi-TaskLearning,MTL)通过共享不同任务的特征表示，能够提升模型的泛化能[0003]现有方法通常通过以下两种方式解决未见任务的适应问题：一是将新任务添加到现有网络中并从头训练，但这种方法忽略了已学习的共享特征，导致资源浪费和负迁移问题；二是构建通用的特征提取器，但这些特征往往过于接近训练任务的模式，难以适应新任[0004]所以，现有的MTL方法在未见任务上的适应性较差，难以直接应用于新的临床任[0005]因此，亟需一种基于全病理切片图像的任务无关的特征学习方法，以克服现有技术的缺陷。发明内容[0006]本发明的目的是提供一种基于全病理切片图像的任务无关的特征学习方法，解决现有技术中在未见任务上的适应性较差，难以直接应用于新的临床任务的问题，尤其是当新任务与已知任务差异较大时，性能显著下降问题。[0007]为实现上述目的，本发明提供了一种基于全病理切片图像的任务无关的特征学习步骤S1、对全切片病理图像进行预处理，提取肿瘤及肿瘤浸润淋巴细胞区域的多尺度特征；步骤S2、构建任务无关特征学习器，通过神经架构搜索自动优化网络结构，采用Gumbel-Softmax重参数化技术，实现架构参数连续化更新；步骤S3、通过任务级元学习算法，联合优化网络权重与架构参数，提取跨任务可重用特征；[0008]优选的，在步骤S1中，对全切片病理图像进行预处理，提取肿瘤及肿瘤浸润淋巴细胞区域的多尺度特征，具体过程如下：步骤S11、将全切片病理图像分割为512×512像素的非重叠图像块；步骤S12、采用预训练的U-Net模型对图像块进行语义分割，识别肿瘤区域和肿瘤浸润淋巴细胞区域；6步骤S13、计算每个图像块中肿瘤和肿瘤浸润淋巴细胞的面积占比，筛选出面积占比前100的图像块；步骤S15、通过多示例学习方法，将每个多示例学习视为一个包，其包含的图像块[0009]优选的，在步骤S2中，构建任务无关特征学习器，通过神经架构搜索自动优化网络自动优化任务无关特征学习器的网络拓扑结构；步骤S23、将搜索得到的最优单元堆叠8次，构建任务无关特征学习器主干网络，进行多尺度特征融合；其中，在单元堆叠的第3和第6单[0010]优选的，在步骤S21中，搜索空间包括可分离卷积、膨胀卷积、跳跃连接及定义搜索空间，将网络的单元结构设计为包含6个节点的有向无环图，具体包括：(2)2个中间节点，支持的操作包括可分离卷积、膨胀卷积(4)1个输出节点，用于汇集所有中间节点和Transformer节点的特征，生成单元的其中，Ži,是平滑后的架构参数；π是第1个候选操作的类别概率；g1是Gumbel分布[0012]优选的，在步骤S3中，通过任务级元学习算法，联合优化网络权重与架构参数，提步骤S32、在内循环中，通过支持集对每个任务的特定头部进行快速微调，以适应不同任务的需求；步骤S33、在外循环中，通过查询集联合优化网络权重与架构参数，提取跨任务可重用特征。每个任务随机划分支持集和查询集；其中，训练数据集的80%为支持集，用于内循[0014]优选的，在步骤S32中，在内循环通过支持集对每个任务的特定头部进行快速微7C(Zij)=-Z;;jlog(Zij)-(1-Z附图说明[0020]图1为本发明一种基于全病理切片图像的任务无关的特征学习方法的流程示意8图2为本发明任务无关特征学习器的框架示意图；图3为本发明NAS单元结构示意图。具体实施方式[0021]以下通过附图和实施例对本发明的技术方案作进一步说明。[0022]如图1所示，一种基于全病理切片图像的任务无关的特征学习方法，包括以下步步骤S1、对全切片病理图像(WSI)进行预处理，提取肿瘤及肿瘤浸润淋巴细胞(TILs)区域的多尺度特征，为后续任务提供高质量输入；步骤S2、构建任务无关特征学习器(TAFL)通过神经架构搜索(NAS)自动优化网络结构，采用Gumbel-Softmax重参数化技术实现架构参数连续化更新。[0023]步骤S3、通过任务级元学习算法，联合优化网络权重与架构参数，提取跨任务可重用特征，显著提升模型对未见任务的泛化能力；步骤S1、对全切片病理图像(WSI)进行预处理，提取肿瘤及肿瘤浸润淋巴细胞(TILs)区域的多尺度特征，为后续任务提供高质量输入。[0025]步骤S11、将全切片病理图像分割为512×512像素的非重叠图像块。[0026]步骤S12、采用预训练的U-Net模型对图像块进行语义分割，识别肿瘤区域和肿瘤浸润淋巴细胞(TILs)区域。[0027]步骤S13、计算每个图像块中肿瘤和TILs的面积占比，筛选面积占比前100的图像块作为高信息量区域。[0028]步骤S14、使用ImageNet预训练的ResNet-50模型，提[0029]步骤S15、通过多示例学习(MIL)方法，将每个WSI视为一个包，其包含的图像块作[0030]步骤S2、构建任务无关特征学习器(TAFL)如图2所示，通过神经架构搜索(NAS)自动优化网络结构，采用Gumbel-Softmax重参数化技术实现架构参数连续化更新。[0031]步骤S21、采用基于梯自动优化TAFL的网络拓扑结构。[0032]搜索空间包括卷积操作、跳跃连接及Transformer节点。定义搜索空间，将网络的单元结构设计为包含6个节点的有向无环图，具体包括：(2)2个中间节点，支持的操作包括可分离卷积(1×3或1×5)、膨胀卷积(膨胀率=(3)1个Transformer节点，采用标准Transformer模块(头数=8,隐藏层维度=512),增强全局特征交互；(4)1个输出节点，用于汇集所有中间节点和Transformer节点的特征，生成单元的9[0034]步骤S23、将搜索得到的最优单元堆叠8次，构建TAFL主干网络。在第3和第6单元位置插入降采样层(步长=2),实现多尺度特征融合。其中，神经架构搜索(NAS)单元结构，如图3所示。[0035]步骤S3、通过任务级元学习算法，即算法1,联合优化网络权重与架构参数，提取跨任务可重用特征，显著提升模型对未见任务的泛化能力。[0037]训练数据集包括：癌症亚型分类(如NSC存预测(Cox模型)。[0038]每个任务随机划分80%为支持集，用于内循环微调；20%为查询集，用于外循环优[0039]步骤S32、在内循环中，通过支持集对每个任务的特定头部进行快速微调，以适应不同任务的需求。wm+¹=w"-Pinner·VwmLT.(fn(Sn;θw”的梯度计算；LT。是任务Tn的支持集损失函数；fn(·)表示任务Tn的学习器前向计算过[0041]步骤S33、在外循环中，通过查询集联合优化网络权重与架构参数，提取跨任务可其中，W表示全局网络权重参数；0表示全局架构参数；φouter是网络权重的外循环学习率；δouter是架构参数的外循环学习率；V[w;]表示对联合优化目标函数[w;0]的梯度计算；L(·)表示任务Tn的查询集损失函数；Qn是任务Tn的查询集；wM是任务Tn在第M到节点j的平滑化架构参数，通过Gumbel-Softmax重参数化后的连续概率分布；C(Zij)为熵正则化项。C(Z;)=-Z;jlog(Z;j)-(1.随机初始化0和W;2.while未收敛：计算支持集损失更新模型权重计算查询集损失联合更新0和W。[0046]步骤S42、使用任务特定样本对分类层(如全连接层)或Cox回归层进行微调，更新这些任务特定头的参数。征区域进行可视化展示。[0048]因此，本发明采用上述一种基于全病理切片图像的任务无关的特征学习方法，通过神经架构搜索自动优化网络结构，减少人工设计网络的成本；通过任务级元学习算法，提取跨任务可重用特征，减少对未见任务的微调需求；通过熵正则化约束，提升模型的训练稳定性与泛化能力。[0049]最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。11开始开始特征神经架构