CN119399208B 一种病理图像自监督染色归一化方法和装置 （浙江大学）

(12)发明专利地址310058浙江省杭州市西湖区余杭塘公司33224GO6T7/90(2017GO6T5/50(2006(56)对比文件审查员刘植权利要求书2页说明书7页附图4页估(57)摘要本发明公开了一种病理图像自监督染色归合的技术领域，包括：构建病理图像数据库；设计染色归一化模型，其包括公共特征域提取模块、内容感知器、场景感知器、融合模块，该染色归一一化后图像的像素级差异构建自监督损失函数并训练染色归一化模型，该模型可对任意未知病21.一种病理图像自监督染色归一化方法，其特征在于，包括以下步骤：构建病理图像数据库；设计染色归一化模型及训练，其将病理图像进行颜色随机化后转换为公共特征域图理后病理图像转换为公共特征域图像时，基于跨医疗中心同类型病理图像的结构或者说组织学特征具有相似性的先验，基于该先验将病理图像转换为公共特征域图像；以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中内容感知器用于基于公共特征域图像提取内容特征图，并将内容特征图与公共特征域图像合并得到合并图，所述场景感知器用于基于公共特征域图像预测多个颜色转换物理模型的自适应加权参数，所述融合模块用于基于自适应加权参数对多个颜色转换物理模型进行加权求和得到融合模型，该融合模型用于将合并图进行颜色转换得到染色归一化后图像；其中，颜色转换物理模型采用可学习的颜色转换查找表，且颜色转换物理模型的维度数量与合并图的通道数相等；利用参数优化后的染色归一化模型进行验证与应用评估。2.根据权利要求1所述的病理图像自监督染色归一化方法，其特征在于，所述内容感知器采用第一轻量化卷积网络，所述场景感知器采用第二轻量化卷积网络。3.根据权利要求1所述的病理图像自监督染色归一化方法，其特征在于，将内容特征图与公共特征域图像合并时，以合并图的通道数N为目标，当公共特征域图像为一通道的灰度图，且内容特征图为n通道时，将公共特征域图像复制N-n次，形成N-n通道的公共特征域图4.根据权利要求1所述的病理图像自监督染色归一化方法，其特征在于，融合模型将合并图进行颜色转换得到染色归一化后图像时，采用融合后的N维颜色转换查找表对合并图进行N线性插值得到染色归一化后图像。5.根据权利要求1所述的病理图像自监督染色归一化方法，其特征在于，利用参数优化后的染色归一化模型进行验证与应用评估，包括：利用第一医疗中心的病理图像数据库训练染色归一化模型后，利用参数优化的染色归一化模型对第二医疗中心的病理图像进行颜色归一化，然后再利用第一医疗中心的病理辅助模型基于染色归一化后图像辅助诊断预测。6.一种病理图像自监督染色归一化装置，其特征在于数据库构建单元，其用于构建病理图像数据库；模型设计及训练单元，其用于将病理图像进行颜色随机化后转换为公共特征域图像，其中颜色随机化处理包括亮度、对比度、饱和度、色调随机处理中的至少一种，随机化处理后病理图像转换为公共特征域图像时，基于跨医疗中心同类型病理图像的结构或者说组织学特征具有相似性的先验，基于该先验将病理图像转换为公共特征域图像；以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中基于公共特征域图像提取内容特征图，并将内容特征图与公共特征域图像合并得到合并图，所述场景感知器用于基于公共特征域图像预测多个颜色转换物理模型的自适应加权参3数，所述融合模块用于基于自适应加权参数对多个颜色转换物理模型进行加权求和得到融合模型，该融合模型用于将合并图进行颜色转换得到染色归一化后图像；其中，颜色转换物理模型采用可学习的颜色转换查找表，且颜色转换物理模型的维度数量与合并图的通道数相等；模型验证及应用评估单元，其用于利用参数优化后的染色归一化模型进行验证与应用评估。7.一种计算设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5中任一项所述的病理图像自监督染色归一化方法。8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-5中任一项所述的病理图像自监督染色归一化方法。4[0002]数字病理学的发展和计算机视觉算法的进步推动了人工智能技术在病理学领域病理智能辅助模型设计，能够避免向开发者进行多中心数据的共享[0003]然而病理中心间不同的样品制备程序以及使用的不同成像设备等会导致最终得成对抗网络，可以对多种已知的染色风格进行归一化，但其5可对任意未知病理数据中心的图像实现朝选定的病理数据中心图像进行自适应染色风格归一化。[0008]为实现上述发明目的，实施例提供的一种病理图像自监督染色归一化方法，包括以下步骤：[0010]设计染色归一化模型及训练，其将病理图像进行颜色随机化后转换为公共特征域图像，以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中基于公共特征域图像提取内容特征图，并将内容特征图与公共特征域图像合并得到合并图，所述场景感知器用于基于公共特征域图像预测多个颜色转换物理模型的自适应加权参数，所述融合模块用于基于自适应加权参数对多个颜色转换物理模型进行加权求和得到融合模型，该融合模型用于将合并图进行颜色转换得到染色归一化后图像；[0011]基于利用参数优化后的染色归一化模型进行验证与应用评估。色调随机处理中的至少一种，随机化处理后病理图像转换为公共特征域图像时，基于跨医疗中心同类型病理图像的结构或者说组织学特征具有相似性的先验，基于该先验将病理图像转换为公共特征域图像。[0013]优选地，所述内容感知器采用第一轻量化卷积网络，所述场景感知器采用第二轻量化卷积网络。[0014]优选地，将内容特征图与公共特征域图像合并时，以合并图的通道数N为目标，当公共特征域图像为一通道的灰度图，且内容特征图为n通道时，将公共特征域图像复制N-n和N均为自然数。[0015]优选地，所述颜色转换物理模型采用可学习的颜色转换查找表，且颜色转换物理模型的维度数量与合并图的通道数相等。[0016]优选地，融合模型将合并图进行颜色转换得到染色归一化后图像时，采用融合后的N维颜色转换查找表对合并图进行N线性插值得到染色归一化后图像。[0018]利用第一医疗中心的病理图像数据库训练染色归一化模型后，利用参数优化的染色归一化模型对第二医疗中心的病理图像进行颜色归一化，然后再利用第一医疗中心的病理辅助模型基于染色归一化后图像辅助诊断预测。[0019]为实现上述发明目的，本发明实施例还提供了一种病理图像自监督染色归一化装[0021]模型设计及训练单元，其用于将病理图像进行颜色随机化后转换为公共特征域图像，以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中心于公共特征域图像提取内容特征图，并将内容特征图与公共特征域图像合并得到合并图，所述场景感知器用于基于公共特征域图像预测多个颜色转换物理模型的自适应加权参数，6所述融合模块用于基于自适应加权参数对多个颜色转换物理模型进行加权求和得到融合模型，该融合模型用于将合并图进行颜色转换得到染色归一化后图像；[0022]模型验证及应用评估单元，其用于利用参数优化后的染色归一化模型进行验证与应用评估。[0023]为实现上述发明目的，实施例还提供了一种计算设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述病理图像自监督染色归一化方法。[0024]为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述病理图像自监督染色归一化方法。[0026]本发明采用自监督方案，在进行染色归一化模型训练时不需要除选定训练中心的病理图像外的任何其它染色风格图像作为模板，这意味着不涉及到多病理中心的数据传输，有效保护了患者数据隐私。[0027]本发明基于自监督的染色归一化方案可以实现任意未知染色风格朝选定病理中心染色风格的归一化，并基于此进一步实现超大尺寸全玻片图像的染色归一化，这一点是独特优势。[0028]本发明基于自监督的染色归一化方案采用了轻量级、可解释的模型框架设计，训练过程简单，计算资源消耗小，能根据病理图像块场景和内容自适应的完成实时高效的染色归一化。附图说明[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。[0030]图1是实施例提供的病理图像自监督染色归一化方法的流程图；[0031]图2是实施例提供的病理图像数据库的构建示意图；[0032]图3是实施例提供的染色归一化模型的训练过程示意图；[0033]图4是实施例提供的病理图像自监督配对示意图；[0034]图5是实施例提供的染色归一化模型的结构示意图；[0035]图6是实施例提供的模型定向应用示意图；[0036]图7是实施例提供的模型验证与应用评估示意图；[0037]图8是实施例提供的病理图像自监督染色归一化装置的结构示意图。具体实施方式[0038]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。[0039]大型病理医疗中心的数据通常具有一致的采集标准、设备设置和病理诊断规范，7在其上建立的单中心病理智能辅助模型可以最大程度的辅助自身。然而由于不同医疗中心病理数据成像的染色风格差异性，该单中心病理智能辅助模型可能无法被很好地应用于其他医院的病理图像。[0040]基于此，本发明提出基于病理图像中相同肿瘤类型具有结构特征相似性的先验知识，从具有可解释性的自监督技术层面设计自适应染色风格归一化的方案来实现对任意未知病理医疗中心的图像实现朝选定的病理医疗中心图像进行图像染色归一化，进而帮助中小型医院中心在不需要开源患者数据的情况下使用到由该大型医疗中心开发的先进病理智能辅助模型，严格保护患者数据隐私的情况下缩小资源差距，促进医疗公平。[0041]本发明方案中染色风格归一化模型的训练仅需要在选定的医疗中心基于病理图像本地进行，不需要获取其它医疗中心的原始病理图像，保证了各病理中心患者数据的隐私性。本发明方案避免了背景技术中第(1)类传统染色归一化方法中因为通过选择模板图像容易出现染色归一化风格偏差的问题、第(2)类深度学习方法计算资源消耗大且易产生伪影的问题以及两类方法仅可以在已知有限的病理中心实施数据染色归一化的问题。[0042]如图1所示，实施例提供的一种病理图像自监督染色归一化方法，包括以下步骤：[0043]S110,构建病理图像数据库。[0044]实施例中，在不同医疗中心进行各自病理图像数据库的构建。单个病理医疗中心内成像获得的数据通常具有一致的染色风格，不同医疗中心可在本地完成最新患者病理染色玻片的制备与成像。其过程如图2所示，主要包含：病理组织医学显微成像、在不同病理医疗中心构建相应染色风格的病理图像数据库。其中实现苏木精伊红染色的一般步骤包括：首先进行组织取样并放入福尔马林缓冲液固定以保存其结构；然后进行梯度乙醇脱水、二甲苯透明化、浸入熔化的石蜡、切片机切片、专用粘合剂贴片、二甲苯脱蜡和放入水中水合等操作；最后使用苏木精将细胞核染成蓝紫色，使用伊红将细胞质染成粉红色。染色后的切片再次通过梯度乙醇和二甲苯进行脱水和透明化，并使用中性树胶将切片封在盖玻片下完成封片。本发明将新制备的染色玻片在单医疗中心内的专用显微设备上进行成像，将染色玻片的成像结果切分多个病理图像，并与医院累积的数字化数据一起构成初始的同风格病理图像数据库。作为示例，本发明将图2中医院A作为选定的第一病理医疗中心，将医院B视为任意未知的病理医疗中心。[0045]S120,设计染色归一化模型及训练，将病理图像进行颜色随机化后转换为公共特征域图像，以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中心的染色归一化模型。[0046]实施例中，在选定的病理医疗中心进行染色归一化模型的设计和训练。如图3所示，首先将输入病理图像进行颜色随机化，然后将其转换为公共特征域的图像，最后以公共特征域图像和输入病理图像作为自配对进行自监督训练获得单中心的染色归一化模型。该模型可实现任意未知的病理中心的数据从公共特征域到选定病理中心数据风格的染色归一化。[0047]实施例中，颜色随机化通过对亮度、对比度、饱和度和色调随机进行一个或多个同步扰动来实现，目的是模拟不同病理中心数据前景和背景的差异性以增强自监督染色归一化模型的自适应性。具体来说本发明中转换到公共特征域的操作基于跨医疗中心同类型病理图像的结构或者说组织学特征具有相似性的先验，基于该先验，其实际操作为将输入的8颜色随机化图像转换到可以表征这些特征的公共特征域图像，其中公共特征域可以是灰度域。需要注意的是，基于此先验转换到其它可以表征这些特征的公共域的改动也应在本发明的保护范围之内。颜色随机化和公共特征域图像的转换示例如图4所示。模块，其中，内容感知器用于基于公共特征域图像提取内容特征图，并将内容特征图与公共特征域图像合并得到合并图，该内容感知器用来区分病理图像中相近内容对应的不同颜色，以实现更精准的自监督映射。具体地，将转换到公共特征域图像送入内容感知器来生成对应的内容特征图，并和相应的公共特征域图像进行合并得到合并图。具体合并时，以合并图的通道数N为目标，当公共特征域图像为一通道的灰度图，且内容特征图为n通道时，将公共特征域图像复制N-n次，形成N-n通道的公共特征域图像与内容特征图合并，形成N通道的[0049]举例说明，当合并图为4通道时，合并方式可以有两种，第一种为由内容感知器自适应生成三通道的内容特征图并和相应的单通道灰度图合并，第二种为由内容感知器自适应的生成单通道的内容特征图并和相应三通道相同的灰度图合并，二者可以等价地完成本发明的目的。[0050]实施例中，内容感知器采用第一轻量化卷积网络，具体包括四个核大小为3×3的卷积块和一个核大小为1×1的卷积块组成。3×3的卷积块的步长为1且应用了LeakyReLU激活和实例正则化，其中第一个卷积块和第四个卷积块进行了残差连接；前四个3×3卷积块的目的是从输入的公共特征域图像中提取相同分辨率的高级图像特征，1×1卷积块用于压缩图像特征并输出内容特征图。注意，任何针对内容感知器的改动以完成本发明相同目的的网络架构均应在本发明的保护范围之内。[0051]实施例中，场景感知器用于基于公共特征域图像预测多个颜色转换物理模型的自适应加权参数，融合模块用于基于自适应加权参数对多个颜色转换物理模型进行加权求和得到融合模型，该融合模型用于将合并图进行颜色转换得到染色归一化后图像。具体地，同步将公共特征域图像送入场景感知器并利用场景感知器输出的自适应参数来加权现实世界中多个相同的可学习颜色转换物理模型，获得转换合并图的融合模型；此时对于输入的每张病理图像都可以自适应地获得一个对应转换合并图的融合模型，使得整体设计具有可[0052]实施例中，场景感知器采用第二轻量化卷积网络，具体包括首先使用双线性插值将输入图像下采样为256×256的分辨率，然后紧跟5个卷积块、一个dropout层和一个全连接层；每个卷积块包含一个核大小为3×3的卷积层、一个LeakyReLU和一个实例归一化；dropout率设置为0.5以抑制过拟合。注意，任何针对场景感知器的改动以完成本发明中相同目的的网络架构均应在本发明的保护范围之内。[0053]实施例中，颜色转换物理模型的数量最少设为1个，默认设为3个，可以没有上限(数量越多模型越大),如果合并图的通道数为N,多个相同的可学习颜色转换物理模型采用了可在N维(例如四维)空间进行操作的颜色转换查找表，其内所有元素的映射关系均初始化为恒等映射。N维颜色转换查找表经过场景感知器输出的参数加权后得到的融合模型，即融合模型也是一个N维颜色转换查找表，该融合模型被用来转换N通道的合并图并通过N线性插值操作得到染色归一化后图像。由于插值操作是可微分的，因此N维颜色转换查找表均9可以在训练时像内容感知器和场景感知器一样根据反向传播的梯度更新其内的元素映射到最终用于实现任意未知病理医疗中心数据到选定病理医疗中心数据风格的染色归一化[0058]实施例中，将训练完成的染色归一化模型理图像块的自适应染色归一化和病理全玻片图像的染色归一化，其过程与结果示例如图6格进行染色归一化的能力，而且可以实现依据病理图像块场景和内容的自适应染色归一[0060]如图8所示，实施例提供的病理图像自监督染色归一化80,包括数据库构建单元数优化后的染色归一化模型进行染色归一化。述功能分配由不同的功能模块或单元完成，即在终端或服务器的内部结构划分成不同的功能模块或单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的病理图像自监督染色归一化装置与病理图像自监督染色归一化方法实施例属于同一构思，其具体实现过程详见病理图像自监督染色归一化方法实施例，这里不再赘述。[0062]基于同样的发明构思，实施例还提供了一种计算设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，一个或多个处理器执行可执行代码时，用于实现上述病理图像自监督染色归一化方法，具体包括以下步骤：[0063]S110,构建病理图像数据库；[0064]S120,设计染色归一化模型及训练，将病理图像进行颜色随机化后转换为公共特征域图像，以公共特征域图像和输入病理图像作为自配对进行模型的自监督训练获得单医疗中心的染色归一化模型。[0065]S130,利用参数优化后的染色归一化模型进行验证与应用评估。[0066]实施例提供的计算设备，在硬件层面，除了包含处理器和存储器外，还包括内部总线、网络接口、内存等其他业务所需要的硬件。存储器为非易失性存储器，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述S110-S130所述的病理图像自监督染色归一化方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。[0067]基于同样的发明构思，实施例还提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述病理图像自监督染色归一化方法，具体包括以下步骤：[0068]S110,构建病理图像数据库；[0069]S120,设计染色归一化模型及训练，将病理图像进行颜色随机化后转换为公共特征域图像