CN117829259B 训练方法、虚拟染色方法和虚拟染色系统 （北京航空航天大学）

本的拉曼图像以及该细胞样本的对应的真实染环生成对抗网络以使循环生成对抗网络中的生的损失函数的值的经训练循环生成对抗网络中生成网络模型基于目标细胞样本的目标拉曼图其中生成网络的损失函数包括细胞结构相似度数来约束生成网络的输入图像与输出图像中的2获得细胞样本的拉曼图像以及所述细胞样本的对应的真实染色图像是基于频率差为2800_3100cm_1的第一激发光和第基于所述拉曼图像以及所述真实染色图像训练循环生成对抗网络以使所述循环生成基于具有收敛的损失函数的值的经训练循环生成对抗网络中的所述生成网络来获得标虚拟染色图像，所述目标虚拟染色图像用于对目标细胞样本中的细胞结构进行增强显其中，所述生成网络包括第一生成网络和第二生成网络似度约束项基于结构相似性SSIM函数来约束所述生成网络的输入图像与输出图像中的细其中，基于所述拉曼图像以及所述真实染色图像训练循将所述拉曼图像输入所述第一生成网络以生成中将所述中间虚拟染色图像输入所述循环生成对抗网络中的第一判别网络以确定所述将所述真实染色图像输入所述第二生成网络以生将所述中间拉曼图像输入所述循环生成对抗网络中的第二判别网络以确定所述中间基于所述第一判别网络和所述第二判别网络所确定的概率调整所述循环生成对抗网络的参数以使所述第一损失函数和所述第二损失函实染色图像组成的真实染色图像域B中的真实染色图像，GB→A(b)为将b输入第二生成网络度值，为所述真实染色图像域B中每个真实染色3拉曼图像域A中每个拉曼图像对应的对抗损失值的所确定的概率调整所述循环生成对抗网络的参数以使所述第一损失函数和所述第二损失基于所述第一判别网络和所述第二判别网络所确定的概率确定所述第一损失函数和基于所述第一损失函数和所述第二损失函数的值调整所述循环生成对抗网络的参数度约束项；GB→AGA→B(a))为将所述中间虚拟染色图像输入第二生成网络GB→A所生成的重建拉曼图像，为所述拉曼图像域A中每个拉曼图像与对应的述真实染色图像域B中每个真实染色图像与对应的重建真实染色图像的平均绝对误差值的期望值；GB→A)为所述第二损失函数，Ladv(GB→A)为所述第二损失函数的对抗损cycle为所述第二损失函数的循环一致性4为所述拉曼图像域A中每个拉曼图像与对应的全等映射染色图像与对应的全等映射真实染色图像的平均绝对误差值的+pLSSIM1，+pLSSIM2，基于多个拉曼图像和多个对应的真实染色图像迭代地训生成对抗网络中的所述生成网络来获得目标数的值的经训练循环生成对抗网络中的所述第一生成网络的参数来获得所述目标生成网对所述拉曼图像以及对应的所述真实染色图像进行图像配准以使得所述拉曼图像与将经配准后拉曼图像和对应的经配准后真实染色图像输入所述具有收敛的损失函数确定所述具有收敛的损失函数的值的经训练循环生成对抗网络中的生成网络的损失当确定所述具有收敛的损失函数的值的经训练循环生成对抗网络中的生成网络的损当确定所述具有收敛的损失函数的值的经训练循环生成对抗网络中的生成网络的损5对已生成所述拉曼图像的细胞样本进行化学染色和明场显微成像，细胞样本接收具有仅一个拉曼位移特征峰的反射光，以获得所述细胞样本的所述拉曼图发光包括斯托克斯光，以及响应于所述第一激发光和所述第二激发光照射所述细胞样本，在局部视野下对所述细胞样本的各个局部进行拉曼散射显微拼接所述细胞样本的各个局部的局部拉曼图像以生成所述细胞样本的所述拉曼图像；通过已生成所述拉曼图像的细胞样本进行化学染色和明场显微成像对已生成所述拉曼图像的细胞样本进行化学染色，并且在局部视拼接所述细胞样本的各个局部的局部真实染色图像以生成所述细胞样本的所述真实6将所述目标拉曼图像输入根据权利要求1_15中任一项所述的目标生成网络模型中以对所述目标细胞样本进行拉曼散射显微成像，以获得所述目标细收具有至少一个拉曼位移特征峰的反射光，以获得所述细胞样本的相干拉曼散射成像图在局部视野下对所述目标细胞样本的各个局部进行拉拼接所述目标细胞样本的各个局部的局部目标拉曼图像以获得所述目标细胞样本的7所述图像采集部件还被配置为响应于所述第一激发光和所述第二激发光照射所述目光路部件，所述光路部件包括被配置为将所述第一激发光和所述样本承载部件，被配置为承载所述目标细胞样本以接受所述第一激发物镜部件，被配置为从所述目标细胞样本接收所述反射脉冲激光，所述第一激发光和所述第二激发光的频率差为2800_3100cm_1，重复频率大于在局部视野下对所述目标细胞样本的各个局部进行拉拼接所述目标细胞样本的各个局部的局部目标拉曼图像以获得所述目标细胞样本的8[0005]虚拟染色主要包括基于外源性荧光标记显微成像的虚拟染色方法和基于无标记[0006]基于无标记显微成像的虚拟染色方法主要利用生成对抗网络(generative[0007]一方面，基于无标记显微成像的虚拟染色方法目前常用的成像技术无法提供清染色方式缺乏识别细胞结构的能力，无法保证输入图像与输出图像中细胞结构的一致性9及所述真实染色图像训练循环生成对抗网络以使所述循环生成对抗网络中的生成网络的包括针对所述第一生成网络的第一损失函数以及针对所述第二生成网络的第二损失函数，基于结构相似性SSIM函数来约束所述生成网络的输入图像与输出图像中的细胞结构的一Eb-paeeapco[1-SSIM(Gn-a(b),b)1,其中，a为属于一个或多个所述拉曼图像组成的为所述拉曼图像域A中每个拉曼图像对应的结构相似度损失值的期望值；以及b为属于一个或多个所述真实染色图像组成的真实染色图像Eh-paeepco[1-SSIM(GS-a(b),b)]为所述真实染色图像域B中每个真实染色图像对应的结构相似度损失值的期望值。输入所述循环生成对抗网络中的第一判别网络以确定所述中间虚拟染色图像被判断为所定的概率调整所述循环生成对抗网络的参数以使所述第一损失函数和所述第二损失函数确定的概率调整所述循环生成对抗网络的参数以使所述第一损失函数和所述第二损失函调整所述循环生成对抗网络的参数以使所述第一损失函数和所述第二损失函数的值各自Lcycle为所述第一损失函数的循环一致性损失约束项，LSSIM1为所述第一损失函数的细胞结一判别网络，DB(GA→B(a))为所述中间虚拟染色图像被判断为所述真实染色图像的概率，Ea-rauuuol1-为所述拉曼图像域A中每个拉曼图像对应的对抗损失为所述拉曼图像域A中每个拉曼图像与对应的述真实染色图像域B中每个真实染色图像与对应的重建真实染色图像的平均绝对误差值的述第二判别网络，DA(GB→A(b))为所述中间拉曼图像被判断为所述拉曼图像的概率，为所述真实染色图像域B中每个真实染色图像对应的对抗损失值的期望值。[0022]其中，GB→A(a))为将a输入第二生成网络GB→A所生成的全等映射拉曼图像，为所述拉曼图像域A中每个拉曼图像与对应的全等映射络中的所述第一生成网络的参数来获得所述目标生成经配准后拉曼图像和对应的经配准后真实染色图像输入所述具有收敛的损失函数的值的述具有收敛的损失函数的值的经训练循环生成对抗网络中的生成网络的损失函数的值过述拉曼图像以及所述真实染色图像训练经调整参数后的循本接收具有至少一个拉曼位移特征峰的反射光，以获得所述细胞样本的所述拉曼图像包细胞样本接收具有仅一个拉曼位移特征峰的反射光，以获得所述细胞样本的所述拉曼图样本的各个局部的局部真实染色图像以生成所述细胞样本的所述真[0033]根据本发明的另一方面，还提供了一种用于增强显示细标虚拟染色图像用于对所述目标细胞样本中的细胞结构进行增目标细胞样本的各个局部的局部目标拉曼图像以获得所述目标细胞样本的所述目标拉曼像输入根据上述训练方法中任一项所述的目标生成网络模型中以获得所述目标细胞样本收具有至少一个拉曼位移特征峰的反射光，以获得所述目标细胞样本的所述目标拉曼图括被配置为将所述第一激发光和所述第二激发光引导至所述目标细胞样本的二维振镜组及根据检测结果控制所述移动组件以使所述物镜部件接从所述目标细胞样本接收所述反床医生或者研究人员可以基于虚拟染色图像来分析目标细胞样本的细胞结构来做出准确[0054]图2示出了基于包括本发明实施例的训练方法的不同方法获得的拉曼图像和真实[0055]图3示出了根据本发明的一些实施例的用于获得目标生成网络模型的训练方法的[0059]图7示出了根据本发明的一些实施例的对拉曼图像和真实染色图像进行拼接和配[0061]图9示出了根据本发明的一些实施例的用于增强显示细胞结构的虚拟染色方法的[0065]图13示出了根据本发明的一些实施例的脂质纯样和蛋白质纯样在碳氢键振动区技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件系也可能相应地改变。为了保持本发明实施例的以下说明清楚且简明，本发明省略了部分已知功能和已知部件的详细说明。表面激发显微成像(microscopywithultravioletsurfaceexcitation,MUSE)是此类方[0074]具体地，基于外源性荧光标记成像的虚拟染色方法先使用荧光染料(如吖啶橙、DAPI等)对标本染色，以强调标本内部的细胞核等虚拟染色中的关键特征，随后对标本成像，并根据结果中各像素的灰度值将其转为染色图像。例如MUSE中使用赫斯特33342位成像(quantitativephaseimaging,QPI)等，然后利用生成对抗网络(generativeadversarialnetwork,GAN)对所生成的图像进行虚拟染色。由于缺乏外源标记提供对比种组织中的细胞标本，并且可以以类似于H&E、Masson等多种染料的染色方式进行虚拟染显微成像的虚拟染色方法无法与真实染色图像一样准确地提供拟染色的成像技术无法准确地识别细胞结构，进而导致生成对抗网络(GAN)虚拟染色难以无法通过基于这样的方法获得的虚拟染色图像做降低了数据集准备的难度，但由于这种情况下无法在训练时直接通过参考真实图像[0081]示例性地，图2示出了基于包括本发明实施例的训练方法的不同方法获得的拉曼该第一虚拟染色图像中箭头所指的细胞左侧颜色深[0083]下面将通过具体实施例来说明本申请所提供的用于获得目标生成网络模型的训[0085]下面将参照附图对上述本发明提供的用于获得目标生成网络模型的训练方法进[0086]图3示出了根据本发明的一些实施例的用于获得目标生成网络模型的训练方法的本的相干拉曼成像具有化学键级的分子特异性，并且解决了自发拉曼散射(spontaneous[0095]在获得细胞样本的拉曼图像以及细胞样本的对应的真实染色图像后，在步骤[0096]循环生成对抗网络在训练过程中，可以将拉曼图像和真实染色图像作为训练样虚拟染色图像与真实染色图像类似，可以用于对目标细胞样本中的细胞结构进行增强显4所示，根据本公开的一个实施例，生成网络可以包括第一生成网络GA→B和第二生成网络虚拟染色图像。第一判别网络DB识别输入到该第一判别网络DB的图像是真实染色图像还是督作用，以驱使循环生成对抗网络不断提升所生成[0106]在步骤S550，可以基于第一判别网络DB和第二判别网络DA实施例，可以基于第一判别网络DB和第二判别网络DA所确定的概率确定第一损失函数和第实施例，可以基于多个拉曼图像和多个对应的真实染色图像迭代地训练循环生成对抗网[0108]在本发明的一个示例中，上述步骤S510_S550可以重复执行直至第一损失函数和[0109]图6示出了根据本发明的一些实施例的生成网络和判别网络的网络结构示意图。如图6所示，循环生成对抗网络可以使用例如PyTorch1.7.0构建，训练显卡使用例如[0110]进一步如图6所示，residualblock为残差块，BN为批标准化(batch训练过程可以在服务器而不在终端执行，在服务器完成训练后将目标生成网络发送至终失函数可以包括细胞结构相似度约束项，该细胞结构约束项可以基于结构相似性(structuralsimilarity，SSIM)函数来约束生成网络的输入图像与输出图像中的细胞结构的一致性。在一些示例中，细胞结构约束项还可以基于神经网络感知损失(perceptualloss)等函数或者形态学算法来约束生成网络的输入图像与输出图像中的细胞结构的一致束项用于约束第二生成网络的输入图像与输出图像中细SIM(G1-s(a),a)]公式2络GA→B相关的那部分的损失才有效，而与第二生成网络GB→A相关的部分由于与第一生成网以包括第二损失函数的细胞结构相似度约束项的中间拉曼图像，SSIM(GB→A(b),b)为中间拉曼图像与真实染色图像的结构相似度值，为真实染色图像域B中每个真实染色图像对应的结构相似度损失值的期望值。函数和第二损失函数)还可以包括：对抗损失(adversarialloss)和循环一致性损失公式4为第二生成网络GB→A的对抗损失约束项的表达式，公式5为第二判别网络DB的对抗损练集(细胞样本真实染色图像集和细胞样本拉曼受惩罚越大。循环一致性损失的目的在于任一生成网络不应在加工图像时损失其关键信GB→A(GA→B(a))为将中间虚拟染色图像输入第二生成网络GB→A所生成的重建拉曼图像，为拉曼图像域A中每个拉曼图像与对应的重建γLcycle+pLSSI公式9GB→A)为第二损失函数，Ladv(GB→A)为第二损失函数的对抗损失约束项，Lcycle为第二损失函数的循环一致性损失约束项，LSSIM2为第二生成网络的细胞结构相似度真实染色图像域B中每个真实染色图像对应的对抗损失[0146]其中，GB→A(a))为将a输入第二生成网络GB→A所生成的全等映射拉曼图像，为拉曼图像域A中每个拉曼图像与对应的全等映射拉曼与对应的全等映射真实染色图像的平均绝对误差值的期望值。[0150]在一个示例中，目标细胞样本可以是待染色的细胞样本而非用于训练的细胞样[0152]在一个示例中，目标生成网络模型可以是单独的模型或者其他模型中的一部二虚拟染色图像是通过本发明的实施例获得的目标生成网络模型生成的。通过图2可以看[0154]以上结合图2图6详细描述了用于获得目标生成网络模型的训练方法。由上述详的细胞结构的拉曼图像；同时在使用细胞样本的拉曼图像和真实染色图像进行训练过程中，通过结构相似性函数来对循环生成对抗网络中的损失函数进行细胞结构一致性的约使得临床医生或者研究人员可以基于虚拟染色图像来分析细胞样本的细胞结构来做出准[0158]例如，受激拉曼组织学(stimulatedRamanhistology,SRH)通过调节泵浦光波像，主要包含受激拉曼散射(stimulatedRamanscattering,SRS)、受激拉曼光热(stimulatedRamanphotothermal,SRP)和相干反斯托克斯拉曼散射(coherentanti_StokesRamanscattering,C[0168]图7示出了根据本发明的一些实施例的对拉曼图像和真实染色图像进行拼接和配[0170]根据本发明的一个实施例，在获得细胞样本的拉曼图像和真实染色图像的过程拉曼图像以及配准后的细胞样本的真实染色图像中同一细胞在同整具有收敛的损失函数的值的经训练循环生成对抗网络的参数并且基于拉曼图像以及真[0180](1)在测试集上评价目标生成网络模型。测试集包含配准后的细胞样本的单色拉胞与癌细胞。准确率为99.4特异度为99.5灵敏度为99.7与真实染色图像下细胞网络模型可以生成与真实染色图像一致的虚拟染色图像，确保对细胞结构准确地增强显本发明的训练方法获得的目标生成网络模型可以对目标细胞样本结构准确地增强显示的[0189]下面将参照附图对上述本发明提供的用于增强显示细胞结构的虚拟染色方法进[0190]图9示出了根据本发明的一些实施例的用于增强显示细胞结构的虚拟染色方法的[0192]根据本发明的另一个实施例，第一激发光与第二激发光可以各自具有预定频本的各个局部的局部目标拉曼图像以获得目标细胞样本的目[0196]关于本发明第四实施例公开的用于增强显示细胞结构的虚拟染色方法的一些具体细节还可以参考第一实施例至第三实施例中所描述的用于获得目标生成网络模型的训将目标拉曼图像输入根据前述训练方法生成的目标生成网络模型中以获得目标细胞样本的目标虚拟染色图像，目标虚拟染色图像用于对目标细胞样本中的细胞结构进行增强显[0204]激光源，其可以被配置为产生用于照射目标细胞样本的第一激发光和第二激发[0205]图像采集部件1010还可以被配置为响应于第一激发光和第二激发光照射目标细[0215]该设计简化了激光源1111与物镜部件1114之间的光路结构，避免需要对激光源[0217]激光器(picoEmeraldTMS，AppliedPhysics&Electronics)重复频率可以为泵浦光波长在成像时为796.8nm，对应拉曼位移特征峰2850cm_1，斯托克斯光波长固定为(HF2LI，ZurichInstruments)提取后，表示SRS信号的模拟输出进入数据采集卡(PCIE_6363，NationalInstruments)并输入到电脑中在LabVIEW2018软件上显示样本的SRS图[0218]根据本发明的一个实施例，图13示出了根据本发明的一些实施例的脂质纯样(以三油酸甘油酯(TO)为例)和蛋白质纯样(以牛血清白蛋白(BSA)为例)在碳氢键振动区(2800_3100cm_1)的自发拉曼散射光