CN114450751B 用于训练机器学习算法以处理生物学相关数据的系统和方法、显微镜及经训练的机器学习算法 （徕卡显微系统Cms有限公司）

2022.01.29PCT/EP2019/0649602019.06.07WO2020/244774EN2020.12.10MiltonMendietaetal.ACross-Mdiseaseidentificat用于训练机器学习算法以处理生物学相关系统(100)包括一个或多个处理器(110)和为通过由一个或多个处理器(110)执行的语言识别机器学习算法生成基于生物学相关语言的输入训练数据(102)的第一高维表示。此外，系统(100)配置为通过语言识别机器学习算法根据第一高维表示生成基于生物学相关语言的输出训据(102)和基于生物学相关语言的输出训练数据(100)配置为通过由一个或多个处理器(110)执行的视觉识别机器学习算法生成基于生物学相关图像的输入训练数据(104)的第二高维表示，根据第一高维表示和第二高维表示的比较调整2接收基于生物学相关语言的输入训练数据（102、210其中所述基于生物学相关语言3.根据权利要求1或2所述的系统，其中，所述基于生物学相关图像的输入训练数据值与存在特定生物学功能或特定生物活性的可能性值与存在特定生物学功能或特定生物活性的可能性上的值和所述第二高维表示(330)的所述条目的50％以3值比所述第一高维表示（260）的所述条目的最大绝对值大10%，并且所述第二高维表示13.根据权利要求1或2所述的系统，其中，所述基于生物学相关语言的输入训练数据4组包括比基于生物学相关图像的输入训练数根据所述基于生物学相关语言的输入训练数据和所述基于生物学相关语言的输出训5[0005]一些实施例涉及一种系统，该系统包括一个或多个处理器和一个或多个存储设执行的语言识别机器学习算法，生成基于生物学相关语言的输入训练数据的第一高维表一个或多个处理器执行的语言识别机器学习算法根据第一高维表示生成基于生物学相关一个或多个处理器执行的视觉识别机器学习算法生成基于生物学相关图像的输入训练数统被配置为根据第一高维表示和第二高维表示的比较来调整视觉识器学习算法训练的高维表示，具有相似生物内容的图像也可以被映射到相似的高维表示。的图像更准确地映射到接近具有相似含义的高维表示或语义上匹配的高维表示的高维表示。通过所提出的理念可以获得经训练的语言识别机器学习算法和/或经训练的视觉识别机器学习算法，其能够提供基于生物学相关语言和/或基于图像的输入数据的语义上正确或非常准确的分类。经训练的语言识别机器学习算法和/或经训练的视觉识别机器学习算找或生成典型图像和/或类似的应用而在多个生物图像中检索生物6[0007]以下将仅通过示例的方式并参考附图对装置和/或方法的一些示例进行描述，其[0012]图5是基于具有修改的CBAM块的ResNet架构的视觉识别神经网络的一部分的计算[0013]图6是基于密集连接卷积网络(DenseNet)架构的视觉识别神经网络的一部分的计[0014]图7是基于具有注意力机制的DenseNet架构的视觉识别神经网络的一部分的计算7[0022]图1示出了根据实施例的用于训练机器学习算法以处理生物学相关数据的系统通过由一个或多个处理器110执行的语言识别机器学习算法，根据第一高维表示生成基于基于生物学相关语言的输入训练数据102可以是核苷酸序列或蛋白质序列，因为大量不同关语言的输入训练数据是蛋白质序列或氨基酸，则基于生物学相关语言的输入训练数据102可以包括20个以上的字符的长度。如果基于生物学相关语言的输入训练数据是核苷酸序列或自然语言的描述性文本，则基于生物学相关语言的输入训练数据102可以包括60个字字符(例如字母字符)。该基于生物学相关语言的[0024]基于生物学相关语言的输出训练数据可以与可选地包括对下一元素的预测的基练数据102可以是生物序列(例如核苷酸序列或蛋白质序列)，并且基于生物学相关语言的8关语言的输入训练数据102可以是粗粒度检索词的生物类别，并且基于生物学相关语言的输出训练数据也可以是粗粒度检索词的生物类苷酸序列或蛋白质序列)，而基于生物学相关语言的输出训练数据是粗粒度检索词的生物如，用于如在BRENDA/EC编号或UniPathways中的sic函数(sicfunction)的唯一标识符)、[0027]基于生物学相关语言的输出训练数据可以由语言识别机器学习算法的解码器生权重)集的语言识别机器学习算法生成第一高维表示来生成。语言识别机器学习算法的当前参数集可以在语言识别机器学习算法的调整期间更[0028]基于生物学相关图像的输入训练数据104可以是以下各项的图像的图像训练数据9关图像的输入训练数据表示由基于生物学相关语言的输入训练数据102描述的生物结构，使得基于生物学相关图像的输入训练数据104与基于生物学相关语言的输入训练数据102相关联。基于生物学相关图像的输入训练数据104可以从一个或多个存储设备和由存储设括100个以上的维度(或300个以上的维度或500个以上的维度)和/或10000个以下的维度条目和第二高维表示的条目使用向量表示，则可以实施有效的比较和/或其他计算(例如，二高维表示可以是归一化向量。第一高维表示和第二高取值不等于0的各种条目的高维表示，可以再现有关高维表示之间的语义关系的信息。例如，第一高维表示的条目的50％以上(或70％以上或90％以上)的值和/或第二高维表示的个以上的不等于0的条目，但只有一个条目具有高值，而所有其他条目的值都处于噪声级的条目或50个以上条目)的值可以比第一高维表示的条目的最大绝对值大10％(或大20%上的条目)的值可以比第二高维表示的条目的最大绝对前参数集的语言识别机器学习算法应用于基于生物学相关语言的输入训练数据102来生成调整，并且最终的语言识别神经网络权重集可以由一个或多个存储设备120存储。进一步神经网络权重进行调整，并且最终的视觉神经网络权重集可以由一个或多个存储设备120[0035]第一高维表示的一个或多个条目的值和/或第二高维表示的一个或多个条目的值与这些一个或多个条目相关的生物学功能或生物活性的可能性[0036]系统100可以针对训练组的多个基于生物学相关语言的输入训练数据集中的每个个所生成的第一高维表示生成基于生物学相关语言的输出训练数据。系统100可以根据训练组的多个基于生物学相关语言的输入训练数据集的基于生物学相关语言的输入训练数相关语言的输入训练数据集，从而可以实现训练[0037]在语言识别机器学习算法的训练期间生成的多个所有第一高维表示可以称为潜[0038]系统100可以针对训练组的多个基于生物学相关图像的输入训练数据集中的每个之，系统100可以针对基于生物学相关图像的输入训练数据集的训练组的每个基于生物学[0039]基于生物学相关语言的输入训练数据集的训练组可以包括比基于生物学相关图看不见的基于生物学相关图像的输入数据映射到与语义上相似的基于生物学相关语言的生物学相关语言的输入训练数据集是对生物分子或生物结构的不同行为的描述或对生物入数据的不同输入数据集的数量可能是有限的(例如少于5[0040]例如，系统100使用语言识别机器学习算法和视觉识别机器学习算法的组合(例以上的层(或50个以上的层或80个以上的层)和/或500个学相关语言的输入训练数据集的训练组的第一基于生物学相关语言的输入训练数据的长度与基于生物学相关语言的输入训练数据集的训练组的第二基于生物学相关语言的输入质序列中，连续的二级多肽结构(例如α螺旋(alph[0042]可以根据基于生物学相关语言的输入训练数据102和基于生物学相关语言的输出训练数据的比较来调整语言识别机器学习算法的参数，而训练该语言识别机器学习算法。而对基于生物学相关语言的输入训练数据102与基于生物学相关语言的输出训练数据进行以上的层(或40个以上的层或80个以上的层)和/或400囊网络可以针对基于生物学相关图像的输入数据提供具有高精度的视觉识别机器学习算激活函数可以针对基于生物学相关图像的输入数据提供高精度的经训练的视觉识别机器[0047]例如，视觉识别神经网络可以包括卷积神经网络架构和/或可以是深度取决于输至50层的Res_Net架构可以提供良好的结果。对于从～512×512像素到800×800的像素的[0048]通过基于由语言识别机器学习算法生成的高维表示与由对应的输入训练数据的[0052]图2示出了语言识别机器学习算法220的训练的示例(例如，示出了令牌嵌入的查找)。文本性模型220可以针对来自数据库200或运行实验中的成像设备(例如显微镜)的生物序列或自然语言210(例如核苷酸序列(例如GATTACA))进行训练。例如，自然语言处理(NLP)任务是为了预测句子(自变量)中的下一个单词(因变量)或是为了预测给定文本250关语言的输出训练数据)。定量度量(例如损失函数)可以测量预测相对于真实数据的准确别映射到如上所述的由文本性模型学习的相应令牌嵌入。例如，学习预测类别“p53”、嵌入(例如同样可以适用于从核苷酸序列或科学出版物中的文字描述中学习到的令牌嵌[0056]只有高维表示260可以是感兴趣的，其可以通过语言识别机器学习算法对输入文并以特定概率预测该序列的后半部分或仅预测下一个字符。由于仅高维表示260是感兴趣[0057]图3示出了视觉识别机器学习算法320的训练的示例。可以执行对视觉模型320的以是由文本性模型学习并可选地映射到如上所述的图像类别的对应令牌嵌入330(第二高[0058]图4示出了基于ResNet架构的视觉识别神经网络的一部分400(例如ResNet块)的[0060]其中bs是批量大小(例如加载到一个小批量随机梯度下降[0065]如图所示，修正线性单元是在卷积之后执行的非线[0066]批归一化将张量X归一化为其相应批次的均值μ图中示出)。其中n_in和n_out是当前激活的输入和输出通道维50、101或152层和瓶颈ResNet块和/或具有预激活的ResNet块可以用于所提出理念的视觉算420，接着是第一卷积运算430(例如1×1)，接着是第二批归一化运算410，接着是第二运算440之后和/或在两者之间执行一个或[0071]图5示出了基于ResNet架构的视觉识别神经网络400的一部分500(例如，修改的化运算520的输入，并且可以将全局平均池化运算510的输出和全局最大池化运算520的输出提供为后续相同运算(例如级联)的输入。[0077]通道注意力模块和空间注意力模块两者都可以使用sigmoid非线性函数540作为[0080]从这些Rn_CBAM(x)构建块中，可以通过用图5所[0081]通过借助均值运算560针对维度ch生成算术平均值(例如因此由1×64×256×256得到1×1×256×256)以及借助最大值运算570沿维度ch生成最大投影，均值运算560和最三批归一化运算的输出相乘)，最后是加法运算440(例如将第二乘法运算的输出和前一个[0083]图6示出了基于DenseNet架构的视觉识别神经网络的一部分600(例如具有瓶颈配以使用在单独密集层Hl_B(x)的水平上添加了注意力机制的DenseNet架构。通道注意力机制可以与稀疏(sparsified)Dens地，可以使用通道注意力模块和空间注意力模块之间的批归一化，如通过ResNet架构(例机制仅应用于由密集层新生成的k个激活，并且可以将注意力路径的重新缩放的输出在最创建的k个层可以降低计算复杂度并可以省略缩减比r作为补丁的需要，以限制(cap)计算都带有预激活(bn+relu)。第一卷积具有1×1内核并输出ch个激活。第二卷积具有3×3内[0089]图7示出了基于DenseNet架构的视觉识别神经网络的一部分700(例如具有注意力[0092]DenseNet的这个构建块可用于所提出的理念。与上面针对[0093]根据这些Hl_A(x)构建块，可以通过由它们相应的Hl_A(x)对应物(counterpart)计算机或移动电话)，其中一个或多个处理器110和一个或多个存储设备120位于该计算机户端和一个或多个远程服务场群和/或数据中心)的一个或多个处理器110和一个或多个存可以配置为通过拍摄生物样本的图像而生成基于生物学相关图像的输入或下文所述的实施例的显微镜可以实现深度[0099]该系统100的更多细节和方面结合所提出的理念和/或以上或以下描述的一个或面和/或以上或以下描述的一个或多个示例的一个或多个方面相对应的一个或多个附加可镜810连接至配置为训练机器学习算法的计算机设备820(例如，个人计算机、膝上型计算[0101]图9示出了用于训练机器学习算法以处理基于生物学相关数据的的方法的流程算法生成920基于生物学相关语言的输入训练数据的第一高维表示。第一高维表示包括至据第一高维表示生成930基于生物学相关语言的输出训练数据，并且包括根据基于生物学相关语言的输入训练数据和基于生物学相关语言的输出训练数据的比较来调整940语言识联的基于生物学相关图像的输入训练数据，并且包括通过视觉识别机器学习算法生成960基于生物学相关图像的输入训练数据的第二高维表示。第二高维表示包括至少三个条目，器学习算法训练的高维表示，具有相似生物内容的图像也可以被映射到相似的高维表示。法可以将未经训练的图像更准确地映射到接近具有相似含义的高维表示的高维表示或映器学习算法和/或经训练的视觉识别机器学习算法可以实现根据基于语言的检索输入或基[0103]方法900的更多细节和方面结合所提出的理念和/或以上或以下描述的一个或多个示例(例如，图1至图8)进行阐述。方法900和/或以上或以下描述的一个或多个示例的一个或多个方面相对应的一个或多个附加可选生成基于生物学相关语言的输入训练数据的第一高维表示。第一高维表示包括至少3个条根据基于生物学相关语言的输入训练数据与基于生物学相关语言的输出训练数据的比较，觉识别机器学习算法)和/或经训练的语言识别机器学习算法(例如经调整的语言识别机器[0106]经训练的机器学习算法的更多细节和方面结合所提出的理念和/或以上或以下描出的理念的一个或多个方面和/或以上或以下描述的一个或多个示例的一个或多个方面相描述的实施例)的应用和/或实施细节的一能需要人类专家在时间压力下(例如因为昂贵的研究仪器被预订了一段时间)在不舒服的卷积神经网络(CNN))相结合以使例如来自光学显微镜或电子显微镜的未经注释或注释较法)以解决文本认知任务。然后在阶段1的模型发现的语义嵌入可以用作阶段2中待由视觉觉模型可以作为深度卷积神经网络(CNN)来执行。其它实施例可以使用不同类型的深度学[0117]横跨不同知识领域的文本和视觉信息的组合可以允许视觉模型学习该视觉模型体例如蛋白质序列或核苷酸序列的功能作用以及亚细胞定位或发育和/或代谢状态，这使[0120]寻找令牌嵌入：根据生物分子的表示来训练第一语言/语言学模型(例如RNN、LSTM)，该生物分子的形式为核苷酸/蛋白质序列或科学出版物中关于相应生物分子(例如示语言/语言学模型的训练的文本性生物输入的生物结构中选择图像。这些图像可用于第[0123]例如，可以通过构建如图2所示的文本性模型来找到令牌嵌入。可以将生物序列210从存储库200传递到文本性模型220作为自变量。文本性模型可以负责语言处理中的任务，例如从序列的短片段中预测下一个字符(例如蛋白质序列中的氨基酸或核苷酸序列中通过解码器路径以便使根据其进行有用的预测250。可以将隐藏表示视为潜在空间中的嵌映射到所需图像类别的令牌嵌入330可以在输出端显示给该模型。视觉模型可以学习预测统可以在不使用显式指令而是依赖于模型和推理的情况下用来执行特定任务的算法和统练内容信息作为输出来训练机器学习模型。通过采用大量训练图像和/或训练序列(例如，可用于基于提供给机器学习模型的非训练传感器数据通过指定训练样品和期望输出值，机器学习模型基于与训练期间提供的样品相似的输入样归算法或相似度学习算法来进行。当输出被限制为一组有限的值时，可以使用分类算法，可以使用回归算法。相似度学习算法可以类似于分类算法和回归算法，但是基于使用测量两个对象的相似或相关程度的相似度函数从示例中进行学习。除了监督或半监督学习