CN113330292A 在高通量系统中应用机器学习以分析显微图像的系统和方法 （科罗拉多大学评议会法人团体）

PCT/US2019/04405620WO2020/028313EN2020.02在高通量系统中应用机器学习以分析显微本发明描述了用于将高通量流动成像显微镜与卷积神经网络结合以分析诸如聚合生物分2考样本通过高通量流动成像显微镜(FIM)仪器并从来自所述参考样本的多个图像中提取相据集通过使包括由污染物或过程异常引起的附加的颗粒液体悬浮液的一个或多个附加样本通过高通量FIM仪器并捕获通过所述高通量FIM仪器的各个成分的多个图像以及从来自提取的相关特征转换为通过使用损失函数来分离与每个参考分布相关联的嵌入的低维特或嵌入的所述一个或多个附加参考分布之间的统计相似性来评估来自测试样本的嵌入的2.根据权利要求1所述的方法，其中所述颗粒的液体悬浮液中的所述颗粒包括聚集蛋4.根据权利要求1所述的方法，其中通过所述FIM仪器的所包括通过所述FIM仪器的所述各个成分的6.根据权利要求3所述的方法，其中所述聚集蛋白质分子包括通过药物填充加工操作3考样本通过高通量流动成像显微镜(FIM)仪器并从来自所述参考样本的多个图像中提取相通过使包括液体悬浮液中附加细胞并且液体悬浮液中所述细胞含有具有不同表型的细胞、经受过程异常的细胞或具有不同基因型的细胞或被其污染的一个或多个附加样本通过高提取的相关特征转换为通过使用损失函数来分离与每个参考分布相关联的嵌入的低维特或嵌入的所述一个或多个附加参考分布之间的统计相似性来评估来自测试样本的嵌入的11.根据权利要求10所述的方法，其中所述参考样本包括在液体培养物中的具有一致12.根据权利要求10所述的方法，其中所述参考样本包括在液体培养物中的表达异源13.根据权利要求10所述的方法，其中所述附加参考细胞包括选自由以下项构成的群15.一种无需标记各个病原体的情况下应用机器学习来检测和分析高通量系统中生物4样本通过高通量流动成像显微镜(FIM)仪器并从来自所述参考样本的多个图像中提取相关过使包括由感染或污染或疾病状态引起的附加的细胞液体悬浮液的一个或多个附加样本通过高通量FIM仪器并捕获通过所述高通量FIM仪器的各个成分的多个图像以及从来自所关特征转换为通过使用损失函数来分离与每个参考分布相关联的嵌入的低维特征集而定16.根据权利要求14所述的方法，其中所述生物样本包括选自由以下项构成的群组的20.根据权利要求18所述的方法，其中所述疾病状况与所述提取的相关特征的类型或21.根据权利要求18所述的方法，其中所述疾病状况与在所述生物样本中发现的细胞23.根据权利要求19所述的方法，其中所述血液样本包24.根据权利要求22所述的方法，进一步包括对所述血液样本应用尺寸排阻应用以排25.根据权利要求22所述的方法，其中所述血液样本中的阈值尺寸以上的所述细胞包5[0002]本国际PCT申请要求2018年7月31日提交的美国临时申请第62/712,970号的权益[0004]本发明是在政府的支持下完成的，并获得了美国国立卫生研究院授予的批准号通量阻碍了对诸如细菌和病毒等病原性细胞或潜在地与疾病相关联的稀有哺乳动物细胞动物细胞或血液样本中存在的大量正常细胞中的微量水平的外来感染性微生物所带来的制和/或制造过程中的加工条件会导致多种意外的有害蛋白质聚集体在药物产品中形成。6生物产物(例如蛋白质治疗剂)的产量可能会降低，引导产生生物产物的质粒可能会丢失，和/或鉴定导致不期望的表型特征的任何细胞培养过程异常，从而可以采取纠正措施。例[0010]为了解决这些问题已经进行了尝试，但是由于许多技术原因而Smith等人(10,255,693)描述了一种方法，用于检测和分类在传统显微镜载玻片上发现的对象的类型的先验知识，Smith还需要详细的标记注释而非不需要每个图像的详细标记注经济和技术上可行的系统来检测蛋白质聚集以及鉴定由非预期的过程异常引起的先验已[0012]本发明技术的一个方面包含可以在各种相关医学和制药应用中将高通量流动成的方法可以使用流动成像显微镜(FIM)仪器和诸如卷积神经网络(ConvNet)分析的机器学7微镜的技术，其利用微流体技术和光学显微镜技术来捕获样本中大于约200nm的颗粒的图[0014]在本发明技术的另一方面，本发明人利用ConvNet在其他应用中鉴定治疗上相关一种有效的工具，可以对液体样本中的小颗粒(约200nm至100微米大小)进行成像和表征。量系统中液体悬浮液中的颗粒的系统和方法。在一个优选实施例中，可以训练诸如多层高通量流动成像显微镜(FIM)仪器来生成至少一个参考数据集，该参考样本可以优选地包以被发送到一个或多个处理器或其他类似的数据处理装置或系统，在其中提取相关的特[0017]本发明技术的另一方面包含用于通过嵌入从参考样本中先前提取的相关特征来或多个附加样本可以用于通过嵌入从附加样本的捕获图像提取的相关特征的新颖过程来于定义参考样本以及任选的附加样本的参考分布的嵌入图可以通过使用损失函数来定义，如本文总体所述的，该损失函数可以将与每个参考分布相关联的嵌入的低维特征集分开。8可以通过使测试样本通过高通量流动成像显微镜(FIM)仪器来生成至少一个测试数据集，这些颗粒通过FIM或其他类似装置时捕获。这些图像可以被发送到一个或多个处理器或其通过定量地比较嵌入的测试分布与先前采集的嵌入分布之间的统计相似性来评估来自测系统可以进一步包含评估嵌入的测试分布是否并不对应于嵌入的先验已知群体密度分布[0023]本发明技术的另一方面可以包含应用机器学习来检测和分析高通量系统中细胞9[0026]本文所述的发明方法和系统的另一方面可以进一步包含通过嵌入从参考样本中计参考样本以及任选的附加样本的各个提取的特征嵌入的概率密度，并且在优选实施例可通过使测试样本(例如生物样本或其他含有待在液体悬浮液中测试的细胞的样本)通过可以在它们通过高通量FIM时捕获。这些图像可以被发送到一个或多个处理器或其他类似布与先前采集的嵌入分布之间的统计相似性来评估来自诸如生物样本的测试样本的嵌入任选实施例可以包含应用融合模块的步骤，该融合模块结合了通过其他模态确定的特征，[0030]本发明技术的另一方面可以包含无需标记各个病原体的情况下应用机器学习来通过使参考样本通过高通量FIM或其他类似仪器而生成至少一个参考数据集，该参考样本被发送到一个或多个处理器或其他类似的数据处理装置或系统，在其中提取相关的特征。[0033]本文所述的发明方法和系统的另一方面可以进一步包含通过嵌入先前从参考样所鉴定的一个或多个附加样本可以用于通过嵌入从附加样本捕获的图像提取的相关特征[0037]图1：在其一个实施例中示出了一种分析来自流动显微镜的成像数据并评估所捕都可以解释为通过算法(矩阵列)将某细胞类型的单个随机图像(矩阵行)鉴定为特定细胞[0041]图5：示出了产生HGH(顶部)和HPV衣壳蛋白(底部)的大肠杆菌菌株的样本FIM图条件的偏差。该网络正确地鉴定出仅含有该过程(批次1_100)制造的颗粒的数据集是正常[0047]图11A_B：展示了检测含蛋白质治疗剂溶液的小瓶的乙醇洗涤所引起的细微意外的大小为N的10,000次抽签(此处总结为践本文中的实施例的方式的理解，并进一步使本领域技术人员能够实践本文中的实施例。[0054]本公开提供了用于快速分析通过高通量细胞计数或其他类似的分离或分析方法习和计算机统计中的最新技术。本发明使得能够将实验图像分类为预定的类别和/或将观明视野或荧光显微镜或其他类似的成像装置，诸如流动成像显微镜(FIM)。如以下将讨论显微镜装置测得的原始或预处理图像的集合(其中预处理步骤可以基于图像中给定尺寸阈算法或用于特征选择的梯度提升算法)将来自ConvNet的特征与其他度量或描述性特征组可以使用另一种人工神经网络(ANN)来生成一组新的特征或嵌入(取决于特定的应用程计算p值，从而使用户能够检测由未标记数据的嵌入集合生成的测试统计量在统计上是否文所指的任何处理功能也可以由一个或多个处理器执行。可以使用计算机可读/可执行指体的临界值或用于诊断与异常细胞等有关的疾病的异常细胞与正常细胞的比率(或异常细希望进行分类的置信水平。有时出于特定目的对其进行选择(例如，以平衡敏感性和选择试数据集的样本，该测试数据集可以与如本文大所述的训练数据集进行定性和/或定量比[0074]生物样本可以从任何受试者或生物学来源获得。尽管样本通常取自人类受试者[0078]基于使用本文所述的图像分析系统可检测到的形态差异，其他分类也是可一种仅需很少的预处理即可获取数据的模型，尽管数据可能是分段数据(诸如细胞伪像)，数据集并将其与从参考样本以及任选地一个或多个附加样本生成的训练数据集进行比较任选地将相关细胞表征为目标细胞的系统和方法，该标记通过在测试样本中经由ConvNet[0089]本文提供了用于通过分析相关的细胞的标记来鉴定和任选地将相关细胞表征为[0092]本文所述的系统和方法可以涉及与一个或多个参考样本/数据集相对比地分析来自受试者的一个或多个测试样本。样本可以是允许分析不同离散细胞群体的任何合适类便针对单个细胞提供多种元素的激活水平与通过流式细胞仪可测量的其他细胞质量之间计算平台包括其上具有用于执行各种计算机实现的操作的指令或计算机代码的非暂态计[0102]在一些情况下，门控涉及使用散射信号(例如前向散射(FSC))将亚细胞碎片与相[0106]本文所述的方法适用于可以确定细胞的生物标志物谱与确定来自个体的样本中应的相关细胞的第一生物标志物谱与对应于未感染状态的第二[0111]通过检测生物标志物和光强度散射参数，该数据可用于对特定群体中的细胞计[0114]相关特征可以通过通常称为流式成像显微镜(FIM)的多种方法中的任何一种或多特征的简短列表(通常含有高度相关的数量)忽略了完整(RGB或灰度)FIM图像中包含的大[0116]直接成像颗粒测量技术(例如FIM)相对于间接遮蔽或基于散射的测量具有许多优[0117]适用于本公开的系统和方法的可商购的FIM仪器的非限制性示例包含Malvern格里尔)的各种OcchioFlowcell系统、JMCanty(美国纽约州布法罗)的MicroFlow颗粒定径测量系统、ProteinSimple(美国加利福尼亚州圣克拉拉)的数个MFI系统以及FluidImaging(美国缅因州雅茅斯)的各种流式细胞仪和显微一旦经过配置，监督门控算法所产生的结果的可变性要比人类操作员执行的门控小得多。不同算法之间门控结果的差异通常超过10因此一些实施例考虑了集成不同算法以产生种可以学习输入数据集和目标数据集之间关系的计算系统。ANN名称源于期望开发出一种是人工智能领域的主要基础。ANN由于其可以对变量之间的关系未知或非常复杂的高度非试(例如Kolmogorov_Smirnov检验、Hong和Li的基于Rosenblatt转换的检验或基于Copula将诸如从通过高通量系统的样本的图像中提取的细胞伪像之类的一个或多个相关特征作[0128]本文公开的某些机器学习系统的特性是能够对各种各样相关的特征进行分类的学习系统可以准确地对宿主细胞或寄生虫的至少两个或更多个成熟度或生命周期阶段进[0130]在这些系统和方法中，机器学习系统可以准确地分类(i)宿主中的正常细胞和白细胞(有时是各种类型的白细胞)以及一种或多种寄生/病原性实体(诸如真菌、原生动[0133]本发明技术的某些方面提供了一种用于鉴定样本诸如宿主生物的生物样本中的系统的一个或多个处理器被配置为执行用于鉴定相关样本特征的方法。在一些实施例中，系统的一个或多个处理器被配置为接收由FIM仪器捕获的生物样本的一个或多个图像。一个或多个处理器任选地被配置为分割生物样本的一个或多个图像以获得在该实施例中通络架构或多尺度的扩张残差网络(DRN)。可以使用标准损失或自定义损失函数将诸如挤压约30,000/ml的绝对计数表示白血病或其他恶性病症，而介于约10,000和约30,000之间的粒细胞(白细胞的一种)可以单独计数。绝对计数低于约500/ml提示嗜中性白血球减少症。[0161]本文公开的实施例可以被实现为用于通过使用机器学习技术和/或基于阶段的扫计算系统，无论是由样本现场的最终用户控制还是由控制机器学习模型的远程实体控制，都可以实现为在一个或多个通用处理器或专门设计的处理器诸如可编程逻辑装置(例如，现场可编程门阵列(FPGA))和/或被设计为执行某些功能或其组合的专用集成电路(ASIC)组件和/或至少一个软件组件。本文所述的实施例可以以纯硬件或者部分以硬件并且部分[0163]每个计算元件可以被实现为计算机数据和指令的有组织的集合。在某些实施例中，图像采集算法和机器学习模型可各自被视为与用户和系统软件交互的应用软件的形器上实现需要大代码块和/或显著的处理能力的操作。这样的操作可以在远离处理样本的[0173]最近商业化的流动成像显微镜仪器提供的高倍放大率使流动显微镜可以记录小型的细胞和颗粒诸如生物分子进行成像、检测和分类。因此，在一个实施例中，FIM和ConvNet的组合可以应用于检测血液的微生物感染。当前用于检测血液感染的方法主要依实施例中，用等渗介质稀释血液样本，并用能够成像小于2μm的颗粒的流动成像显微镜本发明人可以进一步使用通过体现在故障检测模块(5)中的故障检测训练的最终ConvNet，约200μL血液放入2mL微量离心管中，该离心管中装有1mL达尔伯克改良伊格尔培养基[0177]图14A_G示出了使用具有适合于该实施例的光学器件的FIM仪器收集的血液和不可能含有病原体的图像。ConvNet可用于区分先前尺寸阈值之后剩余的血细胞图像和各种较小血液颗粒，或者该网络针对其训练的病原性细胞之一。结合使用尺寸阈值和该[0180]在去除大部分血细胞图像之后，本发明人可以使用第二ConvNet来分析剩余图像以鉴定候选病原体。图3示出了被训练以鉴定在新生儿败血症病例中遇到的几种示例性生为临床医生提供了一种在接受诊断和开始治疗之前检查特定于生物的标记或引物来实现检测病原性细胞所需的敏感性，而无需依赖于细胞培养。发明人提出的方法不需要标记即可检测给定样本中可能存在小时内诊断出败血症_显著快于血液培养所需的24_72小时以及许多基于PCR的方法所需的文所述的新颖的流动成像显微镜和ConvNet方法允许快速鉴定尿液中的外来生物一先前使改变了它们的化学组成，并且由于化学组成的变化继而影响了细胞的折射率和光散射特考样本上训练ConvNet以生成在制造过程中使用的细胞系(在有和没有对目标蛋白进行编[0189]为了证明对FIM图像的ConvNet分析即使对细胞之间的微小遗传的4层ConvNet以区分这两种菌株。图5示出了这些生物的示例性FIM图像。图6示出了中产生的蛋白质聚集体和其他颗粒的ConvNet。蛋白质制剂中的蛋白质聚集体和其他颗粒颗粒的形态，或者根据形成颗粒的机理或它们对患者的相对安全风险对这些形态进行分融应力和摇动应力)产生的颗粒鉴定通过模型填充加工操作生成的多克隆抗体的聚集体。图7示出了通过从灰度MFI5200FIM仪器获得的每种机制生成的颗粒的FIM图像。此应用中应用于含有上述过程通常生成的颗粒和搅拌应力生成的颗粒(训练过程中未显示网络的颗加了挤压和激励模块的标准VGG样式的网络。网络的参数是使用新颖的定制成本函数获得j本指定期望聚类中心的输入参数(与嵌入尺寸相同)，并且||x||2表示向量x的标准欧几里式标记的数据)和抗体类型产生的嵌入如图9所示。图9中所示的嵌入用作说明本发明方法形方式展示了系统检测由于更改制造设备而导致的先验意外过程异常的能力(具体而言，多克隆冻融为参考条件，以证明在对照图中以图形方式检测这种新型颗粒的能力(在图12集体差异的能力尤其重要。应用于第二组意外过程应力的嵌入(即那些未包含在嵌入训练中的应力)展示了以图形方式检测对照图12中这种类型的新颗粒的能力，该对照图展示了核来估计训练参考条件下嵌入点的二维密度(尽管也可以使用任何其他参数或非参数方法用估计的非参数密度来评估多元嵌入的Rosenblatt转换。在参考或零条件下，转换后的变量应该是均匀且恒等分布的多元随机变量。本发明人使用Kolmogorov_Smirnov(KS)拟合优度测试在零条件下进一步测试了均匀形状(尽管可以使用其他Copula转换结合其他假设测关样本尺寸的拟合优度测试统计分布。图12报告了通过获取尺寸为20和50的随机样本并在各种零条件和零替代条件下进行KS测试获得的此程序的尺寸和功效(该表报告了分析10,