CN119487544A 图像或视频中的精子细胞的检测、分类和运动能力评估的方法 （卡特医疗）

2024.12.25PCT/IL2023/0506582023.06.26WO2024/003900EN2024.01.04本发明基于使用各种图像处理方法测量的细胞(或其他类型的细胞或颗粒)进行检测和分描述了用于监督和无监督深度学习方法的具体26.根据权利要求4所述的方法，其特征在于，所述方法用人工数据来训练所述神经网|所述精子在聚乙烯吡咯烷酮的溶液中的速度来估计所述精子在水323.一种用于从经训练的网络的放大潜在向量24.根据权利要求23所述的方法，其特征在于频序列。25.根据权利要求16所述的方法，其特征在于26.一种用于使用无监督学习和一组训练数据图像序列来分析精子图像序列的方法，b.在离散数量的群体聚集方面识别所述训练数据图像序列上的所述c.在所述图像序列在所述聚集中的一个或多个中的成员关系方面识别待分析的所述b.在推理阶段，使用所述卷积神经网络推理静止的精4其中利用广泛可获得的运动的精子细胞的训练数据来训练适于检测在无精症样品的均并在训练步骤和推理步骤两者中将所述平均帧用作所述卷积神经网络的输入来获得超5[0003]计算机化运动能力分析可以提供对取自大量精子轨迹的精子运动特征的客观测[0005]此类精子的运动能力的评估通常包括0[不运动]至4[快速运动]的任意标度的总[0009]公开了使用神经网络自动检测精子细胞(或其他类型的细胞或颗粒)的另外的方6可以使用自动产生的训练数据以及更标准的人类注释的训练数据，并且一旦该阶段完成，[0023]本发明提供了用于实现超分辨率以在子像素等级评估位使得允许以比其他方式可能的更高的精确性执行下面描述的后使用以实现比相机硬件的分辨率高的分辨率的技术。这可以通过一个或多个装置来实现。7人员正移动显微镜载物台时，该特征也会允许精子细胞的连续跟踪和连续精确的运动评FOV被分成例如，FOV的宽度的1/10×长度的1/10的相等的矩形(或者FOV与每个单独的单元踪的对象)也在本发明的规定内，在其基础上，估计FOV的基本运动向量。此类减法应当以并在这些梯度的影响下观察精子运动属于本发明的规定。通过观察有和没有梯度的运动，的/已知的运动可以被用作算法的初始输入，该算法适于进一步细化这些载物台运动的初[0029]出于此目的，我们考虑的另外的方法是八参数投影运动模型、块匹配，和Horn_Schunck光流法估计(参见《视觉传分辨率图像序列增强的子像素运动估计(SubpixelMotionEstimationforSuper_8个帧共同的特征来计算单应性以变换图像之间的坐9以理解，除非系统利用更大的孔径和/或更亮的照明来实现与在较低的帧速率下实现的图[0061]该方法类似于Kappa_Sigma剪去法，但是代替剔除边远的像素值，它们被中值取定技术(TheTechniquesofLeastSquaresandStellarPhotometrywithCCDs)_[0065]该方法基于德国，Jenkin和[0066]用于实现超分辨率的另一种方法是使用具有小偏移的CFA原始图像的突发。如所述的手持式多帧超分辨率(/abs/1905.03277)这些帧然后被对准和合[0067]由任何上述方法产生的新图像可以被实现为具有相同分辨率的较高位深度图像子细胞在帧与帧之间的典型位置差异为例如0.3个像素(在原始的未增强图像中)，使得平[0070]本发明提供了通过将基于多个移动参数的曲线拟合到观察到的运动来模拟运动角速率ω2和起始角θ2。|[0093]一种另选的方法是使用时间神经网络，诸如适于运动预测目的的递归神经网络[0097]现在讨论识别TESE/TESA组织样品中不运动的精子细胞的模式识别方法。可以使以使用FOV的网格中的特定空间细胞中的超阈值(能量方式)信号的存在来向操作人员提供借助于计算机驱动的x_y(以及可能的z_)级自动执行该级对中操作。可以借助于诸如以上[0102]图5的流程图610中示出了训练阶段的示例。初始输入601包括可能处于不良成像括诸如密集光流的算法，该算法估计视频帧中每个像素的运动向量；稀疏光流或Kanade_卡尔曼滤波可用于基于先前运动信息预测移动的对象的位置；定位密度函数的最大值的Meanshift(均值偏移)和Camshift(连续自适应均值漂移)；以及可以在该上下文中使用的[0103]这些检测产生被加标签的精子图像或视频603，该图像或视频适于训练适于检测列605(在流程图610的训练步骤中使用的类型)被输入到先前产生的经训练的深度神经网[0107]该方法可用于TESE/TESA样品中的无精症的情况，其中需要以低放大率找到精子[0116]具体地，各种常用浓度的聚乙烯吡咯烷酮(PVP)溶液中的精子速度与水的速度之[0122]图6以简化形式示出了一个示例性实施方案的流程图。以虚线轮廓的方框示出任执行不运动的精子检测和参数化510的任选步骤(可能使用没有经过背景去除504的图像，[0126]现在可以将获得的单独的精子计算结合到样品水平计算511中，例如包括在每cc或cm2运动的精子的数目或运动能力测量的平均值的方面的样品的总体评级，或更详细的[0134]可通过人工标记或借助于自动或半自动标记来获得用于监督学习情况的被标记[0135](自动)生成用于训练深度学习网络的精子细胞图像的方法可用于进一步训练神[0136]在训练阶段完成后，该网络可用于对静止或动态环境中的精子细胞进行自动检所述的静止帧定位方法的输出也可以与帧之间的时间差(和可能的样品载物台移动)的知络的紧凑表示进行微调。和分类精子细胞的方法。可以从静止图象(形[0152]该网络将每个精子细胞编码成代表被检查精子的所有特征(常规的和隐藏的)的[0154]现在可以通过它们的潜在空间向量之间的数学距离来量化精子细胞之间的差潜在空间例如可以是在回归或类别标记层之前的神经网络的[0156]为了检查良好细胞的网络所检测到的具体特征是什么，问题)的一种方法是使用诸如适于运动预测目的的递归神经网络(RNN)之类的时间神经网[0163]除了其中至少一