CN119487546A 基于医学图像的集成2d和3d神经网络的计算机辅助诊断的方法和系统 （梅迪安技术公司）

2025.01.14PCT/EP2023/0695302023.07.13WO2024/013324EN2024.01.18基于医学图像的集成2D和3D神经网络的计提供了一种用于基于多个3D医学图像来生从3D医学图像中ROI的分类，这可以利用2D和3DCNN的优势和互补性来提高预测的准确性。更确21.一种用于基于多个3D医学图像来生成用于表征多个感兴趣区域ROI的神经网络的方其中，所述2D神经网络配置为被训练以基于用于所述多个ROI的所提取的多个2D图块2.根据权利要求1所述的方法（100其中，所述单个预定平面平行于以下三个平面中步骤包括围绕每个ROI的中心坐标裁剪尺寸为PXQXR的3D图块，例如P=Q=R=63其中，在所述2D神经网络被设计用于基于一个2D图块来i.对于所述多个ROI的所有所提取的图块中的每个小批量，使用2D神经网络来计算诊其中，在所述3D神经网络被设计用于基于一个3D图块来i.对于所述多个ROI的所有所提取的图块中的每个小批量，使用3D神经网络来计算诊11.一种用于基于至少一个3D医学图像来表征感兴趣区域ROI的方法（200包括以下412.根据权利要求11所述的方法（200其中，所述经训练的2D和所述经训练的3D13.根据权利要求11和12中任一项所述的方法（200其中，所述单个预定平面平行于骤包括在所述候选ROI的所述中心坐标周围裁剪尺寸为PXQXR的候选3D图块，例如P=Q=R=5分来生成一个候选最大2D诊断得分Sj，从而实现N系列的每个系列的一个候选最大2D诊断ROI一个总得分的步骤。6[0001]本公开广泛地涉及用于基于三维医学图像的计算机辅助诊断（CAD）的方法和系[0005]已知基于2D卷积神经网络（CNN）的方法通常在评估肺结节的恶性程度时存在不体积信息。为了克服这样的缺点，在题为“Methodandsystemforimprovingcancer题为“Methodfordetectionanddiagnosisoflungandpancreaticcancersfromimagingscans”的第US2020/0160997A1号的专利公开文本中提出了一种完全3D深度神发表的，“DeepLearningforMalignancyRiskEstimationofPulmonaryNodules模来配置2D模型，这些网络的输入是每个ROI的不同2D旋转视图（参见Setio等人发表的，“PulmonarynoduledetectioninCTimages:falsepositivereductionusing7[0011]一种理想的方法是通过神经网络的连续分析基于来自3D图像的尽可能全面的信考虑小结节和大结节。基于用于多个ROI的所提取的3D图块来训练，以用于表征多个ROI的3D机器学习其中，2D预处理的步骤包括至少提取多个Ki2D图块作为相对于单个预定平面的8_在提取每个ROI的至少一个3D图块的步骤之前，还包括通过计算每个ROI的中心步骤可以包括基于权重和预定权重的随机确定中的至少一个来初始化2D机器学习模型的i.对于多个ROI的所有所提取的图块中的每个小批量，使用2D机ii.对于每个先前计算的诊断得分，由2D机器学习模型进行的误差估计步骤可以包括基于权重和预定权重的随机确定中的至少一个来初始化3D机器学习模型的9i.对于多个ROI的所有所提取的图块中的每个小批量，使用3D机ii.对于每个先前计算的诊断得分，由3D机器学习模型进行的误差估计从而实现具有优化权重的经训练的3D机器学至少一个解剖结构的HPI平均值。[0026]根据第二方面，公开了一种用于基于至少一个3D医学图像来表征感兴趣区域ROI一实现被配置用于基于至少一个所提取的候选3D图块来表征候选ROI的经训练的将由经训练的2D机器学习模型提供的多个2D诊断得分（通过实现2D机器学习模其中，基于所提取的多个候选2D图块来执行实现经训练的2D机器学习模型的步考虑小ROI和大ROI。于每个3D边界框的多个P×Q的2D图块组成或构成，优选地，多个P×Q的2D图块中的每一个在提取候选ROI的至少一个候选3D图块的步骤之前，还包括通过计算候选ROI的处理的步骤还可以包括3D体素值归一化的步骤，该步骤可以在提取候选ROI的至少一个候[0035]在一些示例中，基于多个所提取的候选K2D图块来执行N次实现经训练的2D机器[0036]在一些示例中，基于至少一个所提取的候选3D图块来执行M次实现经训练的3D机一通过最大池化来池化用于计算N次多个所提取的候选K2D图块的每个ROI的N系池化用于计算M次至少一个所提取的候选3D图块的每个ROI的M系列的至少一个[0038]此外，集成步骤还可以包括通过将N2D诊断得分和M3D诊断得分集成在一起来[0039]在一些示例中，根据本发明的第二方面的方法还可以包括以下步骤：对于候选至少一个解剖结构的HPI平均值。少一个数字处理设备实现时至少执行根据本发明的第一方面的方法的步骤和/或根据本发设备实现时，该指令至少执行根据本发明的第一方面的方法的步骤和/或根据本发明的第[0052]边界框可以被限定为包括ROI的最小矩形长方体。边界框可以包括3D图像的所有[0053]轴向平面可以被限定为与身体的长轴成直角的横向平面，如在CT扫描和MRI扫描[0057]本公开旨在提供互补策略以实现对来自3D医学图像的ROI的分类，这可以利用2D本公开提出的提取方法允许用于一个ROI提取多个K2D图块用于诊断，并且将该多个K2D图块输入到经训练的2D模型将产生K诊断得分，使得可以在K得分中选择最高得[0062]iii）集成2D和3D模型以计算总分：池化从2D和3D模型计算的所有得分以计算总2D模型输入以进一步将它们聚合到单个体积预测中，训练用于表征ROI的机器学习并出于考虑小ROI和大ROI。域化的ROI是否在至少一个确定的解剖结构内部，可以设想计算边界框和肺掩模（lung基于所提取的多个2D图块来对2D机器学习模型进行训练130。基于用于多个ROI的所提取的3D图块对用于表征多个ROI的3D机器学习模型进行[0094]更具体地，提取115多个Ki2D图块的步骤可以包括沿着Z轴连续地裁剪多个尺寸[0095]因此，多个Ki2D图块由每个3D边界框的尺寸为P×Q的多个Ki2D图块组成或构化步骤可以在提取115多个Ki2D图块的步骤之前或之后实现和/或可以涉及相关像素或体[0098]如前所述并且进一步有利地，方法100使得基于用于多个ROI的所提取的多个Ki[0101]在一些示例中，初始化步骤135可以包括基于随机确定权重和预定权重中的至少i.对于多个ROI的所有所提取的图块中的每个小批量，使用2D机ii.对于每个先前计算的诊断得分，由2D机器学习模型进行的误差估计下降是将训练数据集分成用于计算模型误差和更新模型系数的小批量的梯度下降算法的[0108]下面描述如何相对于实现具有优化权重的经训练的2D机器学习模型的方式并行心坐标来提取1213DROI坐标的步骤。每个ROI中心可以例如由坐标（(Xmin+Xmax)/2，[0112]3D体素值归一化123的步骤可以在所述提取125步骤之前3D体素值归一化123的步骤可以涉及两个预定义的最小值和最大值之间的体素的值的截[0115]如前所述，可能需要3D体积重采样122的步骤来解决由潜在成像各向异性引起的3D机器学习模型的继续训练步骤160。i.对于多个ROI的所有所提取的图块中的每个小批量，使用3D机ii.对于每个先前计算的诊断得分，由3D机器学习模型进行的误差估计继续训练的示例和说明也适用于3D机器学习模型的重的经训练的2D机器学习模型和具有优化权重的经训练的3通过使用形态放射组学特征提取器来进一步对形态和/或放射组学特征执行用于训练步至少一个解剖结构的HPI平均值。[0125]方法100还可以包括提供关于每个患者的临床信息的步骤，以便可以进一步对患[0126]使用诸如形态和/或放射组学特征的补充特征来训练2D模型和3D模型中的至少一[0127]应当理解的是，根据本公开的2D机器学习模型和/或3D机器学习模型可以基于深将一个ROI局域化207为至少一个3D医学图像中的候选ROI。对于候选3D边界框，进行2D预处理210以便从候选3D边界框中包括的候选ROI中[0135]可以通过实现根据本发明的第一方面的用于生成机器学习模型的方法100来训练对于候选3D边界框，进行3D预处理220以便从候选3D边界框中包括的候选ROI中[0136]可以通过实现根据本发明的第一方面的用于生成机器学习模型的方法100来训练提取的2D图块也可以反映现实。尽可能全面和忠实地提取待输入到用于表征ROI的机器学将预定义的仿射函数应用于候选2D图块的体素的值来进行变换。如果步骤215在第二归一化步骤之前实现，则第二归一化步骤仅需要应用于要从其提取125候选K2D图块的候选3D[0147]对于根据本发明第一方面的3D预处理步骤120，根据本发明第二方面的3D预处理步骤220还可以包括3D体素值归一化步骤223和/或至少一个3D图像的3D体积重采样步骤，素值归一化223的步骤可以涉及两个预定义的最小值和最大值之间的体素的值的截取，然后通过将预定义的仿射函数应用于候选3D图块的[0149]其中候选ROI已被局域化207的至少一个3D图像的3D体积重采样的步骤可以在提距间隔和/或0.65mm×0.65mm×0.集成270通过实现经训练的2D机器学习模型提供的多个2D诊断得分和通过实现通过最大池化来池化271用于计算N次多个所提取的候选K2D图块的每个ROI的N池化272用于计算M次至少一个所提取的候选3D图块的每个ROI的M系列的至少一对于候选K2D诊断得分中的N系列的每个系列j，通过从候选K2D诊断得分中选择具有最大值的诊断得分来生成一个最大候选2D诊断得分Sj的步骤，从而实现N系列的每[0155]使用具有不同权重的不同2D机器模型也是有利的，因为这可以提高预测的鲁棒[0156]集成270步骤还可以包