CN119486677A 利用人工智能引导医疗装置的系统和方法 （波士顿科学国际有限公司）

2025.01.03PCT/US2023/0272182023.07.10WO2024/015276EN2024.01.18本发明公开了用于为体内的医疗装置生成务器相关联的处理器并且经由对所述图像数据应用经训练的预测导航引导模型来确定与所述至少一个解剖对象相关的用于所述医疗装置的所述用户装置的显示屏上在所述图像数据之上显示与所述导航引导相关联的所述至少一个视2在计算机服务器处接收与至少一个解剖对象相使用与所述计算机服务器相关联的处理器并且经由对所述图像数据应用经训练的预测导航引导模型来确定与所述至少一个解剖对象相关的用于所述屏上在所述图像数据之上显示与所述导航引导相关联的所述至少一3.根据权利要求1或2中任一项所述的计算机4.根据权利要求1至3中任一项所述的计算机实现的方法，述医疗装置相关联的至少一个传感器和/或至少一个其他成像装6.根据权利要求4或5中任一项所述的计算机实现的方7.根据权利要求1至6中任一项所述的计算机实8.根据权利要求1至7中任一项所述的计算机实现的导包括使用所述预测导航引导模型从所述图像数据识在所述图像数据的第一目标区域内识别与所述至少一个解剖对象的第一解剖对象相从由所述第一目标区域界定的第二目标区域内识别与所述至少一个解剖对象的第二检测与所述第一解剖对象相关联的一个或多个其其中，仅响应于确定所述置信度权重大于所述预定的置信度3述至少一个解剖对象的进入点的计划路径的叠加在所述至少一个解剖对象的图像之上的基于对接收的所述位置数据的分析识别所述医疗装置与所述计划路其中，生成所述反馈通知包括响应于检测到所述医疗装置与所4[0002]本发明的各方面总体涉及利用人工智能为在体内执行动作的医疗装置提供导航[0005]本文所公开的各方面中的每一个可以包括结合其他所公开方面中的任一个描述用与计算机服务器相关联的处理器并且经由对图像数据应用经训练的预测导航引导模型在用户装置的显示屏上在图像数据之上显示与导航引导相关联的至少一个[0007]用于生成导航引导的计算机实现的方法中的任一种可以包括下列特征和/或过程管的医疗装置的路径。图像数据可以由与医疗装置相关联的至少一个传感器和/或至少一5分类；从由第一目标区域界定的第二目标区域内识别与第二解剖对象相关联的第二分类；和/或至少一个反馈通知。至少一个轨迹叠加可以包括到至少一个解剖对象的进入点的计[0009]用于训练预测导航引导模型的计算机实现的方法中的任一种可以包括下列特征和/或过程中的任一个。训练数据集可以用识别数据进行注释。提取解剖特征数据可以包区域内的第二解剖对象的身份；检测与一个或多个第三解剖对象相关联的至少一个位置；别新的手术结果并且用与新的手术结果相关联的数据更由对图像数据应用经训练的预测导航引导模型来确定与至少一个解剖对象相关的用于医6[0013]图1描绘了根据一个或多个实施例的用于训练和/或利用机器学习模型以应用于[0014]图2描绘了根据一个或多个实施例的训练机器学习模型以在医疗手术期间提供预[0015]图3描绘了根据一个或多个实施例的训练机器学习模型以提取解剖特征数据的示[0018]图6描绘了根据一个或多个实施例的基于解剖对象的特性图案的解剖对象分化的[0019]图7描绘了根据一个或多个实施例使用经训练的机器学习模型在医疗手术期间提使得包括元件列表的过程、方法或产品不一定仅包括那些元件，而是可以包括未明确列出的值的±10％的可能变化。7模型应用于所捕获的信息，并且随后基于比较和/或分析的结果提供各种类型的引导的方[0028]内窥镜逆行胰胆管造影术(ERCP)是一种常规地用于检查得的且与实时医疗手术相关联的数据来在手术，诸如ERCP手术期间向医师提供动态引导。8联接到内窥镜的计算装置等)并且可以表现为一个或多个视觉指示(例如，推荐的插管轨置105可以跨网络101与一个或多个医疗装置110和/或一个或多个服务器系统115通信。一[0035]用户装置105可以被配置为使用户能够访问环境100中的其他系统和/或与环境口105D。用户装置105可以通过处理器105B执行操作系统(O/S)和至少一个电子应用程序示器/UI105A接收用户输入和/或将消息接收/传输至服务器系统115，并且还可以在向网9其他装置处的一方能够从任何其他计算机获得信息并且与其他计算机或装置的各方进行以包括和/或充当所提取的原始数据集信息制服务器115B的功能。服务器系统115可以通过处理器115D执行操作系统(O/S)和servlet某些解剖对象相关联的特性，医疗装置的一个或多个部件的定位和/或手术的对应结果之间的相关性。可以识别这些相关性的过程稍后本文将通过与图3相关联的公开内容进行描导航引导平台120内。替代地，这些部件中的一个或两个可以是彼此内的其他部件的子部205上的应用程序平台中，而导航引导模型120B可以驻留在服务器系统115的服务器115B器系统115可以包括一个或多个机器学习模型和/或与一个或多个机器学习模型中的每一[0044]服务器系统115可以包括一组或多组训练数据。训练数据可以包含有关特定医疗定数据集的一个或多个预训练的机器学习模型来分析训模型的输出与用于训练数据的该部分的地面实况进行比较，以评价经训练的模型的准确的成功率等)，使得经训练的机器学习模型被配置为提供可以增加ERCP手术的成功率的预[0050]例如，在一些实施例中，服务器系统115的机器学习模型可以包括循环神经网络模型。LSTM模型可以被配置为从考虑至少一些先前样本和/或输出的样本生成输出。Seq2Seq模型可以被配置为例如接收一个序列的图像作为输入，并且随后生成一个序列的以分布在一个或多个其他部件中。可以使用环境100的各种系统和装置的任何合适的布置[0053]在训练过程的步骤205处，该方法可以包括接收训练数据集，例如与先前完成的从注释的训练数据提取解剖特征数据。提取的解剖特征数据可以用于训练机器学习模型，以便在实时手术期间正确地识别和区分与ERCP手术相关的重要解剖对象。下面在图3的讨论中进一步提供了有关如何根据提取的解剖特征数据训练机器学习模型的附加公据最初可以使用一个或多个整体地或可操作地联接到内窥镜和/或导丝的传感器，包括但[0058]在步骤220处，可以提取与训练数据集中的ERCP手术相关联的结果数据并且将其每个ERCP手术的结果数据，使得预测导航引导模型可以学习动态区分成功手术和/或不成[0059]在一个实施例中，结果数据可以提供ERCP手术的成功状态的二进制指示(例如，[0060]在步骤225处，可以利用源于步骤210至220的所有提取的数据的累积以训练预测相关联的数据并且应用从训练程序获得的知识以识别在实时ERCP手术的各方面与和之前完成的ERCP手术相关联的各方面(例如，体现在经训练的数据集中的那些等)之间的相关利用各种视觉AI神经网络框架的组合来基于ROI和特定目标来隔离和评价目标图像的逐渐手术相关联的接收数据动态和准确地识别具体的对或脊状的乳头420B，即其中导管粘膜似乎在脊上或在褶皱中从乳头孔口向远侧延伸的乳[0063]在一个实施例中，每组带注释的训练数据可以包含ROI的明确指定以及乳头类型[0064]在步骤310处，该方法可以包括训练预测导航引导模型以识别孔口类型。更特别训练步骤320至330中步骤中的每一个处的检测算法以准备好检测与每个步骤相关联的具将经训练的机器学习模型应用于实时手术数据以生成预[0069]图7示出了用于确定ERCP手术的预测导航引导并且随后向手术医师提供引导的示[0070]在步骤705处，经训练的预测导航模型的实施例可以接收与一个或多个解剖对象[0071]在步骤710处，经训练的预测导航引导模型的实施例可以确定医疗手术中所使用一些实施例中，与医疗装置相关联的可用位置数据还可以作为输入被提供给经训练的模例可以在步骤720处生成与所确定的预测导航引导相关联的一个或多个视觉表示。在一个[0074]在步骤725处，实施例可以向用户装置传输指令以在图像数据中的一些或所有部等。现在转向图8，提供了叠加在与目标乳头相关联的图像数据之上的注释的非限制性示[0075]在另一个实施例中，服务器系统115可以被配置为向用户装置传输指令以提供推术期间与医疗装置相关联的移动数据连续传输到ERCP数[0079]图10是根据本发明的示例性实施例的可以被配置为用于执行图2至图3和图7的方法的装置的计算机1100的简化功能框图。例如，装置1000可以包括中央处理单元(CPU)载至装置1000中的其他类似的装置。这种装置的示例可以则在方法执行过程中所执行步骤的任何明确或隐含的排序并不意味着那些步骤必须要按 分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信可以使软件能够从一台计算机或处理器加载到另一台，例如，从移动通信网络的管理服务器或主机加载到服学链路等也可以被视为承载软件的介质。如本文所使用的，除非局限于非暂时性、有形的行的任何介质。许的最大范围内，本发明的范围应由以下权利要求及其等效物的最广泛可允许解释确定，