CN114126493B 通过超声探头检测组织接触的系统和方法 （直观外科手术操作公司）

2022.01.12PCT/US2020/0352172020.05.29WO2020/243493EN2020.12.03US2014037168A1,2014.02.06US2018085090A1,2018.03.29接触检测系统(300)包括存储指令(306)的患者体内的超声探头捕获的超声图像中的每个声图像在通过显示设备显示的可视图像内的显机辅助外科手术系统使用来控制超声探头的定2确定多个局部描述符值，每个局部描述符值对应于包括将所述多个像素中的每个像素分类为显示组织或显示非组织，所述分类包部描述符值中并对应于所述第一像素的第一局部确定平均像素分类，所述平均像素分类表示分类为显示如果所述平均像素分类高于第一接触状态阈值，则确定所如果所述平均像素分类低于第二接触状态阈值，则确定所2.根据权利要求1所述的系统，其中所述局部描述符值表征所述多个像素中的每个像将所述超声图像中具有高于局部描述符阈值的局部描述符值的像素分类为显示组织；和将所述超声图像中具有低于所述局部描述符阈值的局部描述符值的像素分类为显示基于所述机器学习模型的输出，将所述多个像素中的每个像素分类5.根据权利要求1所述的系统，其中所述局部描述符值包括所述多个像素的局部方差所述确定所述多个像素的所述局部描述符值包括确定包括在所述多个像素中的每个将所述超声图像中具有高于方差阈值的局部方差值和高于自相关阈值的自相关值的将所述超声图像中具有低于所述方差阈值的局部方差值或低于所述自相关阈值的自3所述确定所述多个像素的所述局部描述符值包括确定包括在所述降低的超声图像中8.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以基于所述超声探头的所述接触状态控制所述超声图像在通过显示设备显示的可视图像内的显9.根据权利要求8所述的系统，其中所述可视图像包括通过内窥镜捕获的所述患者体如果所述接触状态指示所述超声探头与所述患者的所述组织处确定所述接触状态指示所述超声探头与所述患者的所响应于所述确定所述接触状态指示所述超声探头与所述患者的所述组织处于手术物所述超声探头的所述接触状态设置连接到所述超声探头的超声成像14.根据权利要求13所述的系统，其中所述参数包括通过所述超声探头发射的声音的频率、通过所述超声探头接收的所述声音的增益和所述超声图像的扇形深度中的至少一通过接触检测系统确定多个局部描述符值，每个局部描述符值4通过所述接触检测系统将所述多个像素中的每个像素分类为显示组织或显示非组织，通过所述接触检测系统确定平均像素分类，所述平均像素分类表如果所述平均像素分类高于第一接触状态阈值，则通过所声探头处于指示所述超声探头与所述患者的所述组织处于手术物理接触的第一接触状态；如果所述平均像素分类低于第二接触状态阈值，则通过所声探头处于指示所述超声探头与所述患者的所述组织未处于手术物理接触的第二接触状通过所述接触检测系统确定包括在所述超声图像中的多个像素的局部描述符值表征所述多个像素中的每个像素的强度分20.根据权利要求18所述的方法，进一步包括通过所述接触检测系统基于所述超声探头的所述接触状态控制所述超声图像在通过显示设备显示的5TISSUECONTACTBYANULTRASOUNDPROBE(通过超声探头检测组织接触的系统和方法)”科手术过程的同时可视化患者体内的内部解剖结构和其他类型手术区域中包括的组织的外表面(使用内窥镜图像)和外科手术区域中的组织内部的结构术过程期间将超声图像呈现给外科医生可能会分散注意力和/或无用。且基于超声探头的接触状态控制超声图像在显示设备显示的可视图像[0008]示例性方法包括通过接触检测系统将包括在通过位于患者体内的超声探头捕获6[0011]图2A至图2C示出了根据本文描述的原理的超声探头相对于组织的不同的可能的被配置为将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个的超声图像中的多个像素的局部描述符值并且使用局部描述符值来执行分类。如本文所像内的显示、设置连接到超声探头的超声机器的参数和/或生成被配置为通过计算机辅助7[0025]本文描述的系统和方法有利地仅基于超声图像(也称为B模式图像)的内容来确定分散斑(超声图像中通过从组织内的结构反射的声波的建设性和破坏性相干产生的内容)与组织处于手术物理接触。这可以有利地导致对超声探头的接触状态的基本上实时的确器102还可以被配置为指定超声图像114的扇[0029]超声机器102可以附加地或可替代地包括一个或多个图像处理部件，该一个或多备106可以使用超声图像数据112来生成和显示超声图通过其实现，该计算机辅助外科手术系统利用机器人和/或远程操作技术来执行外科手术[0031]超声探头104(也称为换能器)被配置为通过发射声波并在声波从身体内部的结构术的计算机辅助外科手术系统)来控制超声探头1[0032]显示设备106可以通过被配置为基于超声图像数据112渲染或显示超声图像114的镜获取的内窥镜图像一起的的可视图像和/或与内窥镜图像配准的患者解剖结构的术前模8[0033]如上所述，超声探头104必须与患者的组织处于手术物理接触以捕获有用的超声所示，超声探头104的整个底表面204(其在本文提供的示例中为凸形)与组织202进行物理耦合到计算机辅助外科手术系统和/或超声机器102的独立计算系包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织。处理设施304进一步可被配置将为基于多个像素中的每个像素分9[0041]图4A图示了超声图像114的详细视图。如图所示，超声图像114包括多个像素(例域404。在这种情况下，系统300可以仅仅确定感兴趣区域404内的像素而不是感兴趣区域[0043]系统300可以以任何合适的方式为包括在感兴趣区域404中的每个像素确定一个兴趣区域404中的每个像素的空间自相关。表征像素强度分布的示例性局部描述符值包括像素强度分布的矩(例如，局部方差和/或平均值)和/或表示像素强度分布的任何其他度仅仅确定包括在感兴趣区域404中的每个像素的局部方差值。本文描述了确定像素的局部[0046]系统300可以基于局部描述符值以任何合适的方式将像素分类为显示组织或显示非组织。系统300可以可替代地以任何其他合适的方式将像素分类为显示组织或显示非组300可以将具有高于局部描述符阈值的局部描述符值的像素分类为显示组织，并将具有低示例中，系统300可以将具有高于方差阈值的局部方差值和高于自相关阈值的自相关值的统300可以将具有高于方差阈值的局部方差值的像素分类为显示组织并且将具有低于方差[0050]附加地或可替代地，系统300可以通过提供局部描述符值作为机器学习模型的输织，来将像素分类为显示组织或显示非组织。机器学习模型可以是有监督的和/或无监督[0051]附加地或可替代地，系统300可以通过评估可服务于特定的实现方式的任何其他[0053]系统300可以使用每个像素的分类为显示组织或显示非组织，来以任何合适的方织的像素与被分类为显示非组织的像素的比率，并且将该比率与接触状态阈值进行比较，[0055]在一些示例中，系统300可以使用两个不同的接触状态阈值用于去抖动目的。例于第一接触状态阈值，系统300就可以确定超声探头104处于指示超声探头104与患者组织类必须低于第二接触状态阈值(第二接触状态阈值低于系统300的第一接触状态阈值)以确定超声探头104处于超声探头104与患者的组织未处于手术物理接触的第二可以向机器学习模型提供分类，并使用机器学习模型的输出来确定超声探头104的接触状可以通过确定包括在降低的超声图像中的像素的局部描述符值，来确定超声图像114中的[0058]现在将描述可以通过系统300根据本文描述的原理执行以确定超声探头104的接触状态的特定处理试探法。将认识到，处理试探法是可通过系统300执行以确定超声探头[0061]为了在噪声和斑点(表示组织)之间区分，系统300可以确定局部平均强度和自协300确定超声探头104处于指示超声探头104与患者的组织未处于手术物理接触的第二接触[0069]在一些替代实施例中，系统300可通过使用基于短时傅立叶变换(STFT)或小波变的接触状态，系统300可以控制在通过显示设备106显示的可视图像内的超声图像114的显图像502包括通过内窥镜捕获的患者体内的外科手术区域的内窥镜图像。如在图5A至图5B域内的患者解剖结构的术前模型。这在美国临时专利申请号62/855，755中有更完整的描像502内的定位对应于患者解剖结构的实际定位。例如，术前模型可以包括基于术前成像声探头104的接触状态指示超声探头104与组织504处于手术物理接触。基于此确定并且如以这种方式定位超声图像114，系统300可以允许用户更容易地查明组织504内部的并且包[0076]通过以这种方式智能地控制超声图像114的显示，系统300可以确保超声图像114[0077]在一些示例中，系统300可以响应于确定超声探头104的接触状态指示超声探头示仅包括超声图像114的一部分的裁剪超声图像。裁剪超声图像可以包括包含有用信息的导致信号丢失致使全超声图像114的远端区域包括比有用内容更多的噪声的情成像机器102的参数。例如，系统300可以基于超声探头104的接触状态设置通过超声探头[0081]例如，超声探头104的接触状态可以指示超声探头102几乎没有与组织504处于手加超声探头104接收到的声音的增益以提高超声图像114外科手术系统可以重新定位超声探头104，直到控制信号指示超声探头102与组织504处于或以其他方式与外科手术系统700结合使手术团队成员可以在外科手术会诊中出现以用类似地用于执行开放式外科手术程序或可类似地受益于外科手术系统700的准确性和便利[0086]如图7所示，操纵系统702可包括多个操纵器臂712(例如，操纵器臂712-1至712-708进行计算机辅助外科手术程序(例如，通过至少部分地插入患者708体内并被操纵以对患者708执行计算机辅助外科手术程序)。虽然操纵系统702在本文中被描绘和描述为包括[0087]操纵器臂712和/或附接到操纵器臂712的外科手术器械可以包括用于生成天然[0088]用户控制系统704可以被配置为便于外科医生710-1控制操纵器臂712和附接到操过成像系统(例如，本文描述的任何医学成像系统)捕获的与患者708相关联的外科手术区显示器的立体查看器，其中与患者708相关联并且通过立体成像系统生成的外科手术区域712的一个或多个外科手术器械执行一个或可通过外科医生710-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程[0090]辅助系统706可以包括一个或多个计算设备，该一个或多个计算设备被配置为执706可以从操纵系统702接收和处理表示通过附接到操纵器臂712之一的成像设备捕获的影以包括显示监视器714，其被配置为显示一个或多个用户界面，例如外科手术区域的图像[0092]操纵系统702、用户控制系统704和辅助系统706可以以任何合适的方式彼此通信纵系统702、用户控制系统704和辅助系统706可以各自包括一个或多个有线或无线通信接[0094]在操作802中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超[0095]在操作804中，接触检测系统基于局部描述符值将多个像素中的每个像素分类为[0096]在操作806中，接触检测系统基于多个像素中每个像素的分类为显示组织或显示[0098]在操作902中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超态指示超声探头是否与患者的组织处于手术物理接触。操作904可以以本文描述的任何方[0100]在操作906中，接触检测系统基于超声探头的接触状态控制超声图像在显示设备[0113]本文所指的非暂时性计算机可读介质可以包括参与提供可通过计算设备(例如，如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质描述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以述的任何操作的计算机可执行指令1312的数据可以存储在存储设备1306内。在一些示例[0119]I/O模块1308可以包括一个或多个I/O模块，该一个或多个I/O模块被配置为接收[0120]I/O模块1308可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图供图形数据用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或以用于特