CN114041103B 用于计算机辅助手术系统的操作模式控制系统和方法 （直观外科手术操作公司）

2021.12.28PCT/US2020/0347362020.05.27WO2020/243192EN2020.12.03用于计算机辅助手术系统的操作模式控制球追踪数据指示用户的眼球是否正通过目镜凝则系统引导用户控制系统在第一操作模式下操眼球追踪数据指示用户的眼球没有通过目镜凝2访问由计算机辅助手术系统的用户控制系统中包括的头部传感器生成的头部存在数访问由所述用户控制系统中包括的眼球传感器生成的眼球追据指示所述用户的眼球是否正凝视由被包括在所述用户控制系统中的显示设备呈现的影如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部不在所述所述用户控制系统在不同于所述第一操作模式和所述第二操作模式的第三操作模式下操统被配置为基于所述用户通过所述用户控制系统提供的输入来控制由所述计算机辅助手由所述计算机辅助手术系统执行的所述操作包括由所述操纵器臂和所述手术器械中统被配置为暂停基于所述用户通过所述用户控制系统提供的输入控制由所述计算机辅助述用户控制系统被配置为增加被包括在所述用户控制系统中的用户输入设件被配置为由所述用户的手部操纵以控制被包括在所述计算机辅助手术系统中的手术器7.根据权利要求1至4中任一项所述的系统，述用户控制系统被配置为通过被包括在所述用户控制系统中的目镜向所述用户呈现由被包括在所述计算机辅助手术系统中的成像设9.根据权利要求8所述的系统，其中所述用户控制系统被配置为通过所述目镜呈现所310.根据权利要求1至4中任一项所述的系统，其中当所述头部传感器探测到所述用户11.根据权利要求1至4中任一项所述的系统，其中所述头部传感器包含飞行时间传感12.根据权利要求1至4中任一项所述的系统，其中所述处理器还被配置为执行所述指述用户的所述眼球正凝视由所述显示设备呈现的影像切换到指示所述用户的所述眼球没响应于所述眼球追踪数据从指示所述用户的所述眼球正凝视由所述显示设备呈现的导所述用户控制系统从在所述第一操作模式下操作切换到在所述第二操13.根据权利要求1至4中任一项所述的系统，其中所述处理器还被配置为执行所述指述用户的所述眼球没有凝视由所述显示设备呈现的影像切换到指示所述用户的所述眼球响应于所述眼球追踪数据从指示所述用户的所述眼球没有凝视由所述显示设备呈现导所述用户控制系统从在所述第二操作模式下操作切换到在所14.根据权利要求13所述的系统，其中将所述用户控制系统从在所述第二操作模式下操作切换到在所述第一操作模式下操作的所述引导是在没有用户所述计算机辅助手术系统包括被配置为耦合到手术器械的操纵器臂；所述用户控制系统包括一组主控件，所述一组主控件被配置为由所述将所述用户控制系统从在所述第二操作模式下操作切换到在所述第一操作模式下操作的所述引导进一步响应于探测到所述用户的所述手部存在于所述一组主控件附近而执16.根据权利要求15所述的系统，其中所述用户控制系统从在所述第二操作模式下操作到在所述第一操作模式下操作的所述切换进一步响应于探测到所述一组主控件的状态述用户控制系统被配置为暂停基于所述用户通过所述用户控制系统提供的输入控制由所4头部传感器，其被配置为探测用户的头部在被包括在计算机系统中的查看器控制台附近存在或不存在并且生成指示所述用户的所述头部在所述查看眼球传感器，其被配置为探测所述用户的眼球是否正凝视由被包统中的显示设备呈现的影像并且生成指示所述用户的所述眼球是否正凝视由所述显示设如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部不在所述所述用户控制系统在不同于所述第一操作模式和所述第二操作模式的第三操作模式下操访问由计算机辅助手术系统的用户控制系统中包括的头部传感器生成的头部存在数访问由所述用户控制系统中包括的眼球传感器生成的眼球追据指示用户的眼球是否正凝视由所述用户控制系统中包括如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部存在于所述查看器控制台附近并且如果所述头部存在数据指示所述用户的所述头部不在所述所述用户控制系统在不同于所述第一操作模式和所述第二操作模式的第三操作模式下操5[0002]本申请要求于2019年5月29日提交的标题为“OPERATINGMODECONTROLSYSTEMSANDMETHODSFORACOMPUTER-ASSISTEDSURGICALSYSTEM”的美国临时专利申请第62/程操作的手术器械以对患者执行手术过程。在使用计算机辅助手术系统的微创手术过程[0004]传统的计算机辅助手术系统可以探测用户(例如外科医生)的头部何时位于用户控制系统中包括的查看器控制台附近(例如，通过感测一系列横向红外光束是否在查看器许远程操作手术器械的控制。这可以防止远程操作手术器械的无意且因此不受控制的移理器被配置为执行指令以访问由计算机辅助手术系统的用户控制系统中包括的头部传感户头部的存在或不存在；访问由用户控制系统中包括的眼球传感器生成的眼球追踪数据，在数据指示用户的头部存在于查看器控制台附近并且眼球追踪数据指示用户的眼球正通户的头部存在于查看器控制台附近并且眼球追踪数据指示用户的眼球没有通过目镜凝视，则引导用户控制系统在不同于第一操作模式的第二操作探测用户的眼球是否正通过用户控制系统中包括的目镜凝视并且生成指示用户的眼球是6[0007]一种示例性方法可以包含访问由计算机辅助手术系统的用户控制系统中包括的果头部存在数据指示用户的头部存在于查看器控制台附近并且眼球追踪数据指示用户的据指示用户的头部存在于查看器控制台附近并且眼球追踪数据指示用户的眼球没有通过计算机辅助手术系统的用户控制系统中包括的查看器控制台附近用户头部的存在或不存术期间根据确定的用户意图引导用户控制系统以促进用户交[0011]图2图示了根据本文描述原理的图1的计算机辅助手术系统的示例性用户控制系[0012]图3图示了根据本文描述原理可以被包括在图2的用户控制系统中的示例性图像[0014]图5图示了根据本文描述原理可以被包括在图2的用户控制系统中的示例性查看[0015]图6A-图8图示了根据本文描述原理可以由查看器控制台中包括的头部传感器探[0016]图9图示了根据本文描述原理可以被包括在图2的用户控制系统中的示例性主控[0018]图11图示了根据本文描述原理的图10中图示的操作模式控制系统的示例性实施7[0020]图13图示了根据本文描述原理为计算机辅助手术系统的用户控制系统设置操作[0021]图14-图19图示了根据本文描述原理计算机辅助手术系统的用户控制系统可以切[0022]图20图示了根据本文描述原理为计算机辅助手术系统的用户控制系统设置操作由计算机辅助手术系统的用户控制系统中包括的头部传感器生成的头部存在数据并且访控制系统可以引导用户控制系统在不同于第一操作模式的第制系统可以引导用户控制系统切换回在活跃8提到的益处和/或在本文中将变得明显的各种附加和/或替代益处中的一个[0029]本文描述的操作模式控制系统和方法可以作为计算机辅助手术系统的一部分或法可以作为其他合适的手术系统的一部分或结合其他合适的手放式手术过程或可类似地受益于手术系统100的准确性和便利性的其他类型的手术过程。[0033]如图1所示，操纵系统102可包括多个操纵器臂112(例如，操纵器臂112-1至112-少部分地被插入患者108并被操纵以对患者108执行计算机辅助手术过程)来实施。虽然操纵系统102在本文中被描绘和描述为包括四个操纵器臂112，但是应当认识到操纵系统102可以仅包括可用于特定实施方式的单个操纵器臂112或任何其他数量的操纵器[0034]操纵器臂112和/或附接到操纵器臂112的手术器械可以包括用于生成原始(即未系统传感器”)。手术系统100的一个或多个部件可以被配置为使用运动学信息以追踪(例[0035]附接到操纵器臂112的手术器械可各自定位在与患者相关联的手术区域处。在某布置在患者体外在手术过程被计划执行、正在被执行或已经在患者身上被执行处或附近。9[0036]用户控制系统104可以被配置为促进外科医生110-1控制操纵器臂112和附接到操110-1提供如由成像设备(例如，立体内窥镜)捕获的与患者108相关联的手术区域的影像主控件可由外科医生110-1操纵以控制手术器械的移动(例如，通过利用机器人和/或远程[0038]用户控制系统104还可以被配置为促进外科医生110-1控制手术系统100的其他部[0039]辅助系统106可以包括被配置为执行手术系统100的主要处理操作的一个或多个制系统104中包括的计算设备可以通过辅助系统106中包括的一个或多个计算设备向操纵收和处理代表由附接到操纵器臂112的内窥镜捕[0041]虽然辅助系统106在图1中示出为与操纵系统102和用户控制[0042]操纵系统102、用户控制系统104和辅助系统106可以以任何合适的方式相互通信[0043]图2图示了示例性用户控制系统200，该示例性用户控制系统200可根据本文描述[0045]如图所示，显示模块202包括图像显示系统208、查看器控制台210和目镜212(例器控制台210附近用户头部的存在，并且该一个或多个眼球传感器被配置为追踪用户的眼该示例性图像显示系统300可以被包括在显示模块202中以向用户提供由立体内窥镜生成的与患者相关联的手术区域的立体影像。如图3所示，图像显示系统300包括显示设备302[0048]显示设备302可以由任何合适的显示设备来实施，该显示设备被配置为发射代表向镜子304-R发射代表右图像的可见光310-R。镜子304-L和镜子304-R分别朝向目镜306-L和目镜306-R反射可见光310-L和可见[0049]目镜306被配置为使得用户能够查看由显示设备302呈现的影像。目镜306接收来一些示例中，图像显示系统208可以包括被配置为调整目镜306-L和目镜306-R之间的瞳孔[0050]眼球传感器308被配置为追踪用户的眼球(例如，探测目镜306的查看范围内用户眼球的存在和/或探测用户眼球的凝视方向)。眼球传感器308可以以任何合适的方式并使L和非可见光源312-R)和成像设备314。眼球传感器308还可以包括可适合于特定实施方式包括的计算设备)和类似物)或由任何附加的或替代的部件实施。非可见光源312可以被配置为朝向镜子304发射非可见光316(例如，非可见光316-L和非可见光316-R)，例如红外反射来自显示设备302的可见光310并且朝向目镜306传输来自眼球传感器308的非可见光在目镜306前面，则非可见光316可以由用户的头部或用户的眼球318(例如，左眼球318-L和/或右眼球318-R)朝向成像设备314反射。成像设备314被配置为探测由用户反射的非可见光316。成像设备314可以由任何合适类型的相机或能够捕获非可见光316的其他类型的[0053]可以基于由成像设备314捕获的非可见光来生成(例如，通过成像设备314或通信球追踪数据，该眼球追踪数据指示用户的眼球正通过目镜306凝视或用户的眼球没有通过以经由目镜306从目镜306的查看范围查看由显示设备302呈现的影像。如果在眼球传感器眼球传感器图像中没有在目镜306内探测到眼球，则确定眼球不在目镜306的查看范围内。加地指示由显示设备302呈现的用户凝视[0057]现在将参考图4A-图4D描述示例性眼球传感器图像和可以从这种眼球传感器图像踪数据是附加地或替代地基于探测到的眼球318的凝视方向，则眼球追踪数据指示用户的传感器506，但查看器控制台500可以包括可适合于特定实施方式的任何数量的头部传感探测用户的头部何时倚靠头枕504上的头枕传感器(未示出)。头枕传感器可以由任何合适[0066]头部传感器506可以被配置为探测用户头部距头部传感器506的接近度(例如，距[0067]头部传感器506可以位于查看器控制台500中任何合适的当用户的头部定位在查看器控制台500附近时，头部传感器506被定位为指向用户的皮肤[0068]头部传感器506的探测结果可被用于生成头部存在数据。头部存在数据可以代表用户控制系统200的实时头部存在状态。头部存在数据可以指示用户的头部相对于查看器控制台500的接近度和/或定位。头部存在数据还可以指示查看器控制台500附近用户头部[0069]在一些示例中，还可以基于由头部传感器测量的接近度变化率来确定头部存户正移动进入定位时可以确定头部不存在，然后仅在用户已经就位之后才可确定头部存[0070]在一些示例中，仅当确定头部位于头部传感器506中的一个或多个的预定距离内至少预定时间段(例如，5秒)时，头部存在数据可以指示用户的头部存在于查看器控制台[0072]现在将参考图6A-图8描述可以由头部传感器506探测的各种头部定位，以及可以头部传感器610和头部602之间的距离d1小于预定距离。用户604的眼球612正凝视目镜614以基于头部传感器610的探测结果生成的头部存在数据指示用户的头部存在于查看器控制部702倚靠在头枕708上，并且头部传感器7头枕708接触或者因为头部702位于距头部传感器710的预定距离内，所以头部存在数据指球没有通过目镜凝视，因为在目镜714的查看范围内没有探测到眼球712和/或没有探测到球追踪数据可以指示用户的眼球正通过目镜凝视或没得由图像显示系统呈现的影像的大部分或全部是可见的并且不被目镜502的出射瞳孔遮户控制系统200上以确定用户手部距主控件902的制系统200可以处理从主控件204接收的信息以生成信息和/或信号以发送到操纵器臂112器械的对应操作，例如通过将主控件204的移动转换为操纵器臂112和手术器械的对应移[0083]在一些示例中，在用户可以操作用户控制系统200和/或与用户控制系统200的特征交互(例如与主控件204交互)之前，手术系统100可能需要用户经由主控件204提供用户制可以在主离合器和相机控制操作期间暂停和恢复，而不需要用户附加的蓄意输入步骤。如下文将解释的，通过主控件204的蓄意用户输入可以是确认用户被允许操作用户控制系脚踏板206，但用户控制系统200可以具有可适合于特定实施方式的更少或更多的脚踏板。辅助控件被配置为允许用户控制用户控制系统200和/或手术系统100而不是手术器械和/[0088]在一些示例中，手术系统100在用户可以操作用户控制系统200和/或与用户控制系统200的特征交互(例如与控件216交互、与触摸屏显示器218交互等)之前可能需要用户确认用户被允许操作用户控制系统200的用户验证户控制系统200的输入设备中的任何一个或多个和/或任何其他部件提供作业灯光的照明状态可以根据用户控制系统200的当前操作可以包括但不限于选择性地和通信地相互耦合的存储设施1002和处理设施1004。设施902以被分布在多个设备和/或多个位置之间以用[0094]处理设施1004可以被配置为执行(例如，执行存储在存储设施1002中的指令1006以执行)与选择和激活用户控制系统的操作模式相关联的各种处理操作。例如，处理设施1004可以访问由计算机辅助手术系统的用户控制系统中包括的头部传感器生成的头部存设施1004还可以通过基于从相应传感器探测到的信号生成头部存在数据、眼球追踪数据户控制系统104和/或辅助系统106内包括的一个或多个计[0097]图11图示了操作模式系统1000的另一示例性实施方式1000。远程计算系统1102可以通过网络1104通信地耦合到手术系统100。远程计算系统1102可以模式系统1000执行的许多不同类型的操户控制系统中包括的查看器控制台附近用户头部的存在或者查看器控制台附近用户头部接近度。头部存在数据可由计算机辅助手术系统的用户控制系统中包括的头部传感器(例据可以由眼球传感器(例如由成像设备314)生成、由耦合到眼球传感器并且包括在计算机于特定实施方式的任何其他设备生成。在一些示例中，眼球追踪数据被存储在存储设施据可以指示用户控制系统中包括的主控件附近用户手部的存在或者主控件附近用户手部计算机辅助手术系统相关联的可用于特定实施方式的任何其他设备生成。在一些示例中，手部存在数据被存储在存储设施1002中和/或从[0104]操作模式系统1000可以基于访问的头部存在数据、访问的眼球追踪数据和/或访[0107]为了在用户控制系统在活动操作模式下操作时进一步使得能够控制由手术系统执行的操作，用户控制系统的图像显示系统可以被配置为呈现由手术系统生成的影像(例查看由图像显示系统呈现的影像和/或控制由手术系统执行的操作时，在活动操作模式期主控件204接收到的信息输出到操纵系统102和/或辅助测到用户的眼球通过目镜凝视并且没有探测到用户的手部存在时，用户控制系统200可以在暂停操作模式下操作并照射用于主控件204的作业灯光以协助用户正确放置和抓握主控[0113]在暂停操作模式期间，触摸屏显示器218可以被配置为显示可适合于特定实施方像显示系统可以在暂停操作模式下操作的同时继续呈现由手术系统生成的影像(例如，与跟随主控件204的移动和响应脚踏板206的操作。即使用户试图操纵主控件204或操作脚踏为第三等级(例如，关闭)但打开触摸屏显示器218并将屏幕亮度设置为最小等级直到通过非活动操作模式下操作切换到在活动操作模式和/或暂停操作模式下操作可以以用户控制手部不存在于主控件204附近时，操作模式系统1000可以引导用户控制系统在附加暂停操第二用户控制系统生成的眼球追踪数据指示第二用户控制系统的用户的眼球没有通过被置为基于头部存在数据、眼球追踪数据和/或手部存在数据对用户控制系统的用户的状态[0122]图12图示了示例性配置1200，其中受监督的机器学习模型1202由操作模式系统系统1000使用之前用预分类数据专门训练以[0123]受监督的机器学习模型1202可以由操作模式系统1000本身(例如，由存储设施[0124]如图所示，受监督的机器学习模型1202接收头部存在数据1204、眼球追踪数据1206和/或手部存在数据1208作为输入。头部存在数据1204可以代表用户头部的实时状态[0126]在一些示例中，受监督的机器学习模型1202被配置为基于由头部存在数据1204、控制系统200的交互的意图和类似物。然后操作模式系统1000可以为已分类用户状态1210表已知用户状态的数据和/或代表用户状态之间的已知转变的数据作为到受监督的机器学的选项)确认或反驳用户状态分类。操作模式系统1000可以接收用户输入并将用户输入作[0129]如上所述，操作模式系统1000可以基于访问的头部存在数据和/或访问的眼球追[0130]图13图示了为计算机辅助手术系统的用户控制系统设置操作模式的示例性方法数据指示用户的眼球没有通过目镜凝视，则操作模式系统1000进行到操作1310。在操作[0135]如果当用户控制系统在特定操作模式下操作时头部存在数据和/或眼球追踪数据球追踪数据和/或手部存在数据的改变在任何两种操作模式式系统1000可以探测到头部存在数据保持不变(头部保持存在)但眼球追踪数据从指示用[0137]当用户控制系统在暂停操作模式1404下操作时，操作模式系在暂停操作模式1404下操作转变为在活动操统1000可以探测到头部存在数据从指示用户的头部存在于查看器控制台附近切换到指示头部存在数据从指示用户的头部不在查看器控制台附近切换到指示用户的头部存在于数作模式1406下操作切换到在活动操作模式1402或暂停操作模秒)之后，用户控制系统才可以从在暂停操作模式1404下操作切换到在活动操作模式14021000可以引导用户控制系统从在非活动操作模式1406下操作切换到在活动操作模式1402用户有足够的时间进入位于用户控制系统，同时用户控制系统在暂停操作模式1404下操置等)并与触摸屏显示器218交互以查看有关当前登录到手术系统100的手术团队成员的信动操作模式1402和/或暂停操作模式1404下操作之前验证用户。图16图示了实施用户验证以切换操作模式的示例性方式。图16类似于图15，除了在用户控制系统的用户成功验证换到在暂停操作模式1404下操作也可以以确定用户的头部存[0146]图17图示了实施用户验证以切换操作模式的另一示例性方式除了用户控制系统仅在用户控制系统用户的成功验证1208的情况下可以从在非活动操作没有用户验证1208的情况下从在暂停操作模式1404下操作切换到在活动操作模式1402下控制系统可以在没有用户验证1208的情况下从在暂停操作模式1404下操作切换到在活动制系统仅在成功的用户验证1208的情况下可以从在非活动操作模式1406下操作切换到在1208的情况下可以从在暂停操作模式1404下操作切换到在活动操作模式1402下操作。然以在没有用户验证1208的情况下从在暂停操作模式1404下操作切换到在活动操作模式操作模式1404无缝地转变到活动操作模[0149]在暂停操作模式下操作时，用户控制系统还可以保持用户登录(或可以自动重新户控制系统的设置(例如，人体工程学定位设置等)或与触摸屏显示器218交互以查看有关一手术团队成员交谈但保持他或她的手部与主控件204物理接触，则用户控制系统将切换可以返回观察目镜212以查看手术区域的影像。如果主控件数据指示用户的手部没有与左活动操作模式1402下操作，直到主控件数据指示左主控件204-L的状态匹配缝合器械的状[0152]图20图示了为计算机辅助手术系统的用户控制系统设置操作模式的示例性方法排序和/或修改图20中所示的任何操作。图20中所示的操作中的一个或多个可以由操作模[0158]如本文所指的非暂时性计算机可读介质可包括参与提供可由计算设备(例如，由暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何[0161]处理器2104通常代表能够处理数据和/或解释、执行和/或引导本文描述的指令、流程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器2104可以通描述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以[0163]I/O模块2108可以包括被配置为接收用户输入并提供用