CN113038887A 手术支持系统、数据处理装置、以及方法 （索尼集团公司）

PCT/JP2019/038340201WO2020/075546EN2020.04一种手术支持系统包括：眼部行为监测装能操作以执行用于干预外科医生执行手术治疗所获得的眼部行为数据确定与手术治疗相关联预参数的值在所确定的干预参数的值的能接受2手术数据生成装置，能操作以生成与由所述外科医生手术干预装置，能操作以执行用于干预所述外科医生执行所述手术治疗的干预治疗；使用所获得的眼部行为数据确定与所述手术如果所确定的所述干预参数的值在所确定的所述干预参数的所述值的能接受范围之将所获得的所述外科医生的所述眼部行为数据和与外科医生在所述手术治疗中出现使用与所述预定眼部行为数据相关联的所述预定可能性以及所获得的所述外科医生的所述眼部行为数据与所述预定眼部行为数据之间的比较的结果确定所述外科医生在所所述外科医生在所述手术治疗中出现错误的可能性超过所述外科医生的所述外科医生在3置对所执行的手术功能进行调整而预先制止所使用所获得的眼部行为数据确定所述外科医生的视野区域，基于所确定的所述外科医生的所述视野区域的特使用所获得的进一步眼部行为数据确定所述外科基于所确定的所述外科医生的所述视野区域的所述子区域的特使用所获得的眼部行为数据确定所述外科医生的视野区域，输出表示所述外科医生的所述视野区域的图像进且其中，所述干预治疗包括：调整所显示的图像的显使用所获得的眼部行为数据确定与所述手术如果所确定的所述干预参数的值在所确定的所述干预参数的所述值的能接受范围之术数据生成装置，能操作以生成与由所述外科医生执行的所述手术治疗相关联的手术数4使用所获得的眼部行为数据确定与所述手术如果所确定的所述干预参数的值在所确定的所述干预参数的所述值的能接受范围之5[0004]手术错误的范围为从错误的部位手术或不正确的治疗到手在危险点处的小的滑6[0012][图2]图2示意性地示出了根据实施方式的在确定合适的手术干预治疗时由手术[0022]眼部行为监测技术的建立相对完善并且出于增强现实(ARA)和虚拟现实(VR)平台在视觉上固定在跳跃的具体阶段及如何早早地开7[0033]2.如何确定外科医生的不确定性如何影响患者并且在需要的情景下允许某种程[0036]5.如何准确地识别外科医生在其视野内的不确定性的原因并且实现定制不确定[0037]图1示出了根据实施方式的手术支持系统100。手术支持系统100包括眼部行为监测装置(眼部监测器)101、一个或多个手术数据生成装置(例如，一个或多个装置109至[0038]眼部行为监测装置101能操作以执行进行手术治疗的外科医生的眼部行为监测，眼部行为监测装置使用任意合适的瞳孔监测技术来获得指示外科医生眼部中的一个或多个眼部中的每个眼部的瞳孔的行为的瞳孔监测数据(例如，外科医生的瞳孔扩张或扫视速获视频图像)，以确定瞳孔监测数据(例如，外科医生的瞳孔扩张和/或扫视速率和/或距[0040]通过数据处理装置104可以从眼部行为数据推导信息，以指示外科医生在手术治[0041]在一个实施例中，如果外科医生在感兴趣的区域上具有能接受间指外科医生在手术治疗过程中(或在手术治疗的特定阶段过程中)查看感兴趣的区域所8信接口107用于将电子信息输入至数据处理装置104并且从数据处理装置104输出电子信或多个手术干预装置执行干预治疗的干预信号作为输出信息发送至一个或多个手术干预过处理器105处理的电子指令并且用于存储与电子指令相关联的输入和输出数据。存储介[0047]通信接口107能操作以接收与由外科医生执行的手术治疗相关联的手术数据。在器人在手术治疗过程中完成的机器人的一个或多个功能相关联的一个或多个参数的值(例[0049]另一示例性的手术数据生成装置是外部相机系统110。这包括捕获在其内进行手9[0050]手术数据生成装置的另一实施例是内部相机系统111。这包括捕获患者体内的图获的图像还可以包括外科医生的双手以及在手术过程中进入由内部相机系统捕获的患者身体的部位的任意手术装置(例如，外科医生手持的切割工具或手术机器人109的臂的末[0051]手术数据生成装置的另一实施例是患者监测系统112。患者监测系统监测患者在手术过程中的一个或多个生理参数并且生成指示这些生理参数中的每个生理参数的值的图(ECG)。通过患者监测系统112提供至通信接口107的手术数据包括指示患者的各个监测[0052]手术数据生成装置的另一实施例是音频监测系统113。这包括捕获在其内进行手所捕获的声音的频率分析并且将生成的频谱与存储在存储介质108中的已知声音的频谱相生的语言进行辨别(允许外科医生将手术数据通过声音提供至系统)或对由其他手术装置[0053]手术数据生成装置的另一实施例是外科医生监测系统112。外科医生监测系统监测外科医生在手术过程中的一个或多个生理参数并且生成指示这些生理参数中的每个生小时，其心率趋于减少并且其趋于出汗较少。通过外科医生监测系统114提供至通信接口107的手术数据包括指示外科医生的各个监测用户界面115包括触摸屏或头戴显示器(HMD)与输入设备(例如，手持式控制器或语音辨别[0059]通过手术机器人109进行调整的实施例是当外科医生控制机器人的臂对患者进行[0060]通过用户界面115进行调整的实施例是当外科医生经由使用用户界面115所显示的视频馈送(通过内部相机系统111的内诊镜相机等捕获)观察其在手术治疗过程中对患者果需要，计划对其技术进行调整或咨询同伴来降低其作出错误的可能性(由此允许安全地[0062]将手术数据提供至通信接口107的各个手术数据生成装置经由合适的有线和/或无线连接(如本领域中已知)实现此操作。有线和/或无线连接可以是诸如因特网等计算机网络的一部分。从通信接口107接收干预信号的各个手术干预装置经由合适的有线或无线连接(如本领域中已知)实现此操作。有线和/或无线连接可以是诸如因特网等计算机网络[0063]在实施方式中，数据处理装置104使用眼部行为数据确定外科医生在手术治疗中出现错误的可能性。通过眼部行为监测装置101获得眼部行为数据并且经由合适的有线或是诸如因特网等计算机网络的一部分。数据处理装置104使用手术数据确定外科医生在手术治疗中出现错误的能接受可能性。如果确定外科医生在手术治疗中出现错误的可能性(将此称为确定错误可能性)超过外科医生在手术治疗中出现错误的能接受可的至少一项。数据处理装置104使用手术数据确定外科医生在手术治疗中出现错误的能接[0067]在实施方式中，每种手术治疗类型和/或手术治疗类型的一个或多个阶段与一个存储介质108中的数据库中查找所指示的手术治疗类型。数据库识别所指示的手术治疗类型的每个阶段、与所指示的手术治疗类型相关联的每个潜在错误事件(以及与潜在错误事具体阶段相关联的潜在错误事件及其相关联的能接受错误可能性以及一个或多个干预治定部位上)出现错误的特定类型所专属的潜在错误事件，但在外科医生出现错误的风险增的一个或多个相关生理参数中的每个生理参数的值(如由从患者监测系统112接收的手术医疗团体的知识)给定手术治疗类型的一个或多个相关的生理参数及其相应的正常范围并[0075]根据患者是处于危险条件还是非危险条件确定干预治疗有助于安全地应用干预于危险条件，所以确定允许外科医生继续治疗比延迟完成治疗更安全(尽管存在外科医生[0078]对于第一潜在错误事件(肺部损伤)，如果所确定的外科医生的错误可能性(基于此避免潜在手术错误比避免延迟完成阶段1更为重要)，则干预治疗包括通信接口107输出警报信号而发起听觉警告(以向外科医生发出其出现错误的不能接受的高可能性的警告)，因此避免延迟完成阶段1比避免潜在手术错误更重要)，则干预治疗包括通信接口107仅输出警报信号(由此发起听觉警告，以通过暂停显示视频馈送而向外科医生发出其出现错误[0079]对于第二潜在错误事件(动脉损伤)，如果所确定的外科医生的错误可能性(基于外科医生的眼部行为数据)超过0.25，则也可以实施干预治疗。如果患者处于(并且因此避免潜在手术错误比避免延迟完成阶段1更为重要)，则干预治疗包括通信接口107输出警报信号而发起听觉警告和触觉警告(以向外科医生发出其出现错误的不能接受者处于危险条件(并且因此避免延迟完成阶段1比避免潜在手术错误更为重要)，则干预治(例如，在这种情况下，为动脉损伤)可以与同时发起的更大数量的警告类型(在这种情况[0081]在图2的实施例中，心脏移植的阶段2涉及将血管附接至所移植的心脏的外科医即使不需要，也不是外科医生要暂停的足够严重的潜在错误事件(即使患者处于非危险条[0083]对于第二潜在错误事件(移植心脏损伤)，如果所确定的外科医生的错误可能性通信接口107输出警报信号而发起将增强现实(AR)可视化叠加在易于发生损伤(在这种情治疗的手术机器人(例如，手术机器人109)的操作(由此暂时防止外科医生进行治疗)。再次，基于外科医生的眼部行为数据可以检测由所叠加的AR可视化指示的移植心脏的部分。[0084]在图2的实施例中，心脏移植的阶段3涉及外科医生使用手术机器人109做出进一间的距离可以确定所确定的错误可能性(较大的距离与所确定的较低错误可能性相关联并[0085]如果患者处于非危险条件，则干预治疗包括通信接口107输出调整信号而控制机医生仍然控制机器人(保持外科医生控制治疗并且由此允许患者获益于外科医生的个人经出警报信号可能取决于外科医生的预配置喜好或取决于机器人必须超越外科医生的控制的控制(暗示与预测切口路径的相对小的潜在偏差)，则不输出警报信号(因为潜在偏差仅比于不被AR可视化和触觉警告分心，更有益于将其出现错误的增加可能性通知给外科医[0086]如果患者处于危险条件，则干预治疗不包括通信接口107输出调整信号而控制机预治疗确实包括通信接口107输出警报信号而发起触觉警告并且发起将增强现实(AR)可视将其出现错误的增加可能性通知给外科医生(由此当做出关于危险患者的治疗的决定时，[0088]对于通过制造商确定的各种手术类型或手术阶段，手术支持系统100的制造商利用各个能接受的错误可能性的最适当的值及最适当的干预治疗可以对数据库中的信息进医生能够根据其个人喜好对能接受的错误可能性的值及最适当的干预治疗进行定制(例处理装置104可以被配置为通过一种或多种不同的方式检测手术治疗的当前阶段(例如，受错误可能性与干预类型)。上显示的当前治疗的阶段列表中选择当前阶段)或经由音频监测系统114(例如，通过说出施例中，使用合适的机器视觉图像比较技术(诸如本领域中已知并且因此此处未详细讨论疗的之前实例中的各个图像手动分类为归属于治疗的具体阶段并且机器学习算法自动确[0093]本领域中已知各种机器学习算法并且因此此处将不进行详细治疗的之前实例的各个阶段的图像的数量越大并且生成这些图像的治疗的之前实例的数光照条件下捕获之前的图像，以帮助提供对治疗的当前阶段的更可靠确定(因为对于治疗治疗的新捕获图像的分析的治疗的之前实例的图像的一个或多个特征的数据存储在存储[0095]可以将基于当前治疗的新捕获图像的一个或多个特征与治疗的之前实例的一个或多个图像的一个或多个对应特征之间的比较自动确定治疗的当前阶段的概念应用于在手术治疗的当前和之前实例过程中所采集的其他类型的手术数据。例如，这可以应用于：[0096]可以使用不同类型的手术数据而独立确认在指示所进行的手术治疗的具体阶段(如使用通过外部和/或内部相机系统110、111和/或通过包括外科医生上的监测设备(例过监测设备输出的手术信号指示外科医生已经偏离所预期的动作(如由外科医生使用的工[0098]在实施方式中，数据处理装置104能操作以将所获得的外科医生的眼部行为数据和与外科医生在手术治疗中出现错误的预定可能性相关联的预定眼部行为数据进行比较。数据处理装置104能操作以使用与预定眼部行为数据相关联的预定可能性及所获得的外科医生的眼部行为数据与预定眼部行为数据之间的比较结果确定外科医生在手术治疗中出[0100]将各个眼部行为参数的值(通过眼部行为监测装置101采集的眼部行为数据内所关联的参数错误可能性取决于该眼部行为参数的监测值与该眼部行为参数的一个或多个的停留时间的单一阈值(例如，0.5秒)最低)阈之间(例如，0.25秒与0.5秒之间)，则确定参数错误可能性是更低的值(例如，示在这些之前手术治疗过程中出现的错误的数据(包括出现每次错误的过程中的手术类型略感兴趣的区域的参数的参数错误可能性是0(在不忽略感兴趣的区域的情况下)或1(在忽[0104]对于给定的潜在错误事件(针对具体手术类型和/或阶段限定的)，通过适当的方实施例中，确定各个参数错误可能性在0与1之间(0指示最低可能错误可能性并且1指示最于参数的监测值及与所监测的参数值相比较的一个或多个阈值(如适用)确定参数错误可[0107]对于各个潜在错误事件(如图2中例证的，针对每种手术类型和误事件的这种信息并且作为数据库的一部分(与该潜在错误事件的能接受错误可能性和干[0109]这允许机器学习算法学习每种手术治疗类型和/或阶段的各个潜在错误事件的最许确定用于计算整体确定的错误可能性的各个眼部行为参数的相对权重。其还允许(如果相关)确定所发生的潜在错误事件的可能性增加(或减少)特定量的这些眼部行为参数的留时间和瞳孔扩张的眼部行为参数比其他眼部行为参数(诸如在肺部上的固定频率等)的权重更高。进一步地，确定0.5秒的停留时间阈是适当的并且瞳孔扩张阈值0.5秒和50确定各个这些参数在当前心脏移植治疗过程中的参数错误可能性。[0112]对于各个潜在错误事件，提前确定感兴趣的区域(计算诸如停留时间和固定频率科医生的视野并且确定其上显示外科医生正在观看的视频的屏幕的区域是外科医生的注视位置。数据处理装置104使用合适的图像辨别技术(如本领域中已知)检测图像中的相关置(如通过眼部行为监测装置101确定的)与所检测的对象在屏幕上的位置重叠时，确定外之前完成的机器学习过程，通过数据处理装置104可辨别外科医生视野内的对象(具体地，界面115可以包括在其上显示手术治疗的图像(通过外部或内部相机系统110、111捕获的)部的视频图像的另一相机，以获得眼部跟踪和瞳孔监测数据)安装在相对于显示器的适当执行手术时穿戴HMD设备301，以在其控制手术机器人109的臂109A和109B对患者执行手术治疗时查看患者体内的图像(如通过内部相机系统111捕获的)。示出了由HMD设备301显示括眼部行为监测装置101。这允许确定外科医生在任意给定时间正在观看的所显示图像的[0117]将图像305划分成多个部分303。每个部分303表示记录外科医生正在观看的图像已经检测外科医生相对于这些部分的眼部移动指示所确定的潜在错误事件的错误可能性已经超过能接受的错误可能性。因此，发起其中在图像305中高亮区域304的干涉治疗(例[0119]图4A和图4B示出了心脏移植的阶段1过程中的示例性干预治疗的更为详细的演[0120]在这种情况下，外科医生计划在位于患者的肺部400与动脉404之间的位置402处[0122]图5A和图5B示出了其中通过涉及切口路径的自动调整的干预治疗而避免子表面出切口。已经检测到，预测路径502A包括子表面血管504。手术刀充分接近于子表面血管达到外科医生的新切口路径502B和/或预配置喜好的程度，调整预测路径的干预可能伴随的确定能力和/或信任度确定其中完成手术治疗的阶段的顺序(对于可能出现此情况的治眼部行为数据的分析，数据处理器104确定可能与更高错误可能性有关的相关手术视线区流程并且提高其在治疗的后期及更艰难阶段的信任度(与更高的错误可能性相关联)。例如，数据处理装置104通过基于例如外科医生的眼部行为数据确定各个阶段的错误可能性并且按照最低错误可能性至最高错误可能性的顺序对阶段进行排序而确定治疗的阶段的[0126]在实施方式中，当外科医生通过查看使用用户界面115的显示器而显示的图像完理装置可以控制用户界面115显示与不能接受的高错误可能性相关联的显示图像的区域的大图像执行外科医生的进一步眼部行为分析，可以将不确定性的来源缩小至肺部400或动同应用)的图像(或至少与高的错误可能性相关联的图像的区域)，以尝试为外科医生提供处理装置104控制)的显示图像(或相关图像区域)连续应用多个不同的预定视觉特征(图像图像相关联的错误可能性允许在应用更为侵入性的干预治疗之前潜在地校正不能接受的确定所确定的潜在错误事件的错误可能性是否超过该潜在错误事件的能接受错误可能性。[0132]尽管上述所述实施方式涉及基于所获得眼部行为数据确定外科医生作出错误的经验较少的外科医生(例如，指示外科医生的经验的确定干预参数小于预定阈的外科医以对更为疲劳的外科医生(例如，指示外科医生的疲劳的确定干预参数大于预定阈的外科通信接口107接收由一个或多个手术数据生成装置109至115生成的手术数据。在步骤703，处理器105使用所获得的眼部行为数据确定与手术治疗相关联的干预参数的值。在步骤手术治疗中出现错误的可能性并且干预参数的值的能接受范围指示外科医生在手术治疗[0147]将所获得的外科医生的眼部行为数据和与外科医生在手术治疗中出现错误的预[0148]使用与预定眼部行为数据相关联的预定可能性以及所获得的外科医生的眼部行为数据与预定眼部行为数据之间的比较的结果确定外科医生在手术治疗中出现错误的可输出指示所确定的外科医生在手术治疗中出现错误的可能性超过外科医生的外科医生在[0155](11)根据第(3)款至第(10)款中任一项所