CN114008672B 在外科手术期间产生解剖结构的图像的显示的方法和系统 （纽文思公司）

2021.12.22PCT/US2020/0322662020.05.09WO2020/231880EN2020.11.19fluoroscopicmethodtoaccuratthepost-implantationposscrews.InternationalJournalofCompu.2018,1259-1265.在外科手术期间产生解剖结构的图像的显本公开涉及在外科手术期间产生解剖结构一三维图像数据集中的至少一个图像中分割至据集中的至少一个图像。所述方法包括以下步个图像的所分割出的至少一个椎体与第二三维个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位2从第一三维图像数据集中的至少一个图像中分割至少一个椎体，其中接收第二三维图像数据集中的至少一个图像，其中，所述第二三维将来自所述第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体基于所述第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物基于所述至少一个手术植入物的所确定的位置，在来自所述第所述至少一个图像的经配准和分割的至少一个椎体上覆盖所述至少一个手术植入物的虚据集包括荧光透视图像或计算机断层扫描图集中的所述至少一个图像的一个椎体相关联的个图像的所分割出的至少一个椎体与所述第二三维图像数据集中的所述至少一个图像配准的步骤包括对来自所述第一三维图像数据集中的所述至少一个图像的一个椎体内包含分割第一三维图像数据集中的图像，其中，所述第一三维接收第二三维图像数据集中的图像，其中，所述第二三维图像数据将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的所基于所述第二三维图像数据集中的至少一个图像以及所述至少一个手术植入物的三基于所述至少一个手术植入物的所确定的位置，在所述第一三3据集包括荧光透视图像或计算机断层扫描图据集中的所述至少一个图像的一个椎体相关联像与所述第二三维图像数据集中的图像配准的步骤包括对来自所述第一三维图像数据集分割第一三维图像数据集中的图像，其中，所述第一三维接收第二三维图像数据集中的图像，其中，所述第二三维图像数据将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的所基于所述第二三维图像数据集中的所述图像以及所述至少一个手术植入物的三维几基于所述至少一个手术植入物的所确定的位置，在所述第一三提供指令，以经由所述显示器将所述至少一个手术植入物的所述虚拟表显示到所述第一三维图像数据集中的经配准和分数据集包括荧光透视图像或计算机断层扫描图像中4像与所述第二三维图像数据集中的所述图像配准的步骤包括对来自所述第一三维图像数据集中的所述至少一个图像的一个椎体内包含的图像信息进行以下操作中的一个或更多5手术(procedures)以及介入中，频繁的患者图像对于医生正确放置手术器械(不管它们是者并拍摄该区域的诸如骨骼和血管结构之类的解剖结构(anatomy)的图片。如同任何图片[0004]数字重建射线照片(DRR)是通过对患者进行CT扫描并且模拟从不同角度和距离拍摄X光片而制成的X射线的数字表示。结果是可以模拟例如通过C形臂荧光镜为该患者拍摄的任何可能的X光片，这对于患者的解剖学特征相对于彼此看上去怎么样而言是唯一的和[0005]许多成像方法(诸如拍摄荧光透视图像)涉及将患者暴露于辐射，尽管是以小剂者而且对外科医生或放射科医师以及参与外科手术的其他人员都是不利的。当拍摄图像方法涉及手动改变暴露时间或强度。收缩视场也可以潜在地减小辐射暴露的面积及其量图像经常被无关的OR设备或者被用于执行介入的实际器械/6术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。所述方法还包括以下步少一个椎体上覆盖所述至少一个手术植入物的虚显示到第一三维图像数据集中的经配准和分割的7[0017]图9例示了根据示例实施方式的用于外科手术期间的三维可视化的示例方法的流[0018]图10例示了根据示例实施方式的用于外科手术期间的三维可视化的另一示例方二三维图像数据集中的图像和所述至少一个手术植入物的三维几何模型一起使用的一个少一个手术植入物的虚拟表示作为覆盖物显示到第一三维图像数据集中的经配准和分割8[0024]现在参照附图，图1是用于执行外科手术并且在外科手术期间生成患者的内部解剖结构的图像的显示的示例系统100的图。示例系统100包括支承C形臂(C-Arm)成像装置103的基本单元102。C形臂包括位于患者P下方并且将辐射束向上引导至接收器105的辐射140和处理装置122可以经由一个或更多个[0025]基本单元102包括控制面板110，用户可以通过该控制面板控图像数据集和第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或述第二扫描包括与来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体安装至其的跟踪目标106，该跟踪目标使得能够使用跟踪装置130来跟踪C形臂103的位置。踪装置130配置成，根据由跟踪目标106反射或发射的红外信号对接收器105的位置进行三[0028]处理装置122可以包括与其相关联的数字存储器以及用于执行数字和软件指令的数字图像以供投影为显示装置126上的显示部123和124。显示部123和124被定位成供外科医生在手术期间交互式观看。可以将这两个显示部123和124用于示出来自两个视野(诸如如，可以将典型的128×128像素的二维(2D)图像沿x和y方向以1个像素间隔平移.+-.9一个示例中，将处理装置122配置成，将新图像与来自初始三维图像数据集的分割的图像像时与当在显示装置126上示出所合并的图像时之间不存在有意义的延迟。可以采用各种集中在被认为提供相关匹配可能性更大的图像区域。这些区域可以基于来自网格或PCA搜索(下面定义的)的知识、来自跟踪系统(诸如光学手术导航装置)的数据或者来自DICOM文维图像上标记被认为与手术相关的解剖学特征来指定图像的用于比较的一个或更多个区集中的分割的图像与第二三维图像数据集中的图像配准的步骤包括对来自第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个[0032]跟踪装置130包括传感器131和132，该传感器用于确定与外科手术中使用的多种[0035]可以将机器人臂141配置成接收取决于外科手术的一个或更多个末端执行器。在何形状可以使得能够确定机器人臂141的位置以及被联接至机器人臂141的器械T的位置。[0037]图2例示了可以在外科手术期间使用的示例机器人装置200。机器人装置200可以[0038]基座202可以提供平台以便为机器人装置200提供支承。基座202可以是静止的或选择的机械齿轮系统将取决于与机器人装置200的操作相关的许多因素，诸如连杆206、装置140或机器人装置200可以包括计算装置[0044]可以将接口302配置成使得计算装置300能够与另一计算装置(未示出)进行通可以保持和管理由计算装置300接收和发送的数据。在其它示例中，数据可以由计算装置300的其它组件来保持和管理。接口302还可以包括用于接收和发送数据的接收器和发送关联的信息可以包括机器人装置的操作特性以及机器人装置的组件的置130接收对标记物150的位置信息的更新。基于所接收到的对标记物150的位置信息的更[0050]可以将控制单元306配置成，管理与机器人装置140的各种组件(例如，机器人臂140相关联的不同模式来引导用户。用户接口可以使得用户能够例如控制与外科手术开始一个实施方式中，用户可以压下机器人踏板142以启用机器人装置140的一种或更多种模机器人踏板142以停止机器人臂141进行任何进一步式下，用户能够通过握住被联接至机器人臂141的工具T并将该器械T移动至期望位置来手式下，机器人装置140将保持器械T相对于给定IR反射器或发射器(例如，标记物150)的位置。在一个示例中，机器人装置140可以从跟踪装置130接收标记物150的更新后的位置信机器人装置140可以向处理装置122提供器械T的位置信息。在该示例中，可以将处理装置助器械沿着经规划或学习到的路径移动。在一个场景中，外科医生可以在术前基于三维[0061]在一个场景中，外科医生可以在术前为脊柱的特定节段(level)选择理想的椎弓人装置140的踏板142来执行的特定移动方向和将所述一个或更多个IR反射器或发射器的位置信息提供给计算装置(例如，处理装置122、用于为一个或更多个手术器械和植入物导航。可以将机器人装置配置成，向计算装置(例器械或植入物的虚拟表示覆盖在手术部位的二维人装置与跟踪装置130之间的视线被阻挡的情况下去除对跟踪装置130的位置信息的依赖。术部位的三维图像可以允许机器人装置变得不受与跟踪装置130相关联的距离的准确度下科手术中，患者的解剖结构是以限制跟踪装置130保持与该解剖结构的视线的能力的方式被配置成附接至患者的椎骨的棘突。末端执行器可以包括一个或更多个力或压力传感器，置来跟踪患者的移动的一个优点是无需将一个或更多个IR反射标记物附接至棘突来经由患者的位置，移动单元304就可以使用与该预定路径相对应的信息来确定一个或更多个允机器人装置可以使用末端执行器来基于由移动单元304确定的轨迹来牵开与给定板的第一将所述紧固件中的各个紧固件安装至给定板时损用由跟踪装置130捕获的位置信息，来确定被联接至机器人臂(例如，机器人臂141、连杆[0079]在一个示例中，跟踪装置130可以基于一个或更多个IR反射器或发射器来跟踪被针对脊柱排列(spinalalignment)的术前计划来保持患者的脊柱排[0084]图4是来自基于包括脊柱解剖结构的手术部位402的初始扫描的三维图像数据集在手术部位402的初始扫描之后对该手术部位402的第二扫描的。手术部位402的第二扫描了手术植入物604的虚拟表示804之外，还包括与图像600一起的经配准和分割的椎体404。在该示例中，用户可以得益于基于在比手术部位的第二扫描高的辐射水平下对手术部位402的初始扫描的图像400来检查手术植入物604的定位，以便在外科手术期间利用较少的[0088]图9是根据本文所描述的至少一个实施方式的用于外科手术期间的三维可视化的像数据集中的所述至少一个图像中分割所述的规划的表示覆盖在一个或更多个所显示的工具或机器人装置的位置数据提供给处理装置122以用于进一示例中，第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多至少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像配所述一个或更多个椎体的当前位置来创建所分割出的椎体的新的虚将一个或更多个三维几何模型覆盖在与来自初始三维扫描的分割出的椎体相对应的一个性得分的来自初始扫描的所分割出的椎体与来自后续扫描的一个或更多个图像的最佳拟合，以及ii)与后续扫描相对应的所述一个或更多个图像中的各个植入物的最佳相关的最定最终的植入物放置是否满足继续进行外科手术[0098]图10是根据本文所描述的至少一个实施方式的用于外科手术期间的三维可视化其中，第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描像数据集中的所分割出的图像与第二三维图像数据集中的图像配准的步骤包括对来自第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操可以包括存储数据达较短时段的非暂时性计算机可读介质(诸如寄存器存储器、处理器高[0105]另选地，图9和图10中的各个框皆可以表示被布线以在所述处理中执行特定逻辑功能的电路。例示性方法(诸如图9和图10所示的方法)可以全部或部分地由云中的一个或[0106]图11描绘了根据示例实施方式配置的示例计算机可读介计算机程序产品包括用于在计算装置上执行计算机处理的计[0109]所述一个或更多个编程指令1104例如可以是计算机可执行和/或逻辑实现的指介质1108和/或通信介质1110中的一个或更多个输送至计算装置的编程指令1104来提供各[0110]计算机可读介质1106还可以分布在可以彼此远程定位的多个数据存储元件当执行所存储的指令的一些或全部的计算装置可以是外部计算机，或移动计算平台(诸如智任何合适的组合和定位作为分立或分布式组件或者与其它组件结合来实现的功能性实体，