CN119454224A 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法 （直观外科手术操作公司）

202080052031.52020.05.29用于将通过不同成像模态捕获的影像集成本申请公开用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系生成包括由不同成像模态捕获的外科手术空间第一成像模态捕获的用由第二成像模态捕获的外科手术空间的集成表示增强的外科手术空间集成表示可以选择性地移动并且可以以提供视觉真实的深度外观的方式基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像2从所述图像呈现视点的角度确定增强区域相对于所述外科手术空间的从所述图像呈现视点的所述角度并基于所述增强区域相对于所述外科手术空间的所在所述增强区域相对于所述外科手术空间的所述所确定的位置处的在所述增强区域之外，由第一成像模态捕获的所述外科手术空间的第一部分的表示，在所述增强区域之内，由第二成像模态捕获的所述外科手术空间的第二部分的表示，所述外科手术空间的所述第二部分的所述表示基于由所述第一成像模态捕获的所述外科及2.根据权利要求1所述的系统，其中所述外科手术空间的所述第二部分的所述表示包括由所述第二成像模态捕获的所述外科手术空间的所述第二影像和由所述第一成像模态捕获的所述外科手术空间的所述第一影像的特征3.根据权利要求2所述的系统，其中由所述第一成像模态捕获的所述外科手术空间的所述第一影像的所述特征包括从所述外科手术空间的所述第一影像提4.根据权利要求3所述的系统，其中通过将由所述第二成像模态捕获的所述外科手术空间的所述第二影像和表示从所述外科手术空间的所述第一影像提取的所述梯度信息的所述第一影像包括包含在所述外科手术空间的所述第一部分中的表面解剖结构的影所述第二影像包括包含在所述外科手术空间的所述第二部分中的表面下解剖结构的所述外科手术空间的所述第一部分的所述表示包括包含在所述外科手术空间的所述所述外科手术空间的所述第二部分的所述表示包括以下项的从包括在所述外科手术空间的所述第二部分中的表面解剖结构的内窥镜影像中提取所述第二成像模态包括超声成像模态、计算机断层扫描成像模态即CT成像3从所述图像呈现视点的所述角度，所述外科手术空间的所述第一部分从所述图像呈现视点的所述角度，所述外科手术空间的所述第二部分与所9.根据权利要求1所述的系统，其中所述增强区域从基于对计算机辅助外科手术系统所述增强区域从超声探头投射，所述超声探头基于对计算机辅助外科手术系统所述第二影像包括从所述外科手术空间的术前计算机断层扫描影像即CT影像或术前磁共振成像影像即MRI影像生成的三维模型即3D模4[0001]本申请是申请日为2020年5月29日的名称为“用于将通过不同成像模态捕获的影[0003]本申请要求2019年5月31日提交的标题为“SYSTEMSANDMETHODSFORINTEGRATINGIMAGERYCAPTUREDBYDIFFERENTIMAGINGMODALITIESINTOCOMPOSITE像和由第二成像模态捕获的外科手术空间的第二5第一成像模态捕获的第一影像和由第二成像模态捕获的第二影像生成外科手术空间的合的表示包括由第二成像模态捕获的通过由第一成像模态捕获的外科手术空间的影像的特分的表示基于由第一成像模态捕获的外科手术空间的第一影像以及由第二成像模态捕获配置为基于由不同成像模态捕获的影像来生成外科手[0015]图4图示了根据本文描述的原理的图像呈现视点和增强区域相对于外科手术空间[0016]图5A图示了根据本文描述的原理的包括在外科手术空间中的示例性真实工作空6[0026]本文描述了用于将由不同成像模态捕获的影像集成到外科手术空间的合成影像同成像模态捕获的外科手术空间的集成表示的合成影像来集成由不同成像模态捕获的影捕获的外科手术空间的第一部分的表示和由第二成像模态捕获的外科手术空间的第二部手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像生成外科手术空像模态集成系统可以被配置为生成合成影像(compositeimagery)，该合成影像包括基于由内窥镜捕获的表面解剖结构的内窥镜影像生成的外科手术空间的第一部分的表示和外面下解剖结构的影像和由内窥镜捕获的表面解剖结构的内窥镜影像的特征的合成图。例可以产生成像的表面下解剖结构相对于成像的表增强区域基于对计算机辅助外科手术系统的用户输入或基于由计算机辅助外科手术系统7可以被配置为将外科手术空间的第一部分识别为外科手术空间的从图像呈现视点的角度生成并且可以基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕合成影像内产生由不同的成像模态捕获的外科手术场景的影像的集成的和视觉真实的外观。本文描述的系统和方法可以将生成的合成影像呈现给计算机辅助外科手术系统的用杂性(例如，通过消除外科医生在精神上对准下解剖结构，和/或可以允许外科医生提供输入以方便和动态地选择外科手术空间要被增的合成影像相比，基于所捕获影像的实际有机颜色生成的合成影像在外观上可能更真实像模态捕获的外科手术空间的部分的集成表示。系统100可以被包括在计算机辅助外科手8[0034]如图1所示，系统100可包括选择性地且可通信地彼此耦合的存储设施102和处理行)与将由不同成像模态捕获的影像集成到外科手术空间的合成影像相关联的各种操作。包括由第一成像模态捕获的外科手术空间的第一部分的表示和由第二成像模态捕获的外科手术空间的第二部分的表示。处理设施104可以被配置为将外科手术空间的第二部分的表示与外科手术空间的第一部分的表示集成，使得这些表示成为合成图像内的集成整体。处理设施104可以以本文描述的任何方式并且以将通过由一个成像模态(例如，内窥镜成[0038]图2图示了配置200，其中系统100被配置为基于由不同成像模态捕获的影像来生态202_1捕获的影像204_1和由成像模态20术空间206可以包括患者身体的任何一个或多个部分，例如与外科手术过程相关联的空间9图2中的虚线210表示。成像模态202均可以以任何合适的方式在任何合适的时间捕获外科手术空间206的影像204。因此，一种或多种成像模态202可以在外科手术的一个或多个术[0042]成像模态202可包括可用于捕捉外科手术空间的影像的任何一组不同的成像模为外科手术空间206的内窥镜影像的影像204_1，并且成像模态202_2可以捕获作为外科手[0043]在某些示例中，成像模态202_1可以被配置为捕获包括在外科手术空间中的表面被配置为捕获包括在外科手术空间中的表面下解的后面并且从内窥镜的视图来看被患者体内的表面组织外科手术过程的术中阶段期间捕捉内窥镜影像，并且成像模态202_2可以在外科手术过程[0045]外科手术空间206的影像204可以包括由成像模态202捕获的外科手术空间206的以在视觉上表示外科手术空间206的任何其他类型的图像。由成像模态捕获的图像可以包[0046]附加地或可替代地，影像204可以包括基于由成像模态执行的成像而生成的外科以促进3D模型的任何切片被系统100识别和使用以产生3D模型的切片的图像。切片图像中像素的颜色值可以表示由成像模态捕获的外科手术空间的实[0047]虽然图2描绘了分别捕获作为输入提供给系统100的影像204_1和204_2的两个成更多个不同的成像模态可以捕获输入到系统100的影像以用于生成外科手术空间206的合[0048]系统100可以基于由成像模态202捕获的影像204生成外科手术空间206的合成影机辅助外科手术系统的用户查看。显示设备214可以包括能够接收和处理影像数据以显示[0050]图3图示了可以由系统100生成并由显示设备显示的示例性合成图像300。合成图像300可以是外科手术空间的图像并且可以包括相对于外科手术空间定位的增强区域的表示302。增强区域302在合成图像300内的定位可以表示增强区域3002相对于外科手术空间[0052]增强区域302在合成图像300内的定位可以定义合成图像300的两个部分——在增如，表示306可以包括由第二成像模态捕获的并被由第一成像模态捕获的外科手术空间的影像的特征修改的外科手术空间的影像，例由第二成像模态202_2捕获的并且被由第一成表示306可以基于影像204_1和影像204_2两者生成并且可以包括影像204_2和影像204_1的包括对角线，并且表示306被图示为包括竖直线以指示表示304和306表示由不同成像模态图像300的外科医生和/或其他外科手术团队成员可以同时可视化由不同成像模态捕获的科医生可以将由不同成像模态捕获的外科手术空间可视化，而不必在心理上将表示304和[0054]在某些示例中，增强区域302可以通过对计算机辅助外科手术系统的用户输入而[0055]增强区域302的这种移动可以允许计算机辅助外科手术系统的用户在外科手术过使用该虚拟切除区域来选择要从视图虚拟切除的表面解剖结构的表示的一部分以显露位于表面解剖结构后面的表面下解剖结构的表示(例如，[0056]增强区域302相对于外科手术空间的移动可以包括相对于外科手术空间在一个或度移动可以将增强区域302定位在相对于外科手术空间的不同深度处，该位置可以用于识别要呈现的外科手术空间的虚拟表示的切片灵活性以在外科手术期间即时选择要增强的外科手术空间的特定部分和要用于增强的影外科手术空间的位置。系统100可以从图像呈现视点的角度并基于增强区域相对于外科手基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术[0058]图4图示了具有图像呈现视点402和相对于外科手术空间400定位的增强区域404理也适用于具有图像呈现视点402和相对于外科手术空间定位的增强区域404的外科手术下解剖结构410。表面下解剖结构410可以包括从图像呈现视点402的角度来看位于表面解剖结构408后面和/或从图像呈现视点402的角度来看被表面解剖结构408隐藏的任何解剖可以位于相对于外科手术空间400的任何位置，从该视点可以呈现外科手术空间400的图[0062]增强区域404可以相对于外科手术空间400定位以限定外科手术空间400的要被增体积可以是相对于外科手术空间400定位以从视点402的角度描出外科手术空间400的将被[0064]在给定的时间点，系统100可以确定视点402和增强区域404相对于外科手术空间[0066]在对准边界414内的空间之外的外科手术空间400的部分被称为外科手术空间400空间400的未对准部分416可以构成外科手术空间400的合成图像中的外科手术空间400的[0067]在对准边界414内的空间之内的外科手术空间400的部分被称为外科手术空间400的对准部分418可以构成外科手术空间400的合成图像中[0068]在外科手术空间400的合成图像中，外科手术空间400的第一部分的表示(外科手外科手术空间400的第一部分的表示可以包括外科手术空间400的未对准部分416中的表面[0069]在外科手术空间400的合成图像中，外科手术空间400的第二部分的表示(外科手术空间400的对准部分418的表示)可以基于由不同于第一成像模态的第二成像模态捕获的手术空间400的对准部分418中的表面下解剖结构410的影像而生成外科手术空间400的第域404的用户输入)以一种方式来进行选择(例,视点402和增强区域404之间的距离和/或移动增强区域404以选择表面下解剖结构410内的[0070]如本文所描述的，合成图像中的外科手术空间400的第二部分的表示可以基于由二部分的表示可以包括由第二成像模态捕获的对准区域418内的表面下解剖结构410的影如，系统100可以从对准区域418内的表面解剖结构408的影像中提取梯度信息并且生成表示所提取的梯度信息的斜坡影像。系统100可以用斜坡影像修改由第二成像模态捕获的对态捕获的对准区域418内的表面下解剖结构410的影像求和以生成对于在合成图像中的外表面下解剖结构410相对于表面解剖结构408的深度的视觉真[0071]在某些示例中，可以使用表面解剖结构408和/或表面下解剖结构410的影像的实际有机颜色值，而不使用人工或非照片级真实感颜色来执行从表面解剖结构408的影像提取的坡度影像与表面下解剖结构410的影像的组合。这可以有助于外科手术空间的视觉真的内窥镜影像的内窥镜504前面的真实世界物理工作空间。在某些示例中，真实工作空间502可以包括患者的解剖结构506和在真实工作空间502中相对于解剖结构506定位的一个提取梯度信息并且使用所提取的梯度信息来生成表示从真实图像(R)中提取的梯度信息的[0075]图5C图示了从真实图像(R)中提取的斜坡图像(S)的示例。斜坡图像(S)在图5C中[0078]在由另一成像模态捕获的其他影像包括外科手术空间的3D模型的示例中，系统100可以将3D模型映射到虚拟工作空间。这可以以任何合适的方式执行并且可以包括系统100将3D模型中的特征配准到从内窥镜影像生成的3D网格和与内窥镜影像相关联的深度信[0079]在由另一种成像模态捕获的其他影像包括外科手术空间的2D图像并且2D图像的间的2D图像但2D图像的深度数据不可用的示例中，系统100可以将2D图像投射到虚拟工作[0080]图6A图示了示例性虚拟工作空间602，其可以是由系统100基于和/或表示真实工结构506的虚拟表示606和外科手术器械508(例如，外科手术器械508_1和508_2)的虚拟表生成虚拟表示，包括基于真实工作空间502的真实图像(R)和与真实图像(R)相关联的深度[0082]虚拟工作空间602还可以包括相对于虚拟工作空间602的其他元素定位的增强区[0083]系统100可以将由超声探头608_2捕获的影像投射到虚拟工作空间602中的增强区中所图示的示例描绘了超声影像到增强区域610的投射，但由另一成像模态捕获的任何其域610相对于配准到虚拟工作空间602的3D模型的位置来确定3D模型的切片(例如，从CT或608_2投射的增强区域610可以用作占位符，外科手术空间602的配准3D模型的切片的图像可以在虚拟工作空间602中投射到该占位提供输入以从被投射到增强区域610上的一种成像模态图像切换到被投射到增强区域610[0085]系统100可以被配置为以任何合适的方式使用虚拟工作空间602来生成外科手术图示了从视点604的角度由系统100呈现的虚拟工作空间602的图像(V)的示例，图像(V)可[0086]系统100可以基于虚拟工作空间602和/或虚拟图像(V)生成诸如二进制呈现蒙版值的第二二进制值。图6C图示了可以由系统100基于虚拟图像(V)生成的蒙版图像(M)的示以对蒙版图像(M)中被设置为“0”的所有像素位置使用真实图像(R)并且可以对蒙版图像场景的表示，并且合成图像(C)的第二部分可以包括由另一种成像模态捕获的外科手术场产生外科手术空间的第二部分的表示，系统100可以将由其他成像模态捕获的外科手术空或如在虚拟图像(V)中表示的影像)和从外科手术空间的第二部分的内窥镜影像中提取的在不使用人工颜色来生成合成图像(C)的情像(C)包括外科手术空间的第一部分的表示704，该表示包括由内窥镜504捕获的表面解剖以包括合成图像中的外科手术场景的第一部分和第二部分的表示之间的边界或过渡的任[0093]虽然图5A至图7图示了其中第一成像模态包括内窥镜并且第二成像模态包括超声并进行处理以生成外科手术空间的3D模型。系统100可以将外科手术空间的3D模型配准到虚拟工作空间中的外科手术空间的内窥镜影像。系统100可以确定图像呈现视点相对于外像投射到虚拟工作空间中的增强区域上并且执行如本文所描述的混合函数以生成外科手探头的姿态将增强区域投射到外科手术空间中(示例中，从超声探头投射的增强区域可以用作在其上投射外科手术空间的基于CT或基于入以将超声探头定位在外科手术空间内以选择增强区域的位置以定义将用外科手术空间可以被配置为在表示由超声探头捕获的超声影像和表示由另一成像模态捕获的其他影像[0097]如上所述，系统100可以在计算机辅助外科手术系统中实现或通信地耦合到计算机辅助外科手术系统。系统100可以从计算机辅助外科手术系统接收输入并向计算机辅助影像和/或信息来执行任何本文描述的处理以生成外科手术空间的合成影像，并将表示合成影像的数据提供给计算机辅助外科手术系统用于显示以由外科手术系统800实施，连接到外科手术系统800，和/或以其他方式与外科手术系统可以类似地用于执行开放式外科手术过程或可以类似地受益于外科手术系统800的准确性808执行的计算机辅助外科手术过程(例如，通过至少部分插入患者808并被操纵以对患者808执行计算机辅助外科手术过程)。虽然操纵系统802在本文中被描绘和描述为包括四个操纵器臂812，但是应当认识到操纵系统802可以仅包括单个操纵器臂812或可以服务于特[0102]操纵器臂812和/或附接到操纵器臂812的外科手术器械可以包括一个或多个位移[0103]用户控制系统804可以被配置为便于外科医生810_1控制操纵器臂812和附接到操成像系统(例如，本文描述的任何医学成像系统)器的立体查看器，其中与患者808相关联并且由立体成像系统生成的外科手术空间的立体制器可由外科医生810_1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远[0105]辅助系统806可以包括一个或多个计算设备，该计算设备被配置为执行外科系统统802接收和处理表示由附接到操纵器臂812之一的成像设备捕获的影像的[0106]在一些示例中，辅助系统806可以被配置为向外科手术团队成员810呈现视觉内容，该外科手术团队成员810可能无法访问在用户控制系统804处提供给外科医生810_1的示外科手术空间的图像(例如，由系统1[0107]操纵系统802、用户控制系统804和辅助系统806可以以任何合适的方式彼此通信通信耦合，控制线816可以表示可以服务于特定实施方式的任何有线或无线通信链路。为[011