CN111356395B 用于在程序期间帮助可视化的系统和方法 （美敦力施美德公司）

US2009088634A1,2009.04.02US2017202633A1,2017.07.20CA2991659A1,2017.01.12JP2014221175A,2014.11.27US2008243142A1,2008.10.02US6122541A,2000.09.192020.06.302020.05.15PCT/US2018/0642802018.12.06WO2019/113334EN2019.06.13盖其上的受试者分离的至少一个物体的信息来系统进一步能够确定所述物体相对于所述受试2受试者标记，其能够由所述第一相机查看，其中所述受试者标查看的所述可穿戴视图屏幕和相机系统的所述第一视图屏幕或所述第二视图屏幕中的至其中，所述第一视图屏幕或所述第二视图屏幕基本上是其中所述处理器系统还被配置用于生成表示所述器械表示的器械图标和解剖结构图解剖结构图标时具有所述受试者的基本上不受阻碍相对于所述受试者标记的视图的来自所述第一相机的所述第一信号和来自所述第二相机的第二信号来确定所述器械跟踪装置相对于所述受试所述第一视图屏幕和所述第二视图屏幕上显示时所述器械表示被所述用户视为单个立体户通过所述第一视图屏幕和所述第二视图屏幕查看所述器械表示和所述5.根据权利要求3所述的用于在对受试者进行手术时查看所述受试者的系统，其进一其中，所述处理器系统执行另外的指令以(i)配准所述手术区中的所述至少一部分的3其中所述用户可在所述用户的视野中查看所述解剖结构表示6.根据权利要求5所述的用于在对受试者进行手术时查看所述受试者的系统，其中所述器械表示和所述解剖结构表示均被配置为出现在所述用户的与所述受试者相关的视野8.根据权利要求1所述的用于在对受试者进行手术时查看所述受试者的系统，其进一步包括可相对于所述受试者移动并且可连接到所述第一视图屏幕，其被配置为定位靠近所述用户的所述受试者标记，其能够由所述第一相机查看，其中所述受试者标者标记的视图的来自所述第一相机的第一信号来确定所述器械跟踪装置相对于所述受试待显示于待由所述第一眼睛查看的所述可穿戴视图屏幕和相机系统的所述第一视图屏幕其中，所述第一视图屏幕基本上是透明的并被配置用于其中所述处理器系统还被配置用于生成所述器械图标和解剖结所述用户在查看所述器械图标和所述解剖结构图标时具有所述受试者的基本上不受阻碍所述可穿戴视图屏幕和相机系统被配置为使得所述用户能够通过所述第一视图屏幕和所所述可穿戴视图屏幕和相机系统被配置为使得所述用户能够利用所述第一视图屏幕和所4所述处理器系统被配置为执行另外的指令，以配准(i)所述受试者的预先获取的图像与(ii)使用所述第一相机和所述第二相机的所述受试者其中，使用所述第一视图屏幕或所述第二视图屏幕中的至其中，使用所述第一视图屏幕或所述第二视图屏幕中的至在所述器械相对于预先获取的图像的所述至少一受试者标记，其能够由所述第二实时图像捕获系统查看，其中，所述第一视图屏幕基本上是透明的并被配置用于其中所述处理器系统还被配置用于生成表示所述器械表示的器械图标和解剖结构图15.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，还包生成待用至少所述辅助显示装置显示的所述第一实时图像所述受试者标记和所述受试者跟踪设备集成在被配置为连接到所述受试者的单个5所述第一视图屏幕或所述可穿戴视图屏幕和相机系统的第二视图屏幕中的至少一个所述显示的所获得的图像被分别显示并与被配置为显示供用户使用或查看信息的补充查20.根据权利要求18所述的用于在对受试者进行手术时查看所述受试者的系统，其进21.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，其进其中，所述处理器系统被进一步配置为执行指令以配准所述视其中，使用所述辅助显示装置的显示至少部分地基于所述6[0002]在所选择的程序期间，用户可获取基于根据受试者的图像数据的受试者的图在明尼苏达州(Minnesota)具有营业地点的美敦力有限公司(Medtronic,Inc.)出售的NuventgEM球囊窦扩张系统执行的程序。应理解，不需要用电磁(EM)导航器械来执行窦[0008]用于执行程序的器械可包括被配置为或可经操作为由跟踪系统跟踪的跟踪装作端与跟踪装置之间的已知和/或预定几何关系来确定操作端相对于7幕查看受试者。视图屏幕可安装到允许用户将视图屏幕穿戴在相对靠近用户眼睛的结构定器械相对于手术区和/或手术区中的关注区的位置，并且通过显示器械的跟踪位置来叠[0010]系统可包括查看部分或系统和跟踪部分。查看部分可查看真实对象(例如，受试[0016]图3A为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看[0017]图3B为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看[0018]图3C为根据各种实施例的使用显示装置查看至少一个显示图标和实时图像的用算机断层扫描(CT)成像器、由美敦力有限公司出售的O-Arm@成像系统和/或由在意大利维罗纳(Verona,Italy)具有营业地点的NewTom出售的NewTom@VGievo锥形束成像器。8[0024]显示装置20或增强视图屏幕21中的任一个或两个都可为处理器系统22的一部分和/或连接到所述处理器系统22，所述处理器系统22包括输入装置24(输入装置可包括键结合的一个或多个处理器或微处理器，以及所选择的类型的非暂时性和/或暂时性存储器CO,USA)具有营业地点的美敦力导航有限公司(MedtronicNavigation,Inc.)出售的O-Arm@成像系统。包括o-Arm@成像系统的成像系统16或其它适当的成像系统可在所[0026]当例如包括o-Arm@成像系统时，成像系统16可包括包含控制器和/或控制系统33b可包括由处理器33a执行以控制成像系统(包括成像制系统可包括处理器33a(其可为通用处理器或特定的应用程序处理器)和存储器系统33b本领域的技术人员所理解的，由源36发射的x射线可以锥形发射并且由检测器38检测。源36/检测器单元38通常在台架34内在直径上相对。检测器38可在台架34内围绕患者14以者14的纵向轴线14L和推车30沿线44纵向移动，可相对于推车30并且横向于患者14通常沿9任何适当的成像系统，如磁共振成像(MRI)系统、C型臂x射线成像系统；计算机断层扫描执行程序的用户12不需要在与正在执行的程序相同的房间中使用和导航系统包括如本文所讨论的各个部分，可经操作以跟踪成像装置16和/或其它部分的征(如定位器60、62，成像系统16以及接口系统76和处理器系统22(其可为导航处理器系包括一个或多个患者标记或跟踪器100(在本文中称为100和小写字母)。患者跟踪器100可例，根据各种实施例的跟踪器100通常可为可见的或捕获在使用成像系统16获取的图像数所选择的和/或唯一的几何形状。可使用各种技术来分割和识别所选择的图像或图像数据户输入24将所述部分识别为标记100来识别图像图像系统16以获取患者14的图像时，标记100定位在患者14上并且将出现在任何获取的图由患者14所定义的导航空间和/或在患者14之内或相对于其的手部110具有已知的或预定的位置和几何形状，以确定远侧尖端110相对于附连到手柄120的如图2B所示，用户12可包括或操作成像系统137。成像系统137可包括远侧图像捕获部分139，如相机镜头或相机。成像器械137通常可被理解为是内窥镜，如由美国奥林巴斯窥镜137可由用户12相对于受试者14定位。图像收集部分139可对受试者14的各个部分成外讨论的，内窥镜137可捕获基本上可为实时的图像，如在将器械66定位在受试者14内期间。使用内窥镜137捕获的实时图像可显示在各种显示装置或查看系统上，如显示装置20在包括显示装置20和/或AV21的所选择的显示器或查看系统上显示。来自内窥镜137的信不可直接查看的窦腔134内。额外的和/或替代的跟踪装置可包括可在图像捕获端部139处或附近定位或结合到内窥镜137中的端部跟踪装置143。跟踪装置143可类似于上文讨论的[0045]用户12还可具有和/或使用替代或增强视图屏幕或查看系统21以在程序期间使种装置和系统，如由微软公司(MicrosoftCorporation)出售的Hololens@可穿戴计算机外围配置、由在加利福尼亚州旧金山(SanFrancisco,California)具有营业地点的福尼亚洛杉矶具有营业地点的DAQRI出售的DAQRIsmartGlasses@可穿戴计算机外围配[0047]AV21还可包括一个或多个相机，如第一相机180和第二相机182。两个相机180、通过在处理器系统上执行指令(如通过使用处理器26执行指令)来基本上自动地识别。的头部并且还查看标记100。可包括在所选择的软件中的指令可如通过图像的分割并且识标记100相匹配来发生配准。在使用成像系统16获取图像数据期间并且当在程序期间在相或跟踪器143的相同或类似跟踪系统和/或参考系中被跟踪。因此，AV21可相对于内窥镜137和/或受试者14被配准。使用内窥镜137获取的此图像可用于相对于用户12的视图显示表示以及辅助或附加查看区域153中的附加图像(例如内窥镜图像)。用户12还可以选择性中并查看上颌窦134一样。上颌图标134'可以是图像数据的图形渲染或代表上颌窦以确定跟踪装置146相对于标记100的位置。标记100的位置被放置在患者14上以识别患者一个或多个对跟踪装置146的位置进行三角测量来确定。处理器系统22可以执行本领域中[0061]AV21可以与处理器系统22通信和/或可以包括机载处理和/或其他通信特征以与器系统22执行指令来确定跟踪装置146相对于标记100中的一个或27中访问的指令的处理器系统22然后可以将所选择的和/或适当的图像部分(如器械图标66'或其一部分)和/或其他成像的特征(如表示包括额窦136'的窦或来自图像数据的其他和/或基于对患者14上的图像18和/或标记100中的基准标记如标记100户相对于患者14和/或器械66的移动而发所选择的不透明度和/或切面，以相对于解剖结构图标(例如蝶骨图标138')查看器械图标两个图标。此外，用户12可以通过基本上同时查看器械图标66'和窦图标(例如蝶窦图标图像数据的解剖结构的显示部分可以显示在远离患者14上的相应和相对的物理位置的位14的更加无障碍和/或基本上无障碍的视图，同时还能够查看器械66相对于所选择的解剖的获取的图像以及如用内窥镜137实时获取的图像。应当理解，显示装置20可以是可移动[0071]继续参考图1-3B并另外参考图4，在流程图210中描述了一种用户12使用AV21来在如存储系统27和/或存储系统33b的存储系统上。可以用所选择的成像系统如CT扫描仪标记100的识别。可以使用各种分割技术来执行分割解剖结构的各个部分(如额窦136)和/或识别标记100。分割技术可以包括结合在各种成像和导航系统如美敦力公司出售的[0075]一旦AV21具有关注区域的视图，就可以在框232中用AV21相机执行关注区域的多于两个或少于两个相机)。关注区域的记录可以包括以持续的方式(如在整个程序期间)[0076]识别患者标记可以包括在框232中对记录在关注区域处的图像数据进行分割以识图标100a'一起，所述图标可以包括当由用户12查看时定位在患者14上的标记100a上方的[0077]识别患者14上的标记100允许处理器系统(如导航系统的一部分)在标记100处于个部分(如远侧尖端110和/或操作部分122)之间的几何关系，以便由处理器系统22进行处或图3B所示，可以显示额窦136'图标。可以相对于器械图标66'和患者14显示额窦图标外，由于使用标记100将预先获