CN111356395B 用于在程序期间帮助可视化的系统和方法 （美敦力施美德公司）

(12)发明专利PCT/US2018/06428020地址美国佛罗里达州司31100A61B1/04(2006.01)A61B5/06(2006.01)A61B34/20(2006.01)JP2014221175A,2014.11.27盖其上的受试者分离的至少一个物体的信息来21.一种用于在对受试者进行手术时查看所述受试者的系统，其包括：可穿戴视图屏幕和相机系统，被配置用于由用户穿第一视图屏幕，其被配置为定位靠近所述用户的第一眼睛；第二视图屏幕，其被配置为定位靠近所述用户的第二眼睛；和至少第一相机，其被配置为具有第一视场；固定到器械的器械跟踪装置，其可由所述第一相机查看；受试者标记，其能够由所述第一相机查看，其中所述受试者标记是被配置为连接到所述受试者的现实世界对象并且被用作基准点；和处理器系统，其被配置为执行指令(i),以基于来自所述第一相机的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，并由此确定所述器械相对于所述受试者标记的相对位置，和(ii)生成待显示于待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述可穿戴视图屏幕和相机系统的所述第一视图屏幕或所述第二视图屏幕中的至少一个中的器械表示；其中，所述第一视图屏幕或所述第二视图屏幕基本上是透明的并被配置用于允许所述用户通过所述第一视图屏幕或所述第二视图屏幕查看所述受试者；其中所述处理器系统还被配置用于生成表示所述器械表示的器械图标和解剖结构图标，并将所述器械图标和所述解剖结构图标显示在所述第一视图屏幕或所述第二视图屏幕中的至少一个上与所述受试者间隔开的位置，以允许所述用户在查看所述器械图标和所述解剖结构图标时具有所述受试者的基本上不受阻碍的视图。2.根据权利要求1所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述可穿戴视图屏幕和相机系统进一步包括：其中，所述处理器系统进一步可经操作以执行指令(i),以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的所述第一信号和来自所述第二相机的第二信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置。3.根据权利要求2所述的用于在对受试者进行手术时查看所述受试者的系统，其中，在所述第一视图屏幕和所述第二视图屏幕上显示时所述器械表示被所述用户视为单个立体4.根据权利要求3所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述器械表示在所述用户看来如同处于所述用户的视野中的所述器械的一部分，其中所述用户通过所述第一视图屏幕和所述第二视图屏幕查看所述器械表示和所述受试者两者。5.根据权利要求3所述的用于在对受试者进行手术时查看所述受试者的系统，其进一步包括：存储器，其上存储所述受试者的手术区中的至少一部分的图像；其中，所述图像包括表示被连接到所述受试者的所述受试者标记的图像部分；其中，所述处理器系统执行另外的指令以(i)配准所述手术区中的所述至少一部分的所述图像，和(ii)使用所述第一视图屏幕或所述第二视图屏幕中的至少一个显示解剖结构其中，所述解剖结构表示被配置为出现在所述用户的与所述受试者相关的视野中；3其中所述用户可在所述用户的视野中查看所述解剖结构表示和所述受试者两者。6.根据权利要求5所述的用于在对受试者进行手术时查看所述受试者的系统，其中所述器械表示和所述解剖结构表示均被配置为出现在所述用户的与所述受试者相关的视野7.根据权利要求2所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述第一视场和所述第二视场重叠。8.根据权利要求1所述的用于在对受试者进行手术时查看所述受试者的系统，其进一步包括可相对于所述受试者移动并且可连接到所述器械跟踪装置的器械。9.一种用于在对受试者进行手术时查看所述受试者的系统，包括：可穿戴视图屏幕和相机系统，其被配置为相对于用户的第一眼睛保持，其具有：安装结构；第一视图屏幕，其被配置为定位靠近所述用户的所述第一眼睛并且固定到所述安装结固定到器械的器械跟踪装置，其可由所述第一相机查看；受试者标记，其能够由所述第一相机查看，其中所述受试者标记是被配置为连接到所述受试者的现实世界对象并且被用作基准点；和处理器系统，其被配置为执行指令(i),以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，并由此确定所述器械相对于所述受试者标记的相对位置，和(ii)生成待显示于待由所述第一眼睛查看的所述可穿戴视图屏幕和相机系统的所述第一视图屏幕中的器械图标，其中，所述第一视图屏幕基本上是透明的并被配置用于允许所述用户通过所述第一视图屏幕查看所述受试者；其中所述处理器系统还被配置用于生成所述器械图标和解剖结构图标，并将所述器械图标和所述解剖结构图标显示在所述第一视图屏幕上与所述受试者间隔开的位置，以允许所述用户在查看所述器械图标和所述解剖结构图标时具有所述受试者的基本上不受阻碍的视图。10.根据权利要求9所述的用于在对受试者进行手术时查看所述受试者的系统，其中所述可穿戴视图屏幕和相机系统进一步包括：第二相机，其被配置为具有第二视场并且固定到所述安装结构；其中，所述第一视场与所述第二视场不同；第二视图屏幕，其被配置为定位靠近所述用户的第二眼睛。11.根据权利要求10所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述可穿戴视图屏幕和相机系统被配置为使得所述用户能够通过所述第一视图屏幕和所述第二视图屏幕同时查看所述受试者。12.根据权利要求10所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述可穿戴视图屏幕和相机系统被配置为使得所述用户能够利用所述第一视图屏幕和所4述第二视图屏幕同时查看所述受试者、所述器械图标和辅助图像。13.根据权利要求12所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述处理器系统被配置为执行另外的指令，以配准(i)所述受试者的预先获取的图像与(ii)使用所述第一相机和所述第二相机的所述受试者的视图；其中，使用所述第一视图屏幕或所述第二视图屏幕中的至少一个来显示与所述受试者配准的预先获取的图像的至少一部分；其中，使用所述第一视图屏幕或所述第二视图屏幕中的至少一个将所述器械图标示出在所述器械相对于预先获取的图像的所述至少一部分的确定位置处。14.一种用于在对受试者进行手术时查看所述受试者的系统，其包括：第一实时图像捕获系统，其可经操作以获得所述受试者的图像；可穿戴视图屏幕和相机系统，被配置用于由用户穿第一视图屏幕，其被配置为定位靠近所述用户的第一眼睛；第二实时图像捕获系统，其被配置为具有第一视场；可固定到器械的器械跟踪装置，其可由所述第二实时图像捕获系统查看；受试者标记，其能够由所述第二实时图像捕获系统查看，其中所述受试者标记是被配置为连接到所述受试者的现实世界对象并且被用作基准点；辅助显示装置，其与所述可穿戴视图屏幕和相机系统分离，其中，所述辅助显示装置可与所述第一视图屏幕分离和单独地查看；处理器系统，其被配置为执行指令(i),以基于来自所述第二实时图像捕获系统的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，并由此确定所述器械相对于所述受试者标记的相对位置，和(ii)生成待使用至少所述辅助显示装置显示的器械表其中，所述第一视图屏幕基本上是透明的并被配置用于允许所述用户通过所述第一视图屏幕查看所述受试者；其中所述处理器系统还被配置用于生成表示所述器械表示的器械图标和解剖结构图标，并将所述器械图标和所述解剖结构图标显示在所述第一视图屏幕上与所述受试者间隔开的位置，以允许所述用户在查看所述器械图标和所述解剖结构图标时具有所述受试者的基本上不受阻碍的视图。15.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，还包括跟踪系统，所述跟踪系统被配置为跟踪至少所述第一实时图像捕获系统和受试者跟踪设备，其中所述受试者跟踪设备被配置为跟踪所述受试者的位置，所述处理器系统进一步被配置为执行指令以：配准所述第一实时图像捕获系统的跟踪位置和所述受试者的跟踪位置；和生成待用至少所述辅助显示装置显示的所述第一实时图像捕获系统的表示。16.根据权利要求15所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述受试者标记和所述受试者跟踪设备集成在被配置为连接到所述受试者的单个设备中。17.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述第一实时图像捕获系统被配置为在所述受试者内移动并获得所述受试者的图像；并且所述辅助显示装置可经操作以显示所获得的图像。518.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述第一实时图像捕获系统被配置为在所述受试者内移动；并且所述第一视图屏幕或所述可穿戴视图屏幕和相机系统的第二视图屏幕中的至少一个可经操作以显示所获得的图像。19.根据权利要求17所述的用于在对受试者进行手术时查看所述受试者的系统，其中，所述显示的所获得的图像被分别显示并与被配置为显示供用户使用或查看信息的补充查看区域中的所述生成的器械表示间隔开。20.根据权利要求18所述的用于在对受试者进行手术时查看所述受试者的系统，其进一步包括：用户输入件，其用于开启和关闭所述获得的图像的所述显示。21.根据权利要求14所述的用于在对受试者进行手术时查看所述受试者的系统，其进一步包括：视图屏幕和相机系统跟踪装置；其中，所述处理器系统被进一步配置为执行指令以配准所述视图屏幕和相机系统跟踪装置的参考框架和所述受试者的跟踪位置的参考框架；其中，使用所述辅助显示装置的显示至少部分地基于所述视图屏幕和相机系统跟踪装置的跟踪位置。6技术领域[0001]本公开涉及执行程序，并且特定而言涉及将图像空间与真实或受试者空间配准。背景技术[0002]在所选择的程序期间，用户可获取基于根据受试者的图像数据的受试者的图像。通常，可使用各种成像技术或系统来获取图像数据，并且可重构图像数据以供用户在远离手术区定位的显示装置(如，平板或平板屏幕、阴极射线管等)上查看。手术区可与用于执行所选择的程序的受试者，如人类患者相关。举例来说，可执行窦程序并且可在不覆盖受试者的显示装置上显示受试者的窦的图像。[0003]程序可进一步包括如用内窥镜直接查看关注区或手术区的至少一部分。内窥镜可将相机定位在所选择的位置，如在鼻或可触及的窦腔内。内窥镜在所选择的解剖区域内的各个位置处可具有有限的移动范围和/或视场。发明内容[0004]此部分提供对本公开的整体概述，并且并非是其全部范围或所有其特征的详尽公开内容。[0005]在各种实施例中，可相对于受试者的一部分定位器械以执行程序。受试者可包括有生命的受试者或无生命的受试者。在各种实施例中，有生命的受试者可包括人类，并且可相对于鼻道和/或窦腔执行正在执行的程序。举例来说，可发生球囊窦扩张手术，如使用由在明尼苏达州(Minnesota)具有营业地点的美敦力有限公司(Medtronic,Inc.)出售的NuVentREM球囊窦扩张系统执行的程序。应理解，不需要用电磁(EM)导航器械来执行窦扩张，然而，用充气器械来扩张窦可包括包含各种充气和扩展特征的器械，如NuVent®窦扩张手术。[0006]在各种实施例中，程序可发生在受试者的手术区中。手术区可为特定或有限的区域或体积，在所述区域或体积上正在执行程序或相对于所述区域或体积正在执行程序。手术区也可被称为关注区或在其中包括关注区。在各种实施例中，例如，可对人类受试者的窦进行手术，如用于执行清创术、扩张术或其它适当的程序。程序可在手术区内发生，而关注区可包括患者或颅骨的整个头部。[0007]对窦执行的手术通常可为低侵入性或非开放性程序。在低侵入性程序中，使用各[0008]用于执行程序的器械可包括被配置为或可经操作为由跟踪系统跟踪的跟踪装置。在各种实施例中，跟踪系统可包括视觉或光学跟踪系统，所述视觉或光学跟踪系统如通过查看或记录来跟踪器械上的跟踪装置。然后，包括处理器系统的导航或跟踪系统可基于操作端与跟踪装置之间的已知和/或预定几何关系来确定操作端相对于跟踪装置的位置。[0009]跟踪系统可包括相对于显示装置定位的一个或多个相机或光学跟踪装置。显示装置可包括透明或半透明的视图屏幕。视图屏幕可相对于用户定位，如允许用户通过视图屏7幕查看受试者。视图屏幕可安装到允许用户将视图屏幕穿戴在相对靠近用户眼睛的结构上，使得视图屏幕填充用户视场的全部或相当大部分。然后可在视图屏幕上显示显示的图像，以允许用户在查看图像的同时还查看受试者。器械的跟踪位置或其至少一部分(如操作端)也可使用视图屏幕显示在显示器上。因此，相机可与用户穿戴的装置相关联，以允许确定器械相对于手术区和/或手术区中的关注区的位置，并且通过显示器械的跟踪位置来叠加在图像上或增强用户对受试者的查看。[0010]系统可包括查看部分或系统和跟踪部分。查看部分可查看真实对象(例如，受试者)和显示的图像。因此，查看系统可为增强现实查看系统。除此可包括与受试者分离或隔开的视图屏幕或监视器。另外，可使用所选择的成像系统(如内窥镜)实时捕获图像。内窥镜可相对于受试者定位，如在鼻道和/或窦内，并且可将使用内窥镜获取的图像与在手术程序之前获取的受试者的视图同时显示。因此，查看系统可用于显示和查看实时和预先获取的图像。可使用各种技术(如本文另外描述的那些技术)将两种类型的图像与受试者配准。[0011]根据本文所提供的具体实施方式，其它应用领域将变得显而易见。此发明内容中的描述和特定实例预期仅出于说明的目的，并且并不旨在限制本公开的范围。附图说明[0012]本文中所描述的图仅出于说明选定实施例而非所有可能实施方案的目的，并且并不只在限制本公开的范围。[0013]图1为用户和查看系统的环境视图；[0014]图2A为根据各种实施例的包括器械的关注区的真实/物理世界视图；[0015]图2B为根据各种实施例的包括器械的关注区的真实/物理世界视图；[0016]图3A为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看[0017]图3B为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看[0018]图3C为根据各种实施例的使用显示装置查看至少一个显示图标和实时图像的用[0019]图4为示出显示系统的操作的流程图。[0020]对应附图标记贯穿附图的若干视图指示对应部分。具体实施方式[0021]现将参考附图更充分地描述实例实施例。[0022]参考图1,在手术室或手术房间10中，如外科医生12的用户可对如患者14的受试者执行程序，所述受试者可躺在病床或支撑架15上或由其支撑。患者14可限定患者纵向轴线141。为了帮助执行程序，用户12可使用成像系统16来获取患者14的图像数据，以允许所选择的系统生成或创建图像来帮助执行程序。成像系统16可包括任何适当的成像系统，如计算机断层扫描(CT)成像器、由美敦力有限公司出售的O-Arm®成像系统和/或由在意大利维罗纳(Verona,Italy)具有营业地点的NewTom出售的NewTomRVGievo锥形束成像器。8[0024]显示装置20或增强视图屏幕21中的任一个或两个都可为处理器系统22的一部分和/或连接到所述处理器系统22,所述处理器系统22包括输入装置24(输入装置可包括键结合的一个或多个处理器或微处理器，以及所选择的类型的非暂时性和/或暂时性存储器CO,USA)具有营业地点的美敦力导航有限公司(MedtronicNavigation,Inc.)出售的选择的程序期间使用，如美国专利号8,238,631;9,411,057;和9,807,860中描述的成像系[0026]当例如包括O-Arm®成像系统时，成像系统16可包括包含控制器和/或控制系统33b可包括由处理器33a执行以控制成像系统(包括成像系统16的各个部分)的各种指令。制系统可包括处理器33a(其可为通用处理器或特定的应用程序处理器)和存储器系统33b本领域的技术人员所理解的，由源36发射的x射线可以锥形发射并且由检测器38检测。源36/检测器单元38通常在台架34内在直径上相对。检测器38可在台架34内围绕患者14以者14的纵向轴线14L和推车30沿线44纵向移动，可相对于推车30并且横向于患者14通常沿处理器26连接，所述连接50可包括从成像系统16到处理9[0029]源36可为任何适当的x射线源，如多功率x射线源。然而，应理解，成像系统16可为任何适当的成像系统，如磁共振成像(MRI)系统、C型臂x射线成像系统；计算机断层扫描(CT)成像系统等。然而，使用所选择的成像系统获取的图像数据和/或图像可显示在显示装[0030]另外应理解，在对患者14执行程序之前，可以操作成像系统16以获取图像数据和/或图像。举例来说，可获取和研究图像以诊断和/或计划用于患者1执行程序的用户12不需要在与正在执行的程序相同的房间中使用成像系统16。[0031]根据各种实施例，成像系统16可与跟踪系统和导航系统一起使用，所述跟踪系统和导航系统包括如本文所讨论的各个部分，可经操作以跟踪成像装置16和/或其它部分的位置。跟踪系统可包括定位器和/或数字化器，包括光学定位器60和电磁定位器62中的任一个或两个，可用于在相对于患者14的导航域内生成场和/或接收和/或发送信号。相对于患者14的导航空间或导航域可与图像18配准。如本领域中所理解的，相关性允许在导航域内定义的导航空间和由图像18定义的图像空间的配准。[0032]在各种实施例中，患者跟踪器或动态参考框架64可连接到患者14,以允许动态跟踪和维持患者14与图像18的配准。患者跟踪装置或动态配准装置64允许配准图像，并且然后将其用于所选择的程序。在各种实施例中，定位器60、62可跟踪患者跟踪器。可在各种特征(如定位器60、62,成像系统16以及接口系统76和处理器系统22(其可为导航处理器系统))之间提供另外的通信线74。在各种实施例中，通信系统74可为有线的、无线的或使用物理介质传输系统(例如，对存储器芯片的读/写)。[0033]另外，台架34可包括如使用光学定位器60或电磁定位器62中的一个或多个来跟踪的跟踪装置，如光学跟踪装置82或电磁跟踪装置84.因此，成像装置16可相对于患者14被跟踪，器械66也可跟踪，以允许患者14相对于图像18的初始配准、自动配准或继续配准。配准和导航过程在上面并入的美国专利号8,238,631中讨论，其以引用的方式并入本文中。[0034]本领域技术人员将理解，器械66可为任何适当的器械，如心室或血管支架、脊柱植装置。跟踪器械66允许使用配准图像18查看器械66相对于患者14的位置(包括x、y、z位置和定向),而无需在患者14内直接查看器械66。[0035]继续参考图1并且额外参考图2A,除患者跟踪器64之外和/或作为替代，患者14可包括一个或多个患者标记或跟踪器100(在本文中称为100和小写字母)。患者跟踪器100可包括各种特征，如为不透明的或用各种成像系统(如，X射线或MRI)可成像的。根据各例，根据各种实施例的跟踪器100通常可为可见的或捕获在使用成像系统16获取的图像数据中。因此，患者标记100可在受试者14的图像或图像数据中被识别。[0036]在各种实施例中，可通过处理器系统26和/或33a或任何其它适当的成像处理器或处理器系统基本上自动地识别患者标记100。标记100可包括可在图像或图像数据中识别的所选择的和/或唯一的几何形状。可使用各种技术来分割和识别所选择的图像或图像数据中的标记100.然而，还应理解，用户12可如通过选择图像中的部分并且使用一个或多个用户输入24将所述部分识别为标记100来识别图像数据中的标记。[0037]标记100可以任何适当的方式定位在患者14上。举例来说，标记100可如使用自粘背衬、添加到标记100和/或患者14的适当的胶水或粘合剂材料或其它适当的机制粘附到患者14.另外，或除此之外，标记100(例如，标记100d和100e)可固定到患者14的骨结构上。标记100可形成或提供为螺钉，或具有螺纹部分，以允许它们旋入并且固定地定位到如患者14的颅骨的骨结构中。[0038]不管连接技术如何，标记100在所选择的时间定位在患者14上。通常，标记100在成像之前被定位在患者14上，如利用成像系统16获取患者14的图像数据或图像。因此，当操作图像系统16以获取患者14的图像时，标记100定位在患者14上并且将出现在任何获取的图像数据或图像中。鼻尖、眼角、耳垂等。尽管如此，基准点，无论是由标记100提供的和/或患者14的解剖基准点，都可用于配准由成像系统16获取的图像。本领域技术人员应理解，患者14获取的图像可定义图像空间。图像空间可为手术区或程序区(RO)和/或大于但至少包括RO的区域，如称为关注区(ROI)。应理解，程序可在关注区中的特定区域中发生。尽管如此，图像数据或空间的坐标可在物理或真实空间中与患者14相关或配准。标记100可用于将图像空间与患者和/或由患者14所定义的导航空间和/或在患者14之内或相对于其的手术区配准。[0040]如上所述，器械66可为任何适当的器械。器械66可包括扩张器器械，其包括可定位在患者14的一部分内，如通过鼻道112,并且进入患者14的一个或多个窦(如额窦)内的远侧端部110.器械66可进一步包括近侧端部114,连接器116连接到所述近侧端部114,充气系统(未示出)可连接到所述连接器116,例如连接至连接器或接头。连接器116可允许材料穿过器械66,如手柄120,进入器械66的远侧端部110处或附近的球囊或其它可扩张部分122。如本领域技术人员通常理解的，球囊122的充气可扩展以扩张或扩展窦的一部分。[0041]在各种实施例中，用户12可如使用手130抓握器械66。然后，用户12可相对于患者14如在患者14内移动器械66,以便将器械远侧端部110移动到如上颌窦134的窦中。然而，应理解，根据各种配置的包括器械66的各种器械也可用于进入患者14的其它窦的一个或多个[0042]器械66可进一步包括跟踪装置146。跟踪装置146可附连到器械66,如细长的手柄部分120。通常，跟踪装置146相对于手柄120基本上为固定的，使得用户12(例如，用户用手130)对手柄120的移动使手柄120和跟踪装置146移动。根据各种实施例，跟踪装置146还相对于器械66的远侧端部110刚性地固定在空间中。因此，知道跟踪装置146的位置(例如方位和/或定向)将允许知道远侧端部110的位置。另外，远侧端部110可沿相对于手柄120的轴线120a成角度150的轴线110a延伸。因此，跟踪装置146可被定位并且相对于待跟踪的远侧端部110具有已知的或预定的位置和几何形状，以确定远侧尖端110相对于附连到手柄120的跟踪装置146的位置。[0043]除了用户12可使用的器械66之外，相对于受试者14还可使用额外器械。举例来说，如图2B所示，用户12可包括或操作成像系统137。成像系统137可包括远侧图像捕获部分139,如相机镜头或相机。成像器械137通常可被理解为是内窥镜，如由美国奥林巴斯(01ympusAmerica)出售的EVISEXERAIII内窥镜。根据各种通常已知的技术和实施例，内窥镜137可由用户12相对于受试者14定位。图像收集部分139可对受试者14的各个部分成像，如包括窦腔134的受试者14的内部部分，或包括鼻道112的其它适当的部分。如本文中另外讨论的，内窥镜137可捕获基本上可为实时的图像，如在将器械66定位在受试者14内期11间。使用内窥镜137捕获的实时图像可显示在各种显示装置或查看系统上，如显示装置20和/或AV21。因此，内窥镜137可用于根据通常已知的技术在成像部分或端部139处捕获图像并且显示图像。图像可通过如无线或有线发送系统的各种系统被发送到处理系统22,以在包括显示装置20和/或AV21的所选择的显示器或查看系统上显示。来自内窥镜137的信号可为数字信号和/或模拟信号，并且可直接从内窥镜和/或通过接口系统76发送。无论如何，用户12和/或任何其他适当的个人都可查看在内窥镜137的成像部分139处获取的图像。另外，可出于各种目的捕获和记录图像。[0044]如上文所讨论，内窥镜137可用于获取受试者14的图像。为了帮助获取图像或执行程序，可由一个或多个跟踪装置确定内窥镜的位置，特别是正在获取的图像的位置。举例来说，内窥镜跟踪装置147可结合到内窥镜137上，类似于连接到仪器66的跟踪装置146,如上文所讨论。跟踪装置147可包括一个或多个可查看标记或部分147a,类似于跟踪装置146上的标记146a。因此，如本文所论述，跟踪装置147可与AV21一起查看或成像，以由所选择的跟踪系统来进行跟踪，如本文中另外讨论的。跟踪装置147可用于确定捕获图像的端部139的位置，以帮助确定图像在患者14内的位置。内窥镜137可定位在受试者14内，如在用户12不可直接查看的窦腔134内。额外的和/或替代的跟踪装置可包括可在图像捕获端部139处或附近定位或结合到内窥镜137中的端部跟踪装置143.跟踪装置143可类似于上文讨论的跟踪装置64。跟踪装置143可为光学跟踪装置、EM跟踪装置、超声跟踪装置或其它适当的跟踪装置。如本文中另外讨论的，器械137的配准，如与跟踪装置143的配准，以及患者或受试者跟踪器64的配准，可用于帮助配准和维持内窥镜137相对于受试者14的配准。[0045]用户12还可具有和/或使用替代或增强视图屏幕或查看系统21以在程序期间使用。AV21可为适当的装置，其包括至少一个视图屏幕并且通常包括两个视图屏幕，包括第一视图屏幕160和第二视图屏幕162。视图屏幕可固定到框架构件166,所述框架构件166可具有一个或多个镜腿构件168,以允许AV21被用户12以与眼镜类似的方式穿戴。因此，视图屏幕160、162可通常定位在用户12的两只眼睛172和174的前面。以这种方式，图像可显示在视图屏幕160、162中的一个或两个上，以允许用户12查看图像。AV21可包括一个或多个各种装置和系统，如由微软公司(MicrosoftCorporation)出售的HololensR可穿戴计算机外围配置、由在加利福尼亚州旧金山(SanFrancisco,California)具有营业地点的OsterhoutDesignGroup出售的R-9Smartglasses可穿戴计算机外围配置，和/或由在加利福尼亚洛杉矶具有营业地点的DAQRI出售的DAQRISmartGlassesR可穿戴计算机外围配[0046]在各种实施例中，除了显示图像(例如，图标或渲染)的部分之外，视图屏幕160、162也可为基本上透明的。因此，用户12可查看患者14以及由视图屏幕160、162显示的任何图像。此外，由于两个视图屏幕160、162显示所选择的图像，因此用户12可相对于患者14将显示器感知为基本上立体的和/或三维的。因此，如本文中另外讨论的，用户12可在执行程序时查看患者14和图像。[0047]AV21还可包括一个或多个相机，如第一相机180和第二相机182。两个相机180、182可用于查看关注区，如患者14的头部。如图2A所示，当在手术区中如在患者14的窦中执行程序时，用户12可基本上查看患者的头部和颈部。因此，相机180、182也可出于各种目的查看患者14,如本文另外讨论的。此外，相机可查看关注区中的其它对象，如器械66上的跟踪装置146和/或标记100。跟踪装置146可包括一个或多个可查看标记或部分146a,其可由[0048]尽管本文公开和讨论使用两个相机180、182来查看和确定跟踪装置146和/或标记个，如本文所讨论。基于跟踪装置146、跟踪装置147和/或标记100上的各种特征(例如形状、图像等),单个相机(如相机180)可用于确定相对于相机180和/或相对于其它可跟踪物体的位置(即x、y、z坐标和定向)。举例来说，相机180可用于确定跟踪装置146(并且因此器相对于标记100的相对位置。另外，相机180可放置在相对于用户12的任何位置，如在用户12的头部与AV21分离。然而，相机180仍然可与处理器系统22保持通信，以在视图屏幕160、162中的一个或多个上显示各种图像。[0049]因此，包括相机180、182的AV21可结合器械66上的跟踪装置146查看患者14上的标记100。患者14上的标记100可通过相机180、182来查看，并且可通过用户12来识别和/或通过在处理器系统上执行指令(如通过使用处理器26执行指令)来基本上自动地识别。[0050]如上文所讨论，处理器系统22可访问指令，如存储在存储器27上的那些指令，以帮助识别图像中的标记100。相机180、182可具有包括关注区的视场，所述关注区包括患者14的头部并且还查看标记100。可包括在所选择的软件中的指令可如通过图像的分割并且识别标记100的所选择的形状、密度、颜色等来识别查看的图像中的标记100。[0051]一旦识别标记100,使用成像系统14获取的图像就可如使用处理器系统22来配准，以在其中将包括标记100的图像配准在AV21的相机180、182的视场中。可通过使由图像装置16获取的图像数据中的识别的标记100与使用AV21的相机180、182获取的视场图像中的标记100相匹配来发生配准。在使用成像系统16获取图像数据期间并且当在程序期间在相机180、182的视场中时，标记100通常维持在患者身上的相同位置。也可由于内窥镜137上的跟踪装置143和患者跟踪器或动态参考框架64而发生配准。如上文所讨论，可由于各种配准技术而发生配准，如美国专利号8,238,631中公开的那些，其以引用的方式并入本文中。可通过跟踪跟踪装置143(与内窥镜137相关联)和/或患者跟踪器64来进行配准。另外，AV21可包括跟踪装置149,其可允许AV21在相对于内窥镜137上的受试者或动态参考框架64和/或跟踪器143的相同或类似跟踪系统和/或参考系中被跟踪。因此，AV21可相对于内窥镜137和/或受试者14被配准。使用内窥镜137获取的此图像可用于相对于用户12的视图显示相对于用户12的视图进行显示或用于由用户12查看，如本文另外讨论的。[0052]如上文所讨论，参考图2A和图2B,使用其中标记100连接到患者14的成像系统16获取的图像数据和/或图像将包括标记100的数据。如上文所讨论，可在使用成像系统16获取的图像数据或图像中识别标记100。标记100也可由与AV21相关联的相机180、182查看。相机180、182还可查看患者14以识别或辅助识别解剖基准标记。尽管如此，在使用成像系统18获取的图像数据中识别的标记100也可在使用相机180、182获取的图像中被识别。本领域技术人员应理解，使用相机180、182获取的图像可为任何适当类型的图像，如彩色图像、红外光图像等。尽管如此，在使用成像系统16获取的图像数据中识别的标记100的匹配可与使用相机180、182查看的标记的识别位置匹配，以将由AV21查看的空间或视场与使用成像系统16获取的图像的图像空间配准。因此，如本文中另外讨论的，使用成像系统16获取的图像或图像的部分可与视图屏幕160、162一起显示为看起来像叠加在患者14上。[0053]由于受试者跟踪器64和内窥镜137上的跟踪器143,受试者14还可相对于目前获取的图像或使用内窥镜137获取的实时图像进行配准。可如使用基准标记100d和/或其它基准特征来对受试者14进行配准。因此，也可将使用内窥镜137获取的实时图像与预先获取的图像配准。因此，可将预先获取的图像如使用相机180、182与仪器66配准和/或经由AV21跟踪器149与AV21配准。因此，可将使用内窥镜137获取的图像与受试者14的预先获取的图像配[0054]用户12可通过AV21查看受试者14,如图3A和图3B所示。用户12可查看或具有视场21f,如图3A和图3B中的虚线所示。视场21f可代表当查看受试者14时用户12通过AV21的视图，或者通过AV21的任何区域。因此，用户12可查看真实或物理的受试者14,并且视图还可通过由AV21显示的图形表示(在本文中也称为图标)来增强。当通过AV21查看视场时，图标或图形表示可显示在视场21f中，以由用户12查看。[0055]除了图标之外，如本文中另外讨论的，可以在AV视场21f内显示附加图像或图像区域153,以供用户12查看。补充查看区域153可以用于显示供用户12使用或查看的各种图像或信息。例如，可以在内窥镜137中获取的实时图像显示在辅助或扩大观察区域153中。因此，用户12可以在视场21f中查看受试者14以查看受试者14,如本文进一步讨论的各种图形表示以及辅助或附加查看区域153中的附加图像(例如内窥镜图像)。用户12还可以选择性地选择或选定要在辅助显示区域153中显示的信息，如预先获取的图像，使用内窥镜的实时图像或其他适当信息。[0056]另外参考图3A和图3B,例如，鼻窦诸如上颌窦134可被显示为上颌窦图标134’。图3A是用户12通过AV21查看患者14以及用视图屏幕160、162显示的各个部分的视角的图示。因此，如上所述，可以显示上颌窦图标134'以供用户12查看，就好像用户12可以看到患者14中并查看上颌窦134一样。上颌图标134’可以是图像数据的图形渲染或代表上颌窦的人工创建图标。[0057]也可以选择它来说明患者14的其他解剖结构如额窦136和一个或多个蝶窦138。用户12还可以查看任何现实世界对象如患者14和/或固定到患者14的标记100。用户还可以查看其他现实世界部分，如患者支撑架15.因此，通过经由视图屏幕160、162的透明部分进行查看，用户12可以查看由于屏幕160、162而叠加在患者14上的特征以及现实世界中的物体。以确定跟踪装置146相对于标记100的位置。标记100的位置被放置在患者14上以识别患者14的位置。器械跟踪装置146相对于标记100中的一个或多个的已知位置允许确定器械66的一部分相对于跟踪装置146和患者14。如上所讨论，器械的远侧端部110可以相对于跟踪装置146处于已知且固定的位置。因此，远侧端110相对于跟踪装置146的已知且固定的相对位置(例如，几何形状)可以存储在存储器27或其他合适的存储器中。[0059]跟踪装置146的被跟踪位置可以通过基于跟踪装置的“视图”用相机180、182中的一个或多个对跟踪装置146的位置进行三角测量来确定。处理器系统22可以执行本领域中通常理解的指令，以然后确定远侧端部110和/或工作部分(如122的可充气构件)的位置，并且通过将其在视图屏幕160、162上显示，器械图标可以示出为包括或示出相对于患者14的各个部分。处理器系统22执行的指令可以包括存储在存储器27中和从其中调用的指令。指令可以包括基于来自两个相机180、182的单独视图，基于对所查看的部分(如跟踪装置146)的位置进行三角测量的算法的那些指令。单独的视图可以用于从两个相机180、182生成信号(例如，包括图像数据),并且信号可以被发送到处理器系统22。跟踪装置146的位置的三角测量可以基于两个相机180、182之间的已知距离以及由两个相机180、182中的每一个捕获的每个单独的视图。[0060]因此，视图屏幕160、162可以包括图形表示，其也称为远侧端部的图标110'和/或162中的一个或多个上的图标，如它看起来相对于患者14叠加或显示。应当理解，可以使用器械66的多于一部分的图标，因此，器械图标66'可以被示为包括器械66的所有部分的整个[0061]AV21可以与处理器系统22通信和/或可以包括机载处理和/或其他通信特征以与其他处理器系统通信。因此，可以通过AV21的相机180、182将如患者14的头部的关注区域的视图发送到处理器系统22。至少由于相机180、182的间隔，可以针对空间中的每个查看点，如相对于相机180、182的标记100和/或跟踪装置146,确定三角测量。可以如通过用处理器系统22执行指令来确定跟踪装置146相对于标记100中的一个或多个的相对位置。[0062]从两个相机180、182中的一个或两者接收图像的处理器系统22可以处理并确定各种跟踪的或任何查看的部分(如标记100和跟踪装置146)之间的距离。因此，执行在存储器27中访问的指令的处理器系统22然后可以将所选择的和/或适当的图像部分(如器械图标66’或其一部分)和/或其他成像的特征(如表示包括额窦136’的窦或来自图像数据的其他适当部分的图标)提供给视图屏幕160、162。预先获取的图像(如基于跟踪装置146的跟踪位置和/或标记100,用成像系统16获取的那些图像)的配准可以基于已知的配准技术，如美国专利第8,238,631号中公开的那些，所述专利通过引用并入本文。配准可以是基本上自动的和/或基于对患者14上的图像18和/或标记100中的基准标记如标记100的识别。[0063]因此，用户12可以基于视图屏幕160、162相对于患者14查看患者14和其他特征，如器械图标66'。相机180、182可以提供相对于用户12和患者14的所有跟踪信息，用于确定器械66的各个部分(如远侧尖端110)的位置，用于用视图屏幕160、162显示它们。用户12的感知可以是，即使器械66在患者14内，其相对于患者14也是可以看到的。另外，用成像系统16获取的图像数据可以相对于患者14用视图屏幕160、162显示为特征，如图标。同样，患者14此，如图3A所示，患者14的视图可以被增强以示出在其他情况下用户12无法以用户12的视力看到的特征。换句话说，用户12可以在物理空间中查看患者14,如图3A所示，并且如可以用上面讨论的图标或渲染来查看患者14内的区域的表示。该视图也可以是3D,并且随着用户相对于患者14和/或器械66的移动而发生角度变化。[0064]如在图3A中具体示出的，可以通过视图屏幕160、162查看患者14。可以相对于器械66的图标66’显示各种图标，例如上颌图标134’和蝶形图标138'。这些图标可以具有各所选择的不透明度和/或切面，以相对于解剖结构图标(例如蝶骨图标138’)查看器械图标66’。因此，查看包括如蝶骨图标138’和器械图标66'的图标的视场的用户12可以同时看到两个图标。此外，用户12可以通过基本上同时查看器械图标66’和窦图标(例如蝶窦图标138')来感知器械66在所选择的窦(例如蝶窦138)内的位置。换句话说，可以选择各种图标(例如，窦图标)的不透明度以具有透明视图，从而能够查看在所选择的解剖部分内或好像在所选择的解剖部分内的器械图标。这允许用户12基本上同时并且好像存在于患者14上一样查看患者14以及器械和解剖结构的图标，如图3A所示。[0065]除此之外或替代地，各种图标可以显示在远离患者14的位置处。例如，如图3B所示，器械图标66’可以显示为远离患者14,但是在相对于如蝶骨图标138’的解剖部分图标的跟踪和确定的位置处。可以选择仅示出与器械66相互作用或已经通过的那些解剖部分，因此可以不必示出所有图标。应当理解，即使当器械66在鼻道112内并且从用户12的非增强视图中看不清楚时，各种通路，如在解剖结构的各个部分之间如通过鼻道112的图标通路139'(参见图3A和图3B)也是如此。因此，如图3B所示，应当理解，表示或基于患者14的所获取的图像数据的解剖结构的显示部分可以显示在远离患者14上的相应和相对的物理位置的位置处。因此，如窦图标的图标可以显示在距患者14一定距离处。这可以允许用户12得到患者14的更加无障碍和/或基本上无障碍的视图，同时还能够查看器械66相对于所选择的解剖部分的相对位置。些图像可基本上同时且实时地获取。也就是说，用户12也可以将内窥镜放置在鼻道112中，并且视图屏幕160、162中的一个或多个可以显示内窥镜视图。因此，应当理解，用户12可将内窥镜与器械66一起定位通过鼻道112,以提供实时和内窥镜查看点，其也可显示在视图屏幕160、162上并且相对于所选择的图标如窦图标和/或器械图标66'显示。[0067]此外，应当理解，各种图像可以显示在两个视图屏幕160和162上，或者显示在视图屏幕160、162中的仅一个上。应当理解，在两个视图屏幕160、162上显示的图像可以基本上相似，但是被改变以允许用户12基于图像数据和/或图标感知所选择部分如鼻窦和/或器械66的深度和/或三维度。因此，显示器160、162可以具有相同的显个视图屏幕仅一个显示，或者可以相似以提供深度感知以供用户12查看。[0068]如上所讨论，辅助图像153可以示出或图示器械66的位置，如在辅助图像153中示此，远侧端部图像110”也可以是器械66的实时图像。辅助图像153还可以显示解剖结构的表面，例如在鼻窦内，以供用户12在所选择看受试者14、相对于受试者14显示和/或叠加在受试者14上的器械的图形表示、相对于受试者14显示和/或叠加在受试者14上的受试者的预先获取的图像，和/或辅助图像，如器械66表示也可以显示在如显示装置20的各种其他显示装置上。显示装置20还可以单独或组合地查看或显示器械66的位置的图形表示、预先获取的图像和实时图像。[0069]参考图3C,视场也可以用显示装置20显示。在各种实施例中，内窥镜的视图可以作为辅助视图153’显示在显示器20上。图标110’和解剖结构的部分，装置20显示。当在显示装置20上显示时，图形表示可以基本上是三维(3D)的。因此，视场显示21f可以基本上在显示装置20上再现，尽管可以不显示患者14,但是可以仅显示如窦134'的获取的图像以及如用内窥镜137实时获取的图像。应当理解，显示装置20可以是可移动的，并且为了用户12的最佳视野而定位。[0070]无论是在显示器20上显示和/或在视场21f中用AV21显示，图形表示的显示(例如窦134’和器械110')可以是从用户12的角度来看的。因此，当用户12相对于受试者12移动时，视场21f中和/或显示装置20上的显示可以改变以为用户12提供显示，就好像用户12正在受试者12内在所选择的位置观看一样。换句话说，如果用户12移动到从下方而非上方观看的受试者12的头部处的位置，则图形表示的显示将被改变以匹配用户12相对于受试者14的位置。在各种实施例中，可以通过跟踪器149和/或与AV21相关联的成像装置180、182的视图来确定用户12的确定位置。[0071]继续参考图1-3B并另外参考图4,在流程图210中描述了一种用户12使用AV21来帮助执行程序，如相对于包括额窦136的窦中一个或多个的程序的方法。通常，过程可以在开始框214中开始。在开始方框214中开始过程之后，可以执行图像数据或受试者14的图像的获取。可以以任何适当的方式执行图像数据或图像的获取。例如，可以在执行程序之前的所选择的时间，如当患者14准备好将器械66引入患者14中时，获取受试者14的图像并存储在如存储系统27和/或存储系统33b的存储系统上。可以用所选择的成像系统如CT扫描仪和/或MRI来获取图像，并以如原始数据和/或重构图像的适当格式来保存图像。重构图像可以包括已经以三维方式渲染的图像，以供用户12用如显示装置20和/或AV21的不同显示装置来查看。另外，可以分割图像或图像数据的各个部分，如从其他图像数据分割包括额窦136的窦。此外，可以如通过包括处理器26和/或33a的处理器来执行对图像或图像数据中的标记100的识别。可以使用各种分割技术来执行分割解剖结构的各个部分(如额窦136)和/或识别标记100。分割技术可以包括结合在各种成像和导航系统如美敦力公司出售的FUSION导航系统中的那些技术。[0072]图像数据也可以基本上在程序期间或刚好在程序之前如用成像装置14获取，所述成像装置14可以基本上在手术中使用(例如，当患者为所述程序做好准备时)。可以对图像或图像数据的各个部分进行分割，如上所讨论，而不是在所述程序之前存储在存储器中持续所选择的时间段，数据可以基本上实时地传输到处理器系统22,以供在程序期间使用。然而，可以理解的是，图像数据可以存储持续所选择的时间段，如以分析和/或处理图像数据[0073]图像数据的获取可以是任选的，因为不需要准备图像以供AV21显示和/或在程序期间使用。例如，如本文所讨论，包括AV21和处理器系统22的系统可以跟踪标记100和跟踪装置146以在没有患者14的图像数据的情况下表示器械的位置。在各种实施例中，处理器系统22可以访问图像以用AV21显示，如上所讨论。[0074]在框224中，可以将AV21放置用于所述程序。放置AV21用于所述程序可以包括将AV21放置在用户12上，如本文另外所讨论。此外，AV21可以被放置成与处理器系统22通信，如用于提供处理能力以如用标记100和/或器械66,如用跟踪装置146跟踪患者14.因此，AV21可以在框226中查看关注区域，并且用户可以在框228中确认能够查看关注区域。在查看关注区域时，相机180、182可以能够至少查看患者14的要在其上进行程序的部分，如通常是头部区域。如上所讨论，用户12通过患者14的各种外部组织可能基本上看不到操作区域。因此，操作的区域可以包括窦，如额窦136,并且关注区域可以包括患者14的整个头部。因此，相机180、182可以被定位成查看关注区域，并且用户12可以通过视图屏幕160、162确认查看关注区域。当在视图屏幕160、162的一部分上没有显示图标时，视图屏幕160、162基本上是透明的。[0075]一旦AV21具有关注区域的视图，就可以在框232中用AV21相机执行关注区域的记录。在框232中记录关注区域可以允许用相机180、182收集图像(但是应当理解，可以使用多于两个或少于两个相机)。关注区域的记录可以包括以持续的方式(如在整个程序期间)对患者14的至少一部分进行成像。对患者14的关注区域进行成像可以包括对标记100和/或患者14的其他基准点或部分进行成像。因此，在框236中，所记录的关注区域可以包括识别患者标记。[0076]识别患者标记可以包括在框232中对记录在关注区域处的图像数据进行分割以识别图像中的患者标记100。所识别的患者标记100可以用视图屏幕160、162显示为图标，如与图标100a'一起，所述图标可以包括当由用户12查看时定位在患者14上的标记100a上方的三维立方体，如图3所示。然而，在框236中识别患者标记可能不需要或不提供图标100a'的显示，而是可以由处理器系统22简单地执行以识别标记从而识别患者14的区域，如用于识别器械66或其一部分(如远侧端部110)的位置，如本文另外所讨论。[0077]识别患者14上的标记100允许处理器系统(如导航系统的一部分)在标记100处于AV21的相机的视场内时跟踪患者14.标记100可以包括在用相机180、182获取的图像中可括标记相对于AV21的姿势、位置和定向。因此，可以相对于用户12穿戴的AV21跟踪患者[0078]在框240中，可以识别器械跟踪器146。器械跟踪器146可以包括在用相机180、182获取的图像中可识别的部分，如颜色、图案、形状等。另外，器包括相机180、182可以看到的图案。从相对于跟踪装置的不同角度来看，跟踪装置146上的图案可以是基本上或完全唯一的。因此，跟踪装置146上的查看图案可以用于确定器械跟踪器146的位置，以及因此器械66的位置。[0079]器械跟踪器146可以固定到器械66,如上所讨论。可以预先确定并输入器械66的各个部分(如远侧尖端110和/或操作部分122)之间的几何关系，以便由处理器系统22进行处理。在各种实施例中，几何形状可以被保存在存储器27中，并