CN113920187B 导管定位方法、介入手术系统、电子设备和存储介质 （上海微创微航机器人有限公司）

包括获取图像采集装置在目标器官中采集的当找与所述当前帧真实内窥图像的特征向量相匹的特征向量所对应的虚拟内窥图像所对应的位此可以有效减少介入手术系统对环境及患者的2获取图像采集装置在目标器官所提供的空间中所采集的在预先获取的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的根据所述特征向量集合中相匹配的特征向量所对应对所述当前帧真实内窥图像进行特征提取，以获取所述当前帧真实内窥图像的特征根据所述特征点以及预先获取的特征词典，获取所述当前帧真实内窥图像的特征向其中，所述虚拟内窥图像序列通过根据预先获取的虚拟成像参数信息以及光照模型，按照预设路径并沿不同方向对所述目标器官的三维模型进行渲染得到。根据所述特征点以及预先获取的特征词典，统计所述特征词典中的根据每一特征类型在所述当前帧真实内窥图像中出现的频次，获取根据所述当前帧真实内窥图像的特征直方图，获取所述当前帧真实将预先获取的所述目标器官的三维模型划分成多个对每一所述器官区域所对应的所有所述虚拟内窥图像的特征3统计所述特征词典中的每一特征类型在所述虚拟根据每一特征类型在所述虚拟内窥图像中出现的频次，获取所根据预先获取的支气管树拓扑结构，将预先获取的支气管三维模根据所述导管的末端的当前位姿，判断所述导管的末端是否位于当前气道的末端位域的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，包选取匹配分数最高的子气道作为所述导管的末端所在的在所述当前气道所对应的特征集合中查找与所述当前帧真实内窥图像的特征向量相相匹配的特征向量所对应的虚拟内窥图像所对应的位姿，获取所述导管的末端的当前位根据所述特征向量集合中相匹配的特征向量所对应根据预先获取的三维模型坐标系与世界坐标系之间的映射关系，将所述三维模型坐标系下的当前位姿转换为在世界坐标安装有图像采集装置，所述控制器被配置用于实现权利要求1至12中任一项所述的导管定4述控制器通信连接的显示装置，所述显示装置用于显示所述导管的末端的当前位姿和/或5[0002]微创介入技术是在术前医学影像(例如CT)和术中成像技术(例如医学电子内镜、[0010]在预先获取的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹6[0011]根据所述特征向量集合中相匹配的特征向量所对应的虚拟内窥图像所对应的位7一特征向量所对应的虚拟内窥图像所对应的位姿信息以及每一所述特征向量的编号信息、[0042]在所述当前气道所对应的特征集合中查找与所述当前帧真实内窥图像的特征向装置用于显示所述导管的末端的当前位姿和/或显示根据所述导管的末端的当前位姿所重预先获取的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向8[0061]图13为本发明一具体示例中的支气管树拓扑结构与树形数据结构之间的映射关[0064]图16为本发明一具体示例中的当前帧真实内窥图像和虚拟内窥图像之间的匹配[0068]图20为本发明一实施方式中的获取导管的末端的当前位姿偏差信息的具体流程[0071]图23为本发明一实施方式中的第一特征点集与所述第二特征点集的匹配流程示[0073]图25为本发明一实施方式中的获取三维模型坐标系与世界坐标系之间的映射关9[0087]以下结合附图和具体实施方式对本发明提出的导管定位方法、导管运动控制方但是如本领域技术人员所能理解的，本发明中的导管还可以是其它类型的内窥镜的导管，三维模型坐标系与世界坐标系之间的映射关系，将所述导管100的末端在三维模型坐标系示意图。如图4所示可以将所述当前帧真实内窥图像中的每一像素点与其周围距离相近用ORB算法对所述当前帧真实内窥图像进行特征提取之前，先对所述当前帧真实内窥图像内窥图像中出现的频次分别为100,10,20,10，则所述当前帧真实内窥图像的特征向量为像和所述虚拟内窥图像进行特征提取，例如若采用ORB算法对所述虚拟内窥图像进行特征[0121]请继续参考图8，其示意性地给出了本发明一实施方式提供的获取虚拟内窥图像到的光照模型即可计算在图像采集装置110视场范围内，所述目标器官(例如支气管)的三维模型内壁各位置的光辐射变化，所述光辐射变化用于表示在图像采集装置110视场范围及光照模型，在所述目标器官(例如支气管)的三维模型的各个位置并沿不同方向进行渲[0126]由于在实际操作过程中，导管100一般沿所述目标器官(例如支气管)的中心线方向进行移动，由此，在对所述目标器官的三维模型进行渲染(渲染的具体过程可参考：https://en-m.jinzhao.wiki/wiki/Physically_based_rendering、https://en-m.jinzhao.wiki/wiki/[0127]Global_illumination)时，优选沿所述目标器官的三维模型的中心线(即目标运动路径)方向，选取所述目标器官的三维模型的中心线上的各个像素点所在位置并沿不同[0141]在预先获取的对应器官区域的特征向量集合中查找与所述当前帧真实内窥图像对应器官区域所对应的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹[0149]遍历所述骨架上的每一像素点，标记出每一像素点所在气道的编号和/或所在气的编号和/或所在气道所处的层数和/或所在气道的父气道的编号和/或所在气道的子气道B0的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的第一层节点(根节点)b0中，编号B0-1的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的地选择对应气道区域的特征词典和特征向量集合进行匹配，从而可以进一步减少误匹配，每一特征向量所对应的虚拟内窥图像所对应的位姿信息以及每一所述特征向量的编号信[0170]在所述当前气道所对应的特征集合中查找与所述当前帧真实内窥图像的特征向当前帧真实内窥图像进行特征提取，再根据与所述主气道(当前气道)所对应的特征词典，述主气道(当前气道)的下一级的所有子气道作为下一个当前气道的候选气道(即当前候选所有子气道(所述主气道的所有子气道都有可能为下一个当前气道)所对应的特征词典和和与其在对应特征向量集合中的最匹配的特征向量之间的匹配度相加，从而获取最近n帧作为所述导管100的末端所在的当前气道，保留所述当前气道所对应的特征词典和特征向道所对应的特征词典，即可获取所述图像采集装置110采集的当前帧真实内窥图像的特征据相匹配的虚拟内窥图像的位姿即可获取所述导管100的末端的示意性地给出了本发明一实施方式提供的导管的运动控制方法的流程示意图，如图17所实内窥图像以及与所述当前帧真实内窥图像相姿)以及根据所述目标器官的三维模型预先规划好的目标运动路径，在所述目标运动路径真实内窥图像相对应的当前帧虚拟内窥图像(也可以直接根据查找出的最近的路径点和所接根据所述导管的末端在三维模型坐标系下的当前位姿以及根据所述目标器官所规划的前应到达的位姿)再根据所述导管的末端在世界坐标坐标系下的当前位姿以及所述导管的所述当前位姿偏差信息以及预先获取的根据所述目标区域的三维模型规划好的目标运动在本实施方式中，所述获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像包管100的末端的当前位置即为所述图像采集装置110的当前位置)，进而根据所述当前位置位置信息)以及预先获取的三维模型坐标系与世界坐标系之间的映射关系，获取所述导管坐标系下的位置信息，即可在所述目标运动路径200上查找与所述当前位置距离最近的当前路径点210，根据所述当前路径点210的位置以及所述当前路径点210所对应的路径方向取与所述当前帧真实内窥图像所对应的当前帧虚拟内[0183]优选地，所述图像采集装置110的采样频率与所述位置传感器120的采样频率相帧真实内窥图像与所述当前帧虚拟内窥图像能够始终保持一一对应的关系，保证导管100种设置可以保证在所述导管100的单位运动时间间隔内，至少执行一次图像采集和位置采映射关系，根据所述映射关系即可获取所述导管100的末端的当前位置与所述当前路径点[0195]由此，通过采用ORB算法进行第一特征点和第二特征点的提取，不仅提取速度超所述当前帧虚拟内窥图像400进行特征提取，可以准确、快速地提取出由多个第二特征点[0196]需要说明的是，虽然本文是以采用ORB算法提取第一特征点集和第二特征点集为[0200]根据所述第二特征点的像素坐标信息以及所述当前帧虚拟内窥图像在世界坐标[0201]根据所述第一特征点的像素坐标信息以及与其相匹配的第二特征点在世界坐标[0202]根据当前帧真实内窥图像在世界坐标系下所对应的位姿信息以及所述当前帧虚内窥图像在三维模型坐标系下的所对应的位姿是已知的(根据所述当前帧虚拟内窥图像所应的位姿)，由此根据所述当前帧虚拟内窥图像在所述三维模型坐标系下所对应的位姿信[0206]控制所述导管的末端移动至所述目标器官中的与所述目标标记点对应的目标位[0207]根据所述目标标记点在所述三维模型坐标系下的位置信息以及所述目标位置在[0208]请继续参考图26，其示意性地给出了本发明一具体示例提供的配准场景示意过选择比较容易区分的点作为目标标记点510，能够更加容易判断在所述目标器官600内，获取的所述三维模型坐标系与所述世界坐标系之间的映射关系的准确性。需要说明的是，导管100的末端的位置传感器120测得，由此根据所述目标标记点510在所述三维模型坐标的，所述目标标记点510的个数需要满足能够足够建立起所述三维模型坐标系与所述世界[0214]由于所述第一特征点ri和与其相匹配的第二特征点vi在世界坐标系下的坐标是[0215]最后根据下式(3)即可获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像与所述当前帧虚拟内窥图像所对应的位置上，以使得所述导管100能够沿所述目标运动路领域技术人员所能理解的，前文中所述的当前路径点210的位置即为所述当前帧虚拟内窥图像所对应的渲染位置，前文中所述的当前路径点210所对应的路径方向即为所述当前帧路径时的运动状态示意图。如图29所示，当判断出所述导管100当前未偏离目标运动路径管100未偏离目标运动路径200时，控制所述导管100以较高的速度继续沿所述目标运动路130的近端与一第一驱动装置30(优选为电机)相连，所述第一驱动装置30安装于所述机械臂12的末端且与所述控制器20通信连接，所述导丝130的远端与所述导管100的末端相连，动装置30安装于所述安装板40上，所述第一驱动装置30能够在所述安装板40上往复移动管100的末端的当前位姿所重构的内窥图像和/或显示所述图像采集装置110采集的真实内前位姿所重构的内窥图像，可以更加便于操作者根据重构的内窥图像并结合所述三维模用于根据所述位置传感器130采集的磁感强度信息，获取所述导管100的末端的位置信息。子设备与本发明提供的导管定位方法和/或导管运动控制方法属于同一发明构思，因此其104可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器101是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态述计算机程序被处理器执行时可以实现上文所述的导管定位方法和/或导管运动控制方法。由于本发明提供的可读存储介质与本发明提供的导管定位方法和/或导管运动控制方法属于同一发明构思，因此其具有上文所述的导管定位方法和/或导管运动控制方法的所[0239]计算机可读的信号介质可以包括在基带中或者作为载波[0240]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指[0243]另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部