CN119454236A 基于支气管镜视图的气道导航系统及方法 （广州医科大学附属第一医院（广州呼吸中心））

本发明提供一种基于支气管镜视图的气道根据支气管树3Dmask得到包括3D支气管树的三树提取从支气管入口至目标部位的所有可能导引导支气管镜沿着三维虚拟地图模型中的目标气管镜对应的实时部位映射至3D支气管树进行2模型生成模块，其根据所述支气管树3Dmask得到包括3D支气管树的三维虚拟地图模导航模块，其基于可视化的指引路径引导所述支气管镜沿导航辅助模块，其将识别到的支气管镜对应的实时部位映射至所输入准备单元，用于将从支气管对应的CT图像序列中选定经分块可视化单元，用于基于预处理后的所述支气管树3Dmask实现所述3D支气管树和所述路径长度计算单元，用于计算所述导航路径中所述支气管入口到进入角度计算单元，用于计算所述导航路径的终点位置的气道方路径评估单元，其基于所述预设规划参数的权重评估每支所述导航路径的路径得分，选定所述路径得分最高的所述导航路径为所述目标3指引单元，用于根据所述中心线树的树型结构信息，生部位识别单元，其基于预训练的部位识别模型识别出所述支部位映射单元，用于将识别到的所述实时部位映射至所述3分类部，其基于预训练的点云分类模型将预处理后点坐标转换部，其基于实时坐标系与视图坐标系中的相对关系，将所述支实时部位的实时位置转换为对应的所述部位区段在所视角调整部，其基于所述实时部位对应的所述部位区段在所述视置信息调整所述实时部位在所述3D支气管树所在的视图坐标系中通过分割后的CT图像重建出支气管树3D根据所述支气管树3Dmask得到包括3D支气管树的三维虚基于所述3D支气管树提取从支气管入口至目标部基于预设规划参数选定所述导航路径中的一支为基于可视化的指引路径引导所述支气管镜沿着所述三维虚拟地图模型的所述目标导将识别到的支气管镜对应的实时部位映射至所述3D支气管树进行气管镜对应的所述实时部位与所述目标导航路径动4镜在进境过程中实时导航路线的精确性和实时性仍并未解决三维虚拟导航地图画面中支气管镜导航的目标导航路径和操作支气管镜时实际[0006]现有技术WO2023124978A1基于虚拟支气管镜对应的虚拟支气管镜图像与由真实5径行进过程中支气管树的部位区段和操作支气管镜时实际视角识别到的实时部位的无法[0010]模型生成模块，其根据所述支气管树3Dmask得到包括3D支气管树对应的三维虚[0011]路径提取模块，其基于所述3D支气管树提取从支气管入口至目标部位的导航路[0012]路径选定模块，其基于预设规划参数选定所述导航路径中的一支为目标导航路[0026]进入距离计算单元，用于计算所述导航路径的终点位置到达目标部位的最短距6[0030]路径评估单元，基于所述预设规划参数的权重评估每支所述导航路径的路径得[0032]结构化单元，用于对所述3D支气管树的中心线点集进行结构化处理生成中心线[0036]区段识别单元，其基于预训练的点云分类模型识别出所述3D支气管树的部位区别到实时部位的实时位置转换为对应的所述部示位置信息调整所述实时部位在所述3D支气管树中所在的视图坐标[0050]基于可视化的指引路径引导所述支气管镜沿着三维虚拟地图模型中的所述目标述支气管镜对应的所述实时部位与所述目标导航路径动入口和目标部位生成目标导航路径的同时能够将实时获取到支气管镜下的图像与基于传统CT序列重建的3D支气管树的结构信息相匹配并建立支气管镜下实时场景和以CT为基础7沿着目标导航路径移动且实时感知支气管镜的实时位置为支气管镜下操作提供精准的导航模型中利用预设规划参数从当前支气管镜位置到目标部位的最优导航路径作为目标导管镜时能够在目标导航路径的引导下能够迅速根据规划出的最佳手术路径到达目标部位，8域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征摄像组件6捕获的实时图像以及基于CT图像生成支气管内部的虚拟导航图像中的导航路径移动时，其实时位置相关的数据可致使处理器实时地更新显示器11中的患者解剖结构视其根据支气管树3Dmask构建出包括可展示的3D支气管树对应的三维虚拟地图模型并将三9[0074]3D支气管树是一种在三维空间中用于表示支气管树结构的掩膜，在支气管树3D属于支气管树结构。[0075]气道导航系统7基于重建模块和模型生成模块将获取到的CT序列图像进行分割处图模型,重建后的3D支气管树中各个支气管部位的位置与三维虚拟地图模型中的位置形成[0077]输入准备单元711用于将从支气管对应的薄层CT图像序列中选择经分块、归一化片构成三维小块，并充分考虑CT数据在空间上的邻近关系，以及深度信息，例如，按照者Z_Score等归一化处理方式消除图像灰度值的量[0080]输出单元713在输出前支气管重建的所有相关数据的全部输入块输入预测模型并气管分支的详细三维表示的整个支气管系统的分支结[0084]由于一个CT序列其维度一般是512x512xZ或1024x1024xZ(Z是序列深度)，无法整[0087]整个模型训练过程还包括随机初始化网络模型，设置diceloss作为网络模于预处理后的所述支气管树3Dmask实现包括3D支气管树的三维虚拟地图模型的可视化。[0089]预处理单元721用于在支气管树3Dmask生成后，为了减少支气管树3Dmask中模型的可视化，同时可以基于目标部位的具体位置和形态信息通过VTK路径规划算法计算[0091]具体地，3D支气管树通过VTK可视化的方式被转换为VTK所有3D支气管树对应的位置都将执行响应的缩放和旋转规则进行调整形成为3D支气管树应的三维虚拟地图模型在VTK坐标系中的显示角度和比例是准[0092]因此，支气管树3Dmask通过表面重建方法形态学镂空处理等生成包括能够具有腔道的3D支气管树的几何表面和内部结构三维模型导入VTK对应的坐标系中，以可视化方式在VTK坐标系中提供达到目标部位的三维[0093]路径提取模块73基于重建出的3D支气管树自动识别并提取从三维虚拟地图模型递归方式寻找其他导航路径或者使用深度优先搜索(DFS)遍历图中的所有路径，同时结合根据路径终点气道方向向量和目标部位表面法线向量的点积以及路径方向向量和目标部位表面法线的模长计算得出，对于每支可能的路径，均计算路径终点处的气道方向向量Vpath,方向向量Vpath通过路径终点前一个点Pn_1和终[0100]根据重建后的3D支气管树提取出的目标部位，计算目标部位表面的法线向量[0104]可以理解的是，较小的角度θ有助于支气管镜或其他工具以合适的方向接近目标[0106]进入距离计算单元，用于计算所述导航路径的终点位置到达目标部位的最短距终点位置的气道横截面直径的计算也可以通过获取沿着气道的垂直方向测量气道横截面内检测到的血管总数或血管占据的体积比例，密度值D可以表示为单位体积内的血管数量[0116]本申请中，基于CT图像的血管重建可以采用与重建3D支路径。生成目标导航路径通常需要对导航路径中的各个预设规划参数的值进行综合评估，通过评估路径的可行性和安全性，确保选定的目标导航路径避免经过脆弱组织和重要血权重设置为60进入角度权重设置为40路径长度小于50mm时得分100,50mm_100mm范型数据存储结构中的中心点上选择目标部位A，并根据树型结构生成根节点R至目标部位A的指引路径L，指引路径L用于支气管镜1沿着三维虚拟地图模型内的目标导航路径行进时元761，其基于预训练的部位识别模型识别所述支气管镜经由的当前实时位置采集到的实中每一次位置更新/检查部位的更新都能能够在三维虚拟地图模型同步显示，支气管镜在沿三维虚拟地图模型中的目标导航路径移动时能够动态同步更新显示支气管镜的当前视[0132]部位识别单元761的识别过程包括系统运行时，基于训练好的模型参数初始化部[0134]同步单元764在显示界面上显示时最终可以在支气管镜操作的过程与三维虚拟地在所述视图坐标系中的显示位置信息调整所述实时部位在所述3D支气管树中所在的视图[0143]部位映射单元7631包括对支气管镜对于实时部位识别的实现基于深度学习视频[0144]视角调整部7632的调整过程包括根据转换后的3D支气管树所在的视图坐标系中3D支气管树的中心线轴线上，保证视图坐标中的VTK相机视角和支气管镜下采集图像对应的流程示意图。该方法的具体步骤包括：步骤S802:通过分割后CT图像重建出支气管树3D骤S810:基于可视化的指引路径引导所述支气管镜在三维虚拟地图模型中沿着所述目标导航路径移动，步骤S812:将识别到的支气管镜对应的实时部位映射至所述3D支气管树进行和