CN119494876A 基于气道检测跟踪的内窥镜分支定位方法、装置及设备 （中国科学院自动化研究所）

号基于气道检测跟踪的内窥镜分支定位方法、本发明提供一种基于气道检测跟踪的内窥支气管图像的气道特征和过去各时刻的支气管支地图和气道层级关系，确定第二匹配追踪结果；基于第一匹配追踪结果和第二匹配追踪结帧图像中新的检测结果与所有历史追踪结果匹配，避免增量式定位方法会出现的误差累积问2获取各时刻的支气管图像，并对所述支气管图像进基于过去各时刻的支气管图像的气道特征，以及所述支气管图在所述支气管图像的气道特征和所述过去各时刻的支气管图像的气道特征不匹配的将所述过去各时刻的支气管图像的关键帧与所述支对应地，所述基于过去各时刻的支气管图像的气道特征，基于所述过去各时刻的支气管图像的气道位置特征和基于所述过去各时刻的支气管图像的气道位置特征和所述支气管图像的气道位置特征之间的IoU距离，以及所述过去各时刻的支气管图像的气道外观特征和所述支气管图像基于卡尔曼滤波算法预测所述过去各时刻的支气管图像的气道在当前时刻下的位置，计算相邻帧的所述支气管图像间的图像变换关系，并求解所述最小化问题，得到图像变换参数，并将所37.根据权利要求1至6中任一项所述的基于气道检测第一匹配追踪单元，用于基于过去各时刻的支更新单元，用于将所述过去各时刻的支气管图像确定目标匹配追踪结果单元，用于基于所述9.一种电子设备，包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述基于气道检测跟踪的内窥镜分支4镜图像不同于开放场景图像，经常缺少特征点，在特征点过少时，PnP(Perspective_n_方法基于深度学习检索，对于每一用户都需要采集其虚拟内窥镜图像对检索网络进行训以应用。[0004]现有的分支级定位方法基于过多的假设(比如稳定的相机运动、气道总是能出现[0009]在所述支气管图像的气道特征和所述过去各时刻的支气管图像的气道特征不匹5[0016]基于所述过去各时刻的支气管图像的气道位置特征和所述支气管图像的气道位置特征之间的IoU距离，以及所述过去各时刻的支气管图像的气道外观特征和所述支气管[0020]基于卡尔曼滤波算法预测所述过去各时刻的支气管图像的气道在当前时刻下的6执行时实现如上述任一种所述基于气道检测跟踪[0036]图1是本发明提供的基于气道检测跟踪的内窥镜分支定位方法的流程示意图之[0037]图2是本发明提供的基于气道检测跟踪的内窥镜分支定位方法的流程示意图之7[0041]相关技术中，基于视觉的内窥镜定位方法通常分为坐标级定位和分支定位两大计。此外可以通过BundleAdjustment和RANSAC(RANdomS[0044]2)2D/3D配准，相关技术中最常见的方法旨在将内窥镜拍摄到的2D图像配准到术[0047]2)通过多尺度MSER(MSER_Max本发明提供的基于气道检测跟踪的内窥镜分支定位方法的流程示意图之一，图2是本发明8[0056]此处，确定气道层级关系的方法可以使用yolov7目标检测网络检测出目标检测嵌入到气道跟踪和分支标注的过程中，因此在最小系统中不需要额外相机运动信息输入。刻上检测的哪些气道属于同一气道。通过过去检测的气道和该时刻检测气道的关联关系，确定该时刻检测到的气道能与过去的检测相关联的气道映射到气[0065]步骤130，在所述支气管图像的气道特征和所述过去各时刻的支气管图像的气道[0066]步骤140，将所述过去各时刻的支气管图像的关键帧与所述支气管图像进行特征9树分支地图是对术前CT(ComputedTomography，电子计算机断层扫描)图像进行骨骼化得变特征转换算法)和基于深度学习的稠密特征点匹配算法中的任一种，本发明实施例对此[0071]此处，基于深度学习的稠密特征点匹配算法可以是LoFTR(LocalFeature此处的目标匹配追踪结果反映了各时刻的支气管图像的气道和过去各时刻的支气管图像的气道位置特征之间的IoU距离，以及所述过去各时刻的支气管图像的气道外观特征和所位置特征之间的IoU距离，以及过去各时刻的支气管图像的气道外观特征和支气管图像的[0101]可以理解的是，支气管分类预测结果与标签支气管分类结果之间的差异程度越[0102]气道外观特征即基于深度神经网络对输入的图像生成的一个高维向量(描述子本发明实施例中外观气道网络具体采用的是ResNet50网络，用人工标注的样本支气管图[0105]步骤121，基于卡尔曼滤波算法预测所述过去各时刻的支气管图像的气道在当前将检测结果以很弱的NMS(Non_MaximumSuppression，非最极大值抑制)进行一次过滤后，一假设的正确性。为了补偿相机运动，采用ECC(EnhancedCorrelationCoefficientMaximization)方法近似地计算相邻帧的支气管图像间的图像变换关系，并基于图像变换[0120]此处，以图像变换可以为EuclideanTransformation举例，亦可采用仿射变换,,述的基于气道检测跟踪的内窥镜分支定位装置与上文描述的基于气道检测跟踪的内窥镜[0148]基于上述任一实施例，本发明提供一种基于气道检测跟踪的内窥镜分支定位装[0151]第二匹配追踪单元330，用于在所述支气管图像的气道特征和所述过去各时刻的[0152]更新单元340，用于将所述过去各时刻的支气管图像的关键帧与所述支气管图像[0153]确定目标匹配追踪结果单元350，用于基于所述第一匹配追踪结果和所述第二匹[0159]基于所述过去各时刻的支气管图像的气道位置特征和所述支气管图像的气道位置特征之间的IoU距离，以及所述过去各时刻的支气管图像的气道外观特征和所述支气管不变特征转换算法和基于深度学习的稠密特征[0169]此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以可以存储程序代码的介质。匹配追踪结果；将所述过去各时刻的支气管图像的关键帧与所述支气管图像进行特征匹