CN114025658B 用于使用血管路线图的运动调整设备引导的系统和方法 （威斯康星校友研究基金会）

2021.12.27PCT/US2020/0398532020.06.26WO2020/264317EN2020.12.30用于使用血管路线图的运动调整设备引导提供了一种用于创建患者的运动调整或运动补偿图像以引导介入性医疗手术的系统和方法。该方法包括显示静态路线图和多个动态图用户选择的介入性医疗设备相对于静态路线图或者静态路线图相对于介入医疗设备的运动调2使用所述第一多个图像和所述第二多个图像生成所述患者的脉管系统使用所述第一多个图像和所述第二多个图像生成所述使用所述第三多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪显示所述静态路线图以及所述第三多个图像，以使用所述运动变换所述介入性医疗设备相对于所述静态路线图的运动补偿，以产生不示所述静态路线图相对于所述介入性医疗设备的运动调整，以产生示2.如权利要求1所述的方法，进一步包括使用神经网络从所述第三多个图像中提取所3.如权利要求1所述的方法，进一步包括通过使用所述第一多个图像确定曲线特征来4.如权利要求1所述的方法，进一步包括通过确定第三多个图像内的曲线特征来生成5.如权利要求1所述的方法，进一步包括使用所述第三多个图像确定所述患者的呼吸6.如权利要求5所述的方法，其中确定所述患者的所述呼吸状态包括使用所述第三多述变换被配置为针对上述第三多个图像中的一个或多个像素9.如权利要求1所述的方法，其中产生不示出患者运动的多个图像的所述介入性医疗仅示出由于所述用户的推进的所述介入性医疗设备和所述介入性医疗设备由于生理运动以及所述介入性医疗设备由所述用户进行的推进的3计算机系统，所述计算机系统被配置为控制所述X控制所述X射线源组件以及所述X射线检测器阵列组件使用所述第一多个图像和所述第二多个图像生成所述患者脉管系统使用所述第一多个图像以及所述第二多个图像生成所述患控制所述X射线源组件以及所述X射线检测器阵列组件，以使使用所述第三多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪显示所述静态路线图以及所述第三多个图像，以使用所述运动变换所述介入性医疗设备相对于所述静态路线图所述静态路线图相对于所述介入性医疗设备的运动调12.如权利要求11所述的系统，其中所述计算机系统进一步被配置为使用神经网络从13.如权利要求11所述的系统，其中所述计算机系统进一步被配置为通过使用所述第14.如权利要求11所述的系统，其中所述计算机系统进一步被配置为通过确定第三多15.如权利要求11所述的系统，其中所述计算机系统进一步被配置为使用所述第三多16.如权利要求15所述的系统，其中所述计算机系统进一步被配置为使用所述第三多19.如权利要求11所述的系统，其中产生不示出患者运动的多个图像的所述介入性医4现仅示出由于所述用户的推进的所述介入性医疗20.如权利要求11所述的系统，其中产生示出患者运动的多个图像的所述静态路线图者和所述介入性医疗设备由于生理运动和所述介入性医疗设备由所述用户进行的推进的使用所述多个图像生成所述患者的脉管系统使用部署在所述患者体内的介入性医疗设备获取所述使用所述另一多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪显示所述静态路线图以及所述另一多个图像，以使用所述运动变换所述介入性医疗设备相对于所述静态路线图的运动补偿，以产生不示所述静态路线图相对于所述介入性医疗设备的运动调整，以产生示5本发明中的某些权利。[0008]典型并且广泛使用的介入性放射学手术的示例是用于微创手术的荧光透视动脉的特定分支，其中颗粒或微球直接输送至肿瘤的供血动脉(例如，防止肿瘤进一步生造影增强血管系统的透视图像并在造影增强脉管系统上显示静态2D数字减影血管造影6还包括使用运动跟踪数据和运动模型生成运动变换，并显示静态路线图和第三多个图像，备的对准是基于以下各项中的一项的用户选择的介入性医疗设备相对于静态路线图的运机系统配置为控制X射线源组件和X射线检测器阵列组件以获取具有非造影增强脉管系统介入性医疗设备中的一个的运动跟踪数据，使用运动跟踪数据和运动模型生成运动变换，路线图相对于介入医疗设备的运动调整以产生示出患者运动7[0018]图4是根据本公开的阐述用于创建脉管系统模型的过程的一个非限制性示例的流[0019]图5是根据本公开的在生成动态脉管系统模型中使用了叠加样条网格和图像块的[0020]图6是根据本公开的在生成动态脉管系统模型中使用的欧拉数和相应二值化图像[0021]图7是根据本公开的阐述在动态脉管系统模型内生成呼吸模型的一个非限制性示[0022]图8是根据本公开的在生成动态脉管系统模型中使用的具有叠加的和彩色的边缘[0023]图9是根据本公开的阐述在动态脉管系统模型内生成实时跟踪系统的一个非限制[0025]图11是示出了从动态脉管系统模型生成的地面真值图像和估计的脉管系统图像[0026]图12是根据本公开的用于在荧光透视图像内自动分割医疗器械的神经网络的一[0027]图13是以四个示例提供对典型DSA手术、图12的神经网络的输出和地面真值图像8体的使用意味着涵盖之后列出的条目和它们的等效物以及附加的条目。除非另外指定或限运动补偿的静态DSA图像可能需要介入放射科医生重新定位、移除或重新插入器械以完成[0040]先前已作出尝试以解决并补偿患者的运动。例如，外部传感器(例如，心电图准是基于以下各项中的一项的用户选择：(i)介入医疗设备相对于静态路线图的运动补偿9推断)与相同呼吸状态下血管形态之间的关系。因此，在如上文所描述地获取血管形态之的另一端。台架102使得X射线源组件104和检测器阵列组件106能够围绕受试者108以不同[0047]容纳在X射线检测器阵列组件106中的一个或多个X射线检测器中的X射线检测器每个X射线检测器元件能够对冲击检测器的X射线光子的数量计数。在为了获取X射线投射数据的扫描期间，台架102和安装在其上的部件围绕C型臂X射线成像系统100的等中心旋在其外端上支撑C型臂驱动组件118。C型臂台架102可滑动地固定到驱动组件118并且与驱多个输入设备126(诸如键盘和鼠标)以及计算机处理器128。计算机处理器128可以包括运[0051]操作者工作站122还与控制C型臂X射线成像系统100操作的控制系统136通信。控制系统136通常包括C轴控制器138、枢轴控制器140、X射线控制器142、数据采集系统并且台控制器146可操作以将台110移动到C型臂X射线成像系统100内的不[0052]X射线源组件104与X射线检测器阵列组件106耦合到的台架102的旋转由C轴控制器138和枢轴控制器140控制，C轴控制器138和枢轴控制器140分别控制台架102围绕C轴和器140将功率提供给C型臂X射线成像系统100内的电动机，该电动机分别产生围绕C轴和枢[0053]DAS144对来自X射线检测器阵列组件106中的一个或者多个X射线检测器的数据进器130以供存储或者传送给操作者工作站122以向操作者或临床医[0055]联网的工作站148，不管是在与操作者工作站122相同的[0057]图2是用于创建患者的运动调整图像以引导介入性医疗手术的过程流程200的示系统的静态路线图206和生成患者的运动模型208，其中每个都使用第一多个图像202和第[0058]过程200还可以包括通过使用第三多个图像为患者或介入性医疗设备生成运动跟踪数据212。过程200可以进一步包括使用运动模型208和运动跟踪数据212生成运动变换[0059]图3示出了更详细的过程220，其是用于创建患者的运动调整图像的过程200的更可用于确定并且因此仅利用动脉相造影图像(例如，造影剂到达和动脉相结束时事件之间[0060]一旦获取并选择了非造影图像222和造影图像224(例如，仅利用动脉相期间的造[0061]过程220进一步包括获取多个现时(live)图像234，这些现时图像234包括图像中跟踪数据的特定形式。多个现时图像234还用于从多个现时图像234中提取介入性医疗器[0062]如将进一步描述的，过程220还包括使用对呼吸状态236和脉管系统运动模型230[0063]图4示出了生成脉管系统运动模型230的特定过程的示例。脉管系统运动模型230列定义为IE(x),并且可以将造影图像序列定义为If(x)。在两个图像序列标识符中，t表示[0065]尽管图像对可能在时间上相互对应，但不能保证两幅图像的呼吸状态是准确Bi，并且可以通过根据等式2将灰度值差最小化来针对每个块估计平移向量Δi如等式2所[0067]然后使用三次样条插值(cubicsplineinterpolation)计算最终图像变换。值和相对应的欧拉数。典型地，使用的阈值是在第二极大值之后出现的值(例如，X>20阈[0071]尽管生成血管运动模型230的进程涉及二值化步骤256，但在一些非限制性示例值化步骤256对于不习惯于观看二值化图像的放射科[0072]来自二值化进程256的输出图像表示每个帧的分割的脉管系统，表示为在呼吸运动引起的脉管系统的变形可以通过使用微分同胚形变配准(diffeomorphic个血管像素的位置pi可以通过线性函数(或其他参i成单个呼吸变量。平移向量tc和td可分别使用相对应的呼吸参数(变量)rc和rd来单独地进[0080]在一些非限制性示例中，可在步骤258处通过使用利用规则步长梯度下降优化方吸状态的多个呼吸变量的多参数方法进行参型260被配置为从图像中提取(多个)呼吸状态，将(多个)呼吸状态输入到脉管系统运动模[0083]如前文所讨论的，呼吸运动模型260通常通过仅利用原生荧光透视图像来确定患生图像帧(即)以沿解剖结构提取轮廓。在其他非限制性示例中，不是利用坎尼成本图像c(I",x)来实现，该成本图像c[0085]确定特征如何在空间上移动的平移向量di(t)可通过使用等式6将沿曲线特征的数字4DCT模体(美国北卡罗来纳州达勒姆杜克大学XCAT)对模型执行定量评估，该模型提的正交投影在前后方向投影该体积。通过将肝动脉系统中血管的衰减设置为120亨氏单位态λt之间的绝对误差eλ。[0101]除了绝对误差计算外，还将每个帧的估计的动态血管掩模与地面真值(ground-邻帧之间的非刚性配准或使用相位一致性优化样条来[0111]具体地，如图12所示，神经网络300基于SegNet架构，使用具有来自“ImageNet到相对应的非池化层312的实线指示池化窗口内最大值的索引的转发(forward)。解码器304进一步包括层314，该层314在图12中被指定为虚线的softmax(柔性最大值传输函数)，并且用于归一化输出。解码器304和神经网络300的最后一层是使用两类(例如，导丝和背[0112]为了训练神经网络300，将图像数据随机分为训练(60％)、验证(20％)和测试[0113]为了提高图像质量，可以通过提供当前图像和过去两帧作为神经网络300的输入的分割精度。这些结果如下表3所示，表3比较了深度学习和基于掩模减影的分割的二列图像是从神经网络300输出的结果图像，第三列图像表示来自掩模减影分割算法的结些情况下，如果神经网络300先前已被训练以提取连续并且相连的导丝，则在随后的手术呼吸状态332的每个像素的相对应的(多个)平移向量。将每个像素的(多个)平移向量应用时荧光透视图像326内的给定图像被取向到呼吸运动模型260，呼吸运动模型260分析并随的图像以特定方式与静态脉管路线图和呼吸状态332的每个像素的(多个)平移向量组合。向量的倒数应用于器械328的连续并且相连的图像。该医疗器械的运动补偿图像与静态脉械步骤339接收器械328的连续并且相连的图像、静态脉管系统路线图以及呼吸状态332的标点在整个呼吸周期中移动和变形，并且理想地与导丝重合(例如，导丝与动态血管掩模血管移动引起的模糊信息仅是本公开所描述的上文所描述的系统和方法，使用静态路线图相对于介入性医疗设备的运动调整来显示图(1)介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像和(2)静态路线图相对于介入医疗设备的运动调整以产生示出患者运动的多的现时图像234中移动的介入性医疗设备384的显示被呈现为与静态血管路线图382一致地图像的显示380时的固定外部视角来看，静态血管路线图382和介入性医疗设备384不随患医疗设备384通过静态血管路线图382推进时在和随着介入性医疗设备384的移动而移动的轨迹之间进行运动调整，因为它移动到第二位且在介入性医疗设备384推进通过静态血管路线图382并移动到第二位置386时与介入性医[0138]图20是三维引导系统400的框图，3D引导系统400可在X射线成像系统100(或上文集406内的两个透视图像需要来自单独的平面以外推脉管系统的3D体积。在又一非限制性该呼吸运动模型414利用荧光透视图像内区域之间的亮度差，其中区域可以包括横膈膜上[0144]图21示出了等式11的输出(例如呼吸状态)与脉管系统在Z维上的估计的运动的关[0148]在为每个经减影的2D帧生成变换矩阵后，针对变换矩阵的每个参数估计线性函周围的片块(patch)与当前图像中变换的目标周围的片块之间的均方误差。在跟踪两个图像序列中的目标之后，可以通过确定到3D体积的两个平面的投影射线并计算交点(或者如果没有确切的交点，则计算到两条线的最近点)来针对每个2D经减影的帧计算相对应的3D[0150]一旦生成呼吸运动模型414和脉管系统运动模型416，就可以在420处生成器械的针对从两个不同平面获取的两个实时图像进行分割(或从神经网络300输出)2D设备路径之法(Nelder-MeadSimplexapproach))来估计仿射变换，以确定与先前时间帧相比器械位量与呼吸状态之间的估计的线性关系)生成相允许脉管系统的相对静态表示(例如，脉管系统的3D体积)与器械的运动补偿3D体积对准，使得器械的明显运动只能由介入性放射科医生的操步骤428接收对应于呼吸状态422的变换矩阵/3元素平移向量(例如，来自脉管系统运动模[0158]与从一种呼吸状态到另一种呼吸状态的脉管系统的不同部分的空间操纵相关的移动数据(例如，上文的平移矩阵/3元素平移向量)可用于生成脉管系统的3D运动补偿表[0159]上文所描述的系统可以被配置或以其他方式用于根据本