CN112334076A 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法 （皇家飞利浦有限公司）

PCT/EP2019/0673662019WO2020/002620EN2020.01.利用超声成像进行活检预测和引导以及相通信并被配置为接收对象的解剖结构的超声图述对象的解剖结构中的多个潜在恶性位置并确并且将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与2将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出确定针对所述多个潜在恶性位置处的所述多个将所述超声图像上的所述多个潜在恶性位置、所述多个恶性第一图，其包括在所述超声图像的第一实例上的第二图，其包括在所述超声图像的第二实例上基于所述对象的解剖结构中的所述多个潜在恶性位置基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的将所确定的活检针路径作为所述超声图像上的叠加物3将所述活检针与所述关键区域之间的潜在碰撞的将所述预测网络应用于所述超声图像以确定运动控制配置将用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符输出到所提供测试对象的解剖结构的多幅测试超声图像、在基于所述活检位置和所述病理结果将分数分配给所述针对基于所述多个潜在恶性位置和所述多个恶性可能性确定的活检的目标活检位置；通过显示器显示所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶显示第一图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定用于对所述对象的解剖结构进行活检的目标活基于所述对象的解剖结构的所述多个潜在恶性位置通过所述显示器将所确定的活检针路径显示为所述4通过所述显示器来显示所述活检针与所述关键区域将所述预测网络应用于所述超声图像以确定运动控制配置通过所述显示器显示用于基于所述运动控制配置来重新定位所述超声成像设备的视5[0003]疑似恶性的甲状腺通常包括多个活检候选位置(例如，多个结节或大结节内的多而对于疑似度很低的结节，则指示应对直径大于2cm的结节进行活检。一旦识别出活检位斜角形尖端的空心针和10立方厘米(cc)的鲁尔锁(LuerLock)注射器。针的长度能够在约以最大程度地减少患者的创伤。活检位置的选择还可以基于结节和/或针路径与围绕甲状无法进行诊断或者可能难以根据活检样本来做出明确诊断。另一个问题是假阴性活检结多个疑似癌症的位置以及由于预期的非诊断性/良性结果而被排除的一个或多个位置。所6公开的实施例可以显示叠加在实况超声图像上的具有针对每个像素的恶性预测概率的癌中的危及器官(OAR)或关键结构。所公开的实施例可以确定实况超声图像中的一个或多个户接口来显示最优活检路径，例如提供相对于使用中的超声成像探头的位置和/或相对于入可能危及OAR的轨迹或可能不会到达目标的轨迹时，所公开的实施例可以向用户提供警将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确图包括在所述超声图像的第二实例上的所述多个潜在恶性位置处的所述多个置信度水平基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定针对所述对象的解剖结构的目标活检位置，并且其述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图7在恶性位置和所述多个恶性可能性确定的活检的目标活检位置；或者所述活检的病理结述多个置信度水平中的至少一个来确定用于对所述对象的解剖结构进行活检的目标活检运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以预预[0015]图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径8[0017]图5是根据本公开内容的一些方面的用于超声图像的恶性可能性置信度图的图形[0018]图6是根据本公开内容的一些方面的具有用于活检针路径的视觉指示符的恶性潜[0019]图7是根据本公开内容的一些方面的情境显示的图形显示，其包括与超声探头和[0020]图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案的示意[0025]图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法的流程变和进一步的修改以及对本公开内容的原理的任何进一步应用都被充分预想到并被包括[0028]图1是根据本公开内容的一些方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像作的壳体。换能器阵列112能够被配置为在用户抓住探头110的壳体而使得换能器阵列112探头110被定位在患者体外时获得患者体内的解剖结[0030]换能器阵列112朝向解剖目标105发射超声信号并接收从目标105反射传回换能器9[0031]波束形成器114被耦合到换能器阵列112。例如，波束形成器114控制换能器阵列声回波信号将图像信号提供给处理部件116。波束形成器114可以包括多个阶段的波束形[0033]处理部件116被耦合到波束形成器114。处理部件116可以包括被配置为执行本文134能够被配置为控制阵列112以获得与目标10118能够包括实施适合用于通过通信链路120将信号传输到主机130的特定通信协议的硬件[0037]处理部件134被耦合到通信接口136。处理部件134可以被实施为软件部件与硬件部件的组合。处理部件134可以包括被配置为执行本文描述的操作的中央处理单元(CPU)、硬件设备、固件设备或其任何组合。处理部件134还可以被实施为计算设备的组合(例如，[0038]在一些实施例中，处理部件134能够对图像数据或图像帧执行图像分析以用于活要活检，识别目标活检位置和/或建议避开关键器官或组织区而到达目标位置的潜在的针路径。处理部件134能够应用基于深度学习的技术来确定成像平面是否能够提供目标活检位置的最优视图以及如何在操纵探头110时将用户引导到用于引导活检的最优视图。处理部件134能够监视由临床医生选择的活检针的插入点或进入点，确定会发生碰撞而到达组织的关键区域的活检针的轨迹，并且/或者在活检针的轨迹与关键区域之间会发生碰撞时[0040]系统100能够被配置用于基于超声成像的活检预测和引导流程的各个阶段。在一的易失性和非易失性存储器或不同类型的存储器的组合。存储器138能够被配置为存储用应用组织活检的目标位置和/或从活检获得的对应病理结果。可以训练深度学习网络来识的潜在恶性组织位置来确定活检目标位置和/或确定避开关键区域而到达目标的一条或多条活检针路径。可以训练深度学习网络以确定用于将探头110操纵到适合用于引导活检的并且/或者建议避开关键区域而进行活检的一条或多条针路径。本文更详细地描述了用于基于深度学习的技术来自动且系统地预测和引导活检[0043]图2是根据本公开内容的一些方面的患者的甲状腺210和周围区的超声图像200。[0044]图3-12共同说明了在活检工作流程中使用基于深度学习的技术来自动地且系统[0045]图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径预进行活检检查的临床医生提供活检引导。临床医生可以在使用探头110进行潜在活检检查常细胞(例如，恶性肿瘤)。能够使用B模式并且任选地结合各种超声成像模态来捕获图像息和/或任何能够促进成像数据分析以定位潜在恶性肿瘤并预测和引导活检的合适成像信态中的一种或多种模态与B模式成像交错进行来以不同的模态捕获图像302。系统100能够[0047]图像302被发送到主机130处的处理部件134。处理部件134接收图像302并将深度一些实施例中，深度学习网络310能够从通过图像302捕获的患者组织中识别出非诊断性和/或良性的组织位置。能够将非诊断性和/或良性组织位置从目标活检位置选择中排除。本文将更详细地描述深度学习网络310的架构和深度学习网络310的训练。在一些实施例恶性可能性和对应的置信度水平来输出恶性潜在图320和置信度图330。恶性潜在图320能够被称为疑似图。在下文描述的图4和图5中示出了恶性潜在图320和置信度图330的示例。[0049]图4是根据本公开内容的一些方面的用于基础超声图像440的恶性潜在图400的图图像440上的OAR410和潜在恶性组织位置420以及对应的恶性可能性的叠加物。潜在恶性间隙表示没有从预测中获得与恶性和/或活检有关的特定信息。能够根据恶性可能性对潜[0050]图5是根据本公开内容的一些方面的用于基础超声图像440的恶性可能性置信度性可能性相对应的置信度水平510(被示为闭合表面形状)的叠加物。类似于恶性潜在图440上叠加的恶性潜在图400和置信度图500，但在一些其他实施例中，能够将恶性潜在图恶性潜在图320和对应的置信度图330中识别出目标活检位置340和一条或多条活检针路径[0054]在图3中被标示为1的圆圈所标记的第一示例中，临床医生可以基于恶性潜在图理学检验提供足够的样本量。临床医生可以经由用户接口360输入对目标活检位置340a的能够基于用户选择的目标活检位置340a和所识别的关键区域(例如，避开OAR410)来预测径350b。活检路径确定单元370能够基于某些约束(例如使用图像分析算法和数值优化算[0056]在图3中被标示为3的圆圈所标记的第三示例中，活检路径确定单元370能够基于恶性潜在图320中的恶性可能性与置信度图330中的对应置信度水平的加权组合来确定目标活检位置。活检路径确定单元370能够基于轨迹计算来确定到达所确定的活检位置的一深度学习网络310，以预测目标活检位置以及到达所预测的活检目标位置的一条或多条活[0059]如下面描述的图6所示，处理部件134能够将所确定的或所建议的活检针路径350[0060]图6是根据本公开内容的一些方面的具有用于活检针路径610的视觉指示符的恶为到达活检目标620(如虚线椭圆所示)。活检目标620和活检针路径610可以对应于活检针[0061]在一些实施例中，方案300还可以在使用中相对于关于患者的皮肤和/或探头110头710和针进入点720的建议的活检针路径610。显示700可以对应于显示器132上的显示视可以包括临床医生是左撇子还是右撇子，临床医生相对于检查中的患者的位置和/或进行[0064]图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案800的示置810(1)可以提供用于引导活检的次优图像平面(例如由于活检目标(例如，结节212)未充于将探头相对于患者从初始位置810(1)平移和/或旋转到下一位置810(2)的移动向量。深度学习网络310能够在训练深度学习网络310期间学习OAR相对于一个或多个甲状腺叶的位新捕获的图像302无法(例如基于由深度学习网络310输出的恶性潜在图320和置信度映射[0067]图9是根据本公开内容的一些方面的用于引导探头定位的用户接口900的图形显示。用户接口900可以被显示在显示器132或用户接口360上。用户接口900包括当探头(例[0068]用户接口900可以包括如视觉指示符902所示的围绕探头的主手柄轴旋转探头的建议。临床医生可以跟随视觉指示符902(例如从探头位置810(1)到探头位置810(2))旋转探[0069]在一些实施例中，用户接口900能够通过在第一次优图像视图910旁边包括红点900可以使用任何合适的形状和/或颜色的视觉指示符来指示图像视图的次优和/或最优。在获得第二最优图像视图920之后，用户接口900能够在第二最优图像视图920中示出建议[0070]图10是图示根据本公开内容的一些方面的深度学习网络310的配置1000的示意的图像A以及使用应变成像模式捕获的图像B、使用剪切/杨氏模量成像模式捕获的图像C[0073]虽然CNN1010被图示为完全卷积神经网络(FCN)，但是在一[0074]图11是图示根据本公开内容的一些方面的深度学习网络训练方案1100的示的带注释或标签的超声图像1110输入到深度学习网络310。带注释的超声图像1110可以包[0077]在一个实施例中，带注释的超声图像1140还可以包括针对OAR1130(例如，OAR的每个像素是否对应到关键区域。能够调节卷积层1020中的系数和/或全连接层1030中的[0078]在一个实施例中，系统100能够用于捕获具有恶性肿瘤的检验组织的图像并基于活检结果为图像生成注释。系统100可以将类似于图像1110的带注释的图像作为训练数据340和活检目标620)和/或根据输入图像预测到达预测的活检目标的活检针路径(例如，活[0082]图12是图示根据本公开内容的一些方面的深度学习网络微调方案1200的示的活检位置。临床医生选择的活检位置和对应的病理结果也能够被馈入到深度学习网络对活检的目标活检位置的活检针路径和/或用于操控探头到达用于引导活检的最优成像平[0086]图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法1300的基于恶性潜在图(例如，恶性潜在图320和400)和对应的置信度图(例如，置信度图330和