CN112641464B 用于启用上下文感知的超声扫描的方法和系统 （通 用电气精准医疗有限责任公司）

里WO2019091807A1,2019.05.16用于启用上下文感知的超声扫描的方法和描图像中的一个或多个内部解剖特征的相对尺寸和相对位置注释以使用户能够确定当前扫描2基于所述一个或多个内部特征的相对尺寸和相对位置来还包括确定每个节点的形心以及由连接每个节点的所述形心的一个或多个线段描绘每个在通信地耦接到所述医学成像处理器的用户界面的显示部分上显示所述上下文感知其中所述上下文感知图形包括所述医学扫描图像中识别的所述一个或多个内部特征其中生成所述上下文感知图形包括从所述分割模型的输出分离所述一个或多个内部特征3.根据权利要求1所述的方法，其中所述上下文感知图形的总体形状基于所述一个或4.根据权利要求1所述的方法，其中所采集的医学扫描图像基于在超声扫描期间从超下文感知图形包括所述目标扫描图像中识别的所述一个或多个目标内部特征中的每个目标内部特征的第二相对位置注释和第二相对6.根据权利要求5所述的方法，所述方法还包括在所述用户界面的所述显示部分上显基于分割模型来识别所述当前扫描图像中的一个基于所述分割模型的输出来分离所述一个或多个内部特征中的每个内部特征的一个在耦接到所述处理器的用户界面的显示部分上显示所其中所述当前上下文感知图形包括所述一个或多个内部特征中的每个内部特征的第38.根据权利要求7所述的方法，所述方法还包括在所述超声扫描期间选择目标扫描图换扫描图像；基于所述一个或多个变换扫描图像来生成一个或多个变换上下文感知图形；确定一个或多个变换扫描平面基于以当前上下文变换图形和目标上下文变换图形为处理器，所述处理器被配置有在非暂态存储器中的指令，所述指采集基于来自所述超声探头的扫描数据而生成的基于第一模型来识别存在于所述超声扫描图像中的一个为来自所述第一模型的输出的所述一个或多个解剖特征中的每个解剖特征确定一个及在所述显示部分上显示所述上下文感知图形；并且其中所文感知图形包括形成所述上下文感知图形的一个或多个顶点的一个或多个节点以及形成4采集目标扫描图像，所述目标扫描图像从存储在非暂态存储器中的一当所述上下文感知图形中的节点的数量与所述目标上下文感知图形中的节点的目标图形中的每个节点的尺寸相对于所述目标上下文感知图形中的每个对应节点的尺寸在阈5[0002]医学成像系统通常用于探测受检者(诸如患者)的内部特征并获得内部生理信息。个内部特征中的每个内部特征的相对位置注释和相[0008]图2是根据示例性实施方案的示出用于分割扫描图像并且生成扫描图像的上下文[0009]图3是根据示例性实施方案的示出示例性深度学习网络的布局的示意图，该深度学习网络可用于分割扫描图像并且识别扫描图像中的一[0010]图4示出了根据示例性实施方案的概要流程图，该概要流程图示出了用于显示扫[0011]图5示出了根据示例性实施方案的流程图，该流程图示出了用于生成扫描图像的6[0012]图6示出了根据示例性实施方案的流程图，该流程图示出了用于在超声扫描期间[0013]图7示出了根据示例性实施方案的流程图，该流程图示出了用于在超声扫描期间[0014]图8A示出了不具有所识别的内部特征且不具有所表示的上下文感知图形的两个[0015]图8B示出了具有内部特征注释但不具有上下文感知图形的8A的超声扫描图像的[0017]图9示出了根据示例性实施方案的分别用于初始扫描图像和目标扫描图像的示例性初始上下文感知图形和目标上下文感知图形以及一个或多个期望的变换图形以获得目对于第二内部特征的尺寸和定位的视觉变化以及与超声扫描期间的扫描方向的对应相关像和目标扫描图像的上下文感知图形就超声扫描期间的探头移动方向警示用户的示例性[0020]以下描述涉及用于启用医学扫描图像中的一个或多个内部特征(诸如解剖特征)[0021]先前方法已采用基于人工智能的机器学习方法来学习扫描图像中的各种解剖特提供内部特征的识别。操作者可能不能够相对于整个人类解剖结构来使扫描平面可视化，7图形形状可从三角形变为一条线)，这可向用户提供探头是否正朝向目标扫描平面移动的户是否正朝向目标扫描平面移动，并且以提高的效率和精确度正确地识别目标扫描平面，多个属性来生成扫描图像的上下文感知图形。在图4处示出了用于以上下文感知模式执行医学扫描(诸如超声扫描)的示例性方法，并且图5中示出了用于生成上下文感知图形的示部特征的相对位置和相对尺寸属性来生成的示例性上下文感知图形在图8C处示出为对应一个或多个期望的变换图形指示在将探头从初始扫描平面移动到目标扫描平面时初始扫统的用户界面上显示的实时扫描图像来实时地显示扫描图像的上下文感知图形，如图6所8描图像和目标扫描图像的上下文感知图形来确定并向用户显示当前扫描平面的位置和向[0028]可以理解，尽管本文相对于图1所示的超声成像系统示出了上下文感知图形的生[0029]图1是根据本发明的一个实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射波束形成器和发射器驱动换能器阵列或[0030]用户界面115可用于控制超声成像系统100的操作，包括用于控制患者数据的输9案可具有慢于7体积/秒的实时体积速率。数据可在扫描会话期间临时存储在缓冲器(未示个处理器(未示出)，以处理根据上文所述的示例性实施方案的由处理器116处理的处理任[0032]超声成像系统100能够以例如10Hz至30Hz的体积速率连续采集数据。能够以类似器120具有足够的容量来存储至少数秒钟的超声数据体积。数据体积的存储方式便于根据[0034]在本发明的各种实施方案中，处理器116可通过其他或不同的模式相关模块(例[0035]在本发明的各种实施方案中，超声成像系统100的一个或多个部件可以包括在便[0040]图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的[0041]非暂态存储器206可存储分割模块208、上下文感知模块209和超声图像数据21分割模块208可包括一个或多个机器学习模型(诸如深度学习网络)，所述一个或多个机器经网络(诸如图3所示的卷积神经网络(CNN)300)的指令。分割模块208可包括经训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训些训练数据集包括用于训练存储在分割和跟踪模块208中的机器学习模型中的一个或多个练一个或多个机器学习模型的超声图像、相关联的地面实况标签/图像和相关联的模型输块209可实现抽象模型216和上下文感知图形生成模型217，并且输出上下文感知图形。例形状)以指示超声扫描图像中或超声扫描图像上的感兴趣区域中的一个或多个内部特征的和/或相对于更大解剖结构的相对尺寸及相对取向或相对位置，以确保用户能够识别当前[0044]在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的[0046]显示设备214可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施配置为接收包括多个像素/体素的超声图像，并映射输入超声扫描图像以生成扫描图像的特征标测图(和/或复制的特征标测图)，其中每个特征标测图可接收来自外部文件或先前[0050]在一些实施方案中，特征标测图的神经元可通过使用学习的权重集(每个学习的权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收[0051]由每个特征标测图执行的变换/映射由箭头指示，其中每种类型的箭头对应于不紧接着先前的特征标测图的特征通道的3×3网格的输出被映射到当前特征标测图的单个[0054]向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标在训练期间发生输入神经元(以及它们的输入和输出)的随[0057]除了图例358内的箭头所指示的操作之外，CNN300还包括在图3中用实心填充矩期输出(地面实况输出)的匹配对馈送到CNN300。识别的解剖特征相对于扫描图像中识别的每个其他解剖特征的相对尺寸信息(基于扫描图[0062]超声扫描图像中的解剖特征的相对尺寸和相对位置信息的分割可考虑超声扫描示出在扫描图像中可见的解剖特征的相对尺寸和相对位置目标扫描平面所需的时间并提高了超声评价层可散布在图3所示的层/特征标测图之间，或者可替换所示层/特征标测图中的一个或多声系统的用户界面(诸如图1的用户界面115)处接收到的用户输入来确定当前超声成像模期望的超声成像模式和/或期望的成像方案的输入。示例性超声成像模式可包括B模式成400包括在418处基于从超声探头接收的超声扫描数据来采集图形的期望变化以实现目标上下文感知图形。将在下文相对于图7描述一个或多个期望的描图像上的叠加图或在邻近目标扫描图像处显示。显示的类型(叠加或是并排/邻近)可基[0079]这样，当用户执行医学扫描并且将探头从初始扫描平面的超声探头接收到的信息通过图像处理来获得扫描图像。方法500可由以上所公开的系统储在非暂态存储器中的一系列预定目标扫描图像对一系列目标扫描图像的选择的目标扫[0084]在采集扫描图像后，方法500包括在506处生成扫描图像的分割掩码(也称为分割输出)。生成分割掩码可包括将所采集的扫描图像作为输入录入到分割模型。在一些示例[0086]继续到510，方法500包括确定所采集的扫描图像中的每个内部特征的相对尺具体地讲，每个内部特征的相对尺寸是相对于所采集的扫描图像中的其他内部特征而言描图像中的参考特征来计算每个内部特征的面积和体积中的一者或多者。作为一个示例，当前上下文感知图形时，所选择的参考特征可存在于当前扫描图像以及目标扫描图像中。特征之间的距离可由连接与这两个内部特征相对应的两个节点[0093]继续到516处，方法500包括生成所采集的扫描图像的上下文感知表示(本文中另文感知表示可包括将经抽象和归一化的属性(包括相对尺寸和相对位置属性(分别来自510[0094]生成上下文感知表示包括在518处基于相应内部特征的相对尺寸来确定每个内部状)并且可提供扫描图像中可见的内部特征的图形表示，其中节点尺寸基于内部特征相对[0098]生成上下文感知表示还包括在520处确定每个节点的形心。确定每个节点的形心部特征的相对尺寸，并且线段表示所采集的扫描图像中的内部特征的相对位置(包括内部括一个或多个节点和线段的上下文感知图形可呈现为所采集的扫描图使该上下文感知图形连同扫描图像一起显示在超声成像系统[0104]转到图6，示出了用于基于上下文感知图形的实时生成来实时监测当前扫描图像描图像的目标上下文感知图形的比较来确定是否实现了目标扫描图像。方法600可由以上所公开的系统中的一个多个系统诸如图像处理系统202和/或超声系统100实现，但是应当内部特征之间的位置关系由连接每个节点的形心1。目标上下文感知图形中的节点的目标数量等于当前上下文感知图形中的节点的当前数[0112]下文使用以上所讨论的肝和肾示例进一步示出了是否实现目标扫描图像的确例如，如果当前上下文感知图形示出三个节点并且目标上下文感知图形仅示出两个节点，平轴之间的角度在目标上下文感知图形和当前上下文感知图形中是否相等或在阈值角度将当前上下文感知图形和目标上下文感知图形显示为与当前扫描图像和目标扫描图像的测到当前扫描平面的变化，则方法600包括显示当前扫描图像的当前上下文感知图形直至一个或多个期望的变换图形指示初始扫描图像的上下文感知图形的期望变化以实现期望的扫描图像。方法700可由以上所公开的系统中的一个多个系统诸如图像处理系统202和/计和/或测量一个或多个目标扫描图像参数。确定目标扫描图像参数可包括采集目标扫描扫描图像参数可基于目标扫描图像和目标上下文感知图形中识别的一个或多个内部解剖抽象出并且作为输入录入到上下文感知模块(诸如图2处的模块209)中以便确定上下文感[0121]在比较每个初始扫描平面参数与目标扫描平面参数之间的值后，方法700包括在708处基于该比较来确定探头移动的期望方向。探头移动的期望方向可包括从相对于更大期望方向的确定可基于所学习到的扫描平面方向与扫描图像中的解剖特征的外观的变化描平面方向性与基于扫描平面方向性的一个或多个解剖特征的相对尺寸和相对位置的变基于根据例如连续扫描图像得出的相对节点尺寸(节点尺寸基于解剖特征的相对尺寸)和特征的尺寸大于第二解剖特征的尺寸(从而第一节点尺寸大于第二节点尺寸)且第一解剖征的尺寸小于第二解剖特征的尺寸(从而第一节点尺寸大于第二节点尺寸)且第一解剖特向上前进时第一节点尺寸相对于第二节点尺寸减小并且第一节点与参考轴之间的角度从[0127]继续到710，方法700包括在探头移动的期望方向上识别一个或多个变换扫描平个或多个变换扫描平面中的每个变换扫描平面的上下文感知图形以便将操作者从初始扫形可包括(例如从一组预定的扫描图像)采集所述一个或多个变换扫描平面中的每个变换下文感知图形可提供当探头在期望的方向上朝向目标扫描图像移动时上下文感知图形的户显示上下文生成图形，从而向用户通知初始上下文感知图形/当前上下文感知图形的期望的变换图形示出了在探头从初始扫描平面移动到期望的扫描平面待检查的一个或多个期望的内部特征和待评价的期望状况中的一者或多者来从一组预定扫描图像830。第一扫描图像820和第二扫描图像830可为用具有一个或多个高亮区的分割以便从如820处所示的初始扫描图像到达如830处所示的扫描图像850。第一扫描图像840和第二扫描图像850可为具有上下文感知表示的图8B的初确定的。上下文感知表示(也称为上下文感知图形)可包括描绘第一内部特征(其在该示例中为肾)的第一节点842、描绘第二内部特征(其在该示例中为肝)的第二节点844以及描绘第三内部特征(其在该示例中为肠)的第三节点846。虽然节点在该示例中被表示为圆形节有相对于第二节点844更小的直径(及因此面积)，并且第三节点846具有相对于第一节点的上下文感知图形所描绘，第二节点844大于第三节点846，而该第三节点大于第一节点[0133]上下文感知表示还包括：在初始扫描图像中将第一节点842的第一形心和第二节点844的第二形心连接的第一线段841、将第一形心和第三节点846的第三形心连接的第二图形开始改变直至当前上下文感知(基于实时成像来实时地生成)类似于目标扫描图像的下文感知图形作为输入来确定一个或多个变换上下文感知图形并且向操作者显示变换图图形中的第一节点842和第二节点844的相对位置(从初始图形中相对于参考轴的锐角到目标图形中的钝角)，上下文感知模块可确定相对于更大人类解剖结构的探头移动的期望方上下文感知图形匹配或当前上下文感知图形是否与目标上下文感知图形偏离一个或多个间基于目标上下文感知图形及当前上下文感知图形的变化来实时地相对于目标扫描图像定的)当前上下文感知参数诸如节点尺寸、相对节点位置和一个或多个节点的可见性与先每个节点而言，计算当前节点尺寸与先前上下文感知图形中的对应节点尺寸之间的变化。形中的节点和参考轴之间的角度与先前图形中的对应节点和对应参考轴之间的角度的变化。监测一个或多个节点的可见性包括确定先前图形中的所有节点是否存在于当前图形类解剖结构的当前扫描平面和/或扫描方向，直至当前扫描正朝向目标扫描平面前进以实[0143]转到图9，示出了可在用户界面(诸如图1处的界面115或图2处的显示设备214)上第一变换图形920和第二变换图形930。初始上下文感知图形910可基于以超声扫描期间来扫描图像。可由处理器生成第一变换图形920和第二变换图形930，如上文相对于图7所讨描图像。初始上下文感知图形910和目标上下文感知图形940类似于分别在图8的840和850处示出的叠加在初始扫描图像和目标扫描图像上的初始上下文感知图形和目标上下文感相对于扫描图像邻近地定位的上下文感知图形(未示出)加到θ2并且在930处进一步增加到θ3直至实现目标角度θ4。第一节点相对于参考轴的相对初始上下文感知图形相对于更大人类解剖结构的期望变化，并且指示探头移动的期望方描平面实现目标扫描图像，探头可相对于更大人类解剖结构从初始位置朝向前部方向移出了当超声探头在人体的前部/上部至后部/下部方向上移动时第一内部特征相对于第二[0146]可由1010描绘当该扫描相对于人类解剖结构从前部至后部方向前进时第一内部预期(期望)变化以及初始上下文感知图形(即，基于初始扫描平面处的初始扫描图像的初始图形)的总体形状的预期(期望)变化以实现基于目标扫描平面处的目标扫描图像的目标[0147]由1090描绘当该扫描相对于人类解剖结构从前部至后部方向前进时第一内部特示表示第一内部特征的第一节点的角位置相对于表示第二内部特征的第二节点的角位置，因此处理器可向操作者提供指示以相对于更大人类解剖结构朝向后部方向移动探头以便前角位置和目标角位置，处理器可绘制相对于更大人类解剖结构的当前位置/当前扫描平括表示扫描图像中的一个或多个内部解剖特征并形成上下文感知图形的一个或多个顶点[0150]在医学扫描图像的所识别的解剖学内部特征上生成并显示上下文感知注释的技术效果可包括给予执行医学扫描的操作者的实时视觉反馈以指示当前扫描平面并将操作多个内部特征中的每个内部特征的相对位置注释和中生成所述上下文感知图形包括从所述分割模型的输出分离所述一个或多个内部特征中的每个内部特征的相对尺寸和相对位置属性。在该方法的第二示例(其任选地包括第一示例)中，该方法还包括其中生成上下文感知图形包括由节点描绘所述一个或多个内部特征中生成上下文感知图形包括确定每个节点的形心并且由连接每个节点的形心的一个或多个线段描绘每个节点的相对位置。在该方法的第四示例(其任选地包括第一示例至第三示例中的一项或多项或每一项)中，该方法还包括其中上下文感知图形的总体形状基于所述一个或多个内部特征的相对位置。在该方法的第五示例(其任选地包括第一示例至第四示例中的一项或多项或每一项)中，该方法还包括其中所采集的医学扫描图像基于在超声扫描期间从超声探头接收到的超声信号数据。在该方法的第六示例(其任选地包括第一示例征来生成所述目标扫描图像的目标上下文感知图形以及基于所述上下文感知图形和所述标感知图形包括所述目标扫描图像中识别的所述一个或多个目标内部特征中的每个目标内部特征的第二相对位置注释和第二相对尺寸注释。在