CN114026654B 用于标记超声数据的系统和方法 （卡耐基梅隆大学）

2021.12.29PCT/US2020/037519202WO2020/252330EN2020.12.17WO2018127498A1,2018.07.12WO2018209193A1,2018.11.15法可以包括基于超声数据来训练卷积神经网络采样层的每个下采样层的射频输入可以被进行波形数据。所述超声中的组织可以被基于CNN的2对在所述CNN中的多个下采样层的每个下采样层的RF输入进行下采样，所述RF输入包其中所述多个下采样层包括超声图像编码分支和多个射频编码分其中每个射频编码分支包括多个卷积块，每个卷积块包括其中下采样包括对在所述CNN中的所述多个RF编码分支的每个RF编码分支的所述RF输入进行下采样和对在所述CNN中的每个超声图像编码分支的图像输入进行下采样，所述图基于所述CNN的输出对在超声中的组织进对在所述CNN中的多个下采样层的每个下采样层的图像输入进行下采样，所述图像输将每个RF编码分支的RF编码分支输出和所述超声图像编码分支的超声图像编码分支其中所述CNN进一步包括多个剩余连接，每个剩余连接将所述多个卷积块中的各自卷对在所述CNN中的多个下采样层的每个下采样层的RF输入进行下采样，所述RF输入包其中所述多个下采样层包括超声图像编码分支和多个射频编码分3其中每个射频编码分支包括多个卷积块，每个卷积块包括其中下采样包括对在所述CNN中的所述多个RF编码分支的每个RF编码分支的所述RF输入进行下采样和对在所述CNN中的每个超声图像编码分支的图像输入进行下采样，所述图基于所述CNN的输出对在超声中的组织进11.根据权利要求10所述的系统，其中所述计算装置进一步被编程或配置为对在所述CNN中的多个下采样层的每个下采样层的图像输入进行下采样，所述图像输入包括所述超4[0002]本申请要求获得2019年6月12日提交的美国临时专利申请第62/860,403号的优先5(concatenating)每个射频编码分支的射频编码分支输出和超声图像编码分支的超声图像一个计算装置，该至少一个计算装置被编程或配置为基于超声数据来训练卷积神经网络及基于CNN的输出对在所述超声中的组织[0010]在非限制性实施方式或方面中，计算装置进一步被编程或配置为对在CNN中的多个下采样层的每个下采样层的图像输入进行下采样，该图像输入包括所述超声的多个像配置为对每个射频编码分支的射频编码分支输出和超声图像编码分支的超声图像编码分6卷积神经网络(CNN)进行分割，所述计算装置进一步被编程或配置为基于超声数据训练对在超声图像或视频中的组织进行分割或以括用于超声的RF波形数据；或对在ANN中的多个下采样层的每个下采样层的图像输入进行7积块包括最大池化层，并且其中下采样包括对在所述CNN中的所述多个RF编码分支的每个RF编码分支的所述RF输入进行下采样和对所述CNN中的每个超声图像编码分支的图像输入[0029]条款11.根据条款10所述的系统，其中所述CNN中的多个下采样层的每个下采样层的图像输入进行下采样，所述图像输入包括所[0030]条款12.根据条款10至11中任一款所述[0031]条款13.根据条款10至12中任一[0032]条款14.根据条款10至13中任一款所[0033]条款15.根据条款10至14中任一款[0035]条款17.根据条款16所述的方法，其[0036]条款18.根据条款10至17中任一[0038]条款20.根据条款19所述的系统，其中8[0039]条款21.根据条款19至20网络(CNN)进行分割，所述计算装置进一步被编程或配置为基于超声数据来训练所述CNN，其中在所述超声数据中的至少一个输入超声图像包括用于多个[0041]条款23.根据条款22所述的方[0042]条款24.根据条款22至23中任一款所述[0043]条款25.根据条款22至24中任一款在所述ANN中的多个下采样层的每个下采样层的RF输入进行下采样，该RF输入包括用于所述超声的RF波形数据；或对在所述ANN中的多个下采样层的每个下采样层的图像输入进行9冠词"一"和"一个"旨在包括一个或多个项目，可与"一个或多个"和"至少一个"互换使用。[0057]非限制性实施方式或方面提供了一种用于通过使用超声的超声波形数据(例如，常具有挑战性。非限制性实施方式或方面允许通过使用深度学习(例如卷积神经网络[0058]非限制性实施方式可以作为用于处理由超声装置输出的超声数据的软件应用程[0059]现在参考图1，所示为根据非限制性实施方式或方面的用于标记超声数据的系统频率内容可以被超声/射频系统102用来计算多普勒频移以测量速度(例如，可以用彩色显通信和/或类似物)超声数据104，其中可以包括至少一个超声图像104a、射频波形数据据库108和/或类似物接收信息和/或将信息通信到超声系统/RF系统102、数据库108和/或方式或方面中，计算装置106可以从超声/射频系统102接收超声数据104(例如，超声图像文所述。另外或备选地，计算装置106可以用由计算装置106实施的CNN对超声数据104(例[0063]数据库108可以包括能够从超声/射频系统102、计算装置106和/或类似装置接收信息和/或将信息传达给超声/射频系统102、计算装置106和/或类似装置的一个或多个装由超声/RF系统102、其他超声和/或RF系统和/或类似物进行的RF扫描)的超声数据104(例[0066]现在参考图2，所示为根据非限制性实施方式用于实施和执行本文所述系统和方[0068]装置900可以执行本文所述的一个或多个过程。装置900可以基于处理器904执行由计算机可读介质(例如存储器906和/或存储部件908)存储的软件指令来执行这些过程。储在存储器906和/或存储部件908中的软件指令可使处理器904执行本文所述的一个或多330a、330b、330c和/或330d)可以包括至少一个卷积层集320。例如，每个卷积块(例如，二卷积块330b的每个卷积层集320可以具有比第一卷积块330a的特征图更多的数量(例如三卷积块330c的每个卷积层集320可以具有比第二卷积块330b的卷积层集320更多的特征图(例如，64个特征图)，和/或第三卷积块330c的其他尺寸可以小于第二卷积块330b的尺四卷积块330d的每个卷积层集320可以具有比第三卷积块330c的特征图更大的数量(例如两倍)(例如128个特征图)，和/或第四卷尺寸上更小)的超声数据项可以被零填充(例如，在其底部)以匹配输入尺寸。另外或备选垂直A扫描波形，可以使用高瘦的矩形核。例如，第一射频编码分支341的核尺寸可以是频编码分支340可以将射频波形分析分成(bin)与每个分支的波长支持相对应的不同频段，51x9核的RF编码分支可以在其第四、第四和第三卷积块中分别没有最大池化(例如，下采的第三卷积块341c、第二RF编码分支342的第四卷积块342d和/或第三RF编码分支343的第选地，第四卷积块(例如341d、342d、343d和/或344d)的每个卷积层集320的尺寸可以是[0078]如图3所示，瓶颈部分350可以包括至少一个卷积层集352(例如，两个卷积层集[0079]在非限制性实施方式或方面中，超声图像编码分支330的第四卷积块330d的输出[0080]在非限制性实施方式或方面中，瓶颈部分350的输出可以作为输入提供给解码分(例如，第一上卷积块360a、第二上卷积块360b、第三上卷积块360c和/或第四上卷积块合，和/或类似物。在非限制性实施方式或方面中，每个上卷积层362和/或第一上卷积块类似物的输出)、超声图像编码分支330和/或RF编码分支340的第四卷积块的尺寸和/或特积层362和/或每个卷积层集364可以具有比第一上卷积块360a的特征图更少的数量(例如一半)(例如128个特征图)，和/或第二上每个上卷积层362和/或每个卷积层集364可以具有比第二上卷积块360b的特征图更少的数360d的每个上卷积层362和/或每个卷积层集364可以具有比第三上卷积块360c的特征图更每个上卷积层362和/或每个卷积层集364的尺寸可以是784x192x32。在非限制性实施方式非限制性实施方式或方面中，输出层集370的尺寸可以基于解码分支360的第四上卷积块或RF编码分支340)的各自卷积块(例如，其输出)连接到解码分支360的多个上卷积块的各[0085]现在参考图4，根据非限制性实施方式或方面示出示例性CNN400(例如，U-Net外或备选地，第一卷积块430a的每个卷积层集420的尺寸可以基于输入图像的尺寸(例如，超声图像和/或RF图像，其可能具有784x192和/或类似的尺寸)和/或特征图的数量(例如，具有比第一卷积块430a的特征图更多数量(例如两倍)的特征图(例如64个特征图)，和/或如两倍)的特征图(例如128个特征图)，和/或第三卷积块430c的其他尺寸可以小于第二卷[0090]如图4所示，瓶颈部分450可以包括至少一个卷积层集452(例如，两个卷积层集[0091]在非限制性实施方式或方面中，编码分支430的第四卷积块430d的输出可以作为置的卷积层和/或类似物)和/或至少一个卷积层集464。例如，每个上卷积块(例如460a、积层集464可以包括卷积层(例如，3x3卷积层和/或类似物)、批归一化层、激活层(例如，积块460a的每个上卷积层462和/或每个卷积层集464可以具有256特征图，和/或第一上卷积块460a的每个上卷积层462和/或每个卷积层集464的尺寸可以基于编码分支430的第四或每个卷积层集464可以具有比第一上卷积块460a的特征图更少数量(例如一半)的特征图(例如128个特征图)，和/或第二上卷积块460b的其它尺寸可以基于编码分支430的第三卷集464可以具有比第二上卷积块460b的特征图更少数量(例如一半)的特征图(例如64个特征图)，和/或第三上卷积块460c的其它尺寸可以基于编码分支430的第二卷积块430b的尺比第三上卷积块460c的特征图更少数量(例如一半)的特征图(例如32个特征图)，和/或第四上卷积块460d的其它尺寸可以基于编码分支430的第一卷积块430[0096]在非限制性实施方式或方面中，CNN400的分类输出可以在训练期间被优化。例530d和第五卷积块530e可以各自包括三个卷积层集520)。在非限制性的实施方式或方面块530e的输出可以作为输入提供给解码分出)进行上采样。在非限制性实施方式或方面中，解码分支560可以包括多个上采样块(例560d和/或560e)可以包括一个上采样层562和两个或三个卷积层集564(例如，第一上采样方面中，每个上采样层可以使用在编码分支530步骤中捕获和存储的最大池指数来对其输入超声数据(例如，超声图像和/或RF图像)的尺寸。例如，输出层集570的尺寸可以是[0107]在非限制性实施方式或方面中，CNN500可以类似于Badrinarayanan等人在种组织类别的平均损失和平均交并比(mIoU)指标与训练历时的图。第一条曲线691示出了在组织类型上平均的损失函数值的一个实施例，因为其在训练CNN300的过程中通常会改在训练CNN的过程中通常会改善(越来越接近1.0)。第三条曲线693示出了用了用于分割脂肪筋膜组织的CNN300的mIoU的实施例，因为其在训练过程中普遍得到改善。些实施例中的每一个均是说明性的，个别训练课程将有望对其中的每一个有不同的值/曲[0109]现在参考图6B，所示为根据非限制性实施方式或方面的各种示例性CNN的示例性示例性的标记图像(例如，由临床医生和/或类似人员分别根据四个示例性的超声图像和/出了分别来自基于四个超声图像和四个RF图像的具有U-Net架构的示例性CNN的四个示例性输出分割的超声图像。第六列606示出了来自具有注意力U-Net(AU-Net)架构的示例性和四个RF图像的具有AU-Net架构的示例性CNN的四个示例性输出分割的超声图像。第八列608示出了分别来自基于四个超声图像和四个RF图像的具有W-Net架构的示例性CNN的四个[0110]为了说明的目的，表1示出了各种示例性CNN的像素级准确度和mIoU的实施例(由[0113]现在参考图6C，所示为根据非限制性实施方式或方面的各种示例性CNN的示例性个示例性标记的图像(例如，由临床医生和/或类似人员分别根据五个示例性超声图像和/或射频图像进行标记)。第四行614示出了分别来自基于五个超声图像的U-Net架构的示例分别来自基于五个超声图像的SegNet架构的示例性CNN(例如，不使用五个RF图像)的五个示例性的输出分割的超声图像。第六行616示出了分别来自基于五个超声图像和五个RF图像的具有U-Net架构的示例性CN