CN114155402B 促进合成训练数据生成的系统、方法和计算机程序产品 （通 用电气精准医疗有限责任公司）

本发明题为″促进合成训练数据生成的系于带注释的源图像生成一组带注释的初步训练背景元素插入到带注释的源图像中来形成带注注释的初步训练图像生成一组带注释的中间训少一个基于模态的特性来形成带注释的中间训通过改变带注释的中间训练图像的至少一个几件可在该组带注释的可部署训练图像上训练机2元素增强部件，所述元素增强部件访问带注释的源图模态增强部件，所述模态增强部件基于所述一组带注释的初步训练图几何增强部件，所述几何增强部件基于所述一组带注释其中所述元素增强部件维护元素目录，所述元素目录列出能其中所述元素增强部件通过在所述元素目录内包括视觉对象的新图像来更新所述元表内包括能够应用于图像的新空间操作来更新所述2.根据权利要求1所述的促进合成训练数据生成的系统，其中所述促进合成训练数据3.根据权利要求2所述的促进合成训练数据生成的系统，其中所述视觉对象是所述机4.根据权利要求1所述的促进合成训练数据生成的系统，其中所述元素增强部件将所述视觉对象随机定位在所述带注释的源图像内的在生物学上可行的位置5.根据权利要求1所述的促进合成训练数据生成的系统，其中应用模态特性变化的相6.根据权利要求1所述的促进合成训练数据生成的系统，其中应用几何变化的相应置觉对象的相应置换插入到所述带注释的源图像中来形成每个带注释的初步训练图像，其中通过对相应带注释的初步训练图像应用模态特性变化的相应置换来形成每个带注释的3由所述设备基于所述一组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过对相应带注释的中间训练图像应用几何变化的相应置换来形成每个带注释的可通过在所述模态特性的列表内包括与设备模态相关的新图像属性来更新所述模态特性的8.一种用于促进合成训练数据生成以实现改善的机器学习泛化能力的计算机程序产的程序指令，所述程序指令能够由处理器执行以使所述处理器执行根据权利要求7所述的4[0002]机器学习模型的功效和/或泛化能力取决于用来训练机器学习模型的数据的真实的训练数据的具体实施可导致创建不受真实世界操作场景中面临的各种挑战影响的机器的具体实施可导致创建容易受到真实世界操作场景中所面临的各种挑战的阻碍的机器学[0005]根据一个或多个实施方案，上述系统可被实现为计算机实现的方法和/或计算机5该系统促进合成训练数据生成以实现改善的机器[0009]图2示出了根据本文所述的一个或多个实施方案的包括元素目录的示例性、非限[0010]图3至图4示出了根据本文所述的一个或多个实施方案的由带注释的源图像形成[0011]图5示出了根据本文所述的一个或多个实施方案的包括基于模态的特性的示例[0012]图6示出了根据本文所述的一个或多个实施方案的由初步训练图像形成的示例[0013]图7示出了根据本文所述的一个或多个实施方案的包括几何变换的示例性、非限[0014]图8示出了根据本文所述一个或多个实施方案的由中间训练图像形成的示例性、[0015]图9示出了根据本文所述的一个或多个实施方案的基于模态的特性和几何特性的6[0023]以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用[0027]在各种情况下，机器学习模型的功效可取决于机器学习模型经历的训练的质7据的速度可涉及从训练数据源收集训练数据和相关联的注释可有多快(例如，仅当带注释[0029]本主题创新的各种实施方案可以解决这些问题/难题中的一个或多个。本文所述的一个或多个实施方案包括可促进合成训练数据生成以实现改善的机器学习模型泛化能施方案可被视为用于快速生成任何合适的机器学习模型的真实、大容量和/或多种多样的内容是关于被配置为在临床环境中对二维医学图像进行分类/标记的机器学习模型而讨论预测等等)的任何合适的机器学习模型(例如，被配置为接收二维和/或三维图像数据作为输入的机器学习模型，被配置为接收一维和/或多维声音数据作为输入的机器学习模型，和/或被配置为接收具有任何合适维数的任何其他合适数据作为输入的机器学习模型)快8带注释的源图像可存储在任何合适的数据库和/或数据结构中，并且带注释的源图像可从示带注释的源图像描绘长了龋齿的患者，注释可指示带注释的源图像描绘血管阻塞的患通过将至少一个感兴趣元素/特征和/或至少一个背景元素/特征插入到带注释的源图像中素/特征可以是能够插入到带注释的源图像中的特定皮肤生长物的独立图像。在一些情况像)可以是可被添加到带注释的源图像(例如，其可被添加到带注释的源图像的副本)并且9下，所插入的元素/特征可在带注释的源图像中随机定位和/或设置在生物学上可行的位素/特征可被添加到和/或插入到带注释的源图像中的任何在生物学上可行的位置/定位。中并且可不插入到所描绘的腹腔中(例如，癌性肺生长物可能在患者的肺中并因此在胸腔特征插入到带注释的源图像的两个不同副本中，使得该相同的元素/特征具有不同的空间向)和/或在带注释的源图像的不同副本中具有不成的元素/特征以任何合适的位置和/或任何合适的取向插入到带注释的源图像中(例如，素/特征可以是手绘元素/特征的电子副本，可以是二维计算机辅助设计模型的电子图像，向单次X光扫描和/或单次X光扫描的副本添加和/或在其上叠加各种生物结构和/或医疗设过改变初步训练图像的一个或多个基于模态的特性来从每个初步训练图像形成任何合适施用于改变初步训练图像的基于模态的特性的任何合适的策略和/或方[0043]在医学背景下，基于模态的特性的此类置换变化可有助于更完全地模拟和/或近少相对于图像)可以是可在空间上改变和/或变换图像像素网格的任何合适的数学变换和/第三副本，并且可经由第一仿射和/或弹性变换使第三副本的现有外观失真。在各种情况变初步训练图像中的每个初步训练图像的至少一个基于模态的特性来生成任何合适数量[0045]在医学背景下，几何变换的此类置换应用可有助于更完全地模拟和/或近似真实尺寸、不同的基于模态的特性和/或不同的几何变换的多种排列)来解释真实世界可变性。步训练X光图像，可通过将医疗管材的不同取向/尺寸的图像插入带注释的胸部X光图像的可通过不将元素/特征插入到带注释的胸部X光片中来形成第六初步训练X光图像。也就是[0049]在各个方面，可基于将各种几何变换应用于每个中间训练X光图像来形成一组可三种可能的反射乘以四种可能的旋转乘以两种可能的裁剪乘以两种可能的失真)，于是形练数据集包括一百个带注释的X光图像而不是仅一个，则本主题创新的各种实施方案可因此生成518，400个可部署训练X光图像(例如，初始训练数据集中每个带注释的X光图像5，与仅在该组初始训练数据上训练机器学习模型相比，在该组可部署训练X光图像上训练机同的基于模态的特性和/或不同的几何变换不变和[0051]本主题创新的各种实施方案可用于使用硬件和/或软件来解决本质上高度技术的的合成训练数据生成相关的限定任务(例如，基于带注释的源图像生成一组带注释的初步及在该组带注释的可部署训练图像上训练机器学习模型)。此类限定的任务在常规上不由能在计算环境之外实现(例如，本主题创新的实施方案构成了基于给定的带注释的源图像具有由真实世界医疗/临床专业人员创建的相关联注释的患者的真实世界医疗/临床图像)以电子方式对副本应用几何变换而形成的。所得的多个训练图像是极为不同的一组图像，其近似和/或模拟真实世界可变性(例如，元素/特征插入可有助于近似真实世界生物可变助于进一步近似真实世界可变性)。与仅在一个或多个带注释的源图像上训练机器学习模型相比，在此类多个训练图像上训练机器学习模型可得到显著改善的性能和/或功效。因量和/或多种不同的训练数据上训练机器学习模型可得到显著改善的模型性能。正因为本子方式将感兴趣元素/特征的真实世界图像和/或背景元素/特征的真实世界图像插入到真世界带注释的源图像的真实世界几何特性。此类电子方式插入和/或电子方式变化可产生更完全和/或更完整地模拟真实世界图像可变性的多个真实世界训练图像。在此类多个真实世界训练图像上训练真实世界机器学习模型可提高机器学习模型的功效/性能，这是一数据生成系统102可通过基于带注释的源图像104以电子方式生成一组训练图像来解决该[0057]在各个方面，机器学习模型106可以是被设计为接收一个或多个图像作为输入并且基于输入的一个或多个图像产生一个或多个分类、标签和/或预测作为输出的任何合适用于执行图像到图像(和/或数据到数据)变换和/或用于执行任何其他合适的机器学习功成系统102可从合成训练数据生成系统102可访问的任何合适的数据库和/或数据结构以电处理单元、微处理器)和可操作地和/或操作地和/或可通信地连接/耦接到处理器108的计通过将来自元素目录的至少一个元素插入到带注释的源图像104的该电子副本中来形成/插入到带注释的源图像104的一个或多个[0063]在各种情况下，存储在元素目录中的元素可取决于机器学习模型106的性质。例趣元素可以是机器学习模型106应该学习、预测和/或检测的任何合适的解剖结构和/或生[0064]在各个方面，元素增强部件112可将来自元素目录的元素的任何合适的组合插入病变的图像可被放置在带注释的源图像104的所描绘的胸腔中，并且可避免被放置在带注释的源图像104的所描绘腹腔中(例如，肺病变可能在胸腔中形成，但不可能在腹腔中形[0066]在各种情况下，元素增强部件112可控制带注释的源图像104中的插入元素的取[0068]在各种情况下，当通过仅将背景元素插入到带注释的源图像104中来形成初步训注释为描绘一种类型的肺癌，则向该X光图像添加胃气可能无法影响注释的准确性/完整基于模态的特性可以是与捕获和/或生成带注释的源图像104的设备模态相关和/或取决于过改变/调整初步训练图像的至少一个基于模态的特性来形成/生成中中间训练图像可通过改变不同数量的基于模态的特性来形成，并且/或者至少一个中间训通过将至少一种几何变换应用于中间训练图像的电子副本来形成/生成可[0075]在各个方面，几何增强部件116可将几何变换的任何合适组合应用于中间训练图训练部件118实际上可在由合成训练数据生成系统102生成的该组可部署训练图像上训练[0078]图2示出了根据本文所述的一个或多个实施方案的包括元素目录的示例性、非限制性系统200的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能目录202可以电子方式存储和/或保持能够插入到带注释的源图像104中的元素/特征的图学习模型106被配置为检测患者脑中的堵塞血管，则感兴趣元素可以是堵塞血管的各种图录202内的元素可以是二维和/或三维计算机辅助设计模型(例如，医疗专业人员可在计算112可改变/修改元素目录202中的元素的所描绘和/或所投影的取向(例如，可描绘元素面素定位在任何合适的生物学上可行的位置(例如，胃气可插入到所描绘的腹腔的任何部分[0084]在各种情况下，元素目录202可被认为是能够插入到带注释的源图像104中的可些情况下，可利用感兴趣元素的一组现有图像和/或背景元素的一组现有图像来将元素目增强部件112可访问的任何合适的数据库和/或数据结构，以检查感兴趣元素的新图像和/或背景元素的新图像是否可用(例如，检查尚未在元素目录202内存储/列出的图像是否可新图像并将其添加到元素目录202中，并且因此可开始将此类新图像插入到带注释的源图入包括尚未在元素目录202中存储/列出的感兴趣元素和/或背景元素的新图像。在各个方有不同的定位和/或取向和/或尺寸)插入到带注释的源图像104中以生成初步训练图像部件112可开始将起搏器的图像(例如，具有不同的定位和/或不同的取向和/或不同的尺[0087]图3至图4示出了根据本文所述的一个或多个实施方案的由带注释的源图像形成释的源图像104的N个电子副本，并且可将来自元素目录202的任何合适数量和/或组合/排列的元素插入到带注释的源图像104的N个电子副本中的每个电子副本中，从而生成N个初不同元素插入到带注释的源图像104的不同副本的不同位置中，从而生成初步训练图像[0090]图4描绘了示出可如何使用带注释的源图像104来创建初步训练图像204的真实世胸部X光片402的所描绘胸腔中和/或叠加在其上来形成不同胸部X光片404中的(行1，列3)入到初始胸部X光片402的所描绘胸腔中和/或叠加在其上来形成不同胸部X光片404中的[0092]图5示出了根据本文所述的一个或多个实施方案的包括基于模态的特性的示例于生成带注释的源图像104的图像捕获设备和/或与之相关的任何合适的图像属性。例如，基于模态的特性502可包括图像表现出的和/或图像中描绘的γ/辐射水平、图像表现出的[0095]在各种实施方案中，模态增强部件114可更新和/或改变基于模态的特性502的列件114可周期性地和/或非周期性地查询模态增强部件114可访问的任何合适的数据库和/新图像特性/属性可用于生成中间训练图像504)。如果确定与设备模态相关的此类新的可修改的图像特性/属性是可用的，则模态增强部件114可在基于模态的特性502的列表中包图像特性/属性添加到基于模态的特性502的列表，并且因此可开始修改该新的特性/属性态增强部件114可从任何合适的数据库和/或数据结构检索图像模糊水平现在是与设备模态相关的可修改图像属性的指示(和/或可从操作者接收该指示来作为输入)。由于基于模[0097]图6示出了根据本文所述的一个或多个实施方案的由初步训练图像形成的示例的每个初步训练图像的M个电子副本中的每个电子副本的任何合适数量的基于模态的特性[0100]图7示出了根据本文所述的一个或多个实施方案的包括几何变换的示例性、非限制性系统700的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能[0101]在各个方面，几何增强部件116可包括适用于中间训练图像504的几何变换702的表可包括围绕任何合适的轴线反射图像，围绕任何合适的轴线将图像旋转任何合适的量各个方面，几何增强部件116可通过将几何变换702中的任一种应用于中间训练图像504来这样的参数化空间可取决于机器学习模型1[0103]在各种实施方案中，几何增强部件116可更新和/或改变几何变换702的列表(例情况下，可利用能够应用于图像的一组现有数学运算/变换来将几何变换702的列表初始116可访问的任何合适的数据库和/或数据结构，以检查能够应用于图像的新数学运算/变强部件116可将图像旋转、图像反射和/或图像倾斜的不同组合/排列应用于中间训练图像和/或数据结构检索图像失真现在是可用几何变换的指示(和/或可以从操作者接收该指示[0105]图8示出了根据本文所述一个或多个实施方案的由中间训练图像形成的示例性、创建N*M个中间训练图像504中的每个中间训练图像的P个电子副本，并且可将任何合适数[0109]图9示出了根据本文所述的一个或多个实施方案的基于模态的特性和/或几何特增强的X光片902和/或使其光学失真来形成进一步增强的X光片904中的(行1，列2)图像、[0112]图10示出了根据本文所述的一个或多个实施方案的示例性、非限制性实验结果元素/特征插入使得原始数据集从大小138增长到大小1600(例如，在元素/特征插入之后，[0114]这四个试验中的每个试验的经训练的机器学习模型的各种性能度量在图10中示基于模态的变化和/或各种几何变换的真实可通过将至少一个感兴趣元素或至少一个背景元素(例如，来自202)插入到带注释的源图训练图像的至少一个几何特性(例如，通过应用702中的任一种)来形成带注释的可部署训[0137]在各种实施方案中，动作2208可包括由设备接收具有相关联的注释的源数据段第一参数采样的不同组合/排列应用于源数据段以生成来形成中间训练数据段。在各种情况下，这可包括从第二空间进行值/状态的第二参数采样，以及将第二参数采样的不同组合/排列应用于该组初步训练数据段以生成该组中间训样，以及将第三参数采样的不同组合/排列应用于该组中间训练数据段以生成该组可部署包括能够插入带注释的源数据段中的感兴趣数据元素/特征和/或背景数据元素/特征，源获和/或近似模拟空间中的值/状态的多样性)。与单独在源数据段上训练机器学习模型相有不同数据签名的可能的输入数据段的域，这些数据签名可由所考虑的机器学习模型接并且可插入数据元素/特征的空间内的一个或多个相关的可增强参数可包括可插入数据元据元素/特征的尺寸/强度(例如，不同的可插入图像可以不同的尺寸/形状/厚度插入)等的特性的空间内的一个或多个相关的可扩展参数包括取决于和/或可其他方式与生成和/间内的一个或多个相关的可增强参数包括可应用于所考虑的数据段的任何合适的操作(例子空间内的一个或多个相关的可增强参数中的每个可增强参数可在值和/或状态的对应连的规则步长和/或增量(例如，γ水平值的参数采样可以0.1的步长/增量从1开始直到并且可修改不同副本以便具有/表现出来自所采样的参量范围的值/状态的不同排列/组增强参数的集合)和/或数据变换子空间(例如，与可应用于数据段的数学运算相关的可增[0148]在各个方面，如图所示，每个可增强参数可具有其自身的可能值/状态的参量范数X_1的可能值/状态的参量范围，可增强参数X_Y可具有可增强参数X_Y的可能值/状态的能值/状态的对应参量范围可以是可以插入到数据段中的元素/特征的所有可能类型(例的子空间中的可增强参数可以是亮度，并且可能值/状态的对应参量范围可以是数据段可态的子空间中的可增强参数可以是对比度，并且可能值/状态的对应参量范围可以是数据段可具有的所有可能的对比度水平(例如，量值从最小对比度到最大对比度的连续范围)。的对应参量范围可以是可应用于数据段的所有可能的旋转(例如，量值从最小角度旋转到[0149]在各个方面，可将可增强参数1_1的可能值/状态的参量范围和可增强参数1_Y的数X_Y的可能值/状态的参量范围可被认为是一组可能值/状态的参量范围2312，该组参量2310和2312可被共同视为跨越模拟空从可增强参数X_Y的可能值/状态的参量范围中获取可增强参数X_Y的值/状态的采样范围，参数1_1的值/状态的采样范围和可增强参数1_Y的值/状态的采样范围视为一组值/状态的强参数X_1的值/状态的采样范围和可增强参数X_Y的值/状态的采样范围视为一组值/状态值/状态的采样范围的集合2314和2316可被共同视为表示和/或近似模拟空间2302的值/状可以是模拟空间2302的多样性和/或可变[0151]如上所述，当基于值/状态的采样范围集合2314和2316合成地生成可部署训练数2302的参数化(例如，通过在该组增强子空间2304中定义和/或创建新的和/或不同的增强个可增强参数的可能值/状态的参量范围，和/或通过获取每个可增强参数的可能值/状态[0154]尽管本主题创新的各种实施方案在本文中被描述为以特定顺序应用图像/数据增决于带注释的训练数据的可用性和/或种类。本主题创新的各种实施方案提供了可基于给顺序执行元素/特征插入、基于模态的调制和几何变换来合成地产生大容量而且多种多样成的训练数据模拟和/或近似机器学习模型在操作期间可能遇到的真实世[0157]如上所示，关于带注释的源图像104描述了本主题创新的各种实施方案。具体地讲，本主题创新的各种实施方案可基于带注释的源图像104快速而且自动地生成一组可部署训练图像704，其中该组可部署训练图像704可用于促进机器学习模型106的有监督的训教导内容可应用于带注释的源图像以及未注上文已在可在一个或多个计算机上运行的计算机可执行指令的一般上下文中描述了实施[0160]本文实施方案的所例示的实施方案还可以在分布式计算环境中实践，在该环境[0162]计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、只读存储器[0166]系统总线2408可以是可使用多种可商购获得的总线架构中的任一种总线架构进部驱动具体实施的接口2424可包括通用串行总线(USB)和电气与电子工程师协会(IEEE)技术人员应当理解，计算机可读的其他类型的存储介质(无论是目前存在的还是将来开发此类实施方案中，操作系统2430可包括在计算机2402处托管的多个虚拟机(VM)中的一个设备诸如鼠标2442)将命令和信息输入到计算机2402中。其他输入设备(未示出)可包括麦接到系统总线2408，但这些和其他输入设备可通过其他接口连接，诸如并行端口、IEEE[0173]监视器2446或其他类型的显示设备也可经由接口(诸如视频适配器2448)连接到了存储器/存储设备2452。所描绘的逻辑连接包括到局域网(LAN)2454和/或更大网络(例[0176]当在WAN联网环境中使用时，计算机2402可包括调制解调器2460或可经由用于通解调器2460(其可为内部或外部的以及有线或无线设备)可经由输入设备接口2444连接到计算机2402连接到相关联的云存储系统时，外部存储接口2426可在适配器2458和/或调制解调器2460的帮助下管理由云存储系统提供的存储，如同其他类型的外部存储装置那样。[0178]计算机2402可操作为与以无线通信方式操作地设置的任无线保真(Wi-Fi)和BLUETOOTH8无线技术。因此，通信可以是与常规网络一样的预定信可以是适合于在两个或更多个计算机进程之间传输的数据分组的形式。样本计算环境该服务器数据存储库可用于存储服务器25本发明的方面的计算机可读存储介质(或多个介质)。计算机可读存储介质可以是有形设只读存储器(EPROM或闪存存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器[0181]本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理据、集成电路的配置数据或以一种或多种编程语言(包括面向对象的编程语言，诸如图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专[0184]尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单部高速缓存存储器。以举例说明而非限制的方式，RAM能以多种形式提供，诸如同步RAM(ESDRAM)、SynchlinkDRAM(SLDRAM)、直接RambusRAM(DRRAM)、直接Rambus动态RAM器部件旨在包括但不限于包括这些和任何其他合适其他普通技术人员能够理解本文公开的实施方案。所述训练部件在所述一组带注释的可部署训练图像上训练机器素目录列出可能的感兴趣元素的一组图像并且列出能够插入到所述带注释的源图像中的件通过在所述基于模态的特性的列表内包括与设备模态相关的新图像属性来更新所述基元素或所述至少一个背景元素随机定位在所述带注释的源图像内的在生物学上可行的位间训练图像的至少一个几何特性来形成带注备通过在所述基于模态的特性的列表内包括与设备模态相关的新图像属性来更新所述基[0203]13.根据任一前述条款所一个感兴趣元素或所述至少一个背景元素随机定位在所述带注释的源图像内的在生物