CN112504271B 用于自动生成环境的训练图像集的系统和方法 （波音公司）

US2019026956A1,2019.01.24US2020302241A1,2020用于自动生成环境的训练图像集的系统和本发明涉及一种用于自动生成环境的训练链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签以21.一种用于针对原生环境(100)生成图像和标签的训练集(350)的方法(700)，所述方法在计算系统(300)上实现，所述计算系统(300)包括与至少一个存储装置(304)通信的至从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型环境模型数据检测所述多个环境特征中的一个或更多个环境特征出现在所述多个物理坐述多个环境特征中的检测到的所述一个或更多个生成链接数据(354)，所述链接数据(354)将所述多个二维渲染染图像与(i)标签(452)以及(ii)对应的原生图像(356)相关联，所述标签用所述一个或更多个环境特征中的每一个环境特征的标识符和/或类型来标记所述每一个环境特征，并且将所述训练集存储在所述至少一个存储装置中，所述训练集包括所2.根据权利要求1所述的方法(700)，该方法还包括使用所述至少一个处理器(302)执3.根据权利要求1或2所述的方法(700)，其中，所述原生环境(100)的路径，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：的每一个摄像头图像与所述多个物理坐标集中的一个物理坐标头图像包括对应的地理坐标标签，并且其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：从所述多个摄像头图像中提取所述地理坐标标签以接收所述多个物为包括多个记录(401)的数据结构(400)，每个记录包括(i)指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的录包括指向所述多个二维渲染图像中的至少一个二维渲染图像的第一指针(402)和指向所3应的物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个环境特征到所述对应的物理坐9.根据权利要求1或2所述的方法(700)，其中，使用所述针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型型数据检测所述多个环境特征中的一个或更多个环境特征出现在所述多个物理坐标集中生成链接数据(354)，所述链接数据(354)将所述多个二维渲染染图像与(i)标签(452)以及(ii)对应的原生图像(356)相关联，所述标签用所述一个或更多个环境特征中的每一个环境特征的标识符和/或类型来标记所述每一个环境特征，并且4将所述训练集存储在所述至少一个存储装置中，所述训练集包括所为针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每一至少一个处理器(302)被进一步配置为接收在物理穿越所述路径期间记录的多个摄像头图且其中，所述至少一个处理器(302)还被配置为通过从所述多个摄像头图像中提取所述地其中，所述多个摄像头图像(330)中的每一个摄像头图像与时向所述多个二维渲染图像(340)中的至少一个二维渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳配置为生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的第一指针(402)和指向所述物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间关将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一其中，所述链接数据(354)包括数据结构(400)，所述数据结构(400)包括多个记录理器(302)还被配置为通过在所述多个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个环境特征到所述对应的物理坐标集(332)的所述空间关系来存储所述元数据(358、5针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模6[0002]至少一些已知的机器视觉系统被训练以导航由图像传感器检测到的环境(例如，已知的自动驾驶机动车利用经训练的机器视觉系统来导航与自主驾驶和/或自主追求自动以包括掩模(例如叠加在各训练图像中的各环境特征上的预选颜色)以训练所应用的机器它标签(例如环境特征在图像中的名称)以及元数据(例如对捕获图像的视点的描述、距环方法还包括使用至少一个处理器来生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生(native)图像相关联。另外，7被配置为生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个[0006]本文描述了一种非暂时性计算机可读存储介质，其上实个处理器生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个的各种特征可以单独地或以任何组合结合到任何上述[0009]图2A是如从第一有利位置观看的图1的原生环境的示例性语义分割的图像的示意图[0011]图3A是用于针对原生环境(例如图1的原生环境)生成图像和标签的训练集的示例[0013]图3C是用于针对原生环境(诸如图1的原生环境)生成图像和标签的训练集的示例[0014]图4是针对图1所示的环境的训练集由图3A-3C所示的计算系统生成的标签、元数[0019]图7A是用于使用诸如图3C中所示的计算系统针对原生环境(诸如图1中所示的原8领域普通技术人员已知的实践本文所公开的示例所需的[0024]如本文所述的用于针对原生环境生成图像和标签的训练集的计算机实现的方法对于(但不限于)机场环境特别有用。它们还对(但不限于)受管制或受控的环境(还是例如[0026]示例还包括生成将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的或不必要的元素，因此每个2D渲染图像中代表环境特征的像素可以被计算系统精确识别，以轻松地针对自导式载具遇到的典型情况(例如飞行器接近机场的各条跑道的标准方式，或行李运输载具去机场的各个登机口的标准地面路径)创建训练图像集。在一些这样的示9标记有该载具的物理坐标，或者通过将时间戳与机载GPS系统进行匹配而关联到该载具沿[0030]图1是如从第一有利位置观看的原生环境100的图像的示例性示意图。环境100包括多个静态的物理环境特征(统称为环境特征110)，各环境特征与物理世界中的对应地理坐标相关联。在该示例中，原生环境100的图像还包括地理参考模型中不包括的多个对象[0033]图3A和图3B是用于针对原生环境100生成图像和标签的训练集的示例性数据获取系统300包括至少一个处理器302，其被配置为根据原生环境100的地理参考模型生成2D渲像处理模块322、数据链接模块324和/或如下所述的其它合适的模块的程序的等效处理装形卡处理器和被编程为执行模型数据操纵模块320、数据链接模块324和/或其它合适的模[0036]在该示例中，所述至少一个存储装置304包括一个或更多个使得能够存储和检索包括显示适配器(未显示)，该显示适配器与显示装置(未显示)联接，例如阴极射线管(例如但不限于麦克风)。诸如触摸屏的单个组件能够充当显示装置372和用户输入接口个处理器302，并且被配置为联接以与一个或更多个远程装置(例如但不限于网络服务器)信接口374从一个或更多个远程装置接收数据和/或将数据发送到一个或更多个远程装置，以供所述至少一个处理器302使用和/或存储在所述至少一个存储装置3[0040]在其它示例中，以使计算系统300能够执行本文所描述的步骤的任何适当方式来[0041]还参照图1，所述至少一个处理器302可以访问与环境100的地理参考模型相对应数据308包括例如用于每个环境特征110的唯一标识符312和每个环境特征110的类型314。标识符312不同于地理参考模型中包括的每个其它环境特征110的唯一标识符312。相似类[0044]可以根据用于参考视点的语义图数据、用于参考视点的特征图数据和/或环境模用值将空间范围316存储在预定义的数据结构中。可以对应于环境特征110的类型314来定使得计算机系统300能够如本文所述地起作用的任何合适的方式定义和/或存储空间范围坐标集332被存储在所述至少一个存储装置304中，并且所述至少一个处理器302被编程为从所述至少一个存储装置304检索物理坐标集332。各物理坐标集合332定义了物理空间中染图像340的相应对来训练机器视觉系统362以识别环境特征输载具(未显示)可能通过这些点在建筑物150与停机坪140的各个登机口之间行驶。另选着测试载具380沿路径捕获每张摄像头图像330，对应的物理坐标集332从机载地理定位系和物理坐标集332分别由摄像头382和机载地理位置系统386分别与时间戳一起记录，并且中列出数字坐标和取向值。在一些示例中，所述至少一个存储装置304还存储每个摄像头382相对于机载地理定位系统386的位置和取向的位移和取向，并且所述至少一个处理器302被编程为针对每个摄像头382基于各个摄像头382的位移和取向来调整地理坐标标签以格精确的拟合。通过从环境模型数据308创建2D渲染图像340并对2D渲染图像340自动进行308以检测在给定物理坐标集332定义的视图中出现的每个环境特征110，并为每个检测到110是否出现在与由指定的物理坐标集332定义的环境100的视图相关联的边界框或关注区渲染图像340以使得训练集350能够如本文所述地起作用的任何合适的格式用可视化模式，该可视化模式以对应的语义颜色渲染与每个检测到的环境特征110相对应将环境特征110的每种类型314与预选颜色相关联，并且对于2D渲染图像340中的每个检测到的环境特征110，利用与各个环境特征110的类型314相关联的预选颜色来渲染像素342。2D渲染图像340的渲染过程中自动且精确地确定与检测到的一个或更多个环境特征110中的每一个相对应的像素342，并自动精确地对那些像素342进行着色以创建语义分割图像352，计算系统300不需要手动学习或手动操作原生图像356即可在高速过程中生成具有精[0052]在该示例中，所述至少一个处理器302被编程为以多种可视化模式选择性地创建个处理器302被编程为应用RGB可视化模式来为每个物理坐标集332创建附加的2D渲染图像征调色板例如与检测到的环境特征110的相应类型314或唯一标识符312相关联地进行渲标集332创建附加的2D渲染图像340。在深度图可视化模式下，以与像素342到物理坐标集332的位置坐标的物理距离相对应的色标来渲染与各被检测到的环境特征110相对应的多加的或另选的可视化模式以针对每个物理坐标集332创建附加的2D渲染图像色230渲染与滑行道130相对应的像素342，用第四颜色232渲染与位置标记132相对应的像素342，用第五颜色240渲染与停机坪140相对应的像素342，用第六颜色250渲染与建筑物150相对应的像素342并且用第七颜色260渲染与标记牌160相对应的[0054]图4是由计算系统300为环境100的训练集350生成的标签404和452、元数据358和链接数据354的示例。生成训练集350的过程还包括使用所述至少一个处理器302来生成链为针对对应的2D渲染图像340和原生图像356对基于数据结构400中的信息来解析训练集渲染图像340的图像文件的文件路径和文件名，第二指针403使用与对应的原生图像356被识的记录401中的第一指针402以找到与原生图像356相对应的2D集332被存储在对应的记录401中，并且与所捕获的并与各原生图像356一起存储的物理坐起作用的任何合适的方式实现的第一指针402和第二指针数据结构400包括用于与各记录401相关联的2D渲染图像340的标签404。可视化模式标签110的特征标签452。例如，特征标签452是基于所检测到的环境特征110的唯一标识符312少一个存储装置304存储各摄像头382相对于机载地理定位系统386的位置和取向的位移和302被编程为针对每个2D渲染图像340，基于环境模型数据308，计算从对应的物理坐标集的2D渲染图像340相关联的附加链接数据450，并且将空间关系元数据454和附加链接数据通过在与2D渲染图像340相对应的数据结构400的记录401中包括各特征标签452和对应的加链接数据450和空间关系元数据454被存储在存储对应的2D渲染图像340的图像文件的元[0067]图5A是从环境模型数据308和如上所述的物理坐标集332中的一个创建的基线2D化502和背景504的2D渲染图像34[0068]在该示例中，基线2D渲染图像500是从使用例如射线跟踪算法并且包括默认背景图像面貌和/或默认可变环境效果(例如天气、一天中的时间的照明效果)的环境模型数据一个或更多个摄像头在视野中看到的图像可以包括各种背景、天气和/或一天中的时间的机器视觉系统362通过其一个或更多个摄像头在视野中看到的图像之间的不匹配，这将可[0069]在一些示例中，所述至少一个处理器302还被编程为创建具有多个模拟环境变化阳的不同位置，从而导致对2D渲染图像340的其中包括代表一天中的不同时间的照明效果的环境变化502和背景504的渲染。对于另一示例，环境模型数据308被修改为包括与环境环境变化502和代表天气引起的能见度效果和/或云形成背景的背景504[0070]另外或另选地，所述至少一个处理器302被编程为仅将射线跟踪算法与默认背景像500直接应用2D修改以创建具有多个模拟环境变化502和/或背景504的附加2D渲染图像一个或更多个天气和/或一天中的时间的背景504上，以从各基线2D渲染图像500创建一个[0071]对于另一示例，所述至少一个处理器302被编程为将2D照明效果算法应用于基线2D渲染图像500以创建具有与环境100中一天中的特定时间或其它环境光条件相对应的环机位置应用局部鱼眼镜头光学变形在摄像头镜头上模拟雨滴506，以创建对应的附加2D渲雾所引起的可见度降低的环境变化502的附加2D渲染图像述地起作用的任何合适的方式来创建具有环境变化502和/或不同背景504的2D渲染图像[0074]类似地，在一些示例中，所述至少一个处理器302进一步被编程为在2D渲染图像跟踪算法从环境模型数据308生成的2D渲染图像340不包括由于固有传感器效果引起的弯面训练集350中的2D渲染图像340以及机器视觉系统362通过其一个或更多个摄像头在视野如本文所述地起作用的任何合适的方式创建2D渲染图像340时考虑这种固有传感器效果，[0081]另外或另选地，所述至少一个处理器302被编程为在创建2D渲染图像340和/或在程为在将摄像头图像330作为原生图像356进行存储之前降低摄像头图像330的图像分辨至少一些已知示例在不包括大范围的未分割背景图像的训练集350上表现更好。所述至少[0082]图7A是用于针对原生环境(诸如原生环境100)生成图像和标签的训练集(诸如训的至少一个处理器的计算系统(例如包括与至少一个存储装置304通信的至少一个处理器示例中，接收702物理坐标集332的步骤包括接收704在物理穿越路径期间捕获的摄像头图[0084]在该示例中，方法700还包括检索710与环境100的地理参考模型相对应的环境模染图像340与多个物理坐标集332中的一个物理坐标集的视图相对应。多个2D渲染图像340另外或另选地，创建7122D渲染图像340的步骤还包括针对每个2D渲染图像340确定716可变化502和/或背景504的附加2D渲染图像724标签和元数据中的至少一者的步骤包括为每个2D渲染图像340分配726可视化模式标签于环境模型数据308计算730元数据358，该元数据358包括从对应的物理坐标集332到至少一个检测到的环境特征110的空间关系元340中的每一个与(i)所包括的一个或更多个环境特征110的标签以及(ii)对应的原生图像图像340中的至少一个的指针402以及(ii)包含与对应的原生图像356相关联的时间戳442[0088]在某些示例中，方法700还包括针对每个2D渲染图像340，生成744附加链接数据数据450的步骤包括在链接数据354的数据结构400的至少一个记录401中包括748用于一个或更多个环境特征110中的每一个的功能标签452以及从一个或更多个环境特征110中的每[0089]在该示例中，方法700还包括存储750训练集350，该训练集350包括2D渲染图像[0090]以上描述的用于针对原生环境生成训练集的计算机实现的方法和系统的示例利感器效果以及变化的背景影像中的至少一种被添加到2D渲染图像中以创建更鲁棒的训练不需要任何物理摄像头和/或物理场景调整的情况下，模拟计算机生成的2D渲染图像中各[0093]1.一种用于针对原生环境(100)生成图像述方法在计算系统(300)上实现，所述计算系统(300)包括与至少一个存储装置(304)通信[0095]从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境[0096]根据所述环境模型数据创建多个二维(2D)渲染图像(340)，各2D渲染图像与所述[0097]生成链接数据(354)，所述链接数据(354)将各所述2D渲染图像与(i)用于所包括[0098]将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述2D渲染图[0099]2.根据条款1所述的方法(700)，该方法还像头图像中的每一个摄像头图像与所述多个物理坐标集中的一个物中的至少一个2D渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的至少一[0103]6.根据条款1至5中任一项所述的方法(7理器(302)执行以下步骤：生成所述链接数据(354)作为包括多个记录(401)的数据结构[0104]7.根据条款1至6中任一项所述的方法(理器(302)针对每个2D渲染图像(340)执行以从对应的物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的[0107]将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个2D渲染图像(340)中的至少一个2D渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个到所述对应的物理坐标集(332)的[0109]9.根据条款1至8中任一项所述的方法(700)，其中，使用所述至少一个处理器[0111]针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视[0112]10.根据条款1至9中任一项所述的方法(700)，其中，使用所述至少一个处理器[0113]11.一种用于针对原生环境(100)生成图像和标签的训练集(350)的计算系统[0115]从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境[0116]根据所述环境模型数据创建多个二维2D渲染图像(340)，各所述2D渲染图像与所[0117]生成链接数据(354)，所述链接数据(354)将各所述2D渲染图像与(i)用于所包括[0118]将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述2D渲染图为针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每个头图像中的每一个摄像头图像与所述多个物理坐标集中的一个过从所述摄像头图像中提取所述地理坐标标签来接收其中，所述至少一个处理器(302)还被配置为生成所述链接数据(354)作为包括多个记录渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间记录包括指向所述多个2D渲染图像中的至少一个2D渲染图像的第一指针(40