CN109472365B 使用辅助输入通过生成式对抗网络来细化合成数据的系统和方法 （福特全球技术公司）

US2017188002A1,2017.06.29US2013077882A1,2013.03.28AshishShrivastava,etal.L使用辅助输入通过生成式对抗网络来细化本发明扩展到用于使用辅助输入通过生成式对抗网络(GAN)来细化合成数据的方法、系统用于训练机器学习模型的注解元数据和标记元数据。可以扩展GAN以使用辅助信道作为细化器2利用生成式对抗网络GAN使用所述辅助数据作为提示来生成细化的合成图像数据以改其中，利用生成式对抗网络GAN使用所述辅助数据作为提示来生成细化的合成图像数中的每个图像区域的不同的纹理水平以及边缘数据限定合成图像中的不同对象之间的过访问表示道路场景图像的合成图像数据，所述合成图像数据包述道路场景的地面实况数据对所述合成图像数据访问用于所述图像的一个或多个辅助数据流，其中访问用利用生成式对抗网络GAN使用所述一个或多个辅助数据流的内容作为提示来细化所述其中，利用生成式对抗网络GAN使用所述一个或多个辅助数据流的内容作为提示来细离来区分合成图像中的每个图像区域的不同的纹理水平以及边缘数据限定合成图像中的输出所述细化的合成图像数据，所述细化的合成图像数据表示所接收指示所述细化的图像缺乏逼真性的反馈，所述反馈包括用使用所述参数来进一步细化所述细化的合成图像数据，进一步细输出所述进一步细化的合成图像数据，所述进一步细化的合成图像数4.如权利要求2所述的方法，其还包括从其他图像数据中提取所述一个或多个辅助数5.如权利要求4所述的方法，其中从其他图像数据中提取所述一个或多个辅助数据流36.如权利要求2所述的方法，其还包括使用所述细化的合成图像数据来训练所述机器耦接到一个或多个处理器的系统存储器，所述系统存储器存储所述一个或多个处理器执行存储在所述系统存储器中的所述指令以细化训练数据用访问表示道路场景图像的合成图像数据，所述合成图像数据包述道路场景的地面实况数据对所述合成图像数据访问用于所述图像的一个或多个辅助数据流，其中所述一个或利用生成式对抗网络GAN使用所述一个或多个辅助数据流的内容作为提示来细化所述其中，利用生成式对抗网络GAN使用所述一个或多个辅助数据流的内容作为提示来细离来区分合成图像中的每个图像区域的不同的纹理水平以及边缘数据限定合成图像中的8.如权利要求7所述的计算机系统，其还包括所述一个或多个处理器执行所述指令以接收指示所述细化的图像缺乏逼真性的反馈，所述反馈包括用使用所述参数来进一步细化所述细化的合成图像数据，进一步细输出所述进一步细化的合成图像数据，所述进一步细化的合成图像数9.如权利要求7所述的计算机系统，其还包使用所述细化的合成图像数据来训练用于车辆的自主驾驶4使用辅助输入通过生成式对抗网络来细化合地涉及使用辅助输入通过生成式对抗网络来细化(refining)[0005]本发明扩展到用于使用辅助输入通过生成式对抗网络来来细化合成数据的方法、注解元数据和标记元数据。可以扩展GAN以使用辅助信道作为细化器(refiner)网络的输[0010]生成式对抗网络(GAN)可以使用机器学习来训练基本上彼此比赛(即，彼此对抗)5[0013]例如，合成(或虚拟)图像可以包括来自树的树叶。语义分割可以指示合成(或虚拟)图像的包括树叶的部分实际上是树叶(并且不是例如绿色建筑物的侧面)。深度图可以实图像的数据集中提取辅助数据可以包括使用与相机数据流同步的传感器，诸如激光雷[0015]因此，GAN可以利用辅助数据流(诸如语义图和深度图)来帮助确保正确的纹理被正确地应用于合成(或虚拟)图像的不同区域。GAN可以生成具有增加的逼真性的细化的合[0019]图3示出使用辅助输入通过生成式对抗网络来细化合成数据的示例性方法的流程6100可以执行如本文所述的各种通信和数据传递功能，并且可以执行一个或多个应用程序[0025]I/O装置110包括允许将数据和/或其他信息输入到计算装置100或从计算装置100[0026]显示装置130包括能够向计算装置100的一个或多个用户显示信息的任何类型的[0029]图2示出有助于使用辅助输入来细化合成数据的示例性生成式对抗网络(GAN)7细化器202可以使用辅助数据的内容作为提示来改善虚拟图像的逼真性而不更改注解。细[0033]鉴别器203可以从细化器202接收细化的虚拟图像。鉴别器203可以将细化的虚拟化的虚拟图像的逼真性。鉴别器203可以将反馈参数发送到细化器202和/或生成器201。细化器202和/或生成器201可以使用反馈参数来进一步改善先前细化的虚拟图像的逼真性 助数据和/或反馈参数来进一步细化(变换)虚拟图像，直到鉴别器203将虚拟图像分类为[0035]图3示出使用辅助输入通过GAN200来细化合成数据的示例性方法300的流程图。将相对于GAN200的部件和数据来描述213用道路场景的地面实况数据对合成图像数据进行注解。生成器201可以输出虚拟图像自树木的树叶或绿色建筑物的侧面。深度图223可以基于对象距相机的距离来区分虚拟图[0039]方法300包括使用一个或多个辅助数据流的内容作为提示来细化合成图像数据，化为细化的合成图像数据212而不更改注解213。细化的合成图像数据212可以相对于合成8合成图像数据211细化成细化的合成图像数[0042]方法300包括输出细化的合成图像数据，所述细化的合成图像数据表示道路场景[0043]鉴别器203可以访问细化的虚拟图像214。鉴别器203可以使用细化的合成图像数据216和注解213对细化的虚拟图像214进行图像类型分类217。图像类型分类217将细化的器203可以生成图像反馈参数218以用于进一步改善细化的虚拟图像214的逼真性。鉴别器可以使用图像反馈参数218来进一步改善细化的虚拟图像214的逼真性(可能进一步参考辅可以基于辅助数据221和/或图像反馈参数218(或附加的其他反馈参数)进一步细化(变换)[0045]图4示出使用辅助输入通过生成式对抗网络来细化合成数据的示例性数据流40图像433和深度图图像423的内容(例如，作为提示)将虚拟图像411细化(变换)为细化的虚算机可执行指令等)以执行多个所描述的操作中的任何操作。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以使信息在不[0047]系统存储器可以耦接到一个或多个处理器并且可以存储由一个或多个处理器执9实现方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多替代性实现方式可能以期望的任何组合使用以形成本公开的附加混于对象与相机相距的距离来限定所述图像中的对象个辅助数据流；使用所述一个或多个辅助数据流的内容作为提示来细化所述合成图像数进一步细化的合成图像数据表示所述道路场景的进一括访问限定所述