CN113906468B 用于训练图像着色模型的系统和方法 （谷歌有限责任公司）

2021.12.03PCT/US2019/0311412019.05.07WO2020/226630EN2020.11.12withGenerativeAdversari一种用于训练图像着色模型的方法可以包括将训练输入图像输入到着色模型中并且接收测颜色图的第一像素与预测颜色图的第二像素颜色图中的第三像素与包括在基准真相着色图真相颜色图中的第三像素和第四像素可以分别与包括在预测颜色图中的第一像素和第二像素色距离与第二颜色距离之间的差的邻域颜色损2收所述训练输入图像并处理所述训练输入图像以输出描述所述训练输入图像的预测着色由所述一个或多个计算设备计算包括在所述预测颜色图中的第一像素与包括在所述由所述一个或多个计算设备计算包括在基准真相颜色图中的第三像素与包括在所述的所述第三像素和所述第四像素在空间上分别与包括在所述预测颜色图中的所述第一像由所述一个或多个计算设备基于所述邻域颜色损失函数来调整与所述着色模型相关2.根据权利要求1所述的方法，还包括由所述一个或多个计算设备随机地选择所述预3.根据权利要求1所述的方法，还包括由所述一个或多个计算设备基于以下中的至少4.根据权利要求1所述的方法，还包括由所述一个或多个计算设备为所述预测颜色图5.根据权利要求1所述的方法，还包括由所述一个或多个计算设备相对于所述第一像素迭代地评估多个附加第二像素的邻域颜色损失函数以生成针对所述预测颜色图的所述所述着色模型包括多项式预测模型和细化模型，其中，所述多项式预多项式颜色分布描述针对在离散化颜色空间中的所述训练输入图像的多个着色，并且其将所述训练输入图像输入到所述着色模型包括将所述训练输入图像输入到所述多项3将由所述细化模型输出的所述预测颜色图编码到离散化颜色评估细化softmax损失函数，所述细化softmax损失函数描述所述多项式基于所述细化softmax损失函数来调整所述评估绝对颜色损失函数，所述绝对颜色损失函数描述所述预测颜色图基于所述绝对颜色损失函数来调整与所述细化模型相将所述基准真相颜色图编码到与所述基准真相颜色图相述离散化颜色空间包括多个颜色区间以生成离散化基准真评估多项式softmax损失函数，所述多项式softmax损失函数描述所述离散化基于所述多项式softmax损失函数来调整所述多项式着色模型，所述着色模型被配置为接收训练输入图像，并且共同存储指令的一个或多个非暂时性计算机可读介质，当所计算包括在所述预测颜色图中的第一像素与包括在所述预测颜色图中的第二像素之计算包括在基准真相颜色图中的第三像素与包括在基准真相颜色图中的第四像素之在空间上分别与包括在所述预测颜色图中的所述第一像素和所评估邻域颜色损失函数，所述邻域颜色损失函数评估所述第一颜色距离与所4基于所述邻域颜色损失函数来调整与所述着色模第一颜色距离已经在训练期间在由所述着色模型输出的训练预测颜色图中包括的第一像在包括在基准真相颜色图中的第三像素与所述基准真相颜色图中的第四像素之间，其中，包括在所述基准真相颜色图中的所述第三像素和所述第四像素在空间上分别与包括在所述训练预测颜色图中的所述第一像素和所述第二共同存储指令的一个或多个非暂时性计算机可读介质，当指令由5[0003]本公开实施例的各方面和优点将在以下描述中部分阐述，或者可以从描述中获一个或多个计算设备计算包括在预测颜色图中的第一像素与包括在预测颜色图中的第二颜色图中包括的第三像素和第四像素分别与预测颜色图中包括的第一像素和第二像素在设备基于邻域颜色损失函数来调整与着色模型6计算包括在预测颜色图中的第一像素与包括在预测颜色图中的第二像素之间的第一颜色能已经基于评估第一颜色距离与第二颜色距离之间的差的邻域颜色损失函数来训练着色中的第三像素和第四像素可以分别与包括在训练预测颜色图中的第一像素和第二像素在[0010]图1A描绘了根据本公开的示例实施例的用于训练图像着色模型的示例计算系统[0013]图2描绘了根据本公开的示例实施例的被配置为基于输入图像来生成预测颜色图[0014]图3A描绘了根据本公开的示例实施例的包括多项式预测模型和细化模型的着色[0015]图3B描绘了根据本公开的示例实施例的用于基于邻域颜色损失函数来训练着色[0016]图4描绘了根据本公开的示例实施例的用于包括基于邻域颜色损失函数和附加损7域颜色损失函数的着色模型可以生成更加饱和和鲜[0023]邻域颜色损失函数可以被计算为预测图像的相对第一颜色距离与基准真相图像[0025]可以使用多种合适的技术来选择预测颜色图的第一像素。可以在预测颜色图中8接收训练输入图像并输出多项式颜色分布，该多项式颜色分布描述在颜色空间(诸如离散化颜色空间)中训练输入图像的多个着色。离散化颜色空间可以包括在颜色空间(例如，化模型被训练以输出最小化邻域颜色损失函数的预以使用绝对颜色损失函数，其评估预测颜色图与基准真相颜色图之间的差(例如，颜色距化颜色空间中(例如，编码到多个颜色区间中)以生成离散化预测颜色图。因此，细化softmax损失函数可以描述离散化颜色空间中的多项式颜色分布与离散化预测颜色图之间9[0033]作为另一个示例，可以基于多项式softmax损失函数来调整多项式预测模型的参数。多项式softmax损失函数可以评估基准真相颜色图与由多项式预测模型输出的多项式散化基准真相颜色图。多项式softmax损失函数可以描述离散化基准真相颜色图与多项式指示鉴别器模型将预测颜色图或输出图像识别为基准真相图像或与基准真相图像相对应[0035]可以训练鉴别器模型以更好地识别基准真相图像并且区分基准真相图像与被着别器模型可以基于损失函数进行训练，该损失函数对错误地识别预测图像的模型进行惩来交替进行第一和第二训练阶段，或者直到满足鉴别器和/或着色模型的一个或多个性能别器模型的一个示例标准是正确地识别被输入到鉴别器以作为预测颜色图或基准真相颜[0038]在一些实现中，着色模型可以利用对象或特征检测或识别来改进着色模型的训可以与多项式预测模型分开和/或包括在多项式预测模型中。特征表示可以包括描述在训[0041]作为一个示例，本公开的系统和方法可以被包括在或以其他方式被采用在应用、[0045]图1A描绘了根据本公开的示例实施例的用于训练图像着色模型的示例计算系统[0049]在一些实现中，一个或多个着色模型120可以通过网络180从服务器计算系统130距离的像素颜色值，而不是关注着色模型是否已经正确地预测实际的基准真相颜色值本模型140可以由服务器计算系统140实现为网络服务的一部分(例如，可以例如作为照片存现一个或多个着色模型120和/或可以在服务器计算系统130处存储和实现一个或多个着色[0052]用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例[0053]服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器[0054]在一些实现中，服务器计算系统130包括一个或多个服务器计算设备或者以其他方式由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备[0055]如上所述，服务器计算系统130可以存储或以其他方式包括一个或多个机器学习[0056]服务器计算系统130可以经由与通过网络180通信耦合的训练计算系统150的交互来训练模型140。训练计算系统150可以与服务器计算系统130分离或者可以是服务器计算并且可以是一个处理器或多个可操作连接的处理器。存储器154可以包括一个或多个非暂[0058]训练计算系统150可以包括模型训练器160，其使用各种训练或学习技术(例如错错误的反向传播可以包括通过时间执行截断的反向传播。模型训练器160可以执行多种泛算设备102的模型120可以由训练计算系统150根据从用户计算设备102接收到的用户特定模型训练器160包括一组或多组计算机可执行指令，这些指令存储在有形计算机可读存储[0063]图1A图示了可以用于实现本公开的一个示例计算系统。也可以使用其他计算系[0066]如图1B所示，每个应用可以与计算设备的多个其他组件(例如，一个或多个传感该应用。[0073]在一些实现中，着色模型200被训练以接收输入图像206并处理输入图像206以输多项式颜色分布308可以描述训练输入图像306的多个着色(例如，在离散化颜色空间中)。细化模型304可以被配置为接收多项式颜色分布308，并且响应于接收到多项式颜色分布[0075]图3B描绘了根据本公开的示例实施例的用于训练着色模型352的示例系统350的率和/或训练着色模型的期望简单性(例如，减少的用于训练着色模型所需的计算资源)来[0076]多项式预测模型354可以包括自动编码器配置中的编码器模型和解码器模型。训型)之间的至少一个跳跃连接。这种跳跃连接可以将有用的信息从编码器模型的隐藏层传被配置为避免惩罚不同于基准真相颜色图366的可接受的用于训练输入图像358的预测颜362中的第一与第二像素之间的第一颜色距离。可以计算在与基准真相图像相对应的基准三和第四像素可以分别与预测颜色图362中的第一和第二像素在空间上对应。邻域颜色损失函数364可以评估第一颜色距离与第二颜色距离之间的差。可以基于邻域颜色损失函数图362的每个像素计算邻域颜色损失函数[0081]可以使用多种合适的技术来选择预测颜色图362的第一像素。可以在预测颜色图形等)基于预测颜色图362内的位置来选择(多个)第一像素。可以基于在基准真相颜色图366内检测到的对象或特征来选择(多个)第一像素。一个或多个检测到的特征的一些或所练输出最小化邻域颜色损失函数364的预测颜色[0084]图4描绘了根据本公开的示例实施例的用于训练着色模型402的示例系统400的框颜色空间中)。细化模型406可以被配置为接收多项式颜色分布410并输出预测颜色图412。于训练输入图像408的预测颜色图412、多项式颜色分布410和/或基准真相颜色图411来定[0086]作为另一个附加损失函数的另一个示例，可以采用描述多项式颜色分布410与预测颜色图412之间的差的细化softmax损失函数418。可以在不同的颜色空间中编码多项式为了比较预测颜色图412与多项式分布410，可以将预测颜色图412编码到离散化颜色空间418可以描述离散化颜色空间中的多项式颜色分布410与离散化预测颜色图之间的差。然空间可以被离散化以生成包括多个颜色区间的离散化颜色空间。基准真相颜色图411可以以描述离散化基准真相颜色图和多项式颜色分布410别器模型422可以被配置为接收着色模型402的输出(例如，预测颜色图412和/或输出图像被输入到鉴别器模型502。鉴别器模型502可以响应于接收基准真相颜色图504或预测颜色[0092]可以与着色模型402的训练(例如，如参考图4所述)交替执行鉴别器模型502的训次数或者直到鉴别器模型502和/或着色模型402(图4)的一个或多个性能标准得到满足为模型502的一个示例标准是正确地识别被输入到鉴别器模型502以作为预测颜色图506或基411和/或作为对应于基准真相图像(而不是将入图像408并且输出描述训练输入图像408内的对象或特征的位置的多个特征表示或特征征表示428可以包括描述在训练输入图像408内识别的或检测到的一个或多个特征或对象[0098]图6描绘了根据本公开的示例实施例执行的示例方法600的流程图。尽管图6为了说明和讨论的目的描绘了以特定顺序执行的步骤，但是本公开的方法600不限于特定示出[0099]在602处，计算系统可以将训练输入图像输入到被配置为接收训练输入图像的着[0101]在606处，计算系统可以计算预测颜色图的第一像素与预测颜色图的第二像素之[0102]在608处，计算系统可以计算包括在基准真相颜色图中的第三像素与包括在基准在基准真相颜色图中的第三像素和第四像素可以分别与包括在预测颜色图中的第一像素如，作为一个实施例的一