CN120298851A 学习统一嵌入的方法和装置 （谷歌有限责任公司）

201780089483.92017.11.17描述了一种用于在数据处理装置上使用神经网络生成统一机器学习模型的计算机实施的于神经网络的两个或更多个嵌入输出来确定相经网络以识别与多个对象顶点中的每一个相关使用经训练的神经网络来生成统一机器学习模2由数据处理装置并为所述多个神经网络确定多个对象顶点中的每一个的相应的学习将所述多个对象顶点中的一个或多个添加到对象顶由数据处理装置基于第二损失函数和作为输入的音频信号数据或数字图像来训练(200)神经网络，以针对所述输入生成类似于与所述组中的对象顶点的学习目标相对应的将所述多个对象顶点中的另外一个或多个添加到所述对象顶由数据处理装置并使用基于所述第二损失函数训练的神经网络来生成相应的专用机4.根据权利要求2或3所述的方法，其中，所述多个对相应的专用机器学习模型中的每一个被配置为识别与特定对象顶点相关联的数据且所述统一机器学习模型被配置为识别与所述多个对象顶点中的每一个相关联的数据7.根据权利要求2至6中任一项所述的方法3分析所述两个或更多个嵌入输出，以确定来自所述两个9.根据权利要求2至8中任一项所述的方法，其中一个或多个非暂时性机器可读存储设备，用于存储可由所述一个或多个处理设备运4[0005]本说明书描述了用于在数据处理装置上使用神经网络生成统一机器学习模型的习目标。数据处理装置可以基于神经网络的两个或更多个嵌入(embedding)输出来确定每个学习目标。每个嵌入输出可以由使用三元组损失函数(tripletlossfunction)单独训以被配置为识别包括对象顶点中的每一个中的项的对象表示的特定电[0007]本说明书中描述的主题的一个方面可以体现在用于在数据处理装置上使用神经别与多个对象顶点中的每一个相关联的数据，其中神经网络是使用相应学习目标来训练的项。[0008]本说明书中描述的主题的一个方面可以体现在为一种在数据处理装置上的计算5对象顶点中的每一个的相应学习目标，所述多个神经网络中的每一个是专用机器学习模相应学习目标对应于来自以数字图像或音频信号数据作为输入的相应的专用机器学习模的数字图像或音频信号数据来训练(200)神经网络，以针对所述输入生成类似于对应于所神经网络包括：执行批量规范化(batchnormalization)以规范化到特定神经网络层的层6[0014]本说明书中描述的主题可以在特定实施例中实施，以实现一个或多个以下优个对象顶点中的项。算覆盖量(footprint)的单个统一模型中来高效地执行。这导致模型生成和使用技术领域[0017]本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐[0021]图4是基于特定损失函数为多个对象顶点生成统一机器学习模型的过程的示例流[0022]图5示出了包括对应于特定服饰类别的对象顶点的相应嵌入模型的图形表示的图[0023]图6示出了具有用于获得用于训练一个或多个机器学习模型的图像数据的计算功7(objectvertical)相关联的项，诸如向其应用模型的图像数据中的连衣裙、裤子或手提[0030]系统的数据处理装置训练神经网络来识别与该组对象顶点中的每个顶点相关联[0031]图1示出了用于基于第一损失函数生成示例机器学习模型的神经网络系统架构理输入可以包括使用输入激活和参数作为计算的操作数来[0032]系统100通常包括由神经网络架构102指示的示例神经网络。架构102的神经网络础网络103可以包括架构102的神经网[0034]架构102可以包括执行与用于训练机器学习模型的推理计算相关联的各种功能的8激活的完全连接的人工神经元。嵌入输出110可以对应于包括给定输出维度(64_d、256_d[0036]系统100可以包括形成一个或多个神经网络的一个或多个处理器和其它相关电路理单元(CentralProcessingUnit，CPU)、图形处理单元(GraphicsProcessingUnit，系统100执行学习操作112和114以及与训练神经网络以生成一个或多个专用机器学习模型基于由计算逻辑116指示的三元组损失函数来训练相应专[0039]学习操作112包括系统100使用架构102的神经网络来生成模型训练数据。模型训练数据可以对应于当系统100被训练来生成特定的专用模型时由系统100产生的嵌入输出。[0042]在一些实施方式中，系统100使用服饰项的图像数据来训练图像数据来训练神经网络。系统100然后可以基于响应于训练神经网络而产生的嵌入输出9中，嵌入输出的第一集合可以对应于用于生成用于辨别特定衬衣/衬衫或上衣的第一模型可以对应于用于生成用于辨别特定牛仔裤/裤子/短裙或下装的第二模型的学习到的推理练辨别与多个不同的顶点或类别相关联的项的至少一个数据的服饰项确定对象类别标签。例如，系统100可以使用示例对象检测器来分析图像数据。系统100然后可以使用分析数据来检测包括与手提包相关联的对象属性的图像数据的像数据的对象像素可以被裁剪(crop)，然后可以使用系统100的特定嵌入模型在裁剪图像[0050]响应于在第一级确定对象类别标签，系统100可以前进到第二级并训练专用嵌入元组损失函数来执行嵌入模型训练。更具体地，系统100使用三元组排序损失(tripletrankingloss)来学习每个单独项/对象顶点或类别的[0056]如上所述，基于逻辑116的三元组损失函数的模型训练产生诸如包括特征向量的[0057]图2示出了用于基于第二损失函数(例如，L2损失函数)生成示例机器学习模型的[0058]系统200被配置为学习或生成基于学习到的推理来训练的统一嵌入模型。这些学损失用于训练统一模型时，组合来自独立模型的训练数据以生成统一模型会导致性能下[0059]例如，使用逻辑116的三元组损失函数来基于不同对象顶点的组合训练数据(例[0060]根据所描述的教导，系统200可以生成统一嵌入模型，当与单独的专用模型相比[0062]在一些实施方式中，特定专用模型可以具有0.66的示例准确度度量，其中在可以具有0.723的准确度度量或72.3％的准确度的对象检索[0063]在一些实施方式中，使用统一模型准确辨别/识别对象包括确定对象的类别(例训练统一模型时出现的困难和复杂的计算挑战造成差的模型生成的嵌入与系统100生成的独立专用模型的嵌入相同(或非常接近)。在一些实施方集合。令为嵌入模型的集合，其中每个Mi是为顶点集合Vi学习的模型。令配置为学习模型U，使得从模型U产生的特征与从由系统100生成的独立专用模型产生的特化与如等式(2)所示的以下损失函数相关联的时还保持阈值准确度水平。系统200然后可以使用与子集中的特定顶点对应的专用模型的[0082]图3示出了示例神经网络的特征空间中不同对象顶点的嵌入数据300的图形表[0083]嵌入数据300包括从独立专用模型的特征嵌入生成的t分布随机邻域嵌入(t_[0085]图4是基于特定损失函数为多个对象顶点生成统一机器学习模型的过程的示例流等于两个或更多个不同专用模型的准确度度量的项辨别准确度度量。过程400可以使用上以使用基于第一损失函数训练的神经网络来生成执行本文描述的对象辨别功能中的一个个嵌入输出可以包括通常对应于与特定对象顶[0101]四个组在表2中示出，且可以具有与每个组的单独训练的模型相当的性能检索准动设备输出给用户。[0104]图5示出了包括对应于特定服饰类别的对象顶点的相应嵌入模型的图形表示的图剪图像获得的嵌入可以对应于服装项所属的服饰比之下，箭头515指示统一嵌入模型516对应于用于识别和检索在块506中图像数据的每个[0107]块506包括相应裁剪图像，每个裁剪图像包括嵌入模型的对象顶点类别的服装或[0108]图6示出了包括用于获得用于训练一个或多个机器学习模型的图像数据的计算功询数据存储设备，诸如存储使用谷歌图像搜索(Googl像是基于图像像素质量和查询文本数据准确描述该图像的[0115]本说明书中描述的操作可以实施为由数据处理装置对存储在一个或多个计算机例如FPGA(FieldProgrammableGateArray，现场可编程门阵列)或ASIC(Application_标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单文件)中。计算机程序可以被部署为在位于一个站点或跨多个站点分布并通过通信网络互显示信息的显示器设备(例如，CRT(CathodeRayTube，阴极射线管)或LCD(LiquidCrystalDisplay，液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和具有用户可以通过其与本说明书中描述的主题的实施方式进行交互的图形用户界面或网信网络进行交互。用户和服务器之间的关系是通过在相应计算机上运行并且彼此具有用互的用户接收用户输入的目的)。在服务器处可以从用户设备接收在用