CN120216711A 训练图像嵌入模型和文本嵌入模型（谷歌有限责任公司）

(30)优先权数据(62)分案原申请数据(71)申请人谷歌有限责任公司地址美国加利福尼亚州GO6N18/22(2023.01)T·J·迪里格(74)专利代理机构北京市柳沈律师事务所权利要求书3页说明书17页附图10页(54)发明名称包括在计算机存储介质上编码的计算机程序的用于训练图像嵌入模型的方法、系统和装练示例的训练数据，其中每个训练示例包括：包括第一图像和第二图像的图像对；以及指示以下中的一项或更多项的选择数据：(i)图像对的共同点击率，和(ii)图像对的相似图像点击率；以及使用训练数据来训练具有多个图像嵌入模型参数的图像嵌入模型。历史查询训练数据搜索系统2一个或多个非暂时性计算机可读介质，其共同存储指令，当由所述一个或多个处理器获得历史查询日志数据，其中，历史查询日志数据描述一个或多个搜索查询、响应于一个或多个搜索查询的一个或多个图像搜索结果、以及与一个或多个图像搜索结果中的每一个相关联的选择；基于历史查询日志数据生成图像-图像训练示例，其中，图像-图像训练示例描述包含第一图像和第二图像的图像对以及与所述图像对相关联的选择数据；使用图像嵌入模型处理第一图像以生成第一图像的嵌入；利用图像嵌入模型处理第二图像以生成第二图像的嵌入；基于第一图像的嵌入、第二图像的嵌入以及与图像对相关联的选择数据估计损失函基于基于第一图像的嵌入、第二图像的嵌入和与图像对相关联的选择数据估计的损失函数来调整图像嵌入模型的一个或多个参数。2.根据权利要求1所述的系统，其中，选择数据包含描述与多个用户响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的频率相关联的图像对的共同点击率的数据。3.根据权利要求1所述的系统，其中，选择数据包含描述与多个用户响应于第一图像由包括第二图像的搜索查询的搜索结果识别而选择第一图像的频率相关联的图像对的相似图像点击率的数据。确定取决于以下因素的损失函数的梯度：(i)第一图像的嵌入与第二图像的嵌入之间的相似性度量，以及(ii)图像-图像训练示例的选择数据。5.根据权利要求4所述的系统，其中，调整图像嵌入模型的一个或多个参数包括使用梯度来调整图像嵌入模型的一个或多个参数。6.根据权利要求1所述的系统，其中，损失函数包括基于训练示例的选择数据确定的倍数缩放因子。7.根据权利要求1所述的系统，其中，历史查询日志数据与一个或多个web搜索系统相关联。8.根据权利要求1所述的系统，其中，如果选择数据的共同点击率描述第一图像和第二图像相关，则调整一个或多个参数以生成第一图像和第二图像的相似嵌入。9.根据权利要求1所述的系统，其中，如果选择数据的相似图像点击率描述第一图像和第二图像相关，则调整一个或多个参数以生成第一图像和第二图像的相似嵌入。10.根据权利要求1所述的系统，其中，图像嵌入模型包括被配置为处理图像的特征表示的神经网络模型。11.根据权利要求1所述的系统，其中，图像嵌入模型与文本嵌入模型联合训练，其中，文本嵌入模型被训练为嵌入文本搜索查询的一个或多个单词。12.一种计算机实施的方法，所述方法包括：3由包括一个或多个处理器的计算系统从用户计算系统获得搜索查询，其中，搜索查询包括查询图像；由所述计算系统利用图像嵌入模型处理查询图像以生成查询图像嵌入，其中，图像嵌入模型在包含多个图像-图像训练示例的训练数据集上被训练，其中，每个图像训练示例描述图像对和与图像对相关联的选择数据；由所述计算系统基于查询图像嵌入确定一个或多个图像搜索结果，其中，一个或多个图像搜索结果基于多个图像中的每一个的相应的相关性得分；并且由所述计算系统向用户计算系统提供一个或多个图像搜索结果。13.根据权利要求12所述的计算机实施的方法，其中，相应的相关性得分基于查询图像嵌入和相应图像的相应图像嵌入之间的相似性度量。14.根据权利要求12所述的计算机实施的方法，其中，图像嵌入模型基于图像对的第一图像的嵌入与图像对的第二图像的嵌入之间的相似性度量被训练。15.根据权利要求12所述的计算机实施的方法，其中，图像嵌入模型基于与图像对相关联的选择数据被训练，其中，选择数据描述与多个用户响应于第一图像和第二图像两者由搜索结果同时识别而选择第一图像和第二图像两者的频率相关联的图像对的共同点击率。16.根据权利要求12所述的计算机实施的方法，其中，图像嵌入模型通过以下方式被训利用图像嵌入模型处理图像对的第一图像以生成第一图像的嵌入；利用图像嵌入模型处理图像对中的第二图像以生成第二图像的嵌入；基于第一图像的嵌入、第二图像的嵌入以及与图像对相关联的选择数据估计损失函基于基于第一图像的嵌入、第二图像的嵌入和与图像对相关联的选择数据估计的损失函数来调整图像嵌入模型的一个或多个参数。17.根据权利要求12所述的计算机实施的方法，其中，搜索查询还包括一个或多个单词，并且其中，一个或多个图像搜索结果基于一个或多个单词的嵌入被确定，其中，一个或多个单词的嵌入是通过利用文本嵌入模型处理一个或多个单词生成的。18.一个或多个非暂时性计算机可读介质，包括指令，当所述指令由一个或多个计算设获得历史查询日志数据，其中，历史查询日志数据描述一个或多个搜索查询、响应于一个或多个搜索查询的一个或多个图像搜索结果、以及与一个或多个图像搜索结果中的每一个相关联的选择；基于历史查询日志数据生成图像-图像训练示例，其中，图像-图像训练示例描述包括第一图像和第二图像的图像对以及与所述图像对相关联的选择数据；利用图像嵌入模型处理第一图像以生成第一图像的嵌入；利用图像嵌入模型处理第二图像以生成第二图像的嵌入；确定第一图像的嵌入和第二图像的嵌入之间的相似性度量；以及至少部分地基于以下来调整图像嵌入模型的一个或多个参数：(i)第一图像的嵌入与第二图像的嵌入之间的相似性度量，以及(ii)图像-图像训练示例的选择数据。19.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，确定第一图像4的嵌入与第二图像的嵌入之间的相似性度量包括：确定第一图像的嵌入和第二图像的嵌入之间的欧几里得距离。20.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，选择数据描述图像对的共同点击率和图像对的相似图像点击率。5训练图像嵌入模型和文本嵌入模型[0001]本申请是申请日为2019年10月24日、申请号为201980029223.1、发明名称为“训练图像嵌入模型和文本嵌入模型”的发明专利申请的分案申请。技术领域[0002]本说明书涉及使用机器学习模型来处理数据。背景技术学习模型是参数模型，并基于接收到的输入和模型的参数值产生输出。[0004]一些机器学习模型是深度模型，其采用多层模型针对接收到的输入产生输出。例如，深度神经网络是包括输出层和一个或更多个隐藏层的深度机器学习模型，每个隐藏层将非线性转换应用于接收到的输入以产生输出。发明内容[0005]本说明书描述一种被实现为在一个或更多个位置中的一台或更多台计算机上的计算机程序的训练系统，该训练系统使用从搜索系统的历史查询日志导出的训练数据来训练图像嵌入模型和文本嵌入模型。[0006]根据第一方面，提供一种由一个或更多个数据处理装置执行的方法，该方法包括：获得包括多个训练示例的训练数据，其中每个训练示例包括：包括第一图像和第二图像的图像对；以及指示以下中的一项或更多项的选择数据：(i)图像对的共同点击率，以及(ii)图像对的相似图像点击率，其中：图像对的共同点击率表征用户响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的频率；以及图像对的相似图像点击率表征用户响应于第一图像或第二图像由分别包括第二图像或第一图像的搜索查询的搜索结果识别而选择第一图像或第二图像的频率；以及使用训练数据来训练具有多个图像嵌入模型参数的图像嵌入模型，其中，对于所述多个训练示例中的每个，所述训练包括：使用图像嵌入模型处理训练示例的第一图像，以生成第一图像的嵌入；使用图像嵌入模型处理训练示例的第二图像，以生成第二图像的嵌入；确定第一图像的嵌入与第二图像的嵌入之间的相似性度量；以及至少部分地基于以下来调整图像嵌入模型参数：(i)第一图像的嵌入与第二图像的嵌入之间的相似性度量，以及(ii)训练示例的选择数据。[0007]在一些实施方式中，训练数据使用网络搜索系统的历史查询日志生成。[0008]在一些实施方式中，每个训练示例的共同点击率指示用户响应于该训练示例的第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择该训练示例的第一图像和第二图像两者的次数的分数。[0009]在一些实施方式中，每个训练示例的相似图像点击率指示用户响应于第一图像或第二图像由分别包括第二图像或第一图像的搜索查询的搜索结果识别而选择第一图像或第二图像的次数的分数。6[0010]在一些实施方式中，图像嵌入模型包括卷积神经网络。[0011]在一些实施方式中，调整图像嵌入模型参数包括：确定损失函数的梯度，该损失函数取决于：(i)第一图像的嵌入与第二图像的嵌入之间的相似性度量，以及(ii)训练示例的选择数据；以及使用该梯度来调整图像嵌入模型参数。[0012]在一些实施方式中，损失函数包括基于训练示例的选择数据确定的倍数缩放因[0013]在一些实施方式中，倍数缩放因子被确定为训练示例的共同点击率和相似图像点击率的线性组合。[0014]在一些实施方式中，确定第一图像的嵌入与第二图像的嵌入之间的相似性度量包括：确定第一图像的嵌入与第二图像的嵌入之间的欧几里德距离。[0015]在一些实施方式中，该方法可以进一步包括接收查询图像以及使用通过根据在此描述的任何方面或实施方式的方法获得的训练后的图像嵌入模型来处理该查询图像。作为示例，处理查询图像可以包括确定查询图像与搜索索引中的多个图像之间的相应的相关性[0016]根据另一方面，提供一种方法，其包括：接收查询图像以及使用通过根据在此描述的任何方面或实施方式的方法获得的训练后的图像嵌入模型来处理该查询图像。作为示例，处理查询图像可以包括确定查询图像与搜索索引中的多个图像之间的相应的相关性得[0017]根据第二方面，提供一种系统，其包括：一台或更多台计算机；以及通信上耦合到所述一台或更多台计算机的一个或更多个存储设备，其中所述一个或更多个存储设备存储指令，该指令在由所述一台或更多台计算机运行时使所述一台或更多台计算机执行包括先前描述的方法的操作的操作。[0018]根据第三方面，提供一种或更多种存储指令的计算机存储介质(其可以是或可以不是非暂时性存储介质),该指令在由一台或更多台计算机运行时使所述一台或更多台计算机执行包括先前描述的方法的操作的操作。[0019]可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或更多[0020]本说明书中描述的训练系统可以通过处理来自搜索系统的历史查询日志的数据来生成用于训练图像嵌入模型和文本嵌入模型的大量训练数据(例如，数十或数亿个训练示例)。可从(例如，网络搜索系统的)历史查询日志有效导出的大量训练数据使训练系统能够训练出高度有效的图像嵌入模型和文本嵌入模型。这样的可缩放性(例如，对于可能潜在地包括数亿个搜索查询的训练示例)是模型训练领域的一项技术改进。例如，该可缩放性能够实现图像嵌入模型的训练，该图像嵌入模型生成隐含地表征大范围内的概念(例如，食物、场景、地标、人造产品等)的图像嵌入。相比之下，一些常规的图地表征小范围内的概念(例如，仅食物或仅地标)的图像嵌入。[0021]训练系统可以处理历史查询日志以生成将文本搜索查询与有关图像(例如，用户在其由文本搜索查询的搜索结果识别时频繁选择的图像)相关联的“查询-图像”训练示例。具体地，查询-图像训练示例可以将高度特定的文本搜索查询(例与有关图像(例如，描绘由文本搜索查询指定的对象)相关联。通过使用从历史查询日志导7出的查询-图像训练示例联合训练图像嵌入模型和文本嵌入模型，训练系统可以使图像嵌入模型生成隐含地表示高度特定的概念的图像嵌入。例如，训练后的图像嵌入模型可以处理图像以生成隐含地表示图像中描绘的汽车的颜色、样式和型号的图像嵌入。这是模型训练领域的一项技术改进，相比之下，例如，使用如在一些常规训练数据集中那样将图像与通用标签(例如“汽车”)相关联的训练示例来训练图像嵌入模型和文本嵌入模型可能导致图像嵌入模型生成相对无信息的嵌入。[0022]在一些实施方式中，训练系统可以生成查询-图像训练示例，其包括以大量不同的自然语言(例如，英语、法语、德语等)表达的搜索查询。通过使用多语言查询-图像训练示例联合训练图像嵌入模型和文本嵌入模型，训练系统可以训练文本嵌入模型生成独立于文本语言的含有信息的文本嵌入。例如，训练系统可以训练文本嵌入模型，以基于与包括文本“年轻的伊丽莎白女王”(英语)和“年轻的伊丽莎白女王”(法语)的搜索查询相关联的图像的相似性生成该文本的相似嵌入。这是模型训练领域的另一项技术改进，训练系统可以基于选择数据训练图像嵌入模型和文本嵌入模型，该选择数据表征例如两个图像被“共同点击”的频率或给定图像在其由搜索查询的搜索结果(即通过“图像-图像”训练示例)识别时被选择的频率。选择数据可以通过汇总数百万个用户的用户派生信号(例如，点击)来确定，并使训练系统能够更有效地训练图像嵌入模型和文本嵌入模型。[0023]使用常规方法生成训练数据缺乏通过处理搜索系统的历史查询日志来生成训练数据的许多优点。例如，手动生成训练数据(例如，由人手动指定图像的文本标签)费时且困难，并且一般只有相对少量的训练数据可以这种方式生成。作为另一示例，与从历史查询日志生成训练数据相比，通过关联从社交网络(或其它来源)绘制的图像和说明文字来生成训练数据可能产生更少的且质量更低的训练数据，例如，因为说明文字可能不准确地表征图像的内容。产生更多和/或质量更高的训练数据并使用该训练数据训练机器学习模型将提高可训练机器学习模型的准确性(因此，提供比在使用常规方法生成的训练数据上训练的机器学习模型犯更少错误的机器学习模型)。另外地或备选地，通过减少获得标记的训练数据所需的时间，在给定的时间段内，可以建立更大的训练数据集，并且这还将提高可训练机器学习模型的准确性。此外，提高可训练机器学习模型的准确性可以使使用更简单的机器学习模型(例如具有更少的隐藏层)成为可能，并且这可以导致实现机器学习模型所需的计算资源减少。以互补的方式，可能需要将数据存储更短的时间段，因此可能需要总体上更少的存储器存储。[0024]本说明书的主题的一个或更多个实施例的细节在附图和以下描述中阐述。该主题的其它特征、方面和优点将由说明书描述、附图和权利要求变得明显。附图说明[0025]图1示出了示例图像嵌入模型。[0026]图2示出了示例文本嵌入模型。[0027]图3示出了用于使用从搜索系统的历史查询日志导出的训练数据来训练图像嵌入模型和文本嵌入模型的示例训练系统。[0028]图4示出了由搜索系统提供的示例搜索结果页面，其包括搜索查询的图像搜索结果，该搜索查询包括一个或更多个词语的序列。8[0029]图5示出了由搜索系统提供的示例搜索结果页面，其包括搜索查询的图像搜索结[0030]图6示出了用于使用查询-图像训练示例来联合训练图像嵌入模型和文本嵌入模型的示例过程。[0031]图7A示出了用于使用图像-图像训练示例来训练图像嵌入模型的示例过程。[0032]图7B示出了用于使用查询-图像训练示例和图像-图像训练示例来联合训练图像嵌入模型和文本嵌入模型的示例过程。[0033]图8是用于使用从搜索系统的历史查询日志导出的查询-图像训练示例来联合训练图像嵌入模型和文本嵌入模型的示例过程的流程图。[0034]图9是用于使用从搜索系统的历史查询日志导出的图像-图像训练示例来训练图像嵌入模型的示例过程的流程图。[0035]图10示出了查询-图像训练示例和图像-图像训练示例的图形表示的一部分的示例。[0036]图11示出了示例搜索系统。[0037]图12示出了示例计算机系统。[0038]在各个附图中，相同的附图标记和符号指示相同的元件。具体实施方式[0039]本说明书描述了用于使用从搜索系统的历史查询日志导出的训练数据来训练图像嵌入模型和文本嵌入模型的训练系统。从历史查询日志导出的训练数据可以包括查询-图像训练示例、图像-图像训练示例或两者。[0040]查询-图像训练示例包括：(i)文本搜索查询，(ii)图像，以及(iii)选择数据，其表征用户响应于图像由文字搜索查询的搜索结果识别而选择该图像的频率。如果选择数据指示用户在图像由搜索查询的搜索结果识别时频繁选择该图像，则训练系统可以联合训练图像嵌入模型和文本嵌入模型以生成文本搜索查询和图像的相似嵌入。[0041]图像-图像训练示例包括图像对(包括第一图像和第二图像)和指示以下内容的选择数据：(i)图像对的共同点击率，(ii)图像对的相似图像点击率，或(iii)两者。图像对的共同点击率表征用户响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的频率。图像对的相似图像点击率表征用户响应于第一图像由包括第二图像的搜索查询的搜索结果识别而选择第一图像的频率，反之亦然。训练系统可以训练图像嵌入模型，以在第一图像和第二图像的共同点击率、相似图像点击率或两者指示它们相关时生成第一图像和第二图像的相似嵌入。[0042]在一些实施方式中，训练系统可以使用从历史查询日志导出的查询-图像训练示例和图像-图像训练示例，以用图形正则化的损失函数来联合训练图像嵌入模型和查询嵌入模型。具体地，查询-图像训练示例和图像-图像训练示例可以被表示为图结构，并且训练系统可以基于该图结构使用损失函数来联合训练图像嵌入模型和查询嵌入模型。[0043]这些特征和其它特征在下面被更详细地描述。[0044]图1示出了示例图像嵌入模型100。图像嵌入模型100配置为根据一组图像嵌入模型参数的当前值处理图像102,以生成图像102的嵌入104。嵌入104是作为数值的有序集合9(例如作为向量或矩阵)对图像102的表示。如将在下面更详细描述地，可以使用机器学习技术来训练图像嵌入模型100,以生成图像102的嵌入104,该嵌入104隐含地表示图像102的语义内容(例如，由图像102描绘的对象)。[0045]图像嵌入模型100可以配置为处理以任何适当格式表示的图像102。例如，图像嵌入模型100可以配置为处理以红绿蓝(RGB)颜色格式(即，通过将各个红色值、绿色值和蓝色值与图像的每个像素相关联来表示图像的格式)表示的图像102。作为另一示例，图像嵌入模型100可以配置为处理图像102的特征表示，例如图像102的方向梯度直方图(HOG)表示、尺度不变特征变换(SIFT)表示或加速鲁棒特征(SURF)表示。其它特征表示也可以用于训[0046]图像嵌入模型100可以是由一个或更多个位置中的一台或更多台计算机上的计算机程序实现的神经网络模型。例如，图像嵌入模型100可以是具有从Inception神经网络或ResNet神经网络导出的架构的卷积神经网络。[0047]图2示出了示例文本嵌入模型200.文本嵌入模型200配置为根据一组文本嵌入模型参数的当前值处理自然语言(即，文本202)中的一个或更多个单词的序列的表示，以生成文本202的嵌入204.嵌入204是作为数值的有序集合(例如，作为向量或矩阵)对文本202的表示。如下面将更详细描述地，可以使用机器学习技术来训练文本嵌入模型200以生成文本202的嵌入204,该嵌入204隐含地表示文本202的语义内容(例如，由文本202描述的对象)。[0048]文本嵌入模型200可以配置为处理以任何适当格式表示的文本202。例如，文本嵌入模型200可以配置为处理被表示为一系列“独热(one-hot)”向量的文本202,其中每个独热向量表示文本202的相应字符(或单词)。作为另一示例，文本嵌入模型200可以配置为处理由Word2vec模型的输出表示的文本202。[0049]文本嵌入模型200可以是由一个或更多个位置中的一台或更多台计算机上的计算机程序实现的神经网络模型。例如，文本嵌入模型200可以是具有包括多个一维(1D)卷积层的架构的卷积神经网络。作为另一示例，文本嵌入模型200可以是从文本202到嵌入204的基于查找的映射。作为另一示例，文本嵌入模型200可以是配置为处理n-gram文本令牌的一系列全连接层。作为另一示例，文本嵌入模型可以是递归神经网络模型(例如，LSTM),其配置为顺序地处理文本202的字符的表示。[0050]图3示出了示例训练系统300,其用于使用从搜索系统306的历史查询日志304导出的训练数据302来训练图像嵌入模型100和文本嵌入模型200。训练系统300通过确定图像嵌入模型参数308和文本嵌入模型参数310的值来训练图像嵌入模型100和文本嵌入模型200。例如，当图像嵌入模型100和文本嵌入模型200被实现为相应的神经网络时，训练系统300可以使用损失函数的梯度迭代地调整神经网络的参数，如下面将更详细描述地。训练系统300可以由一个或更多个位置中的一台或更多台计算机上的计算机程序来实现。在一些实施方式中，训练系统300在图像嵌入模型100和文本嵌入模型200的训练期间使用一个或更多个张量处理单元(TPU-为机器学习而设计的专用集成电路(ASIC))。[0051]搜索系统306可以是配置为通过处理包括文本、图像或这两者的搜索查询执行图像搜索以生成响应搜索查询而识别图像的搜索结果的任何系统。示例搜索系统将参照图11被更详细地描述。[0052]搜索系统306的历史查询日志304为先前由搜索系统306处理的大量(例如，数百万个)搜索查询建立索引。具体地，历史查询日志304可以通过维护包括以下的数据为搜索查询建立索引：(i)搜索查询，以及(ii)指定由发送搜索查询的设备的用户选择的一个或更多个搜索结果的数据。用户可以通过经由与搜索结果的任何种类的交互表达对搜索结果的兴趣来“选择”搜索结果。例如，用户可以通过点击搜索结果中包括的超文本链接或通过将光标悬停在搜索结果上预定的时间段来选择搜索结果，以生成对由搜索结果识别的电子文档[0053]训练系统300可以处理来自历史查询日志304的数据，以生成用于训练图像嵌入模型100和文本嵌入模型200的查询-图像训练示例和图像-图像训练示例。[0054]查询-图像训练示例包括：(i)文本搜索查询，(ii)图像，以及(iii)表征用户响应于图像由文字搜索查询的搜索结果识别而选择图像的频率的选择数据。如果选择数据指示用户在图像由搜索查询的搜索结果识别时频繁选择该图像，则训练系统300可以联合训练图像嵌入模型100和文本嵌入模型200以生成搜索查询和图像的相似嵌入。可以使用任何适当的数值相似性度量(例如，如果图像嵌入模型100和文本嵌入模型200配置为生成相同维数的嵌入，则使用欧几里德距离)来确定嵌入之间的相似性。[0055]图像-图像训练示例包括图像对(其包括第一图像和第二图像)和选择数据，该选择数据指示：(i)图像对的共同点击率，(ii)图像对的相似图像点击率，或(iii)两者。图像对的共同点击率表征用户响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的频率。图像对的相似图像点击率表征用户响应于第一图像由包括第二图像的搜索查询的搜索结果识别而选择第一图像的频率，反之亦然。训练系统300可以训练图像嵌入模型100,以在第一图像和第二图像的共同点击率、相似图像点击率或这两者指示它们相关时生成第一图像和第二图像的相似嵌入。[0056]图4示出了由搜索系统306提供的示例搜索结果页面400,该示例搜索结果页面400包括搜索查询的图像搜索结果，该搜索查询包括一个或更多个单词的序列。具体地，搜索结[0057]图5示出了由搜索系统306提供的示例搜索结果页面500,该示例搜索结果页面500包括搜索查询的图像搜索结果，该搜索查询包括图像。具体地，搜索结果页面500显示搜索查询508的搜索结果502、504和506,搜索查询508包括描绘卡车的图像。响应于接收到包括查询图像的搜索查询，搜索系统306可以配置为提供识别与该查询图像相似的图像的搜索结果。在该示例中，搜索结果502、504和506中的每个识别出[0058]如果用户从同一组搜索结果中选择分别识别出第一图像和第二图像的搜索结果，则称用户“共同点击”第一图像和第二图像。例如，用户可以两个搜索结果(例如，一个接一个)而共同点击由搜索结果402识别的图像和由搜索结果404识别的图像。作为另一示例，用户可以通过选择搜索结果页面500上的两个搜索结果(例如，一个接一个)而共同点击由搜索结果504识别的图像和由搜索结果506识别的图像。如果用户从同一组搜索结果中选择三个或更多个搜索结果，则可以将由每对被选择的搜索结果识别的图像视为被共同点击。例如，如果用户从同一组搜索结果中选择搜索结果A、B和C,则可以将由搜索结果{A,B}、{A,C}和{B,C}识别的图像对都视为被共同点击。[0059]图6示出了用于使用查询-图像训练示例600来联合训练图像嵌入模型100和文本嵌入模型200的示例过程。查询-图像训练示例600包括搜索查询602和图像604,该搜索查询11602包括一个或更多个单词的序列。训练系统300使用图像嵌入模型100并根据图像嵌入模型200并根据文本嵌入模型参数310的当前值处理搜索查询602,以生成搜索查询602的嵌入[0060]训练系统300确定图像604的嵌入606与搜索查询602的嵌入608之间的相似性度量610,并基于相似性度量610确定模型参数调整612。此后，训练系统300使用模型参数调整索查询602的搜索结果识别而选择图像604的频率。用于使用查询-图像训练示例联合训练[0061]图7A示出了用于使用包括第一图像702和第二图像704的图像-图像训练示例700来训练图像嵌入模型100的示例过程。训练系统300使用图像嵌入模型100并根据图像嵌入300使用图像嵌入模型100并根据图像嵌入模型参数308的当前值处理第二图像704,以生成[0062]训练系统300确定第一图像702的嵌入706与第二图像704的嵌入708之间的相似性[0063]图7B示出了用于使用查询-图像训练示例和图像-图像训练示例来联合训练图像查询-图像训练示例600和一个或更多个图像-图像训练示例700可以由图像嵌入模型处理(如参照图6所述)和图像-图像训练示例(如参照图7A所述)来确定相应的模型参数调整714.此后，训练系统300可以使用模型参数调整714来调整图像嵌入模型参数308和文本嵌[0064]图8是用于使用从搜索系统的历史查询日志导出的查询-图像训练示例来联合训集(802)。每个查询-图像训练示例包括：(i)包括一个或更多个单词的序列的搜索查询，(ii)图像，以及(iii)表征用户响应于图像由搜索查询的搜索结果识别而选择该图像的频训练图像嵌入模型和文本嵌入模型的查询-图像训练示例(804)。例如，如果特定训练示例的图像被用户响应于该图像由特定的查询-图像训练示例的搜索查询的搜索结果识别而最频繁地选择，则系统可以选择该特定的查询-图像训练示例。作为另一示例，如果特定的查询-图像训练示例的图像在由该特定的查询-图像训练示例的搜索查询的搜索结果识别后被用户最频繁选择的前N个图像中，则系统可以选择该特定的查询-图像训练示例。系统在选择用于联合训练图像嵌入模型和文本嵌入模型的查询-图像训练示例时可以使用各种其它适当标准中的任何一个。例如，系统可以限制被选择的查询-图像训练示例的数量，该被选择的查询-图像训练示例包括指定特定人员的姓名的搜索查询以及描绘该特定人员的对应图像。在此示例中，因为同一个人的外观在图像之间可能发生显著变化(例如，由于该人穿戴不同的衣服、鞋子、眼镜等),所以包括大量的与特定人员对应的查询-图像训练示例可能降低训练过程的有效性。[0067]步骤806-812描述了可以针对每个被选择的查询-图像训练示例执行以联合训练图像嵌入模型和文本嵌入模型的示例过程。为了方便起见，步骤806-812描述了可以针对给定的查询-图像训练示例执行的步骤。更一般地，可以使用任何适当的方法来联合训练图像嵌入模型和文本嵌入模型。例如，可以使用随机梯度下降方法来联合训练图像嵌入模型和文本嵌入模型，其中针对查询-图像训练示例的“批(batch)”(即，集合)迭代地重复步骤806-812。在该示例中，当满足训练终止标准时，系统可以确定训练准可以是已经执行了步骤806-812的预定数量的迭代。作为另一示例，训练终止标准可以是图像嵌入模型和文本嵌入模型的参数的值在步骤806-812的迭代之间的变化低于预定阈值。[0068]系统使用图像嵌入模型并根据图像嵌入模型参数的当前值处理给定的查询-图像训练示例的图像以生成图像的嵌入(806)。例如，如果图像嵌入模型是神经网络模型，则系统使用由该神经网络模型的架构限定的一系列神经网络层来处理图像。[0069]系统使用文本嵌入模型并根据文本嵌入模型参数的当前值处理给定的查询-图像训练示例的搜索查询的表示以生成搜索查询的嵌入(808)。例如，如果文本嵌入模型是神经网络模型，则系统使用由该神经网络模型的架构限定的一系列神经网络层来处理搜索查询的表示。[0070]系统确定给定的查询-图像训练示例的图像的嵌入和搜索查询的嵌入之间的相似性度量(810)。例如，图像的嵌入和搜索查询的嵌入可以具有相同的维数，并且系统可以通过确定相应嵌入之间的欧几里德距离或余弦相似性度量来确定相似性度量。[0071]系统至少部分地基于给定的查询-图像训练示例的图像的嵌入和搜索查询的嵌入之间的相似性度量来调整图像嵌入模型参数和文本嵌入模型参数(812)。例如，当图像嵌入模型和文本嵌入模型是相应的神经网络模型时，系统可以确定损失函数的梯度，并使用该损失函数的梯度来调整图像嵌入模型参数和文本嵌入模型参数。系统可以使用任何适当的方法(例如，反向传播)确定损失函数的梯度。损失函数可以是取决于给定的查询-图像训练示例的图像的嵌入和搜索查询的嵌入之间的相似性度量的任何适当的损失函数。以下是一些示例。[0072]在一些实施方式中，损失函数可以是分类损失函数。在这些实施方式中，将给定的查询-图像训练示例的搜索查询视为为该给定的查询-图像训练示例的图像识别“正”标签。将其它的查询-图像训练示例的搜索查询视为为该给定的查询-图像训练示例的图像识别相应的“负”标签。更具体地，系统可以将给定的查询-图像训练示例查询-图像训练示例的搜索查询的嵌入之间的相似性度量确定为“正”得分。系统可以将每个其它训练示例的相应的“负”得分确定为给定的查询-图像训练示例的图像的嵌入与该其它训练示例的搜索查询的嵌入之间的相似性度量。系统可以使用soft-max(或采样的soft-max)函数处理正得分和负得分，并将soft-max(或采样的soft-max)函数的输出提供给交叉熵损失函数(或任何其它适当的分类损失函数)。[0073]在一些实施方式中，损失函数可以是三重态损失函数。在这些实施方式中，系统可以将给定的查询-图像训练示例的图像的嵌入确定为“锚”,将给定的查询-图像训练示例的[0074]可选地，损失函数可以取决于给定的查询-图像训练示例的选择数据，该选择数据表征用户响应于图像由给定的查询-图像训练示例的搜索查询的搜索结果识别而选择该图像的频率。例如，损失函数可以包括倍数缩放因子，其基于用户响应于图像由给定的查询-图像训练示例的搜索查询的搜索结果识别而选择图像的次数的分数。[0075]图9是用于使用从搜索系统的历史查询日志导出的图像-图像训练示例来训练图像嵌入模型的示例过程900的流程图。为了方便起见，过程900将被描述为由位于一个或更多个位置的一台或更多台计算机的系统执行。例如，根据本说明书适当编程的训练系统(例如，图3的训练系统300)可以执行过程900。[0076]系统处理来自搜索系统的历史查询日志的数据以生成图像-图像训练示例(902)。每个图像-图像训练示例包括：(i)包括第一图像和第二图像的图像对，(ii)指示图像对的共同点击率、图像对的相似图像点击率或两者的选择数据。[0077]图像对的共同点击率表征用户响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的频率。例如，图像对的共同点击率可以指示用于响应于第一图像和第二图像两者由搜索查询的搜索结果同时识别而选择第一图像和第二图像两者的次数的分数。[0078]图像对的相似图像点击率表征用户响应于第一图像由包括第二图像的搜索查询的搜索结果识别而选择第一图像的频率，反之亦然。例如，图像对的相似图像点击率可以指示用户响应于第一图像由包括第二图像的搜索查询的搜索结果识别而选择第一图像的次[0079]步骤904-908描述了可以针对每个图像-图像训练示例执行以训练图像嵌入模型的示例过程。为了方便起见，步骤904-908描述了可以针对每个图像-图像训练示例执行的步骤。更一般地，可以使用任何适当的方法来训练图像嵌入模型。例如，可以使用随机梯度下降方法来训练图像嵌入模型，其中针对被选择的训练示例的“批”(即，集合)迭代地重复步骤904-908。在该示例中，当满足训练终止标准时，系统可以止标准可以是已经执行了步骤904-908的预定数量的迭代。作为另一示例，训练终止标准可以是图像嵌入模型的参数的值在步骤904-908的迭代之间的变化低于预定阈值。如将参照图10更详细描述地，图像-图像训练示例也可以与查询-图像训练示例结合使用，以使用图形正则化的损失函数联合训练图像嵌入模型和文本嵌入模型。[0080]系统使用图像嵌入模型并根据图像嵌入模型参数的当前值处理训练示例的第一可以通过确定第一图像和第二图像的各自的嵌入之间的欧几里德距离或余弦相似性度量传播)确定损失函数的梯度。损失函数可以是取决于相应嵌入与选择数据之间的相似性度[0085]在一些实施方式中，训练系统300可以使用查询-图像训练示例和图像-图像训练对应于第一查询-图像训练示例和第二查询-图像训练示例的第一节点和第二节点的边可以由图像-图像训练示例限定，该图像-图像训练示例包括由第一查询-图像训练示例和第节点的图像-查询训练示例相关联的损失函数(例如，参照812描述的分类损失或三重态损以将连接节点i和j的边的强度w;;确定为共同点击率和相似图像点击率的线性组合(例如，由等式2定义的损失的L₁(I,Q)分量。[0089]训练系统300可以使用任何适当的机器学习训练技术、使用图形正则化的损失函300可以使用等式2中的损失函数的替代表示通过随机梯度下降来联合训练图像嵌入模型100和文本嵌入模型200:[0091]其中i和j为图形表示的节点建立索引，如果节点i和节点j由图形表示中的边连的损失函数来训练图像嵌入模型100和文本嵌入模型200的示例方法参照T.D.Bui,S.Ravi,V.Ramavajjala,"NeuralGraphMachines:LearningNeuralNetworksUsingGraphs",[0092]在训练系统300确定图像嵌入模型参数308和文本嵌入模型参数310的值之后，训模型100来生成由搜索系统维护的搜索索引中的每个图像的相应嵌入(如参照图11所述)。在接收到包括查询图像的搜索查询之后，搜索系统306可以使用图像嵌入模型来生成查询性得分。搜索系统306可以基于给定图像的嵌入与查询图像的嵌入之间的相似性度量(例分地基于使用由图像嵌入模型100生成的嵌入所确定的相关性得分来确定搜索查询的图像组件需要更换或维护则警告操作员。作为另一示例，查询图像可以是医学图像，并且图像可以是有各种医学状况或处于各种健康状态的患者的图像。搜索系统可以处理接收到的组件图像以获得对图像中体现的人的当前医疗状况的指示，例如，作为第一阶段检查以确定医学图像是否应由专科医生审核。[0094]在另一示例中，训练后的文本嵌入模型和训练后的图像嵌入模型都可以由搜索系统306用于响应于包括一个或更多个单词的序列的搜索查询而对图像搜索结果进行排名。更具体地，搜索系统306可以使用图像嵌入模型100来生成由搜索系统维护的搜索索引中的每个图像的相应嵌入。在接收到包括一个或更多个单词的序列的搜索查询之后，搜索系统可以使用文本嵌入模型来生成单词序列的嵌入，此后使用所生成的嵌入来确定搜索索引中的多个图像中的每个的相应的相关性得分。搜索系统可以基于给定图像的嵌入与搜索查询的单词序列的嵌入之间的相似性度量(例如，欧几里得距离)来确定搜索索引中的给定图像的相关性得分。搜索系统306可以至少部分地基于使用由图像嵌入模型和文本嵌入模型生成的嵌入而确定的相关性分数来确定搜索查询的图像搜索结果的排名。[0095]在另一示例中，训练后的文本嵌入模型可以用于确定相似关键词(或关键词序列)的“群(cluster)”,即表达相似语义内容的关键词集合。在具体示例中，相似关键词的群可嵌入模型通过确定关键词语料库中的每个关键词的相应嵌入、此后使用聚类算法以基于其各自的嵌入对关键词进行聚类而生成关键词群。聚类算法可以是例如k均值聚类算法或期望最大化聚类算法。使用训练后的文本嵌入模型生成的关键字群可以用作分发参数，该分发参数调节用于与电子文档(例如，网页)一起呈现的数字组件(例如，广告)的传输。[0096]在另一示例中，训练后的文本嵌入模型和训练后的图像嵌入模型都可以用于图像分类系统，该图像分类系统配置为处理图像以生成将该图像与来自预定标签集合的标签相关联的输出。例如，标签可以指定对象类别(例如，人、猫、车系统以将图像与图像中描绘的对象的标签相关联。在该示例中，图像分类系统可以使用图像嵌入模型100来生成输入图像的嵌入，并且可以使用文本嵌入模型来生成搜索查询语料库中的每个搜索查询的相应嵌入。图像分类系统可以确定输入图像的嵌入与每个搜索查询的相应嵌入之间的相应相似性度量，此后可以将输入图像与具有最高相似性度量的特定搜索查询相关联。图像分类系统可以基于以下两项来确定与输入图像相关联的标签：(i)从输入图像得出的视觉特征，以及(ii)从特定搜索查询得出的语义特征。可以使用文本嵌入模型200和图像嵌入模型100的图像分类系统的示例参照美国专利申请第62/768,701号进行描述。[0097]图11示出了示例搜索系统100。搜索系统100是被实现为一个或更多个位置中的一台或更多台计算机上的计算机程序的系统的示例，在该计算机程序中实现了以下描述的系[0098]搜索系统1100配置为从用户设备1104接收搜索查询1102,以处理搜索查询1102从而响应于搜索查询1102确定一个或更多个搜索结果1106,并向搜索设备1104提供搜索结果1106。搜索查询1102可以包括以自然语言(例如，英语)、图像、音频数据或任何其它适当形式的数据表达的搜索项。搜索结果1106从网站1110识别响应于搜索查询1102的电子文档1108,并包括指向电子文档1108的链接。电子文档1108可以包括例如图像、HTML网页、文字处理文档、便携式文档格式(PDF)文档和视频。电子文档1108可以包括诸如单词、短语、图像和音频数据的内容，并且可以包括嵌入式信息(例如，元信息和超链接)和嵌入式指令(例如，脚本)。网站1110是与域名相关联并由一个或更多个服务器托管的一个或更多个电子文档1108的集合。例如，网站1110可以是以超文本标记语言(HTML)格式化的网页集[0099]在具体示例中，搜索查询1102可以包括搜索词“阿波罗登月”,并且搜索系统1100可以配置为执行图像搜索，即，提供识别响应搜索查询1102的相应图像的搜索结果1106。具体地，搜索系统1100可以提供搜索结果1106,每个搜索结果包括：(i)网页的标题，(ii)从该网页提取的图像的表示，以及(iii)指向该网页或该图像本身的超文本链接(例如，指定统一资源定位符(URL))。在该示例中，搜索系统1100可以提供搜索结果1106,其包括：(i)网页的标题“阿波罗登月”,(ii)该网页中包括的阿波罗航天器的图像的缩小尺寸的表示(即，缩略图),以及(iii)指向该图像的超文本链接。[0100]诸如局域网(LAN)、广域网(WAN)、互联网、移动电话网络或其组合的计算机网络1112连接网站1110、用户设备1104和搜索系统1100(即，使它们能够通过网络1112发送和接收数据)。一般而言，网络1112可以将搜索系统1100连接到数千个网站1110和用户设备[0101]用户设备1104是在用户控制下并能够通过网络1112发送和接收数据(包括电子文档1108)的电子设备。示例用户设备1104包括个人计算机、移动通信设备、以及可通过网络1112发送和接收数据的其它设备。用户设备1104通常包括有助于通过网络1112发送和接收数据的用户应用(例如，网页浏览器)。具体地，用户设备1104中包括的用户应用使用户设备1104能够通过网络1112向搜索系统1100发送搜索查询1102并接收由搜索系统1100响应于搜索查询1102提供的搜索结果1106。[0102]用户设备1104中包括的用户应用可以向用户设备的用户呈现从搜索系统1100接收到的搜索结果1106(例如，通过渲染显示搜索结果1106的有序列表的搜索结果页面)。用户可以选择由用户设备1104呈现的搜索结果1106之一(例如，通过点击搜索结果1106中包括的超文本链接),这可以导致用户设备1104生成对由搜索结果1106识别的电子文档1108的请求。对由搜索结果1106识别的电子文档1108的请求通过网络1112被发送到托管电子文档1108的网站1110。响应于接收到对电子文档1108的请求，托管电子文档1108的网站1110可以向用户设备1104发送电子文档1108。[0103]搜索系统1100使用排名引擎1114处理搜索查询1102以确定响应搜索查询1102的搜索结果1106。[0104]搜索系统1100使用索引引擎1120以通过“爬行(crawling)”(即，系统地浏览)网站1110的电子文档1108生成并维护搜索索引1116。对于大量(例如，数百万)电子文档1108中的每个，搜索索引1116通过维护(i)标识电子文档1108(例如，通过指向电子文档1108的链接)以及(ii)表征电子文档1108的数据为电子文档建议索引。表征电子文档的由搜索索引档的质量(例如，电子文档的分辨率(当电子文档是图像或视频时))、与电子文档相关联的关键词、电子文档的缓存副本或其组合的数据。[0105]搜索系统1100可以将搜索索引1116存储在可包括数千个数据存储设备的数据存储中。索引引擎1120可以通过持续更新搜索索引1116(例如，通过为新的申子文档1108建立索引并从搜索索引1116中删除不再可用的电子文档1108)来维护搜索索引1116。[0106]搜索系统1100使用查询日志记录引擎1122来生成并维护历史查询日志1118(如前所述)。搜索系统1100可以将历史查询日志1118存储在可包括数千个数据存储设备的数据存储中。查询日志记录引擎1122可以通过持续更新历史查询日志1118(例如，通过在新的搜索查询由搜索系统1100处理时对其建立索引)来维护历史查询日志1118。[0107]排名引擎1114通过对由搜索索引1116索引的电子文档1108打分来确定响应搜索查询1102的搜索结果1106。排名引擎1114可以部分地基于从历史查询日志1118访问的数据对电子文档1108打分。由排名引擎1114为电子文档1108确定的得分表征电子文档对搜索查询1102的响应度(例如，相关性)。排名引擎1114基于由搜索索引1116索引的电子文档1108的各自得分来确定其排名，并且基于排名来确定搜索结果。例如，排名引擎1114可以生成搜索结果1106,该搜索结果1106识别由搜索索引1116索引的排名最高的电子文档1108。[0108]图12是可用于执行上述操作的示例计算机系统1200的框图。系统1200包括处理器1210、存储器1220、存储设备1230和输入/输出设备1240。组件1210、1220、12每个可以例如使用系统总线1250互连。处理器1210能够处理在系统1200内运行的指令。在一个实施方式中，处理器1210是单线程处理器。在另一实施方式中，处理器1210是多线程处理器。处理器1210能够处理存储在存储器1220或存储设备1230中的指令。[0109]存储器1220将信息存储在系统1200内。在一个实施方式中，存储器1220是计算机可读介质。在一个实施方式中，存储器1220是易失性存储器单元。在另一实施方式中，存储器1220是非易失性存储器单元。[0110]存储设备1230能够为系统1200提供大容量存储。在一个实施方式中，存储设备1230是计算机可读介质。在各种不同的实施方式中，存储设备1230可以包括例如硬盘设备、光盘设备、由多个计算设备(例如，云存储设备)在网络上共享的存储设备、或一些其它大容量存储设备。[0111]输入/输出设备1240为系统1200提供输入/输出操作。在一个实施方式中，输入/输出设备1240可以包括一个或更多个网络接口设备，例如以太网卡、串行通信设备(例如，RS-232端口)和/或无线接口设备(例如，802.11卡)。在另一实施方式中，输入/输出设备可以包括驱动器设备，其配置为接收输入数据并将输出数据发送到其它输入/输出设备，例如键[0112]尽管已有在图12中描述了示例处理系统，但是本说明书中描述的主题的实施方式和功能性操作可以在其它类型的数字电子电路中实现，或在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中实现，或在其中的一种或更多种的组合中实现。[0113]本说明书结合系统和计算机程序组件使用术语“配置”。对于要配置为执行特定操作或动作的一台或更多台计算机的系统，意味着该系统已在其上安装了软件、固件、硬件或其组合，所述软件、固件、硬件或其组合在操作中使该系统执行所述操作或动作。对于要配置为执行特定操作或动作的一个或更多个计算机程序，意味着所述一个或更多个程序包括指令，该指令在由数据处理装置运行时使该装置执行所述操作或动作。[0114]本说明书中描述的主题的实施例和功能性操作可以在数字电子电路中实现，在有形体现的计算机软件或固件中实现，在计算机硬件(包括本说明书中公开的结构及其结构等同物)中实现，或在其中的一种或更多种的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或更多个计算机程序，即在有形的非暂时性存储介质上编码以由数据处理装置运行或控制数据处理装置的操作的计算机程序指令的一个或更多个模块。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行访问存储器设备或其中的一种或更多种的组合。备选地或另外地，程序指令可以被编码在人工产生的传播信号(例如，机器产生的电信号、光信号或电磁信号)上，该传播信号被产生以对信息进行编码而传输到合适的接收器装置供数据处理装置运行。[0115]术语“数据处理装置”是指数据处理硬件，并涵盖用于处理数据的各种装置、设备和机器，例如包括可编程处理器、计算机、或者多个处理器或计算机。该装置还可以是或可以进一步包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置可以可选地包括为计算机程序创建运行环境的代码，例如构成处理器固本或代码)可以以任何形式的编程语言(包括编译或解释性语言、或者声明性或程序性语言)来编写；它可以以任何形式(包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其它单元)来部署。程序可以但不必对应于文件系统中的文件。程序可以存储在保持其它程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或更多个脚本)中，在专用于所讨论的程序的单个文件中，或在多个协调文件(例如，存储一个或更多个模块、子程序或部分代码的文件)中。可以将计算机程序部署为在一台计算机上或在位于一个站点或分布于多个站点并通过数据通信网络互连的多台计算机上运行。[0117]在本说明书中，术语“引擎”广泛地用于指代被编程以执行一个或更多个特定功能的基于软件的系统、子系统或过程。一般而言，引擎将被实现为安装在一个或更多个位置中的一台或更多台计算机上的一个或更多个软件模块或组件。在一些情况下，一台或更多台计算机将专用于特定引擎；在其它情况下，可以在同一台计算机或相同的多台计算机上安装并运行多个引擎。[0118]本说明书中描述的过程和逻辑流程可以由运行一个或更多个计算机程序的一台或更多台可编程计算机执行，以通过对输入数据进行操作并产生输出来执行功能。所述过程和逻辑流程还可以由专用逻辑电路(例如，FPGA或ASIC)执行，或由专用逻辑电路和一台或更多台编程计算机的组合执行。[0119]适合于运行计算机程序的计算机可以基于通用微处理器或专用微处理器或两者，或者基于任何其它种类的中央处理单元。一般而言，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元以及用于存储指令和数据的一个或更多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。一般而言，计算机还将包括用于存储数据的一个或更多个大容量存储设备(例如，磁盘、磁光盘或光盘),或者在操作上耦合以从所述一个或更多个大容量存储设备接收数据、或向所述一个或更多个大容量存储设备发送数据、或既进行所述接收又进行所述发送。然而，计算机不必具有此类设备。此外，计算机可以被嵌视频播放器、游戏主机、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线[0120]适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性[0121]为了支持与用户的交互，本说明书中描述的主题的实施例可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可通过其向计算机提供输入的键盘和定点设备(例