CN112445947B 解析自动化助理请求的方法 （谷歌有限责任公司）

201880032505.22018.05.15确定与传感器数据可能捕捉的环境对象有关的一些实施方式还涉及基于对所述传感器数据的述提示而接收到的进一步输入(例如，附加传感2确定所述至少一个图像涉及与由所述至少一个图像捕捉基于对所述至少一个图像的所述图像处理，确定用于解析所述请求基于所述请求和对所述至少一个图像的所述图像处理中的至少一提供针对所述至少一个参数定制的提示以经由所述客户端设备或附加客户端设备进基于以下中的至少一个来解析用于所述至少一个基于所述给定属性和所述附加属性来解析所述请求，其中，基于所述给定属性并且基于所解析的用于所述至少一个参数的所述附加属性来发出使得所接收的一个或多个结果中的至少一个结果经由所述客户端设备的用户接口呈像捕捉的对象相关的请求是基于以来自所述客户端设备或所述附加客户端设备的一个或像捕捉的对象相关的请求是基于经由所述客户端设备或所述附加客户端设备的用户界面基于所述对象的分类属性来确定用于解析所述请求所必要的多个确定对所述至少一个图像的所述图像处理未能定义所述至少一个参数的所述附加属3通过一个或多个网络向代理发送基于所述给定属性并且基于用于所述至少一个参数基于由所述用户经由所述客户端设备或所述附加客户端设处理由电子设备的相机捕捉的至少一个图像，以解析在所述至少一个针对所述对象并且取决于所述对象的分类，选择由通过对所述理而解析的所述一个或多个属性未定义的一个或多确定所选择的一个或多个字段是用于解析与由所述至少一个图像捕捉的所述对象相响应于确定所选择的一个或多个字段是用于设备或附加电子设备提供针对所选择的一个或多个字段中的至少一个字段定基于所述附加图像和所述用户界面输入中的至少一个来解析所选择的一个或多个字基于所解析的附加属性并且基于通过对所述至少一个图像的所述处理而解析的所述基于通过对所述至少一个图像的所述处理而解析的所述一个或多个属性中的所述至经由所述电子设备向所述用户提供所述附加内容以用于使得所接收的一个或多个结果中的至少一个结果经由所述电子设备的用户接口被呈4选择可用图像处理引擎的子集以用于处理所述至少一个附加图像，可用图像处理引擎是基于与一个或多个字段的其中，解析所选择的一个或多个字段的所述附加属性是基于所述至至少一个附加图像到所述可用图像处理引擎中的未包括在所选择的子集中的其它可用图确定所述至少一个图像涉及与由所述至少一个图像捕捉基于对所述至少一个图像的所述图像处理，确定用于解析所述请求基于所述请求和对所述至少一个图像的所述图像处理中的至少一提供针对所述至少一个参数定制的提示以经由所述客户端设备或附加客户端设备进基于响应于所述提示而接收到的所述口头语音输入来解析用于所述至少一个参数的基于所述给定属性和所述附加属性来解析所述请求，其中，在基基于所述给定属性并且基于所解析的用于所述至少一个参数的所述附加属性来发出使得所接收的一个或多个结果中的至少一个结果经由所述客户端设备的用户接口呈备或所述附加客户端设备的一个或多个信号为基础确定的用户场境来确定所述至少一个5或所述附加客户端设备的用户界面输入设备接收到的自然语言输入来确定所述至少一个图像涉及与由所述至少一个图像捕捉的对象基于所述对象的分类属性来确定用于解析所述请求所必要的多个确定对所述至少一个图像的所述图像处理未能定义所述至少一个参数的所述附加属基于处理所述语音输入，确定所述语音输入指示由所述用户进行的请处理经由所述客户端设备的一个或多个麦克风捕捉的并且捕捉由所述对象生成的所利用由所述对象生成的所述噪声的所述一个或多个属性来确定所述请求是否是可解响应于利用由所述对象生成的所述噪声的所述一个或多个属性确定所述请求不是可提供提示以用于在所述客户端设备或附加客户端设备基于对所述图像和所述进一步的语音输入中的一者或两者的处理来利用由所述对象使反映所述请求的解析的输出在所述附加客户端设备的所述客户端属性包括所述音频数据中的蜂鸣声的数量或所述音频6一个或多个属性是否使得能够实现以所述特所述语音输入指示由所述用户进行的请求，所述请求与具有所述客户端基于对所述至少一个图像的所述图像处理，确定用于以所述特异提供针对所述至少一个参数定制的提示以用于经由所述客户端设备或附加客户端设基于以下中的一者或两者来解析用于所述至少一个使得反映所述请求的解析的输出在所述附加客户端设备的所述客户端基于所接收到的一个或多个结果中的至少一个结响应于向所述代理发送查询而从所述代理接收响应于所述查询的所述一个或多个结7确定所述至少一个图像涉及与由所述至少一个图像捕捉基于在所述至少一个图像被捕捉时所述客户端设备的位置的语义基于对所述至少一个图像的所述图像处理，确定用于以所述特异提供针对所述至少一个参数定制的提示以用于经由所述客户端设备或附加客户端设基于以下中的一者或两者来解析用于所述至少一个使得反映所述请求的解析的输出在所述附加客户端设备的所述客户端8[0002]本申请属于申请日为2018年5月15日的中国发明专利申请201880032505.2的分案接收。自动化助理使用响应内容(例如，视觉和/或听觉自然语言输出)来响应自然语言输[0007]本文所述的实施方式涉及响应于确定与可能被传感器数据捕捉的环境对象相关9[0008]本文所述的一些实施方式还涉及基于对传感器数据的处理来确定请求是否是可代理请求是基于从对附加图像的图像处理中解析出的附加属性并且可选地基于以对先前处理器数据的处理为基础而确定的(例如，基于先前图像的图像处理确定的)属性而生成[0011]如上所述，能够基于确定基于对处理器数据的处理而解析的一个或多个属性(如由用户提供的初始自然语言输入、由用户提供的反馈、该用户和/或其它用户的历史交互[0013]本文所述的一些实施方式能够仅当确定了下列情况时才提供用于向用户呈现的解析请求的可能性——由此减轻对解析请求时的进一步提示和/或对处理将响应于这些进[0015]作为一些实施方式的一个明确示例，假设用户提供了“whatkindofreviews环境中的对象有关的请求。响应于包括请求的语音输入，能够处理这瓶葡萄酒的图像以解takeapictureofthelabel(你能够拍摄标签的图片吗)”或“canyoumakethe输入提出搜索，能够接收附加内容。例如，可能已经确定了“VineyardACabernetSauvignon2012(葡萄园赤霞珠2012)”的文本值，提交了对“reviewsforvineyardA入，以使得能够解析未解析字段的属性。例如，假定利用对一个或多个图像的处理来确定识特定品牌的文本，但未识别出识别葡萄酒类型和年份的文本。代替或除了提示用户捕捉其它图像和/或移动葡萄酒瓶外，提示还能够请求用户识别葡萄酒的类型和年份(例如，葡萄酒类型和年份。在一些实施方式中，能够生成提示以包括基于图像处理确定的一个或使用被配置成解析未解析的字段/参数的那些引擎，由此通过不将全套引擎用于这些图像用于解析该请求所必要的该至少一个参数基于该至少一个图像的图像处理是不可解析的。应于确定该请求是不可解析的：提供提示以经由客户端设备的自动化助理界面呈现给用个；基于附加图像和用户界面输入中的至少一个为选定的一个或多个字段解析给定属性；方法还包括基于将至少一个附加图像应用于可用图像处理引擎的所选子集来解析一个或引起任何前述方法的执行。一些实施方式还包括一个或多个非暂时性计算机可读存储介[0032]图1示出了其中可以实施本文公开的技术的示例环境。该示例环境包括多个客户但是在一些实施方式中，自动化助理120的全部或几方面可以由一个或多个客户端设备多个实例，并且客户端设备106N还可以实施自动化助理120的那些一个或多个方面的单独化助理120可以被认为是“serve(服务)”该给定用户，例如，赋予自动化助理120对由[0035]每个客户端设备1061-N都可以操作各种不同的应用，诸如多个消息交换客户端1071-N中的对应的一个以及多个相机应用1091-N中的对应的一个。每个客户端设备106还可[0036]消息交换客户端1071-N可以具有各种形式，并且这些形式可以在客户端计算设备一些实施方式中，一个或多个消息交换客户端1071-N可以经由网页或由网络浏览器(未示出)或客户端计算设备106的其它应用所呈现的其它可以提供用户可以与之交互以捕捉一个或多个图像和/或视频的图形用户界面。在一些实析与由相机1111-N捕捉的图像相关联的请求。在其它实施方式中，一个或多个相机应用1091-N可具有不同于自动化助理120的其自己的内置功能，其使用户能够解析与相机1111-N装在客户端设备106上的任何其它应用可包括使应用能够访问由相机111和/或附加传感器户经由客户端设备1061-N之一的一个或多个用户界面输入设备提供的用户界面输入，自动[0040]在那些实施方式中的一些实施方式中，用户界面输入被明确地指向自动化助理1-N之一可以是专用于与自动化助理120会话的个人助理消息服务，并且经由该个人助理消息服务提供的用户界面输入可被自动地提供给自动化助理如，自动化助理120可以检查用户界面输入的内容并响应于用户界面输入中存在的某些术[0041]客户端计算设备1061-N和自动化助理120每个都可以包括用于存储数据和软件应网络进行通信的其它组件。由一个或多个客户端计算设备1061-N和/或由自动化助理120执行的操作可以分布在多个计算机系统上。自动化助理120可以被实施为例如在通过网络彼此耦合的一个或多个位置中的一台或多台计算机上运行的计算[0042]除了在图1中未示出的其它组件之外，自动化助理120还可包括自然语言处理器式中，可以在与自动化助理120分离的组件中省略、组合和/或实施自动化助理120的引擎的人机对话会话期间来自客户端设备1061-N的各种输入生成响应内容。自动化助理120(例如，当与用户的客户端设备分开时通过一个或多个网络)提供响应内容以作为对话会话的传感器113捕捉的附加传感器数据而生成响应内容。本文中使用的自由形式输入是由用户制定并且不限于为了由用户选择而呈现的一除了用户与自动化助理之间的会话之外的一个或多个插入交互(例如，用户切换应用一会用于与自动化助理120的一个或多个实例进行交互的客户端120的文本处理器的远程语音)之间的通信会话；和/或在客户端设备1061上呈现图形用户[0045]自动化助理120的自然语言处理器122处理由用户经由客户端设备1061-N生成的自理由用户经由客户端设备1061的一个或多个用户界面输入设备生成的自然语言自由形式录发送到自动化助理以通过语音到文本模块进行[0046]在一些实施方式中，自然语言处理器122被配置成识别和注释自然语言输入中的成用术语的语法角色来注释术语。例如，语音标记器的该部分可以用其语音部分，诸如确定自然语言输入中的术语之间的句法关系的依存句法分析器(未示出)。例如，依存句法分析器可以确定哪些术语修改了其它术语，句子的主语和动词等等(例如，分析树)——并且可以对这种依存进行注释。 关于实体的数据可被存储在一个或多个数据库中，诸如存储在知识图(未示出)中。在一些析特定实体和/或可以可选地与知识图或其它实体数据库进行通上次在那里用餐的假想咖啡厅)”中，可以使用共指解析器将术语“there(那里)”解析为[0050]在一些实施方式中，自然语言处理器122的一个或多个组件可能依赖于来自自然器可能在对特定实体的所有提及进行注释时依赖于来自共指解析器和/或依存句法分析器然语言处理器122的一个或多个组件可以使用相关的先前输入和/或特定自然语言输入之[0051]请求引擎124利用一个或多个信号来确定何时存在与请求相关联的客户端设备的1061的已检测位置和/或其它场境属性来确定与客户端设备1061的环境中的对象相关的请[0052]作为一个示例，请求引擎124能够基于由用户经由客户端设备1061提供的自然语不能对先前自然语言输入中的先行词(例如，由自然语言处理器122)共指解析的形式(例与环境对象有关，请求引擎124能够使图像和/或其它传感器数据被客户端设备1061捕捉。needtocaptureanimagetoansweryourrequest(我需要拍摄图像以回答你的请经由相机1111对至少一个图像的捕捉而提供的话语来确定这种请求(例如，在捕捉至少一能够基于从多个不同应用中的任何一个捕捉的图像和/或话语来确定这种请求。而且，例如，请求引擎124能够基于被捕捉的传感器数据来确定这种请求—并且能够独立于任何话用户利用消息交换客户端1071和/或专门针对自动化助理120的定制以捕捉图像和/或其它能够被请求引擎124解释为与传感器数据捕捉的对[0055]当存在与请求相关联的客户端设备的环境中的对象有关的请求时(例如，如由请求时与一个或多个代理146交互。代理146能够包括由控制自动化助理120的同一方控制的一个或多个所谓的第一方(1P)代理，和/或能够包括由单独的一方控制的一个或多个所谓的第三方(3P)代理。作为一个示例，代理146能够包括搜索系统(1P搜索系统或3P搜索系统)，并且请求解析引擎130能够通过向搜索系统提交搜索，接收响应内容(例如，单个[0057]如果请求解析引擎130确定请求不可解析，则请求解析引擎130能够使提示引擎示能够另外或可替选地请求用户提供针对对象的未解析属性的示引擎126确定一个或多个另外的提示以经由客户端设备1061提供而进行呈现。然后能够利用响应于这些附加提示而接收到的附加传感器数据和/或用户界面输入来再次尝试解析[0059]请求解析引擎130可选地包括属性模块132，其确定请求所指示的对象的各种属时利用这些属性。属性模块132能够在确定各种属性时与图像处理引擎142和/或附加处理[0060]在一些实施方式中，请求解析引擎130基于确定由属性模块132解析的属性(如果境对象的分类属性，诸如由图像处理引擎142之一基于所捕捉的图像解析的分类属性。例[0062]现在参考图2A至图8的示例提供对图1的各种组件的附加描述。虽然在图2A至图8中未示出图1的一些组件，但是在下面的讨论中参考这些图来描述各种组件的功能的某些备1061上操作和/或结合在客户端设备1061中操作的自动化助理(图1中的120)的实例交互电话或平板计算机的形式。在触摸屏160上渲染的是与相机功能(例如，图1中的相机应用109和/或包括电子取景器的其它应用)相关联的图形用户界面，其例如实时地渲染由相机之间切换，第二图形元素1662可操作用于使用相机1111来捕捉图像(或视频(其连续地捕捉[0064]用户输入字段164可以由用户操作以提供各种输入，诸如能够提供给自动化助理120的自由形式自然语言输入。自由形式自然语言输入能够为键入的用户界面输入(例如，经由未示出的虚拟键盘)和/或能够为由用户提供的语音输入(例如，通过单击右侧的麦克方面并且经由用户输入字段164提供语音输入的情况下，语音输入的流版本可以经由一个的语音输入例如在客户端设备1061处和/或远程地(例如，在自动化助理120的一个或多个例如通过点击用户输入字段164或通过说出诸如“HeyAutomatedAssistant”之类的调用短语来调用自动化助理120。一旦调用了自动化助理120，则用户说出或键入自然语言输入调用自动化助理120又提供自然语言输入(例如，“Heyassistant,howmuchdoesthis[0066]自动化助理120的请求引擎124能够确定自然语言输入“Howmuchdoesthis施方式中，请求引擎124能够基于自然语言输入和用户对图像的捕捉两者来确定请求与环[0067]请求引擎124将请求的指示提供给请求解析引擎130。请求解析引擎130尝试使用一个或多个图像处理引擎142。图像处理引擎142能够处理捕捉的图像以确定“wine些字段被一个或多个代理136指示为需要，能够处理请求而确定那些字段(例如，“wine的强制性时段/字段。[0068]请求解析引擎130能够进一步确定基于提供的自然语言输入和所捕捉的图像的图[0069]基于请求无法解析，提示引擎126确定并提供提示272A：“Canyoutakea且将音频形式提供给客户端设备1061以经由客户端设备1061的扬声器进行听觉呈现。提示或软件)和/或相机1111的其它特性(例如，通过像处理引擎142能够(例如，使用OCR)确定“HypotheticalVineyard(假想葡萄园)”、园赤霞珠2012的成本)”和/或结构化代理查询，诸如{意图＝"wine_cost"；品牌＝"则可以经由图2B的界面和/或单独界面显示用于购买的链接。价格范围和链接都可能基于[0073]图3示出了根据本文所述的实施方式的，用户(未示出)可以如何与在客户端设备1061上操作和/或结合在客户端设备1061上的自动化助理(图1中的120[0076]请求引擎124将请求的指示提供给请求解析引擎130。请求解析引擎130尝试使用示用户拍摄附加图像(或以其它方式提供与这瓶葡萄酒有关的附加信息)和/或无需提供图输入确定请求不可解析时才可以可选地提供经定制以使得能够确定附加对象属性的提示。感器数据)来提供自然语言输入。在那些实施方式中，特异性程度可以是基于客户端设备[0079]图4示出了根据本文所述的实施方式的，用户(未示出)如何与在客户端设备1061语言输入。请求引擎124能够确定自然语言输入是与客户端设备1061的环境中的对象相关擎126能够基于未解析字段(年份)并基于已解析属性(通过包括对品牌和类型的所确定的求。例如，请求解析引擎130能够向代理146之一提交代理查询，该代理查询引起订购地响应于代理查询而从代理接收附加内容(例如，订单的确认、总价和/或估计的交货日1061上操作和/或结合在客户端设备1061中操作的自[0088]然而，在图5B的示例中，请求解析引擎130已经基于先前捕捉的图像来解析“My选择以导致显示附加搜索结果的可选选项5互而提供的用户反馈来学习何时解析请求和/或学习各种未来请求的适当目标特异性程[0090]图6示出了其中可以采用所公开的技术的另一示例场景。在图6中，客户端设备106N采用独立交互式扬声器的形式，其使用户101能够参与与在客户端设备106N上和/或与[0091]在此示例中，用户101提供语音输入674A：“whyismyrobotvacuummaking[0093]请求引擎124将请求的指示提供给请求解析引擎130。请求解析引擎130尝试使用[0094]然后，请求解析引擎130能够尝试通过例如向搜索系统代理提交基于输入674A和已解析的音频属性的代理查询(例如，代理查询“whatdoesthreeconsecutivebeeps[0095]基于请求无法解析，提示引擎126确定并提供提示672A：“CanyouholdtheN的扬声器进行可能够基于从附加图像解析出的属性来解析请求。例如，附加图像可能已使得能够确定求解析引擎130制定代理查询“whatdoesthreeconsecutivebeepsmeanforhypo-theticalvacuum3000(连续三声蜂鸣声对于假想真空吸尘器3000意味着什么)”。该代理查询能够提交给搜索系统代理，并作为响应返回高置信度答案。进一步的输出672C能够是户101能够利用客户端设备1061(可以是智能电话)来捕捉吸尘器661的图像，同时吸尘器链接到同一用户。自动化助理120能够(响应于提示772A)利用由客户端设备1061捕捉的图动化助理120能够在解析请求时利用来自用户的多个设备的自然语言输入和/或传感器数考执行这些操作的系统来描述流程图的操作。该系统可以包括各种