CN113646746B 用于经由用户演示学习并启用命令的方法和系统 （三星电子株式会社）

2021.09.28PCT/KR2020/0036972020.03.18WO2020/204406EN2020.10.08用于经由用户演示学习并启用命令的方法一种用于学习任务的方法包括获得与由电子装置执行的至少一个应用程序相关联的第一信息中所包括的每个元素执行辨别以生成语义2记录关于所述至少一个应用程序的用户界面交互的基于所述第一信息而从所述第二信息过滤掉事件或动作基于每个元素和经过滤的第二信息生成可执行的顺序所述第一信息包括以下各项中的至少一者：语音命令话语、来自会话所述可执行的顺序事件任务命令被配置为在所述至少一个应用程序上执行以执行任基于所述任务事件队列而从所述第二信息进一步过滤事件或动作向所述用户界面交互的序列的每个元素添加额外的语音或文本数据以获得额外的元基于系统、服务和用于所述任务的脱离上下文的数据通过对文本6.如权利要求1所述的方法，其中所述可执行的顺序事件任务命令被制定为基于用户获得与由所述电子装置执行的至少一个应用程记录关于所述至少一个应用程序的用户界面交互的基于所述第一信息而从所述第二信息过滤掉事件或动作基于每个元素和经过滤的第二信息生成可执行的顺序所述第一信息包括以下各项中的至少一者：语音命令话语、来自会话所述可执行的顺序事件任务命令被配置为在所述至少一个应用程序上执行以执行任9.如权利要求7所述的电子装置，其中当由处理器执行所述指令时进一步引起所述电3基于所述任务事件队列而从所述第二信息进一步过滤事件或动作向所述用户界面交互的序列的每个元素添加额外的语音或文本数据以获得额外的元基于系统、服务和用于所述任务的脱离上下文的数据通过对文本执行所述指令时引起所述电子装置执行如权利要求1至64少一个应用程序生成任务命令的用户演示来为虚拟助理或语[0005]一个或多个实施例总体涉及使用用于为至少一个应用程序生成任务命令的用户基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的序列和经过滤的第二信息而生成所述用户界面交互的序列的5[0008]一个或多个实施例的这些和其他方面和优点将从以下具体实施方式中变得显而[0011]图2示出了根据一些实施例的用于能够单独地或组合地执行智能学习处理的系统[0013]图4示出了根据一些实施例的用于用户任务演示(使用简单的步骤)的应用程序的[0014]图5示出了根据一些实施例的用于从系统和服务中过滤不想要的事件的ILS的高图标、文本和描述的数据以及语义而对事件进行过滤并且对事件和文本/图像语义本体划[0016]图7示出了根据一些实施例的用于在单个应用程序上进行ILS任务学习的示例过[0017]图8示出了根据一些实施例的用于在多于一个应用程序上进行ILS任务学习的另[0021]图12A、图12B和图12C示出了根据一些实施例的从相册向云服务分享旅行图片的6[0027]一个或多个实施例提供了使用用于为至少一个应用程序生成任务命令的用户演[0028]图1是根据一个或多个实施例的通信系统10的示意图。通信系统10可以包括发起传出通信操作的通信装置(发射装置12)和通信网络110，发射装置12可以使用所述通信网在一些实施例中，通信网络110可以支持由无线和蜂窝电话以及个人电子邮件装置(例如，置12和接收装置11可以通过双向通信路径(诸如路径13)或通过两条单向通信路径进行通[0030]发射装置12和接收装置11可以包括用于发送和接收通信操作的任何合适的装置。有或没有支持无线的附件系统的帮助下)或经由有线路径(例如，使用传统电话线)进行通7置120和云计算(例如，可配置的计算系统资源和较高级别服务的共享池等)或服务器(例电路125通信以获得信息/将其信息提供给云或服务器140；并且可以包括用于但不限于如下所述的示例的任何处理)以及任何其他合适的部件。提供了应用程序1至N127并且可以从云或服务器140、通信网络110(图1)等获得所述应用程序，其中N是等于或大于1的正整传输到其他调谐装置的手持式音乐播放器可以并入到电子装置[0034]在一些实施例中，显示器121可以包括用于提供对用户可见的显示的任何合适的网络110)并且将通信操作和媒体从电子装置120传输到通信网络内的其他装置的任何合适[0037]在一些实施例中，通信电路125可以操作来使用任何合适的通信协议创建通信网8络。例如，通信电路125可以使用短程通信协议来创建短程通信网络以连接到其他通信装置。例如，通信电路125可以操作来使用BLUETOOTH协议创建局部通信网络以将电子装(例如，处理和存储器129中的)一个或多个处理器可以驱动显示器并且处理从用户接口接执行通信操作的其他装置相关的信息(例如，保存与通信操作相关的联系信息或者存储与传声器122，以在通信操作期间或作为建立通信操作的手段或作为使用物理用户接口的替9[0045]在一些实施例中，ILS300处理响应于由用户在一个或多个应用程序上演示的一个或多个动作的语义上的理解而过滤不想要的事件来确定。ILS300处理在学习任务中是[0046]在一些实施例中，ILS300处理基于应用程序用户界面(UI)交互(例如，使用appUI屏幕图像捕获服务330基于可访问性服务而实现，这使得UI动作的监听器能够作为后台执行动作时识别活动屏幕。窗口内容改变事件有助于在屏幕的内容改变时识别活动屏幕，动作或系统响应所致的屏幕数据和/或应用程序数据被暂时地保存。当用户下一次调用或的整个装置上下文中运行，以在装置上下文改变时在应用程序之间有效地使用和共享资源。在一些实施例中，ILS300处理在实施任务学习时能理解每个系统状态并且感知上下文。由用户动作生成的所有事件基于事件的应用程序包、事件的类型和/或事件的上下文的情况下生成可执行的任务命令380。ILS300处理借助于关于每个用户动作315的可用数有助于确保当用户利用语音命令以多个数据值发起任务时对在应用程序310上运行的每个[0052]在一些实施例中，ILS300处理学习如下任务。在理解了用户将通过与应用程序素的当前活动屏幕，并且提取此类UI元素的文本和图标图像。用户动作315记录用户UI动务事件队列350对用户动作事件信息进行排队以进行命令处理370。命令处理370从任务事大多数是由系统或其他包/应用程序的后台服务生成的不是应用程序上执行的一个或多个任务队列命令处理371基于关于此类特定数据元素的语音、手势或文本输入而添加额外的事件(它们基于来自用户动作或系统反馈事件的数据而为动态的)而验证每个用户动作于理解并在语义上对用户执行的每个用户动作应用程序或多个应用程序上演示的一系列动作而生成任务命令380。每次用户交互(例如，如果用户动作或UI元素活动中的一些没有足够的信息以在语义上处理，则屏幕420提示用[0054]图5示出了根据一些实施例的高级组成部分流程500，其示出了ILS300处理使用动作可以生成一个或多个事件。ILS300处理有效地工作来基于优先级而清除一个或多个尝试输入一些文本时)以及所保存的状态(诸如导航到下一个屏幕或经由按钮单击523提交利用特定元素(例如，在图4的屏幕420中)提示用户以使得用户能够以语音或文本输入数语义本体划分优先级来执行动态事件排序。当在应用程序的一个版本上利用特定量的强制数据学习任务以完成任务时，所学习的任务可能无法在所述应用程序的对于ILS300而言果应用程序屏幕改变或添加更多UI元素，则ILS300使用对于UI元素而言唯一的“资源ID”资源ID也发生了改变，则ILS300将语义上接近的UI元素匹配到学习元素以实施动作。例发送动作的图标按钮。生成语义本体372的域文本分类器在更新版本的应用程序中检测与应用程序(例如，LINKEDINg和FACEBookg)中，可能存在应用程序开始时其自身的应用程序上下文。上下文预测560识别特定资源是在应用程序上下文中运行还是[0058]图7示出了根据一些实施例的用于在单个应用程序上进行ILS任务学习的示例过自NLU引擎710的输出在意图槽715中提供语音命令的意图和槽信息。意图是终端用户的传[0059]在一些实施例中，用户(任务学习)确定720提供与电子装置中的可用的应用程序中哪个应用程序适合于执行这个任务有关的信息。如果电子装置中没有安装特定应用程不足、键盘输入等的事件。所有这些事件共同地被添加到语义事件队列或原始事件队列下文/状态预测并且将输出添加到主任务队列371。语义本体处理372基于人工构建的预定作验证器340验证用户是否演示在任何时间实施任务所需的槽或者系统是否正确地处理所[0060]图8示出了根据一些实施例的用于在多于一个应用程序上进行ILS任务学习的另发帖的示例。在此示例实施例中，ILS成的事件的总数量几乎是用户执行的动作的三倍，这给出了事件关于其如何与UI元素交互任务学习的一部分的每个活动屏幕，并且针对每个活动屏幕挖掘UI元素树的数据。语义树数据连同由用户演示生成的事件一起存储在任务事件队列350(图3)中以在命令处理370 幕4940显示推文。基础训练-代理需要从教导中提取语义含义并且将所述语义含义与动作和感知相关联。如果特定UI元素不具有足够的信息，则ILS300处理进一步输入简单的自然语言指令以推断法方式构建。AppUI屏幕图像捕获服务330(图3)和UI元素树语义挖掘工具360用于理解UI元素中的每一者以及其由用户演示的相应的动作。事件处理器/过滤器373(图3)从任务事射事件分类器基于诸如应用程序包、应用程序类型和上下文的数据而对系统事件进行分语义本体372(图3)以基于用户演示期间捕获的UI元素的文本和图像[0065]∑1：事件类型：TYPE_VIEW_FOCUSED；事件时间：310865；包名称：[0066]∑2：事件类型：TYPE_VIEW_FOCUSED；事件时间：310916；包名称：[0067]∑3：事件类型：TYPE_VIEW_SCROLLED；事件时间：311238；包名称：[0070]∑6：事件类型：TYPE_WINDOW_STATE_CHANGED；事件时间：322170；包名称：TYPE_VIEW_FOCUSED；包名称：预测和不想要的动作而对用户有害。在一些实施例中，JSON文件被转换为协议缓冲区(具安全并且比使用JSON文件更为快速。协议缓冲区是以任意格式使结构化数据序列化的方ILS300处理(图3)利用多个日期和变化的实施例中，这个任务可以通过针对邻近地点改变美食类型来重复地执行以查找最佳餐馆BBQ作为美食类型并使用加州PaloAlto作为期望位置的搜索页面。第三屏幕1130示出了第[0077]图12A、图12B和图12C示出了根据一些实施例的从相册向云服务分享旅行图片的户正在使用消息应用程序。第二屏幕1220示出了打开的用于选择图片/照片的相册应用程[0078]图13示出了根据一些实施例的用于学习任务的过程1300的框图。在一些实施例处理器/过滤器373)基于针对每个细节获得的第一信息而从第二信息过滤(不想要的)事件[0086]在电子装置(例如，图2的电子装置120)的一个或多个实[0090]已经根据一个或多个实施例参考方法、设备(系统)和计算机程序产品的流程图创建用于实现流程图和/或框图中指定的功能/操作的工具。流程图/框图中的每个框可以存储在计算机可读介质中的指令产生制品，所述制品包括实现流程图和/或框图的一个或[0092]表示本文的框图和/或流程图的计算机程序指令可以被加载到计算机、可编程数