CN112867987A 电子设备和控制电子设备的方法 （三星电子株式会社）

PCT/KR2019/0133562WO2020/080753KO2020.04.提供了一种能够通过用户界面提供对应于用户语音的文本信息的电子设备以及控制该电像中的至少一个对象当中的对应于用户语音的2基于获得包括至少一个对象的图像，通过分析所述图基于通过麦克风接收到用户语音，通过对所述用户控制所述显示器在所述显示器上的区域当中的与被识别为对应于所述用户语音的对2.根据权利要求1所述的电子设备，其中所述处理器被配置为基于关于包括在所述图对象当中的对应于关于所述至少一个对象的信息的对象识别为对应于所述用户语音的对3.根据权利要求1所述的电子设备，其中所述处理器被配置为基于在接收所述用户语4.根据权利要求3所述的电子设备，其中所述处理器被配置为控制所述显示器在所述5.根据权利要求3所述的电子设备，其中所述处理器被配置为对通过所述麦克风接收的用户语音当中的在所述显示器上保持所述触摸交互的同时接收的用户语音执行语音识6.根据权利要求3所述的电子设备，其中所述处理器被配置为基于在所述显示器上接基于确定的大小和形式当中的至少一个，控制所述显示器在与被识别为对应7.根据权利要求1所述的电子设备，其中与被识别为对应于所述用户语音的对象相对与被识别为对应于所述用户语音的对象被显示在所述显示器上的区域相距预设距离内的8.根据权利要求1所述的电子设备，其中所述处理器被配置为基于存在被识别为对应基于通过所述选择UI接收的选择两个或更多个对象当39.根据权利要求1所述的电子设备，其中所述处理器被配置为基于包括在获得的文本控制所述显示器在与被识别为对应于所述用户语音的对象相对应的区域上显示包括其中所述处理器被配置为基于包括在获得的文本信述通信器将获得的文本信息发送到对应于所述基于获得包括至少一个对象的图像，通过分析所述图基于接收到用户语音，通过对所述用户语音执行语音识在所述显示器上的区域当中的与被识别为对应于所述用户语音的对象相对应的区域中的至少一个对象当中的对应于关于所述至少一个对象的信息的对象识别为对应于所述接收到所述触摸交互的区域相对应的对象识别将显示在所述显示器上的区域当中的接收到所述触摸交互的区域上的对象识别为对对接收到的用户语音当中的在所述显示器上保持触摸交互的同时接收到的用户语音执行4[0006]本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信息的5[0013]图3B是示出基于如图3A所示的电子设备100的硬件配置和根据本公开的软件模块[0016]图6是示出基于对应于用户语音的文本信息来识别对应于用户语音的对象的电子[0017]图7A至图7C是示出基于用户的触摸交互来识别对应于用户语音的对象的电子设[0018]图8A和图8B是示出与基于用户的触摸交互不同地显示备忘录UI的大小和形式相[0020]图10A是全面示出根据本公开的识别对应于用户语音的对象的过程的实施例以及[0021]图10B是示出在显示器上接收到用户的触摸交互的区域上显示备忘录UI的实施例[0022]图11A和图11B是详细示出与当存在对应于用户语音的两个或更多个识别的对象[0024]图13A是示出与包括在对应于用户语音的文本信息中的用户名信息相关的实施例[0025]图13B是示出与包括在对应于用户语音的文本信息中的对象的持续时间相关的信[0026]图13C是示出与关于包括在对应于用户语音的文本信息中的用户意图的信息相关[0028]图15A和图15B是示出与对应于移动或已经消失的用户语音的对象的位置相关的[0029]图16是基于根据本公开的电子设备100是冰箱简要示出与本公开相关的冰箱的结[0032]图19是示出通过与电子设备连接的服务器执行的根据本公开的对象识别和语音6[0039]同时，电子设备100可以从被识别为包括在图像中的至少一个对象当中识别对应[0040]具体地，基于关于包括在获得的文本信息中的图像中包括的至少一个对象的信息，电子设备100可以将与包括在获得的文本信息中的至少一个对象的信息相对应的对象器110上的区域当中的接收到用户的触摸交互的区域相对应的对象识别为对应于用户语音被接收。接收到用户的触摸交互的时间点及其各种实施例将在下面具体参考图10B进行描[0043]如上所述，基于与被识别的用户语音相对应的对象，电子设备100可以在显示器7110上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信息[0044]根据如上所述的实施例，在显示包括对应于用户语音的文本信电子设备100可以在显示器110上的区域当中的对应于发出用户语音的用户的直观识别的[0047]基于获得包括至少一个对象的图像，电子设备100可以识别包括在获得的图像中部图像上的对象识别的识别的主题的对象的范围预设为仅包括布置在冰箱内部的食品的能模型可以被实施为被训练来识别限于所发现的[0050]基于接收到的用户语音，电子设备100可以获得对应于接收到的用户语音的文本信息(S240)。电子设备100可以通过对接收到的用户语音执行语音识别来获得对应于用户点触摸交互被预设为对应于用于执行语音识别的触发输入，电子设备100可以在接收到多8点触摸交互之后对接收到的用户语音执行语音识别，并且获得对应于用户语音的文本信户语音的文本信息。[0057]如在相关技术中，如果在预设时间段内电子设备100中没有接收到用户语音的情况下指定语音识别的终点，则预设时间段已经过去的时间点可以被指定为语音识别的终点，即使当由于用户在发声时犹豫发声而在预设时间段内电子设备100中没有接收到用户制激活麦克风的时间，并对通过激活的麦克风接收到的用户语音整体执行语音识别来指[0062]电子设备100可以从包括在图像中的至少一个对象当中识别对应于接收到的用户9[0063]具体地，基于关于包括在获得的文本信息中的图像中包括的至少一个对象的信息，电子设备100可以将与包括在获得的文本信息中的至少一个对象的信息相对应的对象的区域当中的接收到用户的触摸交互的区域相对应的对象识别为对应于用户语音的对象。[0066]当识别出对应于用户语音的对象时，电子设备100可以在显示器上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信息的备忘录UI(S260)。选择两个或更多个对象当中的一个的用户输入时，电子设备100可以将选择的一个识别为已经被描述为关于包括在图像中的至少一个对象的名称的信息，但是根据本公开的实施括在对应于用户语音的文本信息中的各种信息相[0070]根据如上所述的本公开的一个或多个实施例，电子设备100可以基于对应于用户[0071]此外，电子设备100可以基于用户的触摸交互以方便和直观的方法指定作为语音[0072]因此，电子设备100的用户可以使用直观且简单的方法通过用户界面生成对应于[0073]图3A是简要示出根据本公开的电子设备100的配置的框图，以及图3B是示出基于如图3A所示的电子设备100的硬件配置和根据本公开的软件模块之间的耦合关系的根据本[0076]根据本公开的显示器110可以通过处理器140的控制来显示包括至少一个对象的根据在电子设备100外部生成的声音或语音接收音频信号，并将接收到的音频信号转换成开的各种实施例操作电子设备100的各种软件程序或应用。器140可以被配置为通过执行存储在存储器130中的各种软件模块来控制电子设备100的操态随机存取存储器(DRAM)和静态RAM(SRAM存储器130中的多个模块可以指执行多个模块，并且执行多个模块的功能所需的所有数据[0083]唤醒模块131可以指确定是否对用户语音执行语音识别的模块，并且可以被指定输入之后通过麦克风120接收到的用户语音上的语[0084]自动语音识别(ASR)模块可以指通过对用户语音执行语音识别来获得对应于接收[0085]自然语言理解(NLU)模块133作为对接收到的用户语音执行自然语言的理解的模并且NLU引擎可以指通过使用用于执行自然语言的理解的数据库来执行关于对应于用户语[0087]备忘录UI处理模块135可以指根据本公开执行与备忘录UI相关的整体处理过程的[0088]根据本公开的备忘录UI相关数据136可以指与备忘录UI相关的各种数据。也就是本公开的操作的硬件和软件的有机耦合，并且本公开不限于包括如图2所示的软件架构的储器130中的多个模块并访问多个模块，并且基于通过多个模块执行根据本公开的各种操[0092]处理器140可以实施成各种方法。例如，处理器140可以被实施为专用集成电路(DSP)当中的至少一个。同时，本公开中的术语处理器140可以用作包括中央处理单元器140可以通过识别获得的图像和包括在图像中的至少一个对象，将关于获得的至少一个对象的信息存储在存储器130中，并且基于存储的图像和关于对象的信息来识别对应于如与对象在图像中的位置相对应的坐标值等的信息。将参考图4详细描述通过对象识别模块可以是指定作为语音识别主题的用户语音的起点。已经参考图2描述了用于指定作为语音[0100]处理器140可以被配置为识别包括在图像中的至少一个对象当中的对应于接收到通过显示器110接收的用户的触摸交互当中的至少一中，处理器140可以将对应于关于包括在获得的文本信息中的至少一个对象的信息的对象上的区域当中的接收到用户的触摸交互的区域相对应的对象识别为对应于用户语音的对[0104]处理器140可以被配置为控制显示器110显示包括文本信息的备当识别出对应于用户语音的对象时，处理器140可以被配置为控制显示器110在显示器110上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信息的于用户语音的对象被显示在显示器110上的区域，以及与被识别为对应于用户语音的对象选择两个或更多个对象当中的一个对象的用户输入时，处理器140可以将选择的一个对象已经被描述为关于包括在图像中的至少一个对象的名称的信息，但是根据本公开的实施[0109]电子设备100可以提取获得的图像内的边界，并识别对象是否存在以及对象的位设备100可以获得包括在获得的图像中的对象对应于多个类别中的每一个的可能性，该多子设备100可以使用OCR技术来识别包括在图像中的食品等的标签并识别包括在图像中的工智能模型的类型和其中包括的人工神经网络的类型像执行对象识别而作为识别的主题的范围可以被预设为仅包括布置在冰箱内部的食品并智能模型可以被实施为被训练来识别限于食品类[0116]同时，如上所述的对象识别模块不仅可以作为设备上的模块(on_device)被包括[0122]同时，如上所述的ASR模块不仅可以作为设备上的模块被包括在[0123]图6是示出电子设备100的实施例的图，该电子设备100基于对应于用户语音的文[0125]此外，电子设备100可以从包括在图像中的至少一个对象当中识别对应于用户语至少一个来识别对应于用户语音的对象。下面将参考图6描述基于对应于用户语音的文本[0126]当关于至少一个对象的信息包括在对应于用户语音的文本信息中时，电子设备100可以基于关于包括在文本信息中的至少一个对象的信息，从包括在图像中的至少一个于用户语音的文本信息中时，电子设备100可以将包括在图像中的至少一个对象当中的对100也可以将包括在图像中的至少一个对象当中的“三明治”识别为对应于用户语音的对象。换句话说，本公开不限于基于关于包括在文本信息中的至少一个对象的信息被识别的对象的名称和被识别为包括在图像中的至少一个对象的名称相同的情况，并且可以适用于当两个对象的名称当中的任何一个被包括到另一个时。[0130]如上所述，当基于对应于用户语音的文本信息识别出对应于用电子设备100可以显示备忘录UI63，备忘录UI63包括在显示器上的区域当中的与被识别[0131]图7A至图7C是示出基于用户的触摸交互来识别对应于用户语音的对象的电子设[0133]此外，电子设备100可以识别包括在图像中的至少一个对象当中的对应于用户语电子设备100可以识别显示器110上的区域当中的从根据单次触摸交互被触摸的点71_1开设备100可以将与显示器110上的区域当中的接收到触摸交互的区域72_1相对应的对象73_[0135]此外，用户的触摸交互可以是同时触摸显示器110上的两个或更多个点71_2的多触摸交互而触摸的两个或更多个点的位置71_2，识别显示器110上的区域当中的接收到触摸交互的区域72_2相对应的对象73_域当中的接收到触摸交互的区域72_3相对应的对象识别为对应于显示图像，并且将显示在显示器110上的区域当中的接收到触摸交互的区域上的对象识别显示器110上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文[0139]根据如上所述的本公开的各种实施例，电子设备100可以基于用户的触摸交互来[0140]图8A和图8B是示出与基于用户的触摸交互不同地显示备忘录UI的大小和形式相至少一个对象当中识别对应于用户语音的对象，并且在显示器110上的区域当中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信多点触摸交互的两个或更多个触摸点81_1的位置，识别显示器110上的区域当中的接收到可以根据多点触摸交互以与识别的区域82_1的大小和形式相对应的大小和形式在显示器于根据拖动交互的闭合曲线识别显示器110上的区域当中的接收到触摸交互的区域82_2。坐标值的区域82_2的大小和形式。然后，电子设备100可以根据拖动交互以与识别的区域82_2的大小和形式相对应的大小和形式在显示器110上显示备[0145]同时，在未显示对象的区域上接收到的用户的触摸交互已经在图8A和图8B中示对较少数量的单词的第二文本信息92的大小可以被确定为大于第三于用户语音的声纹分析或通过相机获得的用户图像用户声纹的信息与关于预先存储的声纹的信息进行比较来识别发出用户语音的用过将通过相机获得的用户的图像与预先登记的用户的图像进行比较来识别发出用户语音的用户。录UI以具有良好美感的大字体和天蓝色显示文本信息。显示在显示的图像的一个区域上，同时也可以显示与显示备忘录UI94和95的区域相对应[0158]同时，显示在显示器110上的图像不仅可以是通过处理通过相机获得的图像而显其中通过备忘录UI在图像中捕捉与被识别为对应于用户语音的对象相对应的区域，此外，可以从外部设备接收并显示预先存储的或与对应于用[0160]根据如上所述的本公开的各种实施例，电子设备100可以根据用户语音和发出用[0161]图10A是全面示出根据本公开的识别对应于用户语音的对象的过程的实施例以及[0162]在上面，已经参考图2简要描述了识别对应于用户语音的对象的过程(S250)。此外，已经参考图6详细描述了基于对应于用户语音的文本信息来识别对应于用户语音的对语音的对象的过程。下面将参考图10A描述在考虑包括在图像中的至少一个对象的信息是否包括在对应于用户语音的文本信息中(S1020)以及在接收用户语音的同时是否已经在显示器上接收到触摸交互(S1030)的情况下识别对应于用户语音的对子设备100可以接收用户语音，并且通过对接收到的用户语音执行语音识别来获得对应于[0166]首先，电子设备100可以识别包括在图像中的至少一个对象的信息是否包括在对应于用户语音的文本信息中(S1020)。如果关于至少一个对象的信息包括在对应于用户语音的文本信息中(S1020一是)，则电子设备100可以识别对应于文本信息的对象的数量本信息中，则电子设备100可以将包括在图像中的对象当中的对应于文本信息的对象的数[0167]同时，如果关于至少一个对象的信息没有包括在对应于用户语音的文本信息中(S1020否)，则电子设备100可以识别在接收用户语音的同时是否已经在显示器上接收到[0168]然后，如果在接收用户语音的同时没有在显示器上接收到用户的触摸交互(S1030一否)，则电子设备100可以在显示器上的区域当中的预设区域上显示备忘录UI收用户语音的同时没有在显示器上接收到用户的触摸交互时，电子设备100可以在显示备中，则电子设备100可以将与接收到用户的触摸交互的区域相对应的对象的数量识别为两交互的区域的对象的数量时，电子设备100可以将被识别为对应于接收到文本信息或用户[0171]如果被识别为对应于接收到文本信息或用户的触摸交互的区域的对象不是两个收到文本信息或用户的触摸交互的区域的对[0172]如果被识别为对应于接收到文本信息或用户的触摸交互的区域的对象是两个或为对应于接收到文本信息或用户的触摸交互的区域的两个或更多个对象的信息(S1055)。然后，电子设备100可以在显示器上的区域当中的与通过选择UI选择的对象相对应的区域上显示备忘录UI(S1060)。这里，将参考图11A和图11B详细描述与提供选择UI相关的实施息是否包括在对应于用户语音的文本信息中来识别对应于用户语音的对象及其数量为基于冰箱的内部图像上的对象识别的识别的主题的对象的范围预先设置为仅包括布置在冰箱内部的食品并且不包括诸如冰箱内的搁板或在不执行获得图像的过程、识别包括在获得的图像中的至少一个对象的过程等的情况下，于用户的触摸交互并且不依赖于包括在图像中的对象来确定要显示备忘录UI的区域的实[0176]图10B是示出在显示器上的接收到用户的触摸交互的区域上显示备忘录UI的实施[0177]如图10B所示，电子设备100可以接收用户在显示器上的触摸交互(S1070)。具体户的触摸交互可以是如上参考图7A至图7C电子设备100可以在接收到用户的触摸交互之后对接收到的用户语音执行语音识别，并且[0181]电子设备100可以在接收到用户的触摸交互的区域上显示包括文本信息的备忘录[0183]图11A和图11B是详细示出与当存在对应于用户语音的两个或更多个识别的对象选择UI可以指用于接收选择两个或更多个对象当中的一个的图11B详细描述根据本公开的与提供选择UI相[0187]图11A是示出与当基于基于对应于用户语音的文本信息从包括在图像中的至少一个对象当中识别对应于接收到的用户语音的对象而存在被识别为对应于用户语音的两个去上班”1110的文本信息作为对应于接收到的用户语音的文本信息。当获得对应于用户语[0190]图11B是示出与当基于基于用户的触摸交互从包括在图像中的至少一个对象当中识别对应于接收到的用户语音的对象而存在被识别为对应于用户语音的两个或更多个对没有接收到触摸交互)识别到两个或更多个对象时以及当基于触摸交互(假设关于对象的信息没有包括在文本信息中)识别到两个或更多个对象时提供设备100可以获得诸如“吃这个”1230的文本信息作为对应于接收到的用户语音的文本信中的代词，如果代词根据用户的发声意图被改变为人或对象的名电子设备100可以获得其中代词被改变为被识别为对应于用户语音的对象的名称的文本信语音的对象相对应的区域上显示包括改变的的文本信息。[0202]根据如上所述的本公开的各种实施例，电子设备100可以基于对应于包括的用户摸交互来反映用户意图的备忘录UI来进一步提高意[0203]图13A是示出与包括在对应于用户语音的文本信息中的用户名信息相关的实施例[0205]当预先存储的用户名包括在对应于用户语音的文本信息中时，电子设备100可以的文本信息中时，电子设备100可以将对应于用户语音的文本信息发送到对应于用户名的于用户语音的文本信息的备忘录UI，还可以直接地或通过外部服务器300将对应于用户语用户语音的用户可以基于如上在图9A和图9B的描述中所述的用户语音的声纹分析或者通的文本信息来向用户提供通知的实施例，但是如上所述的通知可以通过电子设备100向用[0209]具体地，电子设备100可以基于用户语音的声纹分析或通过相机获得的用户图像上的对象识别，来识别对应于包括在文本信息中的用户名的用户位于距电子设备100的预[0210]根据如上所述的本公开的各种实施例，电子设备100可以基于关于包括在对应于[0211]图13B是示出与关于包括在对应于用户语音的文本信息中的对象的持续时间的信果关于对象的持续时间的信息包括在对应于用户语音的文本信息中，则电子设备100可以电子设备100可以以预设时间间隔提供与对象的持续时间相关的通知，直到其对应于关于如果电子设备100是冰箱，并且包括在对应于用户语音的文本信息中的对象是冰箱内的食[0215]同时，电子设备100可以根据提供通知的时间点和对应于关于对象的持续时间的获得对应于用户语音的文本信息的时间点通过电子设备100的显示器110显示备忘录UI来[0216]这里，通过用户终端提供与对象的持续时间相关的通知可以意味着电子设备100100接收的关于与对象的持续时间相关的通知的信息，在用户终端中提供与对象的持续时在对应于用户语音的对象，则电子设备100可以提供与对应于关于正在经过时间的对象的使在获得对应于用户语音的文本信息的一天的午夜之后仍然存在，则电子设备100也可以用户语音的文本信息中，则电子设备100可以通过以各种方法提供与对象的持续时间相关[0223]图13C是示出与关于包括在对应于用户语音的文本信息中的用户意图的信息相关应用执行与用户意图相关的操作。下面已经参考图13C所示的例子描述了关于上述的实施用户意图的对象不仅可以基于如图13C所示的对应于用户语音的文本信息来识别，还可以100可以基于包括在对应于用户语音的文本信息中的用户意图的信息，通过除了提供备忘录UI之外还提供与用户意图相关的功能[0232]图14是示出与在通过电子设备100提供的主屏幕上显示备忘录UI相关的实施例的对应的区域上显示备忘录UI的实施例，但是显示根据本公开的备忘录UI的区域不限于此，并且可以显示在由电子设备100的操作系统([0236]图15A和图15B是示出与对应于用户语音的对象的位置正在移动或已经消失相关[0237]如上所述，根据本公开的电子设备100可以在显示器上的区域当中的与被识别为录UIid显示之前获得的第一图像内被识别为对应于用户语音的对象的位置和在备忘录UI显示之后获得的第二图像内被识别为对应于用户语音的对象标值当中的至少一个来识别第一图像和第二图像内被识别为对应于用户语音的对象的位[0241]基于对应于用户语音的对象的移动被识别，电子设备100可以在显示器上的区域示在显示器上的区域当中的与对应于用户语音的对象被移动之前的位置相对应的区域上显示备忘录UI1540。里，对应于用户语音的对象的删除也可以使用与如上所述的对象的移动相同的方法来识[0244]基于对应于被识别的用户语音的对象的删除，电子设备100可以显示删除UI可以通过提供反映对应于用户语音的对象的移动和删除的[0247]图16是基于根据本公开的电子设备100是冰箱简要示出与本公开相关的冰箱的结过接近传感器检测到多个门当中的至少一个打开和关闭的操作时，电子设备100可以通过通过通信器150连接的外部设备接收各种数据或信息，并且向外部设备发送各种数据或信[0260]此外，无线通信模块可以根据各种通信标准来执行通信，诸带当中的13.56MHz频带以近场通信(N收的用户语音中的至少一个发送到外部设备，并且通过通信器150从外部设备接收关于包存储在对应于被包括的用户语音的文本信息中的用户名，处理器140可以被配置为控制通[0262]相机160可以布置在电子设备100的内部或外部，并且在电子设备100的内部或外门打开和关闭的操作)发生时捕捉冰箱内部来获得冰箱内部的图像，还可以通过以预设时可以接收用于执行语音识别的触发输入。触发输入不仅可以通过麦克风120以包括预设触发字的用户语音的形式接收，还可以通过布置在电子设备100上以便接收触发输入的输入还可以是以显示在触摸显示器110上的UI上接收到用户的触摸交互时，电子设备100可以显示指示在显示指示符时接收的用户语音[0269]例如，可以通过如图18A所示的麦克风形状的UI1810来提供根据本公开的指示[0271]图19是示出通过与电子设备100连接的服务器执行的根据本公开的对象识别和语中的至少一个过程可以通过对象识别模块和/或[0273]下面将参考图19描述完全通过服务器执行的根据本公开的对象识别和语音识别接收到的图像来识别包括在图像中的至少一个对象(S1920)。当识别出包括在图像中的至[0276]同时，电子设备100可以识别包括在图像中的至少一个对象当中的对应于接收到的用户语音的对象(S1950)。可以基于对应于用户语音的文本信息和接收到的用户触摸交中的与被识别为对应于用户语音的对象相对应的区域上显示包括文本信息的备忘录UI[0279]根据如上参考图1至图19所述的本公开的各种实施例，根据