CN111801650B 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法 （三星电子株式会社）

2020.09.02PCT/KR2019/0024312019.02.28WO2019/168377EN2019.09.06号US2017249940A1,2017.08.31WO2017188801A1,2017.11.02电子装置及基于对应于用户的使用模式信指定的人工神经网络(ANN)算法来识别对应于第第一使用模式信息经由通信模块控制属于一个或多个外部电子装置且对应于音素信息的第一是第二用户时基于指定的ANN算法来识别对应于的第二使用模式信息经由通信模块控制属于一个或多个外部电子装置并且对应于音素信息的的各种实施方式可使用的用户模式信息而容易地控制用户期望的至少2响应于接收使用所述麦克风获取的包括音素述单个用户至少基于使用所述麦克风获取的包括所述音素信息的所述语音数据和存储在基于所述单个用户的所述瞳孔移动识别所述单个用户基于与所述多个注册用户对应的指定的人工神经网络ANN算法来识别对应于所述第一基于所识别的第一使用模式信息和所述第一用户注视的方向，识个外部电子装置且对应于所述音素信息的第一指通过所述通信模块，控制所述第一指定电子装置执行与所述音素信基于所述指定的ANN算法来识别对应于所述第二用户的基于所识别的第二使用模式信息和所述第二用户注视的方向，识个外部电子装置并且对应于所述音素信息的第二指通过所述通信模块，控制所述第二指定电子装置执行与所述音素信所述第一使用模式信息包括所述第一用户的对应于所述一个或多个外部电子装置的所述第二使用模式信息包括所述第二用户的对应于一个或多个外部电子装置的使用所述第一使用模式信息包括所述第一用户的使用模式信息，其中，所述第二使用模式信息包括所述第二用户的使用模式信息，其中，ANN算法将对应于所述第二用户的权重施加至所述第二用户的3信息包括关于所述一个或多个外部电子装置的以下关于使用每个外部电子装置的频率的信息、关于使用所述外部电将属于所述一个或多个外部电子装置且能够执行所述第一指定操作的至少一个外部将属于所述一个或多个外部电子装置且能够执行所述第二指定操作的不同于所述第一指定电子装置的至少一个外部电子装置确定为所述部电子装置中对应于所述第一指定操作或所述第二指定操作的多个外部电子装置来至少基于所述第一使用模式信息确定所述多个外部电子装置中的所述第一指定电子装置并且第一用户和所述第二用户中的一个而提供用于识别是否已经允许所述用户对所述一个或少基于使用所述麦克风获取的包括所述音素信息的所述语音数据和存储在存储器中的所基于所述单个用户的瞳孔移动识别所述单个用户基于与所述多个注册用户对应的指定的人工神经网络ANN算法识别对应于所述第一用基于所识别的第一使用模式信息和所述第一用户注视的方向，识个外部电子装置且对应于所述音素信息的第一指通过通信模块，控制所述第一指定电子装置执行与所述音素信息对应的第一指定操基于所述指定的ANN算法识别对应于所述第二用户的基于所识别的第二使用模式信息和所述第二用户注视的方向，识个外部电子装置且对应于所述音素信息的第二指4通过所述通信模块，控制所述第二指定电子装置执行与所述音素信将属于所述一个或多个外部电子装置且能够执行所述第一指定操作的至少一个外部将属于所述一个或多个外部电子装置且能够执行所述第二指定操作的不同于所述第一指定电子装置的至少一个外部电子装置确定为所述基于所述一个或多个外部电子装置中与所述第一指定操作或所述第二指定操作对应的多个外部电子装置来至少基于所述第一使用模式信息确定所述多个外部电子装置中的所述第一指定电子装置且至少基于所述第二使用模式信息确定所述多个外部电子装置中13.根据权利要求9所述的方法，还包括基于所述用户不属于所述第一用户和/或所述第二用户来提供用于识别对应于所述用户的对所述一个或多个外部电子装置的控制是否5基于人工神经网络(ANN)技术的先前训练信息来控制多个IoT装置。ANN技术有很好的可能以包括递归神经网络(RNN)算法和卷积神经网络(CNN)算法。RNN算法可以是用于识别随时间的操作顺序并基于相应信息的连续性执行训练的算法。CNN算法可以是用于分析静态图[0005]随着已经应用了IoT技术的IoT装置的数量增加，确定多个IoT装置中的一个并且发出命令以便在所确定的IoT装置中执行特定[0008]本公开的各种实施方式可以提供用于至少一个IoT装置在使用语音命令来控制多个IoT装置中的至少一个时基于ANN算法来执行特[0010]本公开的各种实施方式可以包括使用语音命令来确定多个IoT装置中的至少一个[0011]在本公开的各种实施方式中，可以使用ANN算法基于对应于用户的使用模式信息6[0016]图4是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置[0017]图5是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置[0018]图6是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子[0019]图7是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例7[0024]可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统[0025]输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它[0026]声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可[0029]传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据[0030]接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接[0032]触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激8星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或[0038]上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出[0039]根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的9照明系统209和空调与加热系统210(例如，空调)。IoT装置可以是两个或更多个相同的产[0042]根据各种实施方式，电子装置101可以响应于用户的命令来确定至少一个IoT装如可以指具有RNN算法的已补充的缺点的深度学习模型。LSTM算法例如可以指能够通过补充其训练信息可能丢失的RNN算法来在长时间段内保持训练信息的算法。根据各种实施方式的电子装置101可以识别已经发送语音命令的用户，可以基于根据所识别的用户的基于关于使用至少一个外部电子装置的频率的信息、关于使用外部电子装置时的时间的信息、[0043]图3是示出根据各种实施方式的根据语音命令来控制IoT装置的示例方法的流程理器120)可以通过经由麦克风(例如图1的输入装置150)接收用户的语音来检测语音命令。的频率有关的信息来识别对应于检测到的语音命令的用[0046]在操作305，电子装置101的处理器120可以通过相机(例如图1的相机模块180)使[0047]根据各种实施方式，处理器120可以基于操作303和操作305中的至少一个来识别式信息(例如，配置信息)来控制对应于所检测到的语音命令的至少一个外部电子装置(例练信息可能丢失的RNN算法而在长时间周期内存储训练信息的算法。使用模式信息可以包的频率的信息、关于使用IoT装置时的时间的信息、关于如果存在相同类型的IoT装置(例声器(例如，图1的声音输出装置155)或显示器(例如，图1的显示装置160)从现有用户(例[0053]根据各种实施方式，处理器120可以持续更新对应于多个用户中的每一个的使用120可以将与特定模式和语的音频率有关的信息存储在服务器或特定存储器中，并且可以分配唯一标识(ID)。处理器120可基于对应于唯一ID的与特定模式和语音的频率有关的信息来识别与现有存储的信息的相似性。如果与唯一ID的有关信息类似于现有存储的信息，[0054]图4是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置理器120)可以使用麦克风(例如图1的输入装置150)接收用户的语120可以识别关于所接收的语音命令的音频信息(例如，语音的特定模式和语音的频率信频信息进行比较来识别对应于语音命令的用户。[0057]在操作405，处理器120可以识别(确定)已经发送语音命令的用户是否是第一用[0062]图5是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置A511中，并且用户B520可以居住在包括在同一空间501中的房间B521中。电子装置(例如，图1的电子装置101)可以基于ANN算法来标识位于相同空间501中的用户A510和用户B息和对应于用户B520的使用模式信息存储在存储器130中。电子装置101可以接收用户A应于语音的用户。子装置101可以控制空调与加热系统503(例如，图2的空调与加热系统210)来调节房间A基于对应于用户B520的使用模式信息来识别房间B521，即用户B520的房间。电子装置101可以控制空调与加热系统503(例如，图2的空调与加热系统210)来调节房间B521的温[0068]图6是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子处理器120)可在操作传感器模式下检测周围的移动。操作传感器模式可以是电子装置101的处理器120使用传感器模块(例如，图1的传感器模块176)检测用于拍摄的移动对象的模120可以在注册用户的许可下注册该未注册用确定是否可通过所确定的外部电子装置来执行对应于语音命令的功能。根据各种实施方更新使用模式信息。处理器120可以根据用户基于使用模式信息来确定至少一个外部电子[0077]如果在操作613所确定的外部电子装置不执行对应于语音命令的功能，则在操作[0078]图7是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子识别位于用户注视的方向上的至少一个外部电子装置。电子装置710可以基于用户的瞳孔命令对应的至少一个外部电子装置。电子装置710可以在通过麦克风接收语音命令的同时识别用户的瞳孔移动。电子装置710可以预测用户注视的方向并识别位于用户注视的方向上的至少一个外部电子装置。电子装置710可以将所发出的语音命令应用到所识别的外部电子装置。电子装置710可以远程控制所识别的外部电子装置来执行与语音命令对应的功定的ANN算法来识别对应于第一用户的第一使用模式信息，并且可以基于所识别的第一使用模式信息经由通信模块190来控制属于一个或多个外部电子装置并且对应于音素信息的息使用音素信息经由通信模块190来控制一个或多个外部电子装置中的第二指定电子装置[0085]根据各种实施方式，第一使用模式信息可以包括第一用户的已基于指定的ANN算户的已基于指定的ANN算法将对应于第二用户的权重应[0087]根据各种实施方式，处理器120可以将属于一个或多个外部电子装置并且能够执个或多个外部电子装置并且能够执行第二指定操作的至少一个不同的外部电子装置确定第一指定操作或第二指定操作，则处理器120可以至少基于第一使用模式信息来确定多个且可以通过基于所识别的第一使用模式信息经由通信模块190控制属于一个或多个外部电子装置并且对应于音素信息的第一指定电子装置来执行指定操作。当用户是第二用户时，处理器可以基于指定的ANN算法来识别对应于第二用户的第二使用模式信息，并且可以通过基于所识别的第二使用模式信息经由通信模块190来控制属于一个或多个外部电子装置并且对应于音素信息的第二指定电子装置来[0094]根据各个示例实施方式，第一使用模式信息可以包括第二使用模式信息可以包括第二用户的使用模式信息，已基于指定的ANN算法将对应于第二[0096]根据各种示例实施方式，处理器120可以将属于一个或