CN110900617A 机器人及其操作方法 （Lg电子株式会社）

视频通话期间接收的数据而识别视频通话对方所识别的情绪信息映射到视频通话对方的面部2基于从视频通话对方机器人接收的数据来识别视通过将所识别的视频通话对方的情绪信息映射到所述视频通话对方的面部信息来生通话对方的所述面部信息生成的动画角色的面部表情界标点改变成对应于所识别的情绪成响应于关于所述视频通话对方的面部图像的所识别的情绪信息而生成的面部表情界标通过将所述视频通话对方的所识别出的情绪信息映射到所述视频通话对方的语音数频通话对方的所识别出的情绪信息来改变所述视频通话对方的语音数据的音调和大小中其中，显示所生成的化身角色的步骤包括：在所生成3将从所述视频通话对方机器人接收的所述数据发送到情绪识别服15.一种机器人，该机器人被配置成执行根据权利要求1至14中任一项所述的操作方4[0005]例如，用户可以使用他/她的面部等创建和使用独特的角色。美国专利申请公开US2018/089880A1(以下称为文献1))可能公开了可以识别拍摄用户的面部特征，并且可以[0010]实施方式可以提供一种能够自动生成并使用表达用户情绪的角色的机器人以及[0011]实施方式可以提供一种情绪识别方法，通过使用借助深度学习所学习的人工智[0012]实施方式可以提供一种能够通过将情绪识别结果反映到用户的面部来生成用户[0013]实施方式可以提供一种能够通过使用所生成的情绪角色来表达情绪的机器人以[0014]实施方式可以提供一种能够识别视频通话参与者中的至少一者的情绪并根据所5[0015]实施方式可以提供一种能够发送视频通话对方的情绪的机器人以及用于操作该[0016]实施方式可以提供一种在视频通话期间提供各种趣味因素的期望的机器人以及[0017]实施方式可以提供一种能够识别视频通话参与者中的至少一者的运动并根据所以通过基于在视频通话期间接收的数据识别视频通话对方的情绪信息来提供基于情绪的过借助于将所识别的情绪信息映射到视频通话对方的面部信息而生成化身角色来自动生过将预设动画角色的面部表情界标点改变成对应于所识别示视频通话对方的存储的化身角色中的任何过将基于视频通话对方的面部信息生成的动画角色的面部表情界标点改变成对应于所识[0024]根据本发明的一个方面的机器人及其操作方法可以通过利用增强现实合成响应于关于视频通话对方的面部图像的所识别的情绪信息而生成的面部表情界标点图像来生[0025]根据本发明的一个方面的机器人及其操作方法可以检测视频通话对方的运动并[0026]根据本发明的一个方面的机器人及其操作方法可以通过将视频通话对方的所识别的情绪信息映射到视频通话对方的语音数据来生成转换后的语音数据并且输出转换后[0030]情绪识别器被学习以通过多个单模态输入和多模态输入基于多个单模态输入来6话对方的所识别的情绪信息映射到视频通话对方的包括在从视频通话对方机器人接收的[0034]参照附图可以详细说明布置和实施方式，在附图中相同附图标[0045]图14至图16是用于解释使用根据本发明的示例实施方式的机器人的视频通话的[0047]图18至图21是示出根据本发明的示例实施方式的机器人系统的操作方法的流程7[0052]包括在家用电器10中的通信模块可以是Wi-Fi通信模块，但是实施方式不限于这[0054]家用电器10可以通过Wi-Fi通信模块等连接到服务器70，并且可以支持诸如远程[0058]例如，当用户不知道便携式终端的当前位置时或者当便携式终端在另一个地方[0059]机器人100可以接收用户的语音输入(或者音频输入)，从而直接控制家用电器10[0065]机器人系统中的家用电器10可以经由有线/无线路由器与服务器70或机器人100[0068]包括在机器人系统中的家用电器10可以直接在设备之间或通过网关进行网络连8[0074]服务器70和/或网关可以响应于通过机器人100输入的用户命令或者在机器人系统中的家用电器10中发生的特定事件而将用于控制家[0076]显示器和声音输出单元(或声音输出装置)可以输出存储在网关中或者基于所接器70可以是由家用电器的制造商或制造商委托[0080]家用电器10可以从机器人100接收信息或接收命令。家用电器10可以将各种信息单词的语音识别服务器以及用于识别包括语音信号中包括的单词的句子的含义的自然语9方式在一定范围内旋转之后执行一次或多次原[0094]可以将在头部110中配置有对应于人的面部的显示器182的前表面的至少一部分[0098]因此，头部110在上下方向上点头的操作可以包括当基于特定轴从前方观察时头部110自身在上下方向上旋转的实施例以及当本体101在上下方向上点头时连接到本体101[0099]机器人100可以包括电源单元(电源装置)，该电源单元连接到家庭中的插座并且[0101]机器人100可以包括图像获取单元120(或者图像获取装置)，该图像获取单元120器)，其被配置为包括至少一个光学透镜和通过穿过光学透镜的光形成图像的多个光电二[0107]语音输入单元125可以包括用于将模拟语音转换为数字数据的处理器，或者可以连接到处理器以将用户输入的语音信号转换为要由服务器70或控制器140识别的数据(图[0108]语音输入单元125可以包括多个麦克风以增强用户语音输入的接收准确度，并确[0110]多个麦克风(MIC)可以设置在不同的位置，并且可以获取包括语音信号的外部音[0111]可以使用作为输入设备的至少两个麦克风来估计产生声音的[0113]可以通过在头部110的后表面中进一步包括两个麦克风来确定用户在三维空间上的存储单元130(或存储器)以及用于与诸如服务器70的其他装置发送和接收数据的通信单元160可包括用于使本体101和头部110旋转和[0118]控制器140可以通过通信单元190将机器人100的操作状态、用户输入等发送到服制器140可以基于包括在语音信号中的命令进行控制而将控制信号发送到控制目标家用电[0125]当包括在语音信号中的命令是用于控制某个家用电器的操作的命令时，控制器[0132]控制器140可以基于通过图像获取单元120获取的用户图像信息来控制本体101[0138]输出单元180可以包括用于输出音频信号的声音输出单元181(或声音输出音输入单元125、图像获取单元120和声音输出单元181的位置和数量可以根据设计规范而[0142]机器人100可以执行语音和视频通话功能，并且这种呼叫功能可以根据因特网协[0143]控制器140可以控制显示器182以根据用户的设置来在视频通话中显示视频通话对方的图像和用户的图像，并控制声音输出单元181以基于视频通话对方的所接收到的语[0144]根据一个示例性实施方式的机器人系统可以包括执行视频通话的两个或更多个[0146]参照图4，服务器70可以包括通信单元72(或通信装置)、存储单元73(或存储装[0148]服务器70可以是由诸如机器人100的家用电器的制造商操作的服务器或由服务提[0156]在根据设置学习之后，处理器71可以将诸如机器人100的家用电器的人工神经网[0158]识别器74可以分析并学习机器人100的使用相关数据，识别使用模式、使用环境收语音数据并将所接收的语音数据转换为文本数据的自动语音识别(ASR)服务器，以及用于从自动语音识别服务器接收文本数据并分析所接收的文本数据以确定语音命令的自然绪识别器可以包括被学习以通过对输入数据执行情绪识别来输出情绪识别结果的人工神[0165]参照图5，设置在机器人100或服务器70中的情绪识别器74a可以通过使用情绪数一种情绪类别作为情绪识别结果，或者可以作为情绪识别结果输出每种情绪类别的概率[0173]当用户情绪被学习要识别的情绪的深度学习的人工智能模型识别时，结果被输[0176]为了基于暴露给用户外部的所有信息来识别和管理每种情绪，情绪识别器74a可[0177]情绪识别器74a可以针对每个单模态识别在特定时间点输入的用户情绪，并且可[0178]每个模态521、522和523的多个识别器(或者识别处理器)可以识别和处理分别输[0179]情绪识别器74a可以通过分离每个单模态的输入数据590来产生多个单模态输入括拍摄用户的面部等的图像数据和包括用户发出的[0182]模态分离器530可以将包括在输入数据590中的音频数据的内容分离为通过将音[0183]文本单模态输入数据可以是通过将从运动图像数据分离的语音转换为文本而获[0184]模态分离器530可以将包括一个或多个面部图像数据的图像单模态输入数据533[0186]例如，文本单模态输入数据531可以输入到文本情绪识别器521(或者文本情绪识[0187]声音单模态输入数据532可以在用作语音学习数据的同时输入到执行深度学习的[0188]包括一个或多个面部图像数据的图像单模态输入数据533可以在被用作图像学习[0189]文本情绪识别器521可以通过识别包含在转换为文本的声音到文本(STT)数据中达强烈快乐程度的单词时，可以识别出快乐情绪类别的概率值高于其他情绪类别的概率[0191]语音情绪识别器522可以提取输入语音数据的特征点。语音特征点可以包括语音[0193]面部情绪识别器523可以通过检测输入图像数据中用户的面部区域并识别作为构成面部表情的特征点的面部表情界标点信息来识别用户的面部表情。面部情绪识别器523[0194]图6是用于解释根据本发明的实施方式的情绪识别的图，并且示出了面部表情的[0198]面部情绪识别器523(或者面部情绪识别处理器)可以基于面部表情界标点(61至[0199]面部情绪识别器523可以包括已经利用包含面部表情界标点(61至67)的至少一部[0201]每个模态的多个识别器(或者多个识别处理器)可以包括对应于分别输入的单模态输入数据的输入特征的人工神经网络。多模态情绪识别器511还可以包括对应于输入数[0202]例如，用于执行基于图像的学习和识别的面部情绪识别器523可以包括卷积神经[0203]每个模态521、522和523的情绪识别器可以识别分别输入的单模态输入数据531、[0204]每个模态521、522和523的情绪识别器可以学习和识别每个深度学习结构中的文[0205]多模态识别器510可以利用每个语音、图像和文本的中间矢量值来执行多模态深[0211]例如，多模态情绪识别器511可以输出特定数量的预设情绪类别中具有最高概率的情绪类别作为情绪识别结果，并且/或者可以输出每个情绪类别的概率值作为情绪识别[0212]因此，情绪识别器74a可以输出多个单模态情绪识别结果和一个多模态情绪识别[0213]情绪识别器74a可以输出多个单模态情绪识别结果和一个多模态情绪识别结果作[0215]情绪识别器74a可以输出复合情绪识别结果，该复合情绪识别结果包括针对每个[0216]因此，机器人100可以基于三个单模态和一个多模态的情绪识别结果来提供情绪[0217]根据该设置，情绪识别器74a可以输出占据大部分复杂情绪识别结果的识别结果[0220]机器人100可以配备有情绪识别器74a或者与具有情绪识别器74a的服务器70通[0221]可以分析仅用户的情绪模式，并且可以将每个模态的情绪识别用于情绪护理(治[0225]情绪识别器74a可以将语音分离为声音和含义，并且从图像和语音输入中产生包[0226]为了实现三个输入中的每一个的最佳性能，情绪识别器74a可以针对每个输入具图像的识别器523可以具有CNN结构，并且多模态情绪识别器511可以具有长短期记忆[0228]多模态识别器510可以不是简单地通过统计方法来计算三个输入的情绪值，而是[0230]由于情绪识别器74a可以通过将图像、语音和角色数据的识别结果与多模态识别结果合并来识别用户的复杂情绪状态，因此可以针对现实生活中的各种情况实现情绪识[0232]根据本发明的示例性实施方式的机器人100可以基于由其自身识别的情绪识别结[0233]根据该实施方式，机器人100可以通过作为增强现实将对应于关于用户的面部图[0235]可替代地，机器人100可以通过改变预设动画角色的面部表情界标点以对应于所[0238]图7至图10C示出了使用预设动画角色和少量面部表情界标点来表达七种类型的表情810。中立表情810可以被设置为当机器人100没有识别出特定的情绪执行时使用的默愤怒表情910和第二愤怒表情920可以不同地[0248]图10示出了表达快乐情绪类别的化身角色的面部表情。参照图10的(a)、(b)和[0255]与用户有关的数据可以是拍摄用户的运动图像数据或拍摄用户的实时运动图像[0256]与用户有关的数据可以包括图像数据(包括用户的面部)和(用户发出的)语音数[0259]机器人100可以包括情绪识别器74a，该情绪识别器74a包括被学习以基于图像数[0261]服务器70可以包括情绪识别器74a，该情绪识别器74a包括学的数据发送到情绪识别服务器70，以及在机器人100处接收来自情绪识别服务器70的情绪[0264]机器人100可以通过将所识别的用户情绪信息映射到与用户有关的数据中包括的[0265]化身角色可以通过反映从用户面部信息中提取的特征中的至少一个特征的角色[0270]用户的存储的化身角色中的至少一个可以在特定用户使用机器人100向其他人请[0272]机器人100可以将化身角色与某些数据一起发送以直观地显示用户他或她自己，并且使用另一设备将当前特定情绪发送给另[0274]根据本发明的一个示例性实施方式，机器人100可以获取用户的图像数据和语音[0277]可替代地，情绪识别器74a可以在特定时间段内从输入数据执行特定周期中的多[0278](机器人100的)控制器140可以与所识别出的用户情绪信息相对应地调整化身角[0279]根据该设置，控制器140可以通过更大程度地调整化身角色的面部表情界标点的改变程度来增强情绪表达，并且/或者可以通过将化身角色的面部表情界标点的改变程度[0282]在视频通话期间准确识别或强调视频通话对方的情绪的用户可以使用增强情绪[0284]机器人100可以基于由其自身识别的情绪识别结果并且/或者从服务器70接收的[0285]根据该实施方式，机器人100可以通过利用增强现实来合成与关于用户的面部图像数据的所识别的情绪信息相对应地生成的面部表情映所检测到的用户的界标点来生成这样的动画角色。机器人100可以改变所生成的动画角[0287]可替代地，机器人100可以通过改变预设动画角色的面部表情界标点以对应于所190接收的基本动画角色中的一个，并且将所检测到的用户的面部表情界标点反映到所选[0292]当检测到用户的手臂提升操作时，控制器140可以响应于手臂提升操作来确定响[0293]控制器140可以考虑到机器人100的硬件来确定与用户的运动[0294]机器人100可以检测用户的运动，通过将用户情绪信息映射到用户的运动来确定[0296]设置在机器人100或服务器70中的情绪识别器74a可以识别用户和/或视频通话对并输出为与概率值相对应而不是精确概率值分类[0298]机器人100可以提取用户的特征点，并将所识别的情绪识别结果映射到特征点[0299]机器人100可以组合用户的水平情绪和特征点，并将该组合映射到相应的角色和[0301]机器人100可以基于所生成的化身角色和所确定的响应动作来表达视频通话参与[0302]机器人100可以以叠加的方式显示在视频通话参与者的面部上生成的化身角色的[0304]图13示出了机器人100通过作为其中一个面部表情界标点中的眉毛形状1310和摇[0308]可以通过仅能由机器人执行而不能由便携式终端等执行的运动功能来提供情绪[0310]图14至图16是用于解释使用根据本发明的示例性实施方式的机器人的视频通话[0313]在使用机器人100的视频通话期间，发送者和接收者的面部可以被隐藏以仅通过[0314]识别特定用户的情绪和特征点的方法可以通过表征运动、语音和面部运动来实[0315]图15示出了第二机器人100b的用户使用表达第一机器人100a的用户的情绪的角[0316]图16示出了第一机器人100a和第二机器人100b都通过使用角色执行视频通话的[0320]机器人100可以理解用户的情绪信息(特征点)，并且在改变为化身时再现情绪信[0321]机器人100可以存储用户的特定习惯或情绪，并且当在视频通话期间用化身替换器人100可以通过使用基于主用户的面部和情绪的角色来执行[0325]参照图17，机器人100可以从视频通话对方机器人接收视频和语音数据[0327]可替代地，根据情绪信息的识别的情绪识别结果可以包括每个情绪类别的概率[0328](机器人100的)控制器140可以将识别出的视频通话对方的情绪信息映射到从视频通话对方机器人接收的数据中包括的视频通话对方的面部信息，并生成化身角色[0329](机器人100的)控制器140可以进行控制以在显示器182上显示所生成的化身角色[0330]当通过机器人100与对方执行语音或视频通话时，可以通过允许机器人识别并遵[0331]因此，与人类对方相比，用户可以没有对机器人100的抗拒感而感觉到类似的情[0332]如参照图1至图16所述，(机器人100的)控制器140可以响应于视频通话对方的所[0333]根据该设置，控制器140可以通过更大程度地调整化身角色的面部表情界标点的改变程度来增强情绪表达，并且/或者可以通过更大程度地调整面部表情界标点的改变程度来减轻情绪表达，并且/或者可以通过将化身角色的面部表情界标点的改变程度调整成[0334]控制器140可以通过改变预设动画角色的面部表情界标点来生成化身角色，以对[0335]控制器140可以通过改变基于视频通话对方的面部信息生成的动画角色的面部表[0336]控制器140可以通过将与所识别的情绪信息相对应地生成的面部表情界标点图像[0337]所生成的化身角色可以存储在存储单元130中，并且可以再次使用所存储的化身[0339](机器人100的)控制器140可以基于所接收的图像数据来检测视频通话对方的运制面部运动在上下方向上一次旋转3度并且[0346]根据该实施方式，控制器140可以将所识别的视频通话对方的情绪信息映射到视[0347]控制器140可以基于所识别的视频通话对方的情绪信息来改变视频通话对方的语[0348]当所识别的视频通话对方的情绪信息不快或者当视频通话对方的所识别的话语[0349]根据设置，控制器140可以通过更大程度地调整语音数据的改变程度来增强情绪[0354]情绪识别器74a可以被学习以通过多个单模态输入和多模态输入基于多个单模态[0355]可以在具有情绪识别器74a的情绪识别服务器70中执行视频通话对方的情绪识别[0356]识别视频通话对方的情绪信息的步骤(S1720)可以包括将从视频通话对方机器人接收的数据发送到包括学习的人工神经网络的情绪识别服务器70以及从情绪识别服务器70接收情绪识别结果，该人工神经网络被输入以基于图像数据和语音数据来识别情绪信[0357]如参照图5所述，情绪识别服务器70可包括由单模态输入学习的多个人工神经网[0364]机器人100可以存储用户的特定习惯或情绪，并且当其在视频通话期间被反映用[0365]图18至图21是示出根据本发明的示例性实施方式的机器人系统的操作方法的流[0367]第一机器人100a和第二机器人100b可以在执行视频通话的同时发送和接收视频和第二机器人100b可以在连续执行视频通话的同时发[0369]从第一机器人100a接收图像数据和语音数据的第二机器人100b可以基于所接收[0371]控制器140可以通过将视频通话对方的由情绪识别器74a输出的情绪识别结果映射到视频通话对方的基于由第一机器人100a的用户拍摄的图像数据而获取的面部信息来[0372]控制器140可以从第一机器人100a的用户拍摄的图像数据中检测视频通话对方的运动(S1840)，并且可以确定由第二机器人100b响应于视频通话对方的运动而执行的响应运动，使得用户可以通过机器人的运动直观地识别对方的情绪并且可以期待有趣的因素。[0382]第一机器人100a和第二机器人100b可以在执行视频通话的同时发送和接收视频[0383]接收来自第一机器人100a的图像数据和语音数据的第二机器人100b可以将所接[0384]情绪识别服务器70b可以基于所接收到的数据识别第一机器人100a(视频通话对[0386]如果从拍摄第一机器人100a的用户的图像数据中检测到视频通话对方的运动(S1950)，则