CN113039585B 在增强现实图像中显示额外对象的电子装置以及驱动电子装置的方法 （三星电子株式会社）

2021.03.04PCT/KR2019/0097242019.08.05WO2020/050506KO2020.03.12EP2937855A1,2015.10.28US2016034764A1,2016.02.04在增强现实图像中显示额外对象的电子装与通信模块和显示器操作性地连接的至少一个信模块从执行与通信模块的无线通信的至少一与输入到电子装置的输入信息相关联的对象是2识别被包括在由至少一个外部装置获得的第一图像中的至少如果所识别的至少一个对象与输入到所述电子装置的输入于所述输入信息来在所识别的至少一个对象上将与所述第一额外对象相关联的第一信息发送到所述至少基于在所述第一额外对象通过所述至少一个外部装置被显示时由所述至少一个外部将与所述第二额外对象相关联的第二信息发送到所述至少一个至少一个外部装置显示的所述第一额外对象基于所述其中，所述第一额外对象和所述第二额外对象与所识别的其中，所述输入信息包括至少部分地基于用户直接设置的当所述第一额外对象和所述第二额外对象中的至少一个通过所述至少一个外部装置如果所识别的至少一个对象脱离所述第二图像数据，生允许所述第一额外对象和所述第二额外对象允许所述第一额外对象和所述第二额外对象将所述情绪表达为包括在正面情绪与负至少部分地基于所识别的至少一个对象的形状或所识别的至少一个对象的长度比来3至少一个处理器，所述至少一个处理器与所述通信模块识别被包括在由至少一个外部装置获得的第一图像中的至少如果所识别的至少一个对象与存储在所述存储器中基于所述已存储信息来在所识别的至少一个对象上生成第将与所述第一额外对象相关联的第一信息发送到所述至少基于在所述第一额外对象通过所述至少一个外部装置被显示时由所述至少一个外部将与所述第二额外对象相关联的第二信息发送到所述至少一个至少一个外部装置显示的所述第一额外对象基于所述其中，所述第一额外对象和所述第二额外对象与所识别的至少部分地基于其中累积了用户的使用模式的使用模式数据当所述第一额外对象和所述第二额外对象中的至少一个通过所述至少一个外部装置如果所识别的至少一个对象脱离所述第二图像数据，生允许所述第一额外对象和所述第二额外对象允许所述第一额外对象和所述第二额外对象将所述情绪表达为包括在正面情绪与负4[0001]本公开中公开的实施例涉及在包括在由电子装置获得的增强现实图像中的对象的对象是否包括在增强现实图像中；并且至少部分地基于输入信息在对象上显示额外对5[0019]图5是示出根据实施例的电子装置被配置为在由外部装置所识别到的对象上显示[0020]图6是示出根据另一实施例的电子装置被配置为在由外部装置识别到的对象上显[0022]图8是示出根据实施例的电子装置被配置为响应于外部装置的移动而在增强现实[0023]图9A和图9B是示出根据实施例的使用电子装置中的外部装置识别对象或者使用[0024]图10是示出根据实施例的使用外部装置查看现实并且响应于电子装置中的对象[0025]图11A至图11C是示出根据实施例的基于电子装置中的输入信息在由外部装置查[0026]图12是示出根据实施例的基于电子装置中的存储的信息在由外部装置查看的增络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置6或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例[0033]可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统[0034]输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它[0035]声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可7[0038]传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据[0039]接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接[0040]连接端178可包括连接器，其中电子装置101可经由所述连接器与外部电子装置[0041]触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信在订户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电8所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据[0047]上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出[0048]根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的包括显示器210以及控制显示器210的显示驱动器集成电路(displaydriverintegrated理模块235或映射模块237。DDI230可以经由接口模块231从电子装置101的另一组件接收图像信息，所述图像信息中包含图像数据或与控制图像数据的命令相对应的图像控制信可以例如至少部分地基于图像数据的一个或多个特性或显示器210的一个或多个特性来执电压值或电流值的生成。显示器210的至少一些像素可以例如至少部分地基于电压值或电9一点，触摸传感器251可以检测(例如，测量)与显示器210上的特定位置相对应的信号(例感器可以获得与经由显示器210的部分或整个区域接收到的触摸输入相对应的压力信息。根据实施例，触摸传感器251或传感器模块176可以设置在显示器210的像素层中的像素之置301是增强现实装置时，电子装置101可以从外部装置301获得增强现实图像。电子装置101的处理器120可以分析所获得的图像。处理器120可以至少部分地基于输入到电子装置可以获得关于包括在增强现实图像中的至少一个对象的信息。外部装置301可以将关于至[0057]在实施例中，电子装置101的处理器120可以至少部分地基于输入到电子装置101器120可以至少部分地基于输入信息或已存储信息来修改关于包括在图像数据中的至少一实图像中的至少一个对象相关联的数据。与对象相关联的数据可以包括关于对象的类型，[0061]在操作420中，根据实施例的电子装置101可以在显示器210上显示与增强现实图像相关联的应用的运行屏幕。电子装置101可以运行与所获得的增强现实图像或包括在所用户的健康相关联的内容，或者包括作为与用户的健康相关联的对象的食品或健身器材增强现实图像是与事物相关联的图像时，电子装置101可以运行与支付相关的应用(例如，[0062]在操作430中，根据实施例的电子装置101可以确定与用户输入的第一信息和/或存储在存储器130中的第二信息中的至少一个相关联的对象是否包括在增强现实图像中。息输入到电子装置101的输入装置150时，电子装置101可以确定作为与用户的健康相关联的对象的食品或健身器材是否包括在增强现实101可以确定作为与用户的健康相关联的对象的食品或健身器材是否包括在增强现实图像将该对象标识为对用户有意义。电子装置101的处理器120可以被配置为当与第一信息和/有意义并且允许外部装置301识别该对象。外部装置301可以执行与电子装置101的无线通信，并且可以在增强现实图像上识别与第一信息和/或第二信息中的至少一个相关联的对[0067]在实施例中，电子装置101可以将能够生成并显示额外对象的额外对象数据与图像数据相组合。电子装置101可以将与额外对象数据相组合的图像数据发送到外部装置[0068]图5是示出根据实施例的电子装置101被配置为在外部装置301识别到的对象511个对象511的形状或用户对至少一个对象511的优先理器120可以被配置为在至少一个对象511上显示额外电子装置101的第一信息或存储在电子装置101中的第二信息来在对象511上表示面部表子装置101的处理器120可以被配置为允许与健康相关的对象在外部装置301中具有高优先[0074]在实施例中，电子装置101的处理器120可以被配置为使得电子装置101或外部装可以生成指示与能够被视觉识别的目标数值相比的当前数值的文本信息和/或与该文本信息相对应的图。外部装置301可以将视觉指导531显示为至少部分地重叠在至少一个对象511上。用户可以借助于视觉指导531准确地识别额外对象521想要表达的意图或者额外对文本信息相对应的圆形图的形式显示与推荐的每日水摄入相[0075]在实施例中，电子装置101的处理器120可以被配置为使得电子装置101或外部装置301中的至少一个或多个提供与额外对象521相关联的语音指导541。例如，当对象511是瓶中的水时，电子装置101或外部装置301可以使用可以通过反映其中今日水摄入的增加量与瓶中水量相同的情况来生成额外对象522，并且301中的至少一个或多个的外部环境发生变化时，响应于改变后的情况而提供视觉指导301中的至少一个或多个的外部环境发生变化时，响应于改变后的情况而提供语音指导[0079]图6是根据实施例的电子装置101被配置为在外部装置301识别到的对象611上显输入的输入信息或存储在存储器130中的已存储信息来确定至少一个对象611是否是对用过至少部分地反映输入到电子装置101的第一信息或存储在电子装置101中的第二信息来电子装置101。电子装置101的处理器120可以被配置为允许与健康相关的对象在外部装置[0084]在实施例中，电子装置101的处理器120可以被配置为使得电子装置101或外部装日咖啡因摄入量。外部装置301可以以文本信息以及与该文本信息相对应的圆形图的形式显示与允许的每日咖啡因摄入量相比的用户的今[0085]在实施例中，电子装置101的处理器120可以被配置为使得电子装置101或外部装120可以通过反映其中今日咖啡因摄入量的增加量与咖啡因饮品中包含的咖啡因的量相同301中的至少一个或多个的外部环境发生变化时，响应于改变后的情况而提供视觉指导日咖啡因摄入量的增加量与咖啡因饮品中包含的咖啡因的量相同的数据发送到外部装置301中的至少一个或多个的外部环境发生变化时，响应于改变后的情况而提供语音指导[0089]图7是根据实施例的在电子装置101中的识别到的对象711上显示额外对象721的[0090]在实施例中，电子装置101可以使用包括在相机模块180中的相机获得包括对象[0091]在实施例中，电子装置101可以至少部分基于用户直接输入的信息或根据电子装[0092]在实施例中，电子装置101可以至少部分地基于其中累积了用户的使用模式的使101的处理器120可以参照存储在存储器130中的使用模式数据来确定与食品相对应的对象101基于存储在存储器130中的存储信息来识别对象712时，电子装置101的处理器120可以器120可以通过反映对象712对用户具有的意义来显示表示与对象712相关联的情绪的额外[0095]在实施例中，电子装置101的处理器120可以被配置为使得电子装置101或外部装摄入量。显示器210可以以文本信息以及与该文本信息相对应的圆形图的形式显示与推荐物体711是吃完蛋糕后的包装纸时，电子装置101的处理器120可以通过反映其中今日卡路以以与蛋糕的包装纸至少部分重叠的方式显示表示进食并且感到吃饱且满足的正面情绪[0098]在实施例中，电子装置101的处理器120可以被配置为当电子装置101的外部环境卡路里相同的数据。显示器210可以增加并且显示今日卡路里摄入量与蛋糕中包含的卡路[0099]在实施例中，电子装置101的处理器120可以被配置为当电子装置101的外部环境[0100]图8是根据实施例的电子装置101被配置为响应于外部装置301的移动而在增强现可以基于从电子装置101提供的输入信息或已存储信息来确定对象811是否对用户有意义。于鞋子的信息以及存储与鞋子有关的搜索历史的信息来确定对象811的鞋子时，外部装置301可以确定用户想要使用对象811。外部装置301可以生成额外对象821，使得对象811还以面部表情的形式表示欢迎用户的表情。外部装置301可以以与对象[0104]在实施例中，外部装置301以及由外部装置301显示的增强现实图像801可以随着额外对象822以在对象811上以面部表情的形式表示使用户识别是否碰巧错过了对象811的811未设置在现实上的位置时，外部装置301可以使用语音发声应用输出语音“我在这里！[0107]图9A和图9B是根据另一实施例的使用电子装置101中的外部装置300识别对象911用户输入的输入信息或存储在存储器130中的存储信息来确定对象911是否对用户有意义。数据相组合的图像数据发送到外部装置301。外部装置301可以在对象911上向用户显示指的处理器120可以将鞋子911标识为对用户有意义的对象。处理器120可以确定用户想要鞋与鞋子911至少部分重叠的形式显示指示面部表情9用户输入的输入信息或存储在存储器130中的存储信息来确定对象912是否对用户有意义。象数据与图像数据进行组合。电子装置101可以在对象912上向用户显示指示额外对象922的处理器120可以将鞋子912标识为对用户有意义的对象。处理器120可以确定用户想要鞋与鞋子912至少部分重叠的形式在显示器210上显示指示面[0115]在实施例中，外部装置301可以显示包括在外部装置301可见的视场(FOV)1011中装置301可以基于从电子装置101发送的输入信息或已存储信息来确定对象1021是否对用[0117]在实施例中，电子装置101的处理器120可以被配置为：当确定能够将额外对象[0118]在实施例中，处理器120可以被配置为使得电子装置101或外部装置301使用语音[0119]在实施例中，处理器120可以被配置为响应于对象1021的形状而改变额外对象象1032从对象1021的两侧的边缘突出。外部装置301可以显示其形状被改变的额外对象[0120]在实施例中，处理器120可以响应于对象1021的边缘是否与另一事物接触而改变装置301可以以杯子的下部以腿坐着的形式显示额外对象[0121]图11A到图11C是示出根据实施例的基于电子装置101中的输入信息，在通过外部装置301查看的增强现实图像1101、1102和1103的对象1111、1112和1113上显示额外对象[0122]在实施例中，电子装置101可以借助于传感器模块176来接收用户直接输入的信装置301可以在增强现实图像1103的对象1113上显示额外对[0126]在实施例中，电子装置101的处理器120可以被配置为借助于电子装置101或外部装置301输出与所显示的额外对象1121、1122和1123的内容相对应的语音1141、1142和[0127]图12是示出根据实施例的基于电子装置101中的已存储信息在通过外部装置301查看的增强现实图像的对象1210上显示额外对使用模式数据的已存储信息1220。电子装置101的处理器120可以基于存储在存储器130中的已存储信息1220来确定通过外部装置301查看的增强现实图像的对象1210是否是对用户[0129]在实施例中，电子装置101的处理器120可以基于已存储信息将外部装置301设置成在对象1210上显示额外对象1221。外部装置301可以向用户提供在对象1210上显示额外处理器120可以将外部装置301设置成生成作为额外对象1221的面部表情，从而提供对象行与对象1210相关联的应用。外部装置301可以在增强现实图像上显示与对象1210相关联付费。外部装置301可以在运行屏幕1230上显示对象1210的价格以及应用所设置的目标支[0131]在实施例中，电子装置101的处理器120可以被配置为通过电子装置101或外部装语音发声应用(例如BixbyTM)输出语音“您可能已经购买了类似物品。(Youmighthave[0132]根据各种实施例的电子装置101可以包括通信模块190、显示器210以及与通信模经由通信模块190从执行与通信模块190的无线通信的至少一个外部装置301接收增强现实[0133]在实施例中，至少一个处理器120可以被配置为至少部分地基于用户直接设置的[0134]在实施例中，至少一个处理器120可以被配置为至少部分地基于用户直接设置的[0135]在实施例中，至少一个处理器120可以被配置为至少部分地基于用户直接设置的信息或电子装置101外部的情况来确定对象511是否对用户有意义，并且识别有意义的对输入信息将情绪表达为包括在正面情绪与负面情绪之间的多个情绪阶段中[0138]在实施例中，至少一个处理器120可以被配置为根据对象511的类型或对象511状态的改变来改变额外对象521所表达的情绪或额外对象52处理器120可以被配置为经由通信模块190从执行与通信模块190的无线通信的至少一个外幕，确