CN113544749B 用于在增强现实装置上显示内容的设备和方法 （三星电子株式会社）

2021.08.20PCT/KR2020/0025022020.02.20WO2020/171637EN2020.08.27WO2018217470A1,2018.11.29用于在增强现实装置上显示内容的设备和一种用于在增强现实(AR)装置上显示内容分析器被配置为基于所述感兴趣对象的至少一2追踪所述用户朝向记录的所述视场中的一个或更多个对象的从记录的所述视场识别包含确定的所述感兴趣对象在记录的所述视场中消基于所述感兴趣对象的至少一个消失来分析识在所述AR装置上基于分析的所述数据显示所述基于所述内容复杂度计算向所述用户示出所述在计算的持续时间内在所述AR装置上显示所述在所述用户从所述感兴趣对象移开注视之后，通过对用户数其中，基于所述感兴趣对象在记录的所述视场中的基于非其中，基于所述感兴趣对象在记录的所述视场中的基于非其中，基于所述无意消失来分析识别的所述帧的步骤包括基于所述用户的注视、所述用户的偏好和当前视图内容来渲染所基于在所述AR装置中的预定义位置处的注视和阈值时间来突出显使用深度学习技术从识别的所述帧中检测和识别所述感兴趣对通过使用另一AR装置的位置、人工智能技术或者使用简档将分析的在所述感兴趣对象的基于障碍的无意消失或尽管感兴趣的所述感兴趣对象的基于非述AR装置上对在一个或更多个计算装置上显示的所述感兴趣对象的3在所述感兴趣对象消失之后针对另一对象的注视凝视时间来确定所述用户与所述感兴趣分析在预定义的时间间隔内所述用户针对所使用基于人工智能的多参数模型来识别所述感兴趣对象的有意非障碍性消失，其中，基于对象信息来计算所述用户查看所述感兴趣AR装置上显示所述感兴趣对象的片段或所述感兴趣对象其中，通过过滤和增强所述感兴趣对象的片且器被配置为从记录的所述视场识别包含确定的所述感兴趣对象在记录的所述视场中消失所述系统还包括：显示模块，被配置为在所述AR装置上基于分析兴趣对象的内容复杂度，并基于所述内容复杂度计算向所述用户示出所述内容的持续时4其中，所述显示模块被配置为在计算的持续时间内在所述AR其中，所述分析器还被配置为在所述用户从所述感兴趣对象移开注基于所述感兴趣对象在记录的所述视场中的基于非障碍的有意消失或基于障碍的无通过确定所述用户与所述感兴趣对象之间的障碍基于所述无意消失来分析识别的所其中，所述显示模块被配置为基于在所述AR装置中的预定其中，所述显示模块被配置为在所述感兴趣对象的基于障感兴趣对象之间的障碍基于无意消失来分析其中，所述用户输入控制器被配置为基于包括以下项的5分析在预定义的时间间隔内所述用户针对所使用基于人工智能的多参数模型来识别所述感兴趣对象的有意的非障碍性消失，其其中，所述复杂度识别器还被配置为基于对象信息来计算所所述用户的语音识别。追踪所述用户朝向记录的所述视场中的感兴趣基于追踪的眼睛注视从记录的所述视场识别包含所述感兴趣对象在记录的所述视场中的基于障碍的无意消失或尽管感兴趣的所述感兴趣对象在记录的所述视场中的基于非基于所述感兴趣对象的无意消失或尽管感兴趣的所述感兴趣对象的有意消失中的所在所述AR装置上基于分析的所述数据显示所述基于所述内容复杂度计算向所述用户示出所述在计算的持续时间内在所述AR装置上显示所述6[0001]本公开总体上涉及增强现实内容，并且具体地但非排他地涉及用于在增强现实[0003]现有的增强现实系统使用一种或更多种对象追踪技术，诸如数码相机和/或其他比较并且基于对象与用户的相对运动来选择虚拟内容(图像/视频)[0008]第20150113454号美国专利申请公布公开了使用眼球追踪技术将上下文数据递送7[0009]第EP1422922号欧洲专利申请公布涉及生成和保存与用户的感兴趣区域相关的数度。EP1422922公开了在图像捕捉序列期间确定包括相机系统的用户的眼睛的眼睛注视方[0010]现有技术文献中没有一个现有技术文献确定用户对看到消失的对象感兴趣。此实时识别感兴趣对象并在AR装置上显示感兴趣对象：通过感兴趣对象的无意消失或(尽管对象对于用户来说清晰可见时的AR装置中的用户也可注视以请求显示感兴趣对象的AR内所述视场中的一个或更多个对象的视觉，确定记录的所述视场中的至少一个感兴趣对象，8[0019]图1示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内容[0020]图2示出描绘根据本公开的示例性实施例的图1的用于在增强现实(AR)装置上显[0022]图4示出根据本公开的示例性实施例的描绘第一对象(对象1)的有意消失的示意[0023]图5示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内容[0024]图6示出描绘根据本公开的示例性实施例的用于在用户正在注视感兴趣对象时在[0025]图7示出描绘根据本公开的示例性实施例的用于当用户将他的注视从多媒体内容[0026]图8示出描绘根据本公开的示例性实施例的用于过滤/增强和扩增记录内容并向用户显示内容以及当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处[0027]图9示出描绘根据本公开的示例性实施例的用于在计算的持续时间内在AR装置中[0028]图10示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内[0029]图11示出描绘根据本公开的示例性实施例的用于在有意消失的情况下在增强现[0030]图12示出描绘根据本公开的示例性实施例的用于在感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失的情况下在增强现实(AR)装置上显示内容的处理的流9[0031]图13示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例[0032]图14示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例[0034]图16A至图16C示出根据本公开的示例性实施例的描绘无意且障碍性消失的用例[0035]图17A至图17B示出根据本公开的示例性实施例的描绘由于用户与对象之间的障[0036]图18A至图18D示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消[0037]图19A至图19F示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消[0038]图20A至图20C示出根据本公开的示例性实施例的描绘由于用户与对象之间的相[0039]图21A至图21F示出根据本公开的示例性实施例的描绘先前感兴趣对象的增强现[0040]图22A至图22C示出根据本公开的示例性实施例的描绘有意且非障碍性消失的用[0041]图23A至图23F示出根据本公开的示例性实施例的描绘高速赛车从用户的视图中[0042]图24示出根据本公开的示例性实施例的描绘对在一个或更多个计算装置上显示[0045]本公开的各种实施例提供了一种用于在增强现实(AR)装置上显示内容的计算机象、以及用于识别用户对对象的兴趣的基于自适应学习人工智能(AI)的多模型)来识别用装置获取通常确定周围物理对象所处的位置的信息然后制定数字模型以确定适当的输出。[0058]聚散移动被用于帮助我们聚焦于放置在左眼和右眼沿相反方向移动的不同距离[0060]图1示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的计算机实移动通信系统(GSM)网络和通用分组无线服务(GPRS)网络、增强数据GSM环境(EDGE)网络、[0064]图2示出描绘根据本公开的示例性实施例的用于在图1的AR装置102上显示内容的[0068]处理器204被配置为与存储器202协作以读取或加载预定规则。处理器204还被配[0070]记录模块208被配置为与捕捉模块206协作以接收捕捉的用户的视场。记录模块用户输入控制器210被配置为基于包括以下项的参数中的至少一个来追踪用户的视觉：眼[0072]用户输入控制器210包括眼睛注视追踪模块212、头部移动追踪模块214和语音识在哪个真实对象(或真实对象的增强)上。眼睛注视集将作为输入被发送到估计模块232的真实对象的眼睛移动数据和眼睛注视时间以及增强和其他头部相关参数。头部移动追踪模块214被配置为收集将作为输入被发送到估计模块关于朝向所述一个或更多个对象的至少一个角度的旋转速度相[0079]识别器226被配置为与确定模块224协作以接收确定的感兴趣对象。识别器226还配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来识别帧。在另一实施例基于感兴趣对象在记录的视场中的有意消失或无意消失来分析识别的帧。在另一实施例中，分析器230被配置为通过识别用户对所述一个或更多个对象缺乏兴趣基于有意消失来用户对对象感兴趣来确定用户在视场中的期望的概率。分析器230还被配置为识别用户对[0083]在另一实施例中，分析器230被配置为通过确定用户与感兴趣对象之间的障碍基在感兴趣对象消失之后针对另一对象的注视凝视时间来确定用户与感兴趣对象之间的障置为分析在预定义的时间间隔内用户针对感兴趣对象的视觉。分析器230还被配置为使用230还被配置为对在阈值时间内的从多个传感器接收的数据以及查看数据的执行剖析，然[0086]显示模块218还被配置为基于AR装置102中的预定义位置处的凝视和阈值时间来[0087]在实施例中，显示模块218被配置为在感兴趣对象的无意消失或尽管用户感兴趣装置102上对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像。在示例性实234还被配置为通过使用另一AR装置的位置、人工智能(AI)技术或通过使用简档将分析的由用户查看感兴趣对象所需的总时间和用户在感兴趣对象消失之前已经查看感兴趣对象象所需的时间是通过从用户查看感兴趣对象所需的总时间中减去用户在感兴趣对象消失间内在AR装置102上提供用户感兴趣的对象的数字图像或多媒体内容(例如，视频)达用户配置为追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视。识别器226被配置为识别包含感兴趣对象在捕捉的视场中的有意消失的帧。分析器230被配置为基于有意消失来分析记录捕捉的视场。用户输入控制器210被配置为追踪用户朝向记录的视场中的感兴趣对象的眼睛注视。识别器226被配置为识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的有意消失中的至少一个的帧。分析器230被配置为基于感兴趣对象的无意消失或被配置为在AR装置102上基于分析的数据显示感兴趣[0100]在示例性实施例中，当用户有兴趣在不同的周围环境中看到周围环境中的对象利用来自AR装置102的各种传感器的数据监测眼睛和头部移动来确定用户与感兴趣对象之[0103]i.在感兴趣对象在用户的视图中仍然可用的同时，用户将注视移到某个其他对数据或来自AR装置102的各种传感器的数据进行剖析来确定用户对查看感兴趣对象的兴后，通过对用户数据或来自AR装置102的各种传感器的数据进行剖析来确定用户对查看感用户的感兴趣对象。可使用在AR装置102中可用的各种传感器来识别注视下的对象的标识[0124]图4示出根据本公开的示例性实施例的描绘第一对象(对象1)的有意消失的示意16:10:44时)如点7所示出的开始持续地注视第二对象。该点3被称为第一对象从用户的视用户有机会在障碍到达4的同时持续观看第一对象达一段时间，但他移动他的注视以从视[0126]图5示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的处理的流需要辅助显示以用于查看感兴趣对象时提供辅助显示，直到用户有兴趣在点1处查看感兴[0132]图6示出描绘根据本公开的示例性实施例的用于在用户注视感兴趣对象时在AR装[0138]图7示出描绘根据本公开的示例性实施例的用于当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处理的内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置[0146]图8示出描绘根据本公开的示例性实施例的用于过滤/增强和扩增记录内容并向用户显示内容以及当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理816丢弃感兴趣对象，基于尽管感兴趣的，则在步骤820，系统100通过过滤/增强和扩增记录内容来生成辅助内[0155]图9示出描绘根据本公开的示例性实施例的用于在计算的持续时间内在AR装置中[0156]在步骤904，该处理包括基于阈值注视时间和其他参数来确定感兴趣对象并且确果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理916丢弃感兴趣对象，兴趣对象所需的时间(TR)。[0163]在步骤922，如步骤922所示出的该处理包括在计算的持续时间内在AR装置102中[0165]图10示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的处理的[0168]在步骤1006，该处理包括追踪用户朝向记录的视场中的一个或更多个对象的视确定模块224被配置为确定记录的视场中的至少[0170]在步骤1010，该处理包括识别包含确定的感兴趣对象在记录的视场中消失的在一个实施例中，识别器226被配置为识别包含确定的感兴趣对象在记录的视场中消失的析器230被配置为基于至少一个意图消失来在实施例中，显示模块218被配置为在AR装置102上基于分析的数据显示感兴趣对象的内[0174]图11示出描绘根据本公开的示例性实施例的用于在有意消失的情况下在AR装置[0176]在步骤1104，该处理包括追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注在一个实施例中，用户输入控制器210被配置为追踪用户朝向捕捉的视场中的感兴趣对象[0177]在步骤1106，该处理包括识别包含感兴趣对象在捕捉的视场中的有意消失的在一个实施例中，识别器226被配置为识别包含感兴趣对象在捕捉的视场中的有意消失的在实施例中，显示模块218被配置为基于分析的数据在AR装置102上显示感兴趣对象的内[0181]图12示出描绘根据本公开的示例性实施例的在感兴趣对象的无意消失或者尽管感兴趣的有意消失的情况下在AR装置上显示内容的处理的流[0184]在步骤1206，该处理包括追踪用户朝向记录的视场中的感兴趣对象的眼睛注在实施例中，用户输入控制器210被配置为追踪用户朝向记录的视场中的感兴趣对象的眼趣对象在记录的视场中的无意消失或尽管感兴趣的有意消失中的至少在实施例中，显示模块218被配置为基于分析的数据在AR装置102上显示感兴趣对象的内[0189]在如上所述的各种实施例中，AR装置102响应于对象的有意或无意消失而显示感兴趣对象的内容。在另一实施例中，AR装置可在显示感兴趣对象的内容之前显示指示(例[0192]图13示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例(B女士)以避免进行直接目光接触的尴尬情况。A先生的每次注视的持续时间小于阈值时视为A先生的感兴趣对象。系统100通过各种参数确定A先生对看B女士的图像的强烈意图。系统100确定应当在A先生的AR装置中示出B女士的图像。系统100创建B女士的虚拟图像并且在AR装置102中向A先生示出虚拟图像，使得他可在不直接看向B女士的情况下看到虚拟[0196]图14示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例置102中看他的感兴趣对象。A先生想看他的爱慕对象(B女士)。但他不想与她进行目光接动方向1510、A先生的AR装置看B先生的时间段1512、A先生看B先生的时间段1514和障碍[0200]图16A至图16C示出根据本公开的示例性实施例的描绘由于用户与对象之间的障[0202]图17A至图17B示出根据本公开的示例性实施例的描绘由于用户与对象之间的障碍的可见性丧失而引起的对象的无意消失的用例场[0204]图18A至图18D示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消阅读t恤上的标语。用户在间歇注视的情况下保持将他的头部和眼睛朝向标语移动。在图[0206]图19A至图19F示出根据本公开的示例性实施例的描绘由于用户与对象之间的相对运动而引起的尽管感兴趣的有意消失的用例场景[0208]图20A至图20C示出根据本公开的示例性实施例的描绘由于光/可见性和其他环境[0210]图21A至图21F示出根据本公开的示例性实施例的描绘先前感兴趣对象的AR内容[0212]图22A至图22C示出根据本公开的示例性实施例的描绘有意和非障碍性消失的用[0214]图23A至图23F示出根据本公开的示例性实施例的描绘高速赛车从用户的视图中快速消失的汽车的无意的障碍性消失的用例[0216]图24示出描绘根据本公开的示例性实施例的对在一个或更多个计算装置上显示[0233]显示感兴趣对象的内容的步骤可包括在增强现实(AR)装置上显示感兴趣对象的[0236]可基于用户查看感兴趣对象所需的总时间和用户在消失之前已经查看感兴趣对[0239]所述方法还可包括基于在AR装置中的预定义位置处的凝视和阈值时间来突出显[0240]所述方法还可包括使用深度学习技术从识别的帧中检测和识别感兴趣对象，其数据在另一增强现实(AR)装置上显示感[0245]识别器可被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来识[0246]分析器可被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来分个或更多个对象的至少一个角度上的旋转速度相[0248]分析器可被配置为通过识别用户对所述一个或更多个对象缺乏兴趣基于有意消[0250]分析器可被配置为通过确定用户与感兴趣对象之间的障碍基于无意消失来分析[0251]用户输入控制器可被配置为基于包括以下项的参数中的至少一个来追踪用户的趣对象的内容包括感兴趣对象的片段或感兴趣对[0258]复杂度识别器可被配置为基于用户查看感兴趣对象所需的总时间和用户在感兴[0260]显示模块可被配置为基于在AR装置中的预定义位置处的注视和阈值时间来突出[0266]显示模块可被配置为基于分析的数据在另一增强现实(AR)装置上显示感兴趣对[0267]显示模块可被配置为在感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有且基于分析的数据在增强现实(AR)装置上显示感兴趣感兴趣的感兴趣对象的有意消失中的所述至少一个来分析识别的帧，并且产生分析的数令的软件程序。机器是能够从存储介质调用存储的指令并根据调用的指令进行操作的设[0275]根据各种示例实施例的每个组件(例如，模块或程序)可包括单个实体或多个实