CN119414955A 用于呈现合成现实 用户界面的方法和设备 （苹果公司）

201980036736.52019.05.29本公开涉及用于呈现合成现实用户界面的2识别多个数据项，所述多个数据项中的每个数据项具有第在所述显示器上显示体积环境，所述体积环境包括与所识别的中所述第一多个SR对象中的每个SR对象包括不同的用于表示所述多个第一元数据字段值响应于检测到所述第一用户输入，将所述体积项中的每个数据项包括具有多个第二元数据字段值中的相应第二元数据字段值的所述第个第二元数据字段值中的对应的第二元数据字段检测第二用户输入，所述第二用户输入指向与所述第二多个数据项将所述体积环境中的所述第一SR对象替换为与第三多个数据项对应的第三多个SR对在所述体积环境中保持不包括所述第一SR对象的所述第二多个SR对3.根据权利要求1所述的方法，其中将所述体积环境中的所述第一多个SR对象替换为述多个SR对象表示在所述体积环境中被重新布置并且被替换为所述第二多个S基于针对所识别的多个数据项的类型的默认元数据字段，基于所识别的多个数据项中的数据项的数量，从多个元数据字段基于上下文信息，从多个元数据字段中选择第一个元数据字段作为7.根据权利要求1所述的方法，其中检测所述第一用户输入包括检测来自所述设备的8.根据权利要求1所述的方法，其中识别所述多个数据项包括针对所述多个数据项中39.根据权利要求1所述的方法，其中所述第一多个SR对象中的每个SR对象与所述多个第一元数据字段值中的所述相应第一元数据字段响应于检测到所述用户位置或者所述用户取向中至一个或多个程序，所述一个或多个程序存储在所述非暂态存储器识别多个数据项，所述多个数据项中的每个数据项具有第在所述显示器上显示体积环境，所述体积环境包括与所识别的中所述第一多个SR对象中的每个SR对象包括不同的表示所述多个第一元数据字段值中的响应于检测到所述第一用户输入，将所述体积项中的每个数据项包括具有多个第二元数据字段值中的相应第二元数据字段值的所述第个第二元数据字段值中的对应的第二元数据字段12.根据权利要求11所述的方法，其中将所述体积环境中的所述第一多个SR对象替换为所述第二多个SR对象包括显示动画，其中所述第一多个SR对象被多个SR对象表示替换，所述多个SR对象表示在所述体积环境中被重新布置并且被替换为所述第二多个S基于针对所识别的多个数据项的类型的默认元数据字段，基于所识别的多个数据项中的数据项的数量，从多个元数据字段4基于上下文信息，从多个元数据字段中选择第一个元数据字段作为所述指令在由具备显示器的设备的一个或多个处理器执行时使得识别多个数据项，所述多个数据项中的每个数据项具有第在所述显示器上显示体积环境，所述体积环境包括与所识别的中所述第一多个SR对象中的每个SR对象包括不同的用于表示所述多个第一元数据字段值响应于检测到所述第一用户输入，将所述体积项中的每个数据项包括具有多个第二元数据字段值中的相应第二元数据字段值的所述第个第一元数据字段值中的对应的第一元数据字段17.根据权利要求16所述的非暂态计算机可读存储介质，其中将所述体积环境中的所18.根据权利要求16所述的非暂态计算机可读存储介质，其中所述指令还使得所述设基于针对所识别的多个数据项的类型的默认元数据字段，19.根据权利要求16所述的非暂态计算机可读存储介质，其中所述指令还使得所述设基于所识别的多个数据项中的数据项的数量，从多个元数据字段20.根据权利要求16所述的非暂态计算机可读存储介质，其中所述指令还使得所述设基于上下文信息，从多个元数据字段中选择第一个元数据字段作为5[0004]物理布景是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物[0005]相比之下，合成现实(SR)布景是指经由电子系统个体能够感知并且/或者个体能明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉布景为个体提供了在多维计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集和/或通过对个体或其在计算机创建的布景内的存在的模拟，来与VR布景中的虚拟对象进行交互和/或感知VR合现实布景介于一端的VR布景和另一端的完全物理布景之间并且6[0011]增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的[0013]许多电子系统使得个体能够与各种SR布景进行交互和/或感知各种SR布景。一个物理布景的图像/视频和/或捕获物理布景的音频的一个或多个成像传感器和/或麦克风。7[0021]图5A至图5P示出了根据一些实施方式的包括文档文件组的SR组表示的SR体积环[0022]图6A至图6H示出了根据一些实施方式的包括音频文件组的SR组表示的SR体积环[0023]图7A至图7C示出了根据一些实施方式的其中通过将SR组表示朝向用户牵拉来选[0024]图8A至图8E示出了根据一些实施方式的其中通过将SR组表示拉开来选择SR组表[0025]图9A至图9B示出了根据一些实施方式的其中通过注视SR组表示来选择SR组表示[0027]图11A至图11B示出了根据一些实施方式的其中同时播放两个音频文件的SR体积[0028]图12A至图12C示出了根据一些实施方式的其中第一音频文件交错淡变至第二音8对于多个第一SR组表示中的至少另一个第一SR组[0036]本文所公开的各种实施方式包括用于在SR用户界面中将数据项重新分组的设备、分别包括该多个数据项中具有该第一元数据字段的多个第一元数据字段值中相应第一元具有该第二元数据字段的多个第二元数据字段值中相应第二元数据字段值的数据项。SR对象中的每个SR对象与多个音频文件中的至少一个音频文件的元数据字段的相应元数在SR体积空间中的第一位置之间的第一距离，其中第一SR对象与第一元数据字段值相关9择与第一属性的特定值相关联的SR组表示，从而其可被替换为(1)具有第一属性的特定值的数据项的表示或(2)具有第一属性的特定值但第二属性的相应不同值的数据项组的相应[0043]图1A是根据一些实施方式的示例性操作架构100A的框图[0045]图1B是根据一些实施方式的示例性操作架构100B的框图境100B包括控制器110和头戴式设备(HMD)1制器110。在一些实施方式中，控制器110是相对于场景105处于本地或远程位置的计算设[0050]图2是根据一些实施方式的控制器110的示例的框图。尽管示出了一些具体特征，[0051]在一些实施方式中，所述一条或多条通信总线204包括互连系统部件和控制系统存取存储器(SRAM)、双倍数据速率随机存取存储器(DDRRAM)或者其他随机存取固态存储[0053]操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方式中，SR体验模块240被配置为管理和协调一个或多个用户的单重或多重SR242包括指令和/或用于指令的逻辑部件以及启发法和用[0056]在一些实施方式中，协调单元246被配置为管理和协调由HMD120B向用户块中实现，并且单个功能块的各种功能可在各种实施方式中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方式而变化，320以及用于互连这些部件和各种其他部件的一条或多条通[0061]在一些实施方式中，一条或多条通信总线304包括互连和控制系统部件之间的通[0063]在一些实施方式中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪相机)。在一些实施方式看到的场景对应的图像数据(因而可以被称为场[0065]操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。308)、I/O设备和传感器306或者一个或多个图像传感器314中的一者或多者获取数据(例元342包括指令和/或用于指令的逻辑部件以及启发法和用于启[0070]尽管数据获取单元342、SR用户界面单元344、声音处理单元346和数据传输单元块中实现，并且单个功能块的各种功能可在各种实施方式中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方式而变化，正在佩戴HMD并调查SR体积环境400(如以下附图中的第一人称视图所示)。SR体积环境400环境400中的位置处(例如，在由三维(3D)SR坐标系中的三个坐标限定的位置处)显示每个SR组表示440A_440D)中的一个或多个虚拟对象位于SR体积环境400中用户420的视场内的灯对应的桌子512和灯514。真实对象还包括与用户的左手和右手对应的左手590L和右手[0076]第一SR组表示541A_541D对应于具有文档类型元数据字段和作者元数据字段的文[0077]第一SR组表示541A_541D包括与一组文档文件对应的电子表格组表示541A，该组元数据字段。第一SR组表示541A_541D包括与具有文档类型元数据字段的一组文档文件对类型元数据字段的一组文档文件对应的文本组表示[0078]图5B示出了其中用户输入指向文本组表示541D的图5A的SR体积环境500。在图5B[0079]图5C示出了响应于检测到指向文本组表示541D的用户输入的图5B的SR体积环境户从SR体积环境500中面向桌子的第一位置朝向面向SR体积环境500的左后角的SR体积环[0081]图5E示出了响应于检测到用户在SR体积环境500内移动的图5D的SR体积环境50虽然多个对象例如在由用户佩戴的HMD的显示器上被显示在用户视场中的不同位置处，但在显示器上的第一多个位置处在SR体积环境500中的多个位置处显示第一SR组表示541A_个位置处在SR体积环境中的相同的多个位置处显示第一SR组表示541A_5使用呈现SR用户界面的应用程序和/或设备并且稍后返回到呈现SR用户界面的应用程序摸文本组表示541D)不同于图5B中的用户输入(抓取文本组表示541D)。虽然图5F中指向文[0084]图5G示出了响应于检测到指向文本组表示541D的用户输入的图5F的体积环境[0085]相应的第二SR组表示542A_542D对应于相应作者元数据字段值(和文档类型元数据字段值中的所选的一个文档类型元数据字段值)。在各种实施方式中，第二SR组表示各种实施方式中，第二SR组表示542A_542D还与具有文档类型元数据字段值中的所选的一[0086]因此，第二SR组表示542A_542D包括与一组文档文件对应的Alice_文本组表示542A，该组文档文件具有包括值“文本”的文档类型元数据字段和具有作者元数据字段值指向特定的第一SR组表示的用户输入，其他SR组表示停止被显示或以不同的方式被显示[0089]图5H示出了响应于检测到指向Dave_文本组表示542D的用户输入的图5G的SR体积环境500。在图5H中，Dave_文本组表示542D被替换为多个SR项表示543A_543D。SR项表示项表示543A_543D对应于具有文档类型元数据字段和作者元数据字段的文档文件，该文档指向特定第二SR组表示的用户输入而显示其他第二SR组表示(在相同位置或在不同位置以[0092]图5I示出了响应于检测到指向第三SR项表示543C的用户输入的图5H的SR体积环[0093]图5J示出了其中用户输入指示作者元数据字段的图5E的SR体积环境500。在图5J[0094]图5K示出了响应于检测到指示作者元数据字段的用户输入的图5J的SR体积环境于不同的文档类型元数据字段值，第三SR组表示551A_551D中的不同的第三SR组表示对应括显示动画，其中第一SR组表示541A_541D显示为分解成移动到新位置并聚合成第三SR组[0097]图5M示出了包括指向Carl组表示551C的用户输入的图5K的SR体积环境500。在图[0098]图5N示出了响应于检测到指向Carl组表示551C的用户输入的图5M的体积环境[0099]相应的第四SR组表示552A_552C对应于相应的文档类型元数据字段值(和作者元字段值中的所选的一个作者元数据字段值的[0100]因此，第四SR组表示552A_552C包括与一组文档文件对应的文本_Carl组表示552A，该组文档文件具有包括值“文本”的文档类型元数据字段和具有作者元数据字段值图5N的示例中，第四SR组表示552A_552C不包括与一组文档文件对应的其他_Carl组表示，该组文档文件具有包括值“其他”的文档类型元数据字段和具有作者元数据字段值“Carl”的作者元数据字段。[0103]图5O示出了响应于检测到指向呈现_Carl组表示552B的用户输入的图5N的SR体积环境500。在图5O中，呈现_Carl组表示552B被替换为多个SR项表示553A_553B。SR项表示项表示553A_553B对应于具有文档类型元数据字段和作者元数据字段的文档文件，该文档指向特定第四SR组表示的用户输入而显示其他第四SR组表示(在相同位置或在不同位置以[0106]图5P示出了响应于检测到指向第二SR项表示553B的用户输入的图5O的SR体积环灯对应的桌子612和灯614。真实对象还包括与用户的左手和右手对应的左手690L和右手[0108]第一SR组表示641A_641D对应于具有艺术家元数据字段和专辑元数据字段的音频与一组音频文件对应的艺术家姓名2组表示641B，该组音频文件具有包括值“艺术家姓名2”的艺术家元数据字段。第一SR组表示641A_641D包括与一组音频文件对应的艺术家姓名3组641A_641D包括与一组音频文件对应的艺术家姓名4组表示641D，该组音频文件具有包括值的视场包括显示各种不同专辑封面的第一SR组表示641A_64家元数据字段值的标记一起显示，该标记为相应专辑元值相关联(在各种实施方式中，艺术家元数据字段家元数据字段值的标记一起显示，该标记为相应用户输入包括触摸艺术家姓名3组表示641C，但是下文进一步描述了选择SR组表示的其他[0114]图6E示出了响应于检测到指向艺术家姓名3组表示641C的用户输入的图6D的体积[0115]相应的第二SR组表示642A_642D对应于相应专辑元数据字段值(和艺术家元数据字段值中的所选的一个艺术家元数据字段值)。在各种实施方式中，第二SR组表示642A_[0116]因此，第二SR组表示642A_642D包括与一组音频文件对应的专辑名称1组表示指向特定的第一SR组表示的用户输入，其他SR组表示以相同的方式或不同的方式被显示[0120]图6H示出了响应于检测到指向专辑名称4组表示642D的用户输入的图6G的体积环个SR项表示643A_643D对应于具有艺术家元数据字段和专辑元数据字段的音频文件，该艺第二SR组表示的用户输入而显示其他SR组表示(在相同位置或在不同位置以为SR项表示腾[0123]尽管上文描述了用于选择SR组表示的某些用户输入(例如，触摸图5F中的球或触[0124]图7A示出了其中用户输入指向艺术家姓名4组表示641D的图6A的SR体积环境60[0125]图7B示出了在指向艺术家姓名4组表示641D的用户输入的第一部分之后的图7A的[0126]图7C示出了在指向艺术家姓名4组表示641D的用户输入的第二部分之后的图7B的SR体积环境600。在图7C中，响应于艺术家姓名4组表示641D的位置位于距用户位置的阈值距离内，艺术家姓名4组表示641D被替换为多个第二SR组表示647A_647D。与第一SR组表示641A_641D类似，第二SR组表示647A_647D对应于具有艺术家元数据字段和专辑元数据字段的音频文件组。第二SR组表示647A_647D对应于音频文件组，其包括艺术家元数据字段值[0127]图8A示出了其中用户输入指向艺术家姓名4组表示641D的图6A的SR体积环境60[0128]图8B示出了在指向艺术家姓名4组表示641D的用户输入的第一部分之后的图8A的[0129]图8C示出了在指向艺术家姓名4组表示641D的用户输入的第二部分之后的图8B的二SR组表示647A_647D对应于具有艺术家元数据字段和专辑元数据字段的音频文件组。第[0131]图8D示出了在指向多个第二SR组表示647A_647D的用户输入的第一部分之后的图[0132]图8E示出了在指向多个第二SR组表示647A_647D的用户输入的第二部分之后的图第二SR组表示647A_647D被替换为艺术家姓名4组表示641D(并且其他第一SR组表示641A_[0133]图9A示出了其中用户输入指向艺术家姓名4组表示641D的图6A的SR体积环境60[0134]图9B示出了响应于检测到指向艺术家姓名4组表示641D的用户输入的图9A的体积[0135]图10A示出了其中用户输入指向艺术家姓名4组表示641D的图6A的SR体积环境[0136]图10B示出了在指向艺术家姓名4组表示641D的用户输入之后的图10A的体积环境SR组表示647A_647D对应于具有艺术家元数据字段和专辑元数据字段的音频文件组。第二[0137]图11A示出了根据一些实施方式的用户角度的SR体积环境700。图11A的SR体积环[0138]第一SR组表示741A_741C对应于具有艺术家元数据字段和专辑元数据字段的音频发出声音以模拟当虚拟对象是其在真实环境中的位置处的真实对象的情况下会从该虚拟SR体积环境700中的位置发出声音时，声音在不同的时间到达用户的两只耳朵以指示发出[0143]在图11A中，第一SR组表示741A_741C包括与一组音频文件对应的艺术家姓名1组第一音频文件的音调接近的音调(并且因此可易于被处理为具有与第一音频文件相同的音第一音频文件的旋律接近的旋律(并且因此可易第一音频文件的节拍接近的节拍(并且因此可音由艺术家姓名2SR表示741B基于第一音各种实施方式中，SR组表示仅在SR体积环境700中的用户与SR组表示之间的距离小于阈值[0155]图11A示出了用户在SR体积环境700内移动。图11B示出了在用户已经在SR体积环间的距离已经改变。因此，由第一SR组表示741A_741C发出的声音的音量(和方向)也被改[0156]图12A示出了根据一些实施方式的用户角度的SR体积环境800。图12A的SR体积环中的多个对象包括多个真实对象，诸如与真实环境的真实桌子和灯对应的桌子812和灯[0157]第一SR组表示841A_841D对应于具有艺术家元数据字段和专辑元数据字段的音频[0160]图12B示出了当用户的注视点(由注视点指示符895指示)从艺术家姓名4组表示[0161]图12C示出了当用户的注视点到达艺术家姓名3组表示841C时图12B的SR体积环[0162]图13示出了根据一些实施方式的在SR用户界面中移动对象的方法1300的流程图在第二元数据字段中包括第二元数据字段值的段值的数据项。检测到SR体积环境中的用户位置和/或取向的变化，在显示器上的第二多个位置处在显示一SR组表示641A_641D与艺术家照片和指示艺术家元数据字段值的文本一起显示。在图6B组表示中的特定第一SR组表示在SR体积环境中相对于多个第一SR组表示中的至少另一个积环境500中相对于另一个第一SR组表示541A组表示中的特定第一SR组表示替换为分别与多个第二组数据项对应的多个第二SR组表示，所述多个第二组数据项中的每个第二组数据项分别包括所述多个数据项中具有第一元数据字段和第二元数据字段的数据项，所述第一元数据字段包括多个第一元数据字段值中的特定第一元数据字段值，并且所述第二元数据字段包括多个第二元数据字段值中相应的第为多个第二SR组表示542A_542D，所述多个第二SR组表示分别包括多个数据项中具有第一[0176]在各种实施方式中，方法1300还包括检测指示第二元数据字段的第二用户输多个第一SR组表示541A_541B被替换为多个第二SR组表示(例如第三SR组表示551A_551D)，二组数据项分别包括多个数据项中具有第二元数据字段(例如作者元数据字段)的多个第项。[0178]图14是根据一些实施方式的重组SR用户界面中的数据项的方法1400的流程图表种实施方式中，数据项是音频文件，并且第一元数据字段是艺术家元数据字段(包括诸如在第二元数据字段中包括第二元数据字段值的文信息诸如日历邀请或最近打开的文档来选择段值的数据项。检测到SR体积环境中的用户位置和/或取向的变化，在显示器上的第二多个位置处在显示一SR组表示641A_641D与艺术家照片和指示艺术家元数据字段值的文本一起显示。在图6B[0189]方法1400在框1430中继续，其中设备检测指示第二元数据字段的第一用户输多个第一SR组表示541A_541B被替换为多个第二SR组表示(例如第三SR组表示551A_551D)，二组数据项分别包括多个数据项中具有第二元数据字段(例如作者元数据字段)的多个第项。多个第一SR组表示541A_541D被替换为多个SR项表示的动画，所述多个SR项表示在SR体积组表示中的特定第二SR组表示替换为分别与多个第三组数据项对应的多个第三SR组表示，所述多个第三组数据项中的每个第三组数据项分别包括所述多个数据项中具有第二元数三SR组表示(例如第四SR组表示552A_552D)，该多个第三SR组表示分别对应于多个第三组数据项，所述多个第三组数据项中的每个第三组数据项分别包括多个数据项中具有第二元所述第二元数据字段包括多个第二元数据字段值中的特定第二元数据字段值(例如三SR组表示中的特定第三SR组表示替换为多个SR项表示，所述多个SR项表示分别对应于多个数据项中具有第一元数据字段的多个第一元数据字段值中的特定第一元数据字段值和第二元数据字段的多个第二元数据字段值中的特定第二元数据字段值的数据项。例如，在该多个SR项表示分别对应于多个数据项中具有第一元数据字段(例如，文档类型元数据字段(例如作者元数据字段)的多个第二元数据字段值中的特定第二元数据字段值(例如多个SR项表示中的特定SR项表示的第四用户输入。例如，在图5O中，用户选择与名为能表示在经由用户输入被选择时关闭幻灯片呈现显示[0199]图15是根据一些实施方式的在SR用户界面中选择数据项组的方法1500的流程图种实施方式中，数据项是音频文件，并且第一元数据字段是艺术家元数据字段(包括诸如在第二元数据字段中包括第二元数据字段值的文信息诸如日历邀请或最近打开的文档来选择段值的数据项。检测到SR体积环境中的用户位置和/或取向的变化，在显示器上的第二多个位置处在显示一SR组表示641A_641D与艺术家照片和指示艺术家元数据字段值的个第一元数据字段值中的相应第一元数据字段值的标记是与第一元数据字段值相关联的一SR组表示中的第一个第一SR组表示显示为不同于第一SR组表示中的第二个第一SR组表[0213]在各种实施方式中，检测第一用户输入包括检测SR体积环境中的用户的注视组表示中的特定第一SR组表示替换为分别与多个第二组数据项对应的多个第二SR组表示，所述多个第二组数据项中的每个第二组数据项分别包括所述多个数据项中具有第一元数元数据字段包括多个第二元数据字段值中的相应第二元数据字段值(例如，“Alice”、为多个第二SR组表示642A_642D，每个第二SR组表示分别包括多个数据项中具有第一元数述第一元数据字段包括多个第一元数据字段值的多个标记中的相应标记被扩展并移动到相应位置从而成为多个第二SR组表示642A_642D家姓名3组表示641C被替换为多个第二SR组表示642A_642D时，停止显示第一SR组表示的特定第二组数据项包括多个数据项中具有第二元数据字段的多个第二元数据字段值中个数据项中具有第一元数据字段的多个第一元数据字段值中的特定第一元数据字段值和第二元数据字段的多个第二元数据字段值中的特定第二元数据字段值的数据多个SR项表示中的特定SR项表示的第三用户输入。例如，在图5H中，用户选择与名为件中的至少一个音频文件的元数据字段(例如，艺术家元数据字段)的相应元数据字段值[0234]在各种实施方式中，选择第二音频文件基于第一音频文件和第二音频文件的乐第二距离以第二音量在从第二位置开始的方向上播放段值相关联；基于所述第一音频文件和所述第二音频文件来选择所述多个音频文件中的、统基于第三距离以第三音量在从第三位置开始的方向上播放第一音频文件和第二音频文新的第一距离和所述更新的第二距离改变所述第一音量和所述第二音量。例如，在图11B[0239]图17是根据一些实施方式的在两个音频文件之间交错淡变的方法1700的流程图[0242]方法1700在框1730中继续，其中设备基于第一音频文件选择多个音频文件中的、[0243]在各种实施方式中，选择第二音频文件基于第一音频文件和第二音频文件的乐阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构[0247]本文中所使用的术语仅仅是为了描述特定实施方式并非旨在对权利要求进行限或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。