CN119422172A 用于在场景描述中提供与光源的交互性的系统和方法 （交互数字Ce专利控股有限公司）

2024.12.23PCT/EP2023/0652812023.06.07WO2023/242033EN2023.12.21用于在场景描述中提供与光源的交互性的动作相关联的一个或多个场景元素执行的至少发条件中的至少一个触发条件与该动作中的至至少一个触发条件并且通过该行为信息将动作少一个场景元素执行该动作。在一些实施方案2场景元素信息，所述场景元素信息描述所述场景中的多个场景元素中的每个场景元动作信息，所述动作信息描述至少第一动作，所述第一行为信息，其中所述行为信息将至少所述第一触发条件与至少所述第一动作相关联；响应于已满足至少所述第一触发条件的确定2.根据权利要求1所述的方法，其中所述第一动作包括将所述虚拟光源的强度乘以指3.根据权利要求1或2所述的方法，其中所述4.根据权利要求1至3中任一项所述的方法，其中所述第一动5.根据权利要求1至4中任一项所述的方法6.根据权利要求1至5中任一项所述的方法，其中所述第一动作包括定义所述虚拟点光源的强度衰减开始处的内锥7.根据权利要求1至6中任一项所述的方法，述第一动作包括定义所述虚拟点光源的强度衰减结束处的外锥8.根据权利要求1至5中任一项所述的方法，其中述第一动作包括改变所述虚拟面光源的宽度9.根据权利要求1至5中任一项所述的方法，其中所述虚拟光源为虚拟立方体贴图光3个触发条件相关联，并且其中所述行为信息还包括指示第一相关联动作是(i)响应于已满足所述多个触发条件中的所有触发条件的确定而被执行还是(ii)响应于已满足所述多个20.根据权利要求1至19中任一项所述的方法21.根据权利要求1至20中任一项所述的方法，22.根据权利要求1至21中任一项所述的方23.根据权利要求1至22中任一项所述的方法，24.根据权利要求1至23中任一项所述的方法，25.根据权利要求1至24中任一项所述的方法，所有行为的阵列。26.根据权利要求1至25中任一项所述的方27.根据权利要求1至26中任一项所述的方法，所述在所述3D场景的渲染期间做出已满足所述第一触28.一种装置，所述装置包括被配置为执行根据29.一种计算机可读介质，所述计算机可读介质包括用于使一个或多个处理器执行根30.根据权利要求29所述的计算机可读介质，其中所述计算机可读介质为非暂态存储场景元素信息，所述场景元素信息描述所述场景中的多个场景元素中的每个场景元4动作信息，所述动作信息描述至少第一动作，所述第一场景元素信息，所述场景元素信息描述所述场景中的多个场景元素中的每个场景元动作信息，所述动作信息描述至少第一动作，所述第一5[0002]本申请要求于2022年6月16日提基于如IETFRFC6902中定义的JSON补丁协议的场景更新机制来将虚拟内容同步到MPEG媒架并未提供对用户如何能够在运行时与场景对象交互以获得沉浸式XR体验的描述。因此，该框架不为基于沉浸式媒体的用户特定XR体的至少一个触发条件并且通过该行为信息将该动作中的至少第一动作与该触发条件相关相机)到指定节点的距离在指定界限内时满足的接近度条件；当检测到指定用户交互时满6括针对至少一个行为指示所标识的动作是否将响应于所标识的触发中的至少一个触发而[0012]一种根据一些实施方案的信号包括3D场景的场景描述数据。该场景描述数据包素中的至少一个场景元素为虚拟光源，并且该动作中的至少一个动作与该虚拟光源相关该触发条件中的至少一个触发条件与该动作中的至少一个动作相关联。在一些实施方案[0014]图1A是根据一些实施方案的可与扩展现实应用程序一起使用的波导显示器的横[0015]图1B至图1C是根据一些实施方案的可与扩展现实应用程序一起使用的替代显示[0018]图2例示了根据一些实施方案的支持场景交互性元素的MPEG_I节点分层结构的示7[0025]表示由图像生成器102生成的图像112的光通过衍射内耦合器106耦合到波导104如，二阶)处于能够通过全内反射传播通过波导104的角度。图像生成器102按照控制模块[0026]通过衍射内耦合器106耦合到波导104中的光110的至少一部分通过衍射外耦合器[0028]在一些实施方案中，波导104相对于源自波导显示器外部的光是至少部分可穿透在使用该波导显示器时看到真实世界物体。由于来自真实世界物体的光120也穿过衍射光8[0029]图1B示意性地例示了可在一些实施方案中使用的替代类型的扩展现实头戴式显[0030]图1C示意性地例示了可在一些实施方案中使用的替代类型的扩展现实头戴式显1270可用于捕获外部环境的图像并将此类图像连同也可被显示的任何虚拟内容一起显示可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可包括其自身的处理器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领[0035]待加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执9中的一者或多者可在本文档中所述的过程的执行期间存储各个项目中的一个或多个项目。输入设备包括但不限于：(i)接收例如由广播器通过空中发送的RF信号的射频(RF)部分，存储元件结合操作以根据需要处理数据流以供在通信信道1060通常连接到接入点或路由器，该接入他外围设备1120。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管使用一个或多个外围设备1120，该一个或多个外围设备基于系统1000的输出来提供功能。声器1110或其他外围设备1120之间传送控制信号。输出设备可以通过相应的接口1070、经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如例如电[0045]例如，如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器[0047]这些实施方案可通过由处理器1010实现的计算机软件或通过硬件或者通过硬件息技术—沉浸式媒体的编码表示—第14部分：MPEG媒体的场景描述，ISO/IECDIS23090_架并未提供对用户如何能够在运行时与场景对象交互以获得沉浸式XR体验的描述。因此，[0063]定义所定义的触发之间[0066]在同一虚拟对象上的若干行为同时出现的情况下使得能够选择最高优先级的行[0067]当在新接收的场景更新中不再定义此行为时，指定如何终止该行为的任选的中[0069]参考使用KhronosglTF扩展机制的MPEG一I场景描述框架的范围来描述示例实施[0092]在运行时期间，应用程序可通过在每个定义的行为上迭代并遵循图3中例示的过之后，做出行为是否具有正在进行的状态的确定(404)。响应于行为不具有正在进行的状[0097]作为根据一些实施方案的交互式虚拟对象的示例，虚拟3D广告对象可在其间的[0099]○与MPEG媒体的具有连续激活的20秒和40秒之间的时间序列相关的单个触发性信息来实现期望的行，该场景交互性信息可以诸如以下的JSON格式或以替代格式来提[0112]在下表5中，术语立方体贴图是指在EXT_lights_image_based扩展中描述的基于[0126]在KhronosGLTF的示例中，涉及两个光扩展：支持定向、点和聚光灯的KHR_[0127]KHR_lights_punctual的当前具体实施还不支持区域光，但由于这种光类型对于在真实环境中集成虚拟对象以及对于描述真实光是有效的，并且由于其存在于Unity或虚[0129]参考使用KhronosglTF扩展机制来支持附加场景描述特征的MPEG_I场景描述架场景描述数据还包括行为信息。该行为信息将至少第一触发条件与至少第一动作相关联。特性可包括例如用户相机或视点的位置(如通过用户输入和/或通过诸如陀螺仪和加速度[0140]响应于已满足该触发条件中的至少一个触发条件并且通过该行为信息将该动作可显示在任何显示设备(诸如本文描述的显示设备或其他显示设备)上。在一些实施方案任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述[0147]本文所述的实施方案可由处理器或其他硬件或由硬件和软件的组合实现的计算“在具体实施中”的出现以及出现在本公开通篇的各个地方的任何其他变型不一定都是指相同的实施方案。法元素、标志等将信息用信号通知至对应解码器。虽然前面涉及词语“用信号通知息可以包括例如用于执行方法的指令或由所描述的具体实施中的一个具体实施产生的数[0161]·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号