CN114450966B 用于显示视频内容的方法和相关装置 （腾讯美国有限责任公司）

US2019028691A1,2019.01.24US2018373322A1,2018.12.27US2004077362A1,2004.04.22US10255302B1,2019.04.09WO2019213450A1,2019.11.07TELECOMMUNICATIONSSTANDARDSINST2022.05.062022.03.31PCT/US2021/0307872021.05.05WO2021/252102EN2021.12.16交换格式对多个场景图当中的每个场景图中的异构视觉几何对象的多分辨率处理或多细分处2基于将场景图组织到其中并对其几何信息进行更新的媒体交换相关联的是与场景几何形状的可流式传输版本相对应的场景内的几何对象的一个或更多于一个增强层来以渐进方式增加场景的几何对其中，所述更新包括在所述特定场景图的多分辨率表示中提高所述多个对象的分辨通过所述表示引擎接口与所述场景图中的所述多个对象进在场景图中创建针对沉浸式媒体的表示，其中，所述场景图创系统中的一个或更多个感觉系统进行交互或刺激人类感觉系统中的一个或更多个感觉系将场景图中的场景内引用的每个几何对象与令牌相关联，所述8.根据权利要求7所述的方法，其中，所述资源的内容由针对存在于网络或客户端内的可流式传输的几何对象3使用一组网络应用编程接口API和客户端API来封装Ope在客户端接收到所述场景图之前，通过网络媒体资源管理器维通过所述网络媒体资源管理器维持对连接至所述网络的客户端所使用的几何对象表传输模块，被配置成基于将场景图组织到其中并对其几何信息进行式，通过至少基于场景图信息得到的基础层表示以及改进基础层表示的一个或多个增强一个或更多个计算机处理器，其被配置成访问并执行所述计算权利要求1至17中任一项所述的用于显示视频内容20.一种其上存储有用于显示视频内容的计算机程序的非暂态计算机可读介质，所述计算机程序被配置成使一个或更多个计算机处理器执行根据权利要求1至17中任一项所述45[0002]本申请要求于2021年4月15日提交的美国专利申请第17/2FORREPRESENTATIONANDSTREAMINGOFHETEROGENEOUSIMMERSIVEMEDIA”的优先权的[0003]本公开内容总体上涉及沉浸式媒体(immersivemedia)的处理技术、具体地涉及及可能的味觉)以产生或增强用户在媒体环境中的身体感受，其超越了现有商业网络上分[0005]在过去的十年中，许多具有沉浸式媒体能力的硬件装置器和其它形式的立体显示器也将在接下来的十年内出现。尽管这些装置立即或预期可用，式媒体的标准表示来驱动异构端点(例如，已经出现或预期会出现的具有沉浸式媒体能力6(representationengine)接口更新多个场景图的几何信息。基于使用媒体交换格式对多个场景图当中的每个场景图中的异构视觉几何对象的多分辨率处理或多细分(multi-tesselation)处理来流式传输交换格式对多个场景图当中的每个场景图中的异构视觉几何对象的多分辨率处理或多细以先产生场景的简化表示，然后根据其需求接收用于对上述简化表示进行细化的附加信[0015]图3是根据一些实施方式的用于时序沉浸式媒体的表示和流式传输的数据模型的[0016]图4是根据一些实施方式的用于非时序沉浸式媒体的表示和流式传输的数据模型[0017]图5是根据一些实施方式的用于非时序沉浸式媒体的表示和流式传输的数据模型7[0020]在过去的十年中，许多具有沉浸式媒体能力的硬件装置器和其它形式的立体显示器也将在接下来的十年内出现。尽管这些装置立即或预期可用，式媒体的标准表示来驱动异构端点(例如，已经出现或预期会出现的具有沉浸式媒体能力商还促进传统客户端装置与对内容分发网络(contentdistributionnetwork，CDN)上的示和/或框图来描述各方面。应当理解，可以通过计算机可读程序指令来实现流程图图示和/或框图中的每个块以及流程图图示和/[0023]图1是时序传统媒体分发的端到端处理的示例说明。在图1中，时序视听内容由图像和相关音频的序列102。准备模块103的输出是被称为主格式(MasterFormat)的经编换器模块104转换成标准夹层格式(Mezzanine8户端108A至108C从内容分发网络106对一个或更多个媒体适配结果107A至107C进行拉取请户端108A至108C负责选择最适合于客户端的配置和/或当前网络条件的特定媒体适配结果分辨率(对于视频)、帧速率和比特率的信息。多个表示205可以用于提供对各种媒体的访[0026]已经提出了几种技术来直接地或间接地支持场景图作为适合于各种类型的沉浸纹理的免费可用格式和/或开源格式提供本地支持(nativesupport)。ORBX的场景图被设对开放式着色器语言(openshaderlanguage)的支持、稳健的摄像机系统以及对Lua脚本制作社区中流行的另一公知且成熟的场景图。USD被集成至Nvidia的Omniverse平台中，Omniverse平台是供开发人员利用Nvidia的GPU进行3D模型创建和渲染的一组工具。USD的9[0032]glTF2.0是由Khronos3DGroup编写的“图形语言传输格式(GraphicsLanguage[0036]网络功能虚拟化(NetworkFunctionsVirtualisation)和MEC是由ETSI开发的标网络的媒体处理(Network-BasedMediaProcessing)也是由MPEG开发的最近完成的标准[0038]CableLabs的提议描述了“用于基于网络的媒体处理的系统和方法(Systemsand述分离的控制平面和数据平面使得能够将交换格式的媒体处理和转换成最终将媒体“绑有区别。在CableLabs提议中，媒体交换格式的媒体被称为“显示无关的(display制，也没有提供关于媒体格式的组织、底层几何格式的压缩、端点客户端的功能能力的表示、对于端点客户端的应用要求的表示、或者与客户端与网络服务提供商之间的服务级别觉格式或音频格式之外的媒体。[0040]ISO/IECJTC1/SC29/WG11动态图像专家组(MovingPictureExpertsGroup，[0043]返回参照图1，尽管图1中的客户端108A至108C中的每个客户端由不同的形式(例式化，以用于分发时序2D视频和相对应的音频。通常使用的针对视频的压缩方案包括由制定的官方标准(de-jurestandard)。通常使用的针对音频的压缩方案包括由MPEG、定的事实标准(de-factostandard)。在广泛使用的针对视频的压缩格式(包括MPEG格式、越大量的视觉信息的传输和递送。此外，网络基础设施管理技术诸如多接入边缘计算和网络功能虚拟化(NetworkFunctionsVirtualization，NFV)使得商业网络服务提供商体应用具有用于异构客户端端点的潜在异构视觉[0046]沉浸式媒体应用本身还可以对网络资源有不同的要求，所述沉浸式媒体应用包[0047]例如，用作客户端端点的固定全息显示器将需要访问以全息格式表示的视觉信需要访问射线追迹的视觉信息或具有照片真实感的视觉信息的任何一架构和数据模型对于突破目前存在的针对沉浸式媒体的进入壁流式传输至异构端点客户端装置以支持适于商业网络上部署的被动媒体体验和交互式媒[0052]1.根据环绕式(encompassing)媒体格式进行流式传输的媒体不限于传统视觉和用多分辨率技术或多细分分析技术来计算分离的基本层和增强层。这类似于ISO/IEC[0057]在分层表示的又一示例中，场景中的一个或更多个视觉对象的表面可以从朗伯[0059]5.增强层中的属性或细化信息的分辨率与基本层中的对象的分辨率没有明确耦[0060]6.环绕式媒体格式支持可以由呈现装置或机器呈现或驱动的任何类型的信息媒处理协议来将体积视觉媒体资产(asset)转换成相同视觉资产的2清单由场景组织，该清单是渲染和游戏引擎当前可以摄取以便创建呈现的最少量的信息。联的是与场景几何形状的可流式传输版本相对应的场景内的几何对象的一个或更多个表每个场景可以具有多于一个增强层来以渐进方式增加场景的几何[0063]9.用于几何对象的表示的令牌可以指向网络内的位置或指向客户端内的位置。[0064]图3如下描述了用于时序媒体的环绕式媒体格式的实施方式。时序场景清单包括[0066]上述用于表示和流式传输异构沉浸式媒体的技术可以被实现为物理地存储在一统500的示例性实施方式中所示的部件中的任一者或组合相[0070]计算机系统500可以包括某些人机接口输入装置。这样的人机接口输入装置可以口装置还可以用于捕获不一定与人的意识输入直接有关的某些媒体，例如音频(例如：语[0072]计算机系统500还可以包括某些人机接口输出装置。这样的人机接口输出装置可触觉反馈能力——其中的一些可能能够通过诸如立体图像输出的方式输出二维视觉输出[0073]计算机系统500还可以包括人类可访问存储装置及其相关联的介质，例如包括具[0075]计算机系统500还可以包括到一个或更多个通信网络的接口。网络可以例如是无工业网络(包括CANBus)等。某些网络通常需要附接至某些通用数据端口或外围总线(549)数字网络的其他计算机系统)。可以在如上所述的这些网络和网络接口中的每个网络和网场可编程门阵列(FPGA)543形式的专用可编程处理单元、用于某些任务的硬件加速器544或特定处理的特定部分，包括限定存储在RAM546中的数据结构以及根据通过软件限定的[0082]场景图：基于矢量的图形编辑应用和现代计算机游戏通器中)或被传输(例如，通过网络连接链路)并随后被重建(可能在不同的计算机环境中)的于音频的媒体资产，渲染器可以发出音频信号，以用于在多声道扬声器和/或双声道耳机[0096]一些实施方式可以涉及任何可能的集成技术细节水平的系统、方法和/或计算机可读非暂态存储介质上具有用于使处理器执行操作的计[0097]计算机可读存储介质可以是可以保留和存储供指令执行装置使用的指令的有形算机可读存储介质不应被解释为本身是暂态信号，例如无线电波或其他自由传播的电磁[0098]本文中描述的计算机可读程序指令可以从计算机可读存储介质下载至相应的计从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应的计算/处[0099]用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构编写的源代码或目标代码，所述一种或更多种编程语言包括面向对象的编程语言例如分在用户的计算机上且部分在远程计算机上执行或者全部在远程计算机或服务器上执行。在全部在远程计算机或服务器上执行的情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接至使用者的计算机，或者可以连接至外部计算机(例系统、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个块特定功能或动作或者实现专用硬件和计算机指令的组合的