CN114116617B 点云媒体的数据处理方法、装置、设备及可读存储介质 （腾讯科技（深圳）有限公司）

US2020014953A1,2020.01.09本申请实施例提供一种点云媒体的数据处根据至少两个点云密度等级以及至少两个点云编码文件，生成目标点云媒体的文件封装数据可以动态适应用户需求，节省点云媒体传输带2按照至少两个点云密度等级对目标点云媒体进行点云编码，得到至少两根据所述至少两个点云密度等级以及所述至少两个点云编码文件，生信息和文件依赖信息，当所述文件依赖信息指示所述目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，所述文件标识信息包括与所述第i个点云编码按照所述文件封装数据盒对所述至少两个点云编码文件分别进行文件封装处理所述至少两个点云密度等级分别对应的媒体文所述按照至少两个点云密度等级对目标点云媒体进行点云编码，得到至少获取所述点云密度等级Ki对应的关联点云密度等级；所述关联点云密度等级所表征的获取所述点云密度等级Ki对应的点云数据Si，以及所述关联点云密度等级对应的关联点云数据；所述点云数据Si是指所述目标点云媒体中与所述点云密度等级Ki相匹配的点云确定所述关联点云数据与所述点云数据Si之间的增量点云数据，对所述增量点云数据获取第一依赖标识；所述第一依赖标识用于表征点云编码文件Ti存在具有数据依赖关将所述第一依赖标识添加至所述文件封装数据盒中的文件依获取关联点云编码文件的编码文件标识，将所述关联点云编码所述按照至少两个点云密度等级对目标点云媒体进行点云编码，得到至少述点云密度等级Ki对应的点云编码文件Ti；所述点云数据Si是指所述目标点云媒体中与所3获取第二依赖标识，所述第二依赖标识用于表征点云编码文件Ti不存在具有数据依赖将所述第二依赖标识添加至所述文件封装数据盒中的文件依将所述文件封装数据盒中的文件标识信息中与所述点云编码文件Ti相关联的编码文件获取所述点云密度等级Ki对应的点云编码文件Ti的编码文件标识，作为媒体文件资源Mi的媒体文件标识；所述媒体文件资源Mi是指对所述点云编码文件Ti进行文件封装处理后创建所述目标点云媒体的目标媒体标识、所述媒体文件标识以及所述点云密度等级Ki根据所述媒体映射关系生成媒体信令文件；所述媒体信令文件用于指点云密度等级Ki请求所述目标点云媒体包接收用户终端发送的媒体文件资源获取请求；所述媒体文件资源获取请求根据所述媒体文件资源获取请求，获取所述目标点云密度等级对应的目标媒将所述目标媒体文件资源返回至所述用户终端，以使所述用户终端基于目标点云媒体对应的至少两个点云密度等级，获取与目标件资源是通过对所属点云密度等级对应的点云编码文件进行文件封装处理获取文件封装数据盒；所述文件封装数据盒包括所述至少两识信息和文件依赖信息，当所述文件依赖信息指示所述目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，所述文件标识信息指示与所述第i个点云编按照所述文件封装数据盒对所述目标媒体文件资源进行解码，得到具有所述4根据所述媒体信令文件生成媒体文件资源获取请求；所述媒体文件接收所述服务器根据所述媒体文件资源获取请求所返回的目标媒若所述文件封装数据盒中的所述文件依赖信息包含第一述关联媒体文件标识为与所述目标媒体文件资源具有数据依赖关系的关联媒体文件资源对所述关联媒体文件资源与所述目标媒体文件资源进行联合解码，根据所述文件封装数据盒，对所述关联媒体文件资源与所述目标媒对所述关联点云编码文件以及所述目标点云编码文件分别进行解码将所述第一展示数据内容与所述第二展示数据内容进行融合，得到具若所述文件封装数据盒中的所述文件依赖信息包含第二对所述目标点云编码文件进行解码，得到具有所述目标点云密度等5媒体编码模块，用于按照至少两个点云密度等级对目标点云媒体进行点云数据盒生成模块，用于根据所述至少两个点云密度等级以及所的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，所述文件标识信息包括文件封装模块，用于按照所述文件封装数据盒对所述至6息，当文件依赖信息指示目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息包括与第i个点云编码文件具有数据依赖关系的点云编码文对所属点云密度等级对应的点云编码文件进行文件封装处理得息和文件依赖信息，当文件依赖信息指示目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息指示与第i个点云编码文件具有数据依赖关7[0014]媒体编码模块，用于按照至少两个点云密度等级对目标[0015]数据盒生成模块，用于根据至少两个点云密度等级以及标识信息和文件依赖信息，当文件依赖信息指示目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息包括与第i个点云编码文件具有数据云密度等级所表征的媒体质量低于点云密度等度等级对应的关联点云数据；点云数据Si是指目标点云媒体中与点云密度等级Ki相匹配的[0021]增量数据编码单元，用于确定关联点云数据与点云数据Si之间的增量点云数据，[0024]标识添加单元，用于将第一依赖标识添加至文件封装数据盒中的文件依赖信息对关联点云数据进行点云编码后所得到的点云8[0031]信息添加单元，用于将第二依赖标识添加至文件封装数据盒中的文件依赖信息[0034]媒体文件标识确定模块，用于获取点云密度等级Ki对应的点云编于指示用户终端基于点云密度等级Ki请求目标点云媒体包含媒体文件资源进行解码，得到具有目标点云密度等级所表征的媒体质量的展示数据内容，指令)适于由处理器加载并执行上述相关的9媒体文件资源是通过对所属点云密度等级对应的点云编码文件进行文件封装处理编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息指示与第i个点云编码[0055]关联文件获取单元，用于若文件封装数据盒中的文件依赖信息包含第一依赖标联点云密度等级所表征的媒体质量低于目标点云密度等级所指令)适于由处理器加载并执行上述相关的[0070]图2是本申请实施例提供的一种编码端按照点云密度等级对点云媒体进行编码的[0080]点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广[0082]在编码设备端的数据处理过程主要包括：(1)点云媒体的媒体内容的获取过程；可包括但不限于：DASH(DynamicAdaptiveStreamingoverHTTP，动态自适应流媒体传输)协议、HLS(HTTPLiveStreaming，动态码率自适应传输)协议、SMTP(SmartMedia[0083]下面将结合图1，分别对点云媒体的数据处理过程中涉及的各个过程进行详细介[0087]点云媒体的媒体内容是通过捕获设备采集现实世界的声音-视觉场景获得的。在[0089]捕获到的原始点云数据(包括音频内容或视频内容)是适合被执行点云媒体的编动作(如头部旋转)来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文[0095]解码设备可以通过编码设备的推荐或按照解码设备端的用户需求自适应动态从据；其中，ISO文件封装数据盒中可以包括球面区域缩放数据盒(SphereRegionZooming[0099]在上述关于点云媒体系统的相关描述中可知，在对点云[0100]依据点云媒体的编码标准(如AVS(AudioVideocodingStandard，信源编码标云媒体的媒体文件资源的点云密度等级，该字段取值越低，说明点云密度等级越低；PointCloudDenseLevelBox字段中包含了点云媒体的媒体文件资[0104]point_cloud_dense_dependency_flag用于指示当前点云密度等级的点云媒体文的更低点云密度等级的媒体文件资源的ID(文件标识)由TrackReferenceTypeBox数据盒给出，TrackReferenceTypeBox数据盒用于指示包含有更低点云密度等级的媒体文件资源的reference_type取值为9pcdd9时，该TrackReferenceTypeBox字段为有效字段，该TrackReferenceTypeBox字段中包含的媒体文件资源的I该媒体信令文件中包含有点云媒体的媒体标识以及该点云媒体所包含的媒体文件资源的100a中，所包含的点云数据的数据量低于点云密度等级1对应的点云数据100b中所包含的含的点云数据的数据量低于点云数据100b中所包含的点云数据的数据量，所以点云数据ISO文件封装数据盒中包含有point_cloud_dense_level字段以及point_cloud_dense_低点云密度等级对应的媒体文件资源，所以可以将该媒体文件资源1对应的point_cloud_dense_dependency_flag字段设置为0。则该媒体文件资源1的文件封装数据盒中可以记录该媒体文件资源2的point_cloud_dense_dependency_flag字段为point_cloud_dense_媒体文件资源1的point_cloud_dense_dependency_flag＝0以及该媒体文件资源1对应的据盒中可以记录该媒体文件资源2对应的点云密度等级1，同时因为是对点云密度等级1所对应的点云数据100b(完整的点云数据)进行编码得到的媒体文件资源，所以在解码端(如的文件封装数据盒中所记录的point_cloud_dense_dependency_flag字段为point_cloud_dense_dependency_flag＝0。则媒体文件资源2的文件封装数据盒中所记录的媒体文件资到的点云编码文件3可作为点云密度等级2对应的点云编码文件，按照ISO媒体文件格式可2所对应的增量点云数据100d(不是完整的点云数据100c，而是增量点云数据)进行编码得体质量)。所以可以将该媒体文件资源3对应的point_cloud_dense_dependency_flag字段设置为1，则媒体文件资源3的文件封装数据盒中所记录的媒体文件资源3的描述信息可以级2、该媒体文件资源3的point_cloud_dense_dependency_flag＝1以及该媒体文件资源3TrackReferenceTypeBox字段中添加该媒体文件资源2的媒体文件标识，则通过point_cloud_dense_dependency_flag＝1可以确定媒体文件资源3需要联合解码其他媒体文件资的媒体文件资源的媒体文件标识，以及每个媒体文件资源对应的点云密度等级)记录在媒户可以根据对媒体质量的需求选择一个点云密度等级来获取相应的媒体文件资源来进行[0120]用户终端E可以响应用户E的这一触发操作，获取到该点云媒体A相关的媒体信令文件，通过该媒体信令文件获取到该点云密度等级2所对应的媒体文件资源为媒体文件资[0121]进一步地，用户终端E可以将该包含有对媒体文件资源3的获取请求发送至服务媒体文件资源3中的文件封装数据盒中的point_cloud_dense_dependency_flag＝1字段，媒体文件资源3中的文件封装数据盒中的TrackReferenceTypeBox字段中获取到媒体文件3后，可以从媒体文件资源3的文件封装数据盒中的point_cloud_dense_dependency_flag终端E观看到具有点云密度等级2所表征的媒体质媒体质量也越高。如图2所示，因为点云数据100a包含的点云数据的数据量低于点云数据的点云密度等级0也低于点云数据100b对应的点云密度等级1，点云密度等级1也低于点云数据100c对应的点云密度等级2；该点云密度等级0所表征的点云媒体A的媒体质量也低于质量也低于点云密度等级2所表征的点云媒体[0128]例如，以上述图2所对应实施例中得到点云密度等级0对[0130]例如，以上述图2所对应实施例中得到点云密度等级2对在点云媒体A的点云数据中，可以获取到点云密度等级2对应的点云数据为点云数据100c，依赖标识可以为1。可以将该第一依赖标识添加至该文件封装数据盒中的文件封装数据盒Ti具有数据依赖关系的关联点云编码文件(对关联点云数据进行点云编码后所得到的点云据盒中的TrackReferenceTypeBox字段中添加对点云数据100b与增量点云数据100d进行融合，就可以得到点云密度等级2对应的点云数的文件依赖信息(point_cloud_dense_dependency_flag字段)设置为第一依赖标识(例如，设置为1，即point_cloud_dense_dependenc该点云数据Si是点云密度等级Ki对应的完整的点云数据(非增量点云数据)，则对该点云数据Si进行编码处理后得到的点云编码文件Ti中包含的点云数据是该点云密度等级Ki对应的完整的点云数据，在解码端仅对该点云编码文件Ti解码就可以还原出该点云密度等级Ki对应的完整的点云数据Si，对该点云数据Si进行渲染就可以得到点云密度等级Ki所表征的媒100a是点云密度等级0对应的完整的点云数据，在解码端直接对点云编码文件1进行解码，即point_cloud_dense_dependency_flag＝0)，用以指示该点云密度等级Ki对应的点云编含有点云编码文件Ti以及该点云编码文件Ti的文件封装数据盒，该文件封装数据盒中记录可以获取该点云密度等级Ki对应的点云编码文件Ti的编码文件标识，并作为媒体文件资源[0142]可以理解的是，通过对目标点云媒体进行点云密度等级的划分，解码端(用户终端)可以对点云密度等级进行选择，服务器可以接收用户终端发送的携带目标点云密度等一个媒体质量；服务器端根据不同的点云密度等级对相应的点云数据进行编码封装处理，于当前网络状态来选择不同的点云密度等级，在网络较差时可以选择较低的点云密度等度等级相关联的目标媒体文件资源；目标点云密度等级用于表征目标点云媒体的媒体质件资源是通过对所属点云密度等级对应的点云编码文件进行文件封装处理得[0146]本申请中，用户可以通过该用户终端对该目标点云媒体进行点云密度等级的选图4所对应实施例中服务器得到点云密度等级Ki对应的媒体文件资取文件封装数据盒中的文件标识信息，并根据该文件标识信息中包含的关联媒体文件标点云数据；关联点云密度等级所表征的媒体质量低于目标点云密度等级所表征的媒体质源3的文件封装数据盒中确定，媒体文件资源3对应的文件依赖信息中包含第一依赖标识体文件资源3存在与它具有数据依赖关系的媒体文件资源，则服务器可以在文件封装数据依赖关系的媒体文件资源的媒体文件标识(媒体文件资源2的文件标识)，通过该媒体文件标识，可以确定出与媒体文件资源3具有数据依赖关系的媒体文件资源为媒体文件资源2；资源3中的文件封装数据盒中的文件依赖信息以及文件标识信息，将服务器返回的媒体文件资源2以及媒体文件资源3分别进行解封装处理，得到点云编码文件2以及点云编码文件封装数据盒中确定，媒体文件资源1对应的文件依赖信息中包含第二依赖标识(point_一个媒体质量；服务器端根据不同的点云密度等级对相应的点云数据进行编码封装处理，于当前网络状态来选择不同的点云密度等级，在网络较差时可以选择较低的点云密度等码封装处理得到媒体文件资源3后，或对点云数据100a进行编码封装处理得到媒体文件资源1后)，可以将ISO文件封装数据盒中媒体文件资源3的文件依赖信息设置为第一依赖标源1的文件依赖信息设置为第二依赖标识，并在文件标识信息中将媒体文件标识设置为无用户终端(解码端)通过媒体信令文件可以知道点云媒体(例如点云媒体A)所具有的点云密度等级有哪些，再通过文件依赖信息(point_cloud_dense_dependency_flag字段)确定媒体文件资源是否需要与其他媒体文件资源进行联合解码，若需要(文件依赖信息包含第一定出是哪一个媒体文件资源与之具有数据依赖[0159]由此，用户终端可以根据媒体信令文件生成针对媒体文件资源3，则用户终端可以再通过媒体信令文件中的文件依赖信息以及文件标识信息确定在媒体文件资源2，若不存在，则可以生成获取媒体文件资源2与媒体文件资源3的获取请的结构示意图。该点云媒体的数据处理装置可以是运行于编码设备中的一个计算机程序点云媒体的数据处理装置可以用于执行图4所对应实施例中的点云媒体的数据处理方法的[0161]媒体编码模块11，用于按照至少两个点云密度等级对目标点云媒体进行点云编[0162]数据盒生成模块12，用于根据至少两个点云密度等级以及至少两个点云编码文件标识信息和文件依赖信息，当文件依赖信息指示目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息包括与第i个点云编码文件具有数点云密度等级所表征的媒体质量低于点云密云密度等级对应的关联点云数据；点云数据Si是指目标点云媒体中与点云密度等级Ki相匹配的点云数据；关联点云数据是指目标点云媒体中与关联点云密度等级相匹配的点云数[0169]增量数据编码单元113，用于确定关联点云数据与点云数据Si之间的增量点云数具体实现方式，可以参见上述图4所对应实施例中步骤S101中的描述，这里将不再进行赘[0171]请参见图6，数据盒生成模块12可以包括：标识获取单元121以及标识添加单元[0173]标识添加单元122，用于将第一依赖标识添加至文件封装数据盒中的文件依赖信指对关联点云数据进行点云编码后所得到的点[0182]信息添加单元124，用于将第二依赖标识添加至文件封装数据盒中的文件依赖信[0183]信息添加单元124，还用于将文件封装数据盒中的文件标识信息中与点云编码文[0186]媒体文件标识确定模块14，用于获取点云密度等级Ki对应的点云编用于指示用户终端基于点云密度等级Ki请求标媒体文件资源进行解码，得到具有目标点云密度等级所表征的媒体质量的展示数据内[0195]根据本发明的一个实施例，图6所示的点云媒体的数据处理装置中的各个模块或储元件的例如计算机的通用计算设备上运行能够执行如图4所示的相应方法所涉及的各步一个媒体质量；服务器端根据不同的点云密度等级对相应的点云数据进行编码封装处理，于当前网络状态来选择不同的点云密度等级，在网络较差时可以选择较低的点云密度等意图。该点云媒体的数据处理装置可以是运行于解码设备中的一个计算机程序(包括程序数据处理装置可以用于执行图5所对应实施例中的点云媒体的数据处理方法的步骤，请参体的媒体质量；至少两个点云密度等级分别对应的媒体文件资源包括目标媒体文件资源，每个媒体文件资源是通过对所属点云密度等级对应的点云编码文件进行文件封装处理得点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息指示与第i个点云[0206]资源接收单元20014，用于接收服务器根据媒体文件资源获取请求所返回的目标源接收单元20014的具体实现方式，可以参见上述图5所对应实施例中步骤S201中的描述，[0209]关联文件获取单元20031，用于若文件封装数据盒中的文件依赖信息包含第一依所得到的文件；关联点云数据是指目标点云媒体中与关联点云密度等级相匹配的点云数[0210]联合解码单元20032，用于对关联媒体文件资源与目标媒体文件资源进行联合解[0212]请参见图7，联合解码单元20032可以包括：解封装子单元200321、解码子单元[0215]数据融合子单元200323，用于将第一展示数据内容与第二展示数据内容进行融[0217]请参见图7，资源解码模块2003可以包括：解封装单元20033以及数据解码单元[0221]根据本发明的一个实施例，图7所示的点云媒体的数据处理装置中的各个单元可的例如计算机的通用计算设备上运行能够执行如图5所示的相应方法所涉及的各步骤的计请实施例的点云媒体的数据处理方法。计算机程序可以记载于例如计算机可读记录介质一个媒体质量；服务器端根据不同的点云密度等级对相应的点云数据进行编码封装处理，于当前网络状态来选择不同的点云密度等级，在网络较差时可以选择较低的点云密度等[0224]捕获设备801用于采集现实世界的声音-视觉场景获得点云媒体的原始数据(包括[0225]处理器802(或称CPU(CentralProcessingUnit，中央处理器))是编码设备的处指令从而实现图4所示的点云媒体的数据处理此处的存储器803既可以包括编码设备中的内置存储介质，当然也可以包括编码设备所支803还可用于存储经处理器处理后形成的点云媒体文件，该点云媒体文件包括媒体文件资[0227]发射器804用于实现编码设备与其他设备的传输交互，具体用于实现编码设备与解码设备之间关于进行点云媒体的传输。即编码设备通过发射器804来向解码设备传输点[0229]编码器821用于对捕获到的音频内容进行音频编码形成点云媒体的音频码流。还[0230]封装器822用于将音频码流和视频码流按照点云媒体的文件封装格式(如ISO文件封装格式)封装在文件容器中形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体[0231]在一个实施例中，处理器802(具体是处理器包含的各器件)通过调用存储器中的存储有一条或多条第一指令，该一条或多条第一指令适于由处理器802加载并执行如下步息，当文件依赖信息指示目标点云媒体的第i个点云编码文件存在具有数据依赖关系的点云编码文件时，文件标识信息包括与第i个点云编码文件具有数据依赖关系的点云编码文一个媒体质量；服务器端根据不同的点云密度等级对相应的点云数据进行编码封装处理，于当前网络状态来选择不同的点云密度等级，在网络较差时可以选择较低的点云密度等[0237]接收器901用于实现解码与其他设备的传输交互，具体用于实现编码设备与解码设备之间关于进行点云媒体的传输。即解码设备通过接收器901来接收编码设备传输点云[