CN112789865B 信息处理装置和信息处理方法 （索尼公司）

2021.03.26PCT/JP2019/0364662019.09.18WO2020/071112JA2020.04.09US2018063505A1,2018.03.01本发明涉及能够在抑制客户端的处理量增加的同时实现更高的图像质量的信息处理装置向标识信息指示图像数据通过在附加投影方向2预处理部，其适于通过在多个投影方向上投影3D数据并且将所述影方向信息和指示是否能够单独显示由所述投影方向信息指示的投影方向上的图像数据所述投影元数据包括附加投影方向标识信息，所述附加投影方向标识所述图像数据具有针对所述投影方向中的每一个的纹理图像、几何图所述是/否单独显示信息还指示是否能够单独显示由所述附加投影方向标识信息指示所述预处理部还生成所述图像数据的有效像素计数作为图像质量在不能使用所述轨道中的一个轨道来单独显示所述3D数据的在已经基于包括所述3D数据的长方体形状的对象框的一部分的块生成了所述投影方置信息用于标识所述块中的每一个在三维空间中相对于通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所生成指示所述图像数据的所述投影方向的投影方向信息和指示是否能够单独显示由所述投影方向信息指示的投影方向上的图像数据的是/否单独显示信息作为投影元数据；生成ISO基础媒体文件格式ISOBMFF文件，所述ISOBMFF文件信令通知每个轨道的所述9.一种其上实现有程序的非暂态计算机可读介通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所3生成指示所述图像数据的所述投影方向的投影方向信息和指示是否能够单独显示由所述投影方向信息指示的投影方向上的图像数据的是/否单独显示信息作为投影元数据；生成ISO基础媒体文件格式ISOBMFF文件，所述ISOBMFF文件信令通知每个轨道的所述通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所生成指示所述图像数据的所述投影方向的投影方向信息和指示是否能够单独显示由所述投影方向信息指示的投影方向上的图像数据的是/否单独显示信息作为投影元数据；生成ISO基础媒体文件格式ISOBMFF文件，所述ISOBMFF文件信令通知每个轨道的所述4量同时减少客户端吞吐量增加的信息处理装分割成多个区域(在下文中称为分割)，通过针对每个区域投影到平面上来生成纹理平面)通过在点云数据的分割之后针对每个区域投影到平面上来生成纹理图像、几何图像平面来将投影平面的数目增加到10个(水平方向上的八个平面以及竖直方向上的两个平[0010]MPEG_IPart5[0012]w17534,WorkingdraftofPointCloudCodingfo[0016]ISO/IECJTC1/SC29/WG11CodingofmovingpicturesandaudioConvenorship:UNI(意大利)“TechnologiesUnderConsiderationforCarriageofPointCloudData”56[0069]图23是描述projection_direction、present_alone和point_cloud_resolution[0073]图25是描述45degree_projection、projection_direction、present_alone和[0075]图26是示出信令通知针对每个块设置的附加投影方向标识信息的VPCCGroupBox7[0079]图28是描述projection_direction、present_alone和point_cloud_resolution[0083]图30是描述45degree_projection、projection_direction，present_alone和使用诸如AVC(高级视频编码)或HEVC(高效视频编码)的视频编解码器对纹理图像、几何图图块被投影到六个投影平面上并且针对每个投影方向布置XY投影平面、XY+投影平面和X+Y投影平面)并且针对每个投影方向被布置在一起。而8水平方向上的四个附加投影平面与四个现有投影平投影平面的图块中的所有交叠部分)编码为交叠信息，还是仅将在从四个附加投影平面的图块中删除交叠部分之后在水平方向上与四个现有投影平面的差编码为交叠信息。例如，影平面上的一些图块仅包括在X+投影平面和Y+投影平面的图块中丢[0102]因此，降低传送比特率的有效方法是针对每个投影平面以分割的方式传送V_PCC割流具有投影方向的所有信息并且可以配置仅具有该流的投影方向的点云内容的情况下，9信息以及指示是否可以单独显示分割流的是/否[0106]本公开提出了生成包括关于如上所述的附加平面的信息的文件并且将该文件呈展或基本码流扩展)的描述。另外，本公开提出了将作为对增强图像质量有效的信息的V_PCC流的有效像素信息作为图像质量元数据提供给客户端以增强观看方向上的V_PCC流的向信息以及指示是否仅利用该文件就可以实现显示的是/否单独显示信息添加到辅助信息并且无论是/否单独显示信息是否指示可以单独显示流，在观看方向上的主观图像质量都[0116]将参照图8至图21给出通过DASHMPD(基于HTTP媒体呈现描述的动态自适应流)扩展信令通知投影方向信息、是/否单独显示信息以及针对每个文件参考的图像质量元数据[0120]如图8的MPD样本所示，投影方向描述符(SupplementalPropertyschemeIdUri=投影方向例如通过@value中的逗号分隔来[0123]如图8的MPD样本中所示，单独呈现描述符(SupplementalPropertyschemeIdUri=“urn:mpeg:mpegI:pc_present_alone:2018”)被新定义并且用其信令通知分割后的V_[0124]例如，图8所示的示例描绘了可以单独显示包括在投影方向X+和投影方向Y+上投[0125]应当注意，单个分割V_PCC流可以包括可以单独显示的图块和不能单独显示的另[0126]此外，包括在单个点云中的一组分割V_PCC流新定义并且信令通知点云组描述符(SupplementalPropertyschemeIdUri＝“urn:mpeg:mpegI:pc_group:2018”)。在此，@id＝vpcc0和AdaptationSet@id＝vpcc90。如上所述，客户端可以通过获取三个AdaptationSet来显示覆盖观看方向的或她仅需要选择并获取AdaptationSet@id＝vpcc0，从而消除了获取其他多余的分割流以[0130]如上所述，投影方向描述符和单独呈现描述符允许根据V_PCC流的观看方向进行SupplementalProperty的schemeIdUri的DASH客户端可以忽略该Property的值，并且使用分割V_PCC流的是/否单独显示信息。例如，在存在Representation@dependencyId的情况[0137]图10是示出第二信令通知方法中的MPD样本的图。第二信令通知方法提供类似于[0141]如上所述，第一扩展方法允许以可获得投影方向信息的方式扩展常规DASHMPY+投影平面和X+Y_投影平面)具有指示从四个附加投影方向的图块生成了该图像的附加投[0142]例如，如图11的MPD样本所示，45度投影描述符(SupplementalProperty[0143]此外，投影方向描述符使用@value(0_5)信令通知相对于点云的本地坐标系的投描述符和投影方向描述符使得呈现等效于图8所示的MPD样本的[0145]即，在由45度投影描述符的@value＝1指示已经从四个附加投影方向的图块生成图像的情况下，指示投影方向是在由投影方向描述符的@value指示的方向上绕Z轴逆时针影描述符一起信令通知的投影方向描述符的@value＝0指示投影方向况下，如果在45度投影描述符中@value＝0，则这指示从所有六个投影方向的图块生成了影平面(虚线)，这四个投影平面的投影方向相对于块的四个投影平面(实线)之一偏移4545度投影描述符与用于识别每个块的三维空间信息的块位置信(SupplementalPropertyschemeIdUri＝”urn:mpeg:mepgI:gpcc:block_information:[0156]图15是示出数据生成装置的配置示例的框图，该数据生[0159]文件生成部62不仅在控制部61的控制下生成分段文件和MPD文件，而且还经由网[0161]数据输入部71不仅获取点云数据并且将该数据提供给数据编码/生成部72，而且还获取生成MPD文件所需的元数据并且将该元数据提供给MPD文件[0162]数据编码/生成部72不仅基于从数据输入部71提供的点云数据生成纹理图像、几何图像和占用地图图像，而且生成存储其V_PCC流的分段文件并且将分段文件提供给记录占用地图图像，而且还生成投影元数据(投影[0165]编码部77对从预处理部76提供的纹理图像、几何图像和成部78可以从编码部77获取生成分段文件所需的元数据等，或者从分割V_PCC流中提取这[0167]MPD文件生成部73基于从数据输入部71等提供的元数据，生成包括关于点云数据[0168]记录部74记录从MPD文件生成部73提供的MPD文件以及从文件生成部78提供的分[0169]上传部75从记录部74读出点云数据的MPD文件和分段文件，并且将这些文件上传[0170]应当注意，尽管这里将描述其中数据生成装置51充当将MPD文件和分段文件上传置51的上传部75将MPD文件和分段文件经由网络[0171]图16是示出数据再现装置的配置示例的框图，该数据再该信息处理装置执行根据文件生成显示图像并且在再现内容的客户端侧再现点云数据的[0176]文件获取部91基于从文件处理部92提供的选择结果从服务器获取存储了再现点[0178]数据分析/解码部95基于从文件获取部91提供的分段文件来生成作为点云数据的[0179]文件处理部97从文件获取部91提供的分段文件中提取V_PCC流的编码数据，并且[0181]显示信息生成部99根据从解码部98提供的V_PCC流重新配置点云数据，基于从显件相关联的投影元数据(投影方向信息和是/否S21中，文件获取部91基于由MPD的投影元数据(投影方向信息和是/否单独显示信息)信令通知的投影方向信息来选择最接近用户的观看方向的Adaptation[0193]在步骤S23中，文件处理部92根据步骤S23中的识别结果确定是否可以单独显示行到步骤S24。在步骤S24中，文件获取部91另外选择显示用户观看方向的方向所需的[0195]同时，在文件处理部92在步骤S23中确定可以单独显示Adaptat[0196]在步骤S25中，文件获取部91另外选择与除了用户观看方向的方向以外的方向对[0199]在显示控制部94在步骤S27中确定用户的观看方向已经改变的情况下，处理返回[0202]如上所述，通过由数据生成装置51发送已经添加了投影元数据(投影方向信息和是/否单独显示信息)的MPD，数据再现装置52可以识别出是否可以单独显示最接近用户观看方向的AdaptationSet。这使得数据再现装置52可以适当地获取显示用户观看方向所需配置的点云中的点的稀疏性或密度取决于纹理图像和为图像质量元数据提供的V_PCC流的有效像素信息是用于增强与用户观看方向对应的点云根据观看方向来选择并获取再现所需的文件，配置在观看方向上提供高图像质量的点云，[0209]以下将给出扩展DASHMPD并且为所参考的每个文件添加图像质量元数据的技术[0210]V_PCC流的有效像素信息通过新定义点云分辨率描述符(SupplementalProperty[0211]此外，可以设置根据作为V_PCC流的分量的辅助信息的delta_size_u0和delta_[0213]将描述在用户的观看方向对应于投影方向X+的投影平面的情况下基于该MPD样本选择用于构建具有高图像质量的点云的表示，并且针对其他AdaptationSet选择用于构建割流，从而导致客户端所需的解码器实例的数目增加。为此，如图20所示，使用了作为ISOBMFF工具的提取器轨道，从而允许使用与分割之前的流的数目相同数目的解码器实例信令通知在包括提取轨道的V_PCC流中增强了图像质量=2的情况下，信令通知投影方向X_，在@value＝3的情况下，信令通知投影方向Y_，在@并且进一步获取提取器轨道所参考的文件来重新配置在观看方向上增强了图像质量的V_通过在将投影平面的数目保持为六个不变的情况下附加地传送具有将点云对象绕Z轴旋转[0227]将参照图22和图26给出第二扩展方法的描述，第二扩展方法通过ISOBMFF扩展信[0228]例如，可以通过扩展ISOBMFF来针对每个轨道添加投影元数据(投影方向信息和轨道组将一条点云内容中包括的分割V_PCC流轨道分组[0231]另外，如图23所示，projection_direction指示每个图块的投影方向。即，在向X_，在projection_direction＝3的情况下，信令通知投影方向Y_，在projection_令通知投影方向Z_，在projection_direction＝6的情况下，信令通知投影方向X+Y+，在[0232]另外，present_alone指示是否可以单独使用轨迹构建和显示点云。例如，在[0233]另外，point_cloud_resolution指示V_PCC流中的每个帧的图块总像素计数的帧[0236]另外，单个分割V_PCC流可以包括可以单独显示的图块和不能单独显示的另一个[0237]应当注意，投影元数据和图像质量元数据也可以用除VPCCGroupBox之外的诸如指示，而是借助于通过显示所需的V_PCC流轨道的轨道参考(reference_type＝vpcc)来指[0238]此外，可以通过将TrackGroupTypeBox扩展为新的轨道组来定义可以单独显示的[0243]例如，在如图24所示指示用45degree_projection和projection_direction信令通知以及已经通过45degree_projection＝1指示从四个附加投影方向的图块生成图像的情况下，这指示投影方向是在由projection_direction指示的方向上绕Z轴逆时针旋转45[0244]应该注意的是，可以仅信况下，可以将针对每个块信令通知的45degree_projection与用于识别每个块的三维空间过各个字段(即，block_offset_x、block_offset_y、block_offset_z、block_size_x、可以通过使用从其扩展VPCCGroupBox的TrackGroupTypeBox的功能来信令通知在相同对象[0247]应当注意，可以仅信令通知45degree_projection和块位置信息，而不信令通知示每个块的投影方向文件是从四个附加投影方向[0248]如上所述，第二扩展方法允许以如下的方式扩展ISOBMFF：除了投影方向信息之[0250]将参照图27至图30给出通过ElementaryStream扩展来信令通知投影方向信息、是/否单独显示信息以及每个图块的图像质量元数据的[0251]例如，可以通过扩展ElementaryStream的高级语法来针对每个图块添加投影元[0253]例如，如图28所示，projection_direction指示每个图块的投影方向。即，在向X_，在projection_direction＝3的情况下，信令通知投影方向Y_，在projection_令通知投影方向Z_，在projection_direction＝6的情况下，信令通知投影方向X+Y+，在[0254]同样，present_alone指示是否可以单独使用图块构建和显示点云。例如，在[0256]应当注意，在单个V_PCC流中包括的所有图块具有相同的projection_direction值或相同的present_alone值的情况下，可以用单个字段(default_projection_方法对每个区域进行了编码，可以根据观看方向从分割V_PCC流中选择和解码仅所需的区[0259]此时，可以通过扩展存储V_PCC流的ISOBMFF轨道的VPCCGroupBox来添加[0265]在如图29所示指示用45degree_projection和projection_direction信令通知，并且已经通过45deg_projection＝1从四个附加投影方向的图块生成了图像的情况下，这指示投影方向是在由projection_direction指示的方向上绕Z轴逆时针旋转45度的方向。此外，与45degree_projection＝1一起信令通知的projection_direction＝0指示投影方以通过添加投影平面来传送增强了图像质量的V_PCC流，同时通过有效利用网络带宽来减显示信息在有限的网络带宽的环境中根据客户的观看方向仅选择和传送必要的分割V_PCC重建点云，并且通过ISOBMFF扩展以分割并存储V_PCC流而不是对所有分割V_PCC流轨道进通知投影元数据和图像质量元数据来择优地显示[0275]图31是示出其中安装有用于执行上述一系列处理的程序的计算机的实施方式的[0279]计算机包括CPU(中央处理单元)102，输入/输出接口110经由总线101连接到CPU[0280]当例如由于用户对输入部107的操作而输入指令时，CPU102经由输入[0281]这允许执行根据以上流程图的处理或者由以上框图中的CPU102使其处理结果经由输入/输出接口110从输出部106输出或者从通信部108发送，并的多个装置以及其中多个模块被容纳在单个壳体中的的步骤的处理可以与另一程序的处理并行执行，或者与另一程序的处理组合并且一起执施方式中描述的一些或全部本技术与在其他实施方式中描述的一些或所有本技术一起执述图像数据已经通过在附加投影方向上投影示信息指示是否能够单独显示由所述投影方向信息或所述附加投影方向标识信息指示的[0314]在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文[0317]在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文[0332]在已经基于包括所述3D数据的长方体形状的对象框的一部分的块生成了所述投块位置信息用于标识所述块中的每一个在三维空间中相对于所述对[0336]通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多