信息技术.沉浸式媒体的编码表示.第5部分基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告

信息技术.沉浸式媒体的编码表示.第5部分:基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part5:Visualvolumetricvideo-basedcoding(V3C)andvideo-basedpointcloudcompression(V-PCC)摘要随着元宇宙、扩展现实（XR）以及空间计算等新兴技术的迅猛发展，沉浸式媒体内容，尤其是体积视频和点云数据，已成为下一代人机交互与信息呈现的核心载体。然而，此类数据庞大的数据量对传输、存储及处理提出了严峻挑战，亟需高效、统一且互操作性强的编码标准。本报告聚焦于国际标准ISO/IEC23090-5:2025的立项与发展历程。该标准由国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会（JTC1）主导制定，旨在规范基于视觉的体积视频编码（V3C）与基于视频的点云压缩（V-PCC）的技术要求。报告深入剖析了该标准的研制背景、核心技术框架及关键特征，重点讨论了其如何利用现有成熟的视频编码技术（如HEVC/H.265和VVC/H.266）对三维空间数据进行高效压缩。研究认为，ISO/IEC23090-5:2025的发布，不仅为沉浸式媒体的实时传输与规模化应用提供了坚实的技术基石，更通过定义统一的码流结构与解码器模型，解决了长期以来不同厂商设备与平台间的互操作性问题。这一标准的实施标志着点云与体积视频压缩从专有算法走向国际统一规范，将深刻影响远程呈现、全息会议、文化遗产保护及工业数字孪生等领域的技术路径与产业生态。未来，随着AI驱动编码技术与网络切片技术的融合，该标准有望在低时延、高保真度场景下获得更广泛的应用。关键词：沉浸式媒体；体积视频编码；点云压缩；V3C；V-PCC；ISO/IEC23090；互操作性；MPEG-I；扩展现实；数字孪生Keywords:ImmersiveMedia;VolumetricVideoCoding;PointCloudCompression;V3C;V-PCC;ISO/IEC23090;Interoperability;MPEG-I;ExtendedReality(XR);DigitalTwin1.标准立项背景与动因在数字化转型的浪潮中，人类对数字信息的感知正从二维平面向三维空间全面跃迁。元宇宙（Metaverse）、扩展现实（XR）以及混合现实（MR）等概念的产业化落地，对媒体内容的沉浸感与交互性提出了前所未有的要求。传统二维视频已无法满足用户在任意视角自由观看、与环境自然交互的需求，体积视频和点云数据应运而生。点云数据作为一种基于三维空间点阵的几何与属性信息集合，能够精确、细腻地再现现实世界中物体的立体形态与表面纹理，是构建高保真性、强交互性的虚拟环境的核心数据格式。然而，点云数据的庞大数据量成为其应用推广的最大阻碍。以当前主流的LiDAR（激光雷达）扫描设备为例，采集一帧高精度点云可能包含数百万甚至上千万个点，其数据规模远超同等分辨率下的传统二维视频。若未经有效压缩，在现有的网络带宽和存储条件下，实时传输与大范围部署几乎不可能实现。此前的点云压缩方案多为学术界或特定企业的私有算法（如GoogleDraco、苹果的ARKit点云编码等），这些方案在性能、兼容性方面各有优劣，难以支撑跨平台、跨设备的规模化商业应用。因此，国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会（JTC1）旗下的动态图像专家组（MPEG）敏锐地洞察到这一痛点，在MPEG-I（沉浸式媒体）标准框架下，正式启动了针对体积视频及点云压缩的标准化工作。该标准立项的深层动因在于：第一，解决互操作性问题。不同软硬件厂商采用私有编码方案，导致点云数据无法在异质设备间无缝交换、渲染，严重阻碍了产业链的形成。第二，提升压缩效率。通过集中全球顶尖研究力量，制定比现有私有方案更优的编码算法，以更低的码率实现同等或更高的视觉质量。第三，降低应用门槛。通过统一标准的制定，降低开发者集成的复杂性，加速沉浸式媒体应用在工业、文娱、教育等领域的落地。2.标准核心技术架构与创新ISO/IEC23090-5:2025标准，全称为“信息技术—沉浸式媒体的编码表示—第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）”。该标准的核心创新在于提出了“基于视觉体积视频编码”的统一框架，巧妙地将复杂的三维空间数据转换为传统的二维视频信号进行处理。2.1核心技术路径V3C编码框架首先将输入的三维数据（包括由时间上连续的点云构成的体积视频）进行投影分解。具体而言，标准定义了将三维点从原始坐标系映射到二维投影平面的过程。这些二维投影图像通常包含两类核心信息：*几何图（GeometryVideo）：记录每个投影点到传感器或参考平面的距离（深度值）。这本质上是单通道的灰度图像。*属性图（AttributeVideo）：记录原始点的颜色、法向量或其他属性信息。这通常是一幅或多幅彩图。此外，为了在解码端能够完整无损地逆向重构出原始三维场景，V3C标准还生成一系列辅助信息图（OccupancyMap），用于标识二维投影图像中哪些像素对应有效的三维点，以及Smoothing辅助信息，用于补偿投影量化带来的失真。在特殊情况下，标准还允许引入额外的辅助补丁图（PatchAuxiliaryInformation）来描述三维空间中的补丁分片块（Atlas）。2.2依赖现有先进视频编码标准ISO/IEC23090-5:2025最精妙的设计在于，它并未另起炉灶发明全新的编码方法，而是将上述生成的二维几何图、属性图（及其辅助图）直接送入高性能的视频编码器进行压缩。标准明确规定，其可兼容并推荐使用高级视频编码（HEVC/H.265）或通用视频编码（VVC/H.266）等先进标准。这种“嵌套式”设计具有三重优势：1.技术成熟度高：视频编码技术经过数十年发展，已高度成熟，配套的软件（如x265、VVenC）和硬件解码芯片（FPGA、ASIC）产业链完善。2.开发周期短：直接复用现有视频编码标准，避免了重新设计专用编解码器的巨大工程量和漫长的开发周期。3.部署便捷性高：现有的视频传输网络（如流媒体协议、CDN网络）无需重大改动即可直接传输经过处理的点云数据。2.3标准化的关键特性*层次化的码流结构：标准定义了一种灵活的分层比特流结构，支持可伸缩编码、随机访问、基本层与增强层的组合，以适应不同应用场景（例如，在带宽受限时渲染低品质代模型，带宽充足时渲染高品质模型）。*统一的解码器模型：标准定义了一个通用的解码流程，即解码端工作流程为：视频解码（还原几何/属性图）→基于全局辅助信息进行三维栅格化→输出三维点云帧。这种模型确保了不同厂商的编码器生成的码流，可以在任意符合标准的解码器上正确（或在容许失真范围内）重构。*支持多种3D表示：虽然主要用于点云与体积视频，但V3C框架的设计具有高度通用性，理论上可支持其他基于投影的三维几何体表示，为未来的扩展预留了空间。3.标准研制的关键阶段与里程碑ISO/IEC23090-5:2025的研制经历了严格、透明且高效的标准化流程，涵盖了从需求征集、技术提案征集、核心实验到作为最终国际标准（IS）发布的完整生命周期。第一阶段：需求定义与评估（2018-2019）：MPEG-3DG（3D图形压缩小组）启动了“基于视频的点云压缩”需求征集，确定了对各类性能指标（如几何精度PSNR、颜色质量PSNR、BjøntegaardDelta速率-失真性能）的评估标准，并定义了不同类别的应用场景（如动态点云、静态点云与光场数据）。第二阶段：核心实验与竞争（2019-2021）：在经历多轮的提案征集（CallforProposals）后，MPEG在2019年开展核心实验（CoreExperiment）。期间，来自全球的数十家企业与研究机构（如华为、高通、三星、索尼、FraunhoferHHI）提交了支持V3C和TMC2（TestModelforCategory2）不同方案的算法。经过大量的主观与客观对比测试，基于“补丁投影”的V3C框架脱颖而出，被选为DraftInternationalStandard(DIS)的基础。第三阶段：稳定与一致性测试（2022-2024）：进入委员会草案（CD）和国际标准草案（DIS）阶段，大量工作集中在：定义标准的文本准确性、对齐不同国家成员体的评论意见、建立正式的参考软件模型（V3CReferenceSoftware）、制定符合性测试比特流（ConformanceBitstreams）。2024年，标准进入最终国际标准草案（FDIS），其核心编码算法和语法已完全冻结。第四阶段：发布与维护（2025）：2025年3月3日，ISO正式通过并发布ISO/IEC23090-5:2025。后续，MPEG将继续根据行业反馈，通过修正案（Amendments）的形式为该标准引入新的配置文件（Profiles）、新特性（如支持基于神经网络的编码、高级后渲染处理等）。4.主要参与单位分析：FraunhoferHeinrichHertzInstitute(HHI)在ISO/IEC23090-5的研制过程中，FraunhoferHHI（弗劳恩霍夫海因里希-赫兹研究所）扮演了至关重要的角色，是标准核心技术定义和推动落地的核心力量之一。机构简介：FraunhoferHHI是德国弗劳恩霍夫应用研究促进协会下属的全球顶尖通信技术研究所之一。总部位于德国柏林，专注于光子和电子通信系统的研究。其视频编码与分析部门在数字视频和编码领域拥有世界领先的技术积淀，是H.264/AVC、H.265/HEVC及H.266/VVC等关键视频编码标准的核心贡献者与共同发明者。在许多核心技术中，FraunhoferHHI的软件实现被作为行业参考（如x264、x265的前身）。在该标准中的核心贡献：1.提出关键技术构想：在MPEG-I的早期探索中，FraunhoferHHI的研究人员是V3C框架的重要发明人之一。他们提出的基于“补丁投影”的思想，将复杂的3D点云分解为规则的2D补丁流，为后续的标准化工作提供了核心数学与工程基础。2.提供核心参考软件：在标准制定过程中，MPEG需要参考软件来模拟编码器性能，进行RD优化测试。FraunhoferHHI提供的软件模型（如VTM和V3C参考软件实现）被MPEG组织采纳为官方测试平台，其代码质量和算法优化度极高，为衡量各家公司提交的技术提案提供了统一的、公平的基准。3.推动硬件友好性设计：针对点云压缩中高计算复杂度环节（如全局运动补偿、补丁生成），FraunhoferHHI深入研究了硬件实现的友好性，通过设计更规则化的数据流、减小随机访问需求等方式，推动了算法向ASIC/GPU友好型方向发展。例如，他们提出的“分层图缓存（HierarchicalPatchStreaming）”方案，旨在降低解码端的实时渲染计算负担。影响力与未来：通过深度参与ISO/IEC23090-5标准的制定，FraunhoferHHI不仅巩固了其在视频与3D图形编码领域的国际领导地位，也为其相关的产品（如面向XR的实时压缩解决方案、点云处理SDK）赢得了市场先机。这代表了“以标准推动产业”的典型模式：通过向标准贡献核心专利，构建专利壁垒，进而推动自己的商业产品。5.结论与展望ISO/IEC23090-5:2025的发布，标志着沉浸式媒体标准化进程迈出了关键一步。它成功构建了一个集“高性能压缩、高度互操作、灵活可扩展”于一体的三维点云编码体系。该标准发布后，预计将在以下几个领域产生深远影响：1.产业规模化应用加速：*远程沉浸式应用：在远程协作、全息会议、虚拟展览、线上教育等场景中，V3C/V-PCC标准的采用将使得体验者能够真正“走进”远端场景，以6自由度（6DoF）自由观看人物与物体，彻底改变传统的2D屏幕会议模式。*影视与游戏行业：动作捕捉和体积视频拍摄后处理流程将更加标准化，无需再针对不同厂商的私有格式进行复杂的转码适配。标准的码流格式将促使XR头显、手机厂商原生支持点云媒体播放，极大促进“体积影视”这一内容形式的繁荣。*自动化与工业领域：在无人驾驶（激光雷达点云实时压缩上传至云端）、智慧城市（海量建筑点云数据存档）、工业数字孪生工厂（实时监控设备状态）中，应用该标准可显著降低数据传输和云端存储成本。2.技术演进的新方