信息技术沉浸式媒体的编码表示第5部分基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告

信息技术沉浸式媒体的编码表示第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part5:Visualvolumetricvideo-basedcoding(V3C)andvideo-basedpointcloudcompression(V-PCC)摘要随着元宇宙、增强现实（AR）、虚拟现实（VR）和混合现实（MR）等沉浸式技术的飞速发展，对三维空间数据的高效表示与压缩编码需求日益迫切。体积视频和点云作为构建沉浸式体验的核心数据形式，其数据量巨大，对传输、存储和处理提出了严峻挑战。本标准立项发展报告聚焦于ISO/IEC23090-5:2023《信息技术沉浸式媒体的编码表示第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）》。该标准由国际标准化组织（ISO）发布，旨在定义一种统一、高效的框架，用于将动态三维场景（如体积视频和点云）转化为二维视频序列进行压缩与传输，从而大幅降低带宽需求并兼容现有视频编码标准。报告详细阐述了该标准的制定背景、核心技术架构（包括V3C和V-PCC两类编码模式）、关键应用场景及其对行业生态的深远影响。研究结论表明，该标准为沉浸式媒体的规模化应用提供了关键性技术基石，其废止状态（已被后续版本替代）标志着技术迭代的加速，预示着更高效、更智能的编码方案正在演进。报告特别介绍了主导该标准制定的主要单位——国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1），并展望了未来在AI驱动的编码、6G网络支持下的实时传输等发展方向。关键词沉浸式媒体；体积视频编码（V3C）；基于视频的点云压缩（V-PCC）；ISO/IEC23090；MPEG-I；三维数据压缩；编解码标准Keywords:ImmersiveMedia;VisualVolumetricVideo-basedCoding(V3C);Video-basedPointCloudCompression(V-PCC);ISO/IEC23090;MPEG-I;3DDataCompression;CodecStandard正文一、引言与背景1.1沉浸式媒体时代的数据挑战近年来，以元宇宙、虚拟现实（VR）、增强现实（AR）为代表的沉浸式技术成为信息技术领域最受瞩目的发展方向。区别于传统的二维平面媒体，沉浸式媒体旨在为用户提供身临其境的感官体验，其中，体积视频（VolumetricVideo）和点云（PointCloud）是两种核心数据表示形式。-体积视频：通过对真实或虚拟的三维场景进行全角度动态捕捉，生成包含颜色、深度、纹理等多维属性的体素（Voxel）序列，允许用户在任意视角自由观看。-点云：由大量在三维空间中分布的点组成，每个点携带空间坐标（X，Y，Z）及其他属性（如颜色、反射强度）。LiDAR、深度相机等传感器是点云数据的主要来源。1.2标准化历程：从MPEG到ISO/IEC23090为应对上述挑战，国际标准化组织（ISO）与国际电工委员会（IEC）旗下的动态图像专家组（MPEG）自2017年起启动了“MPEG-I”（Immersive，沉浸式）项目，旨在制定一套面向沉浸式媒体的编码标准体系。该体系被命名为ISO/IEC23090系列标准。其中，第5部分——即本报告所讨论的标准——核心聚焦于“基于视觉体积视频的编码（V3C）”和“基于视频的点云压缩（V-PCC）”，于2023年正式发布。ISO/IEC23090-5:2023的立项与发布，标志着三维数据压缩从学术研究正式迈入工业化、标准化应用阶段。它为不同厂商和平台之间的互操作性提供了统一的技术规范。二、标准核心技术架构与内容解析ISO/IEC23090-5:2023的核心创新在于提出了一种“异构的、基于投影的”编码框架。其基本思想是：将复杂的、非结构化的三维空间数据（点云、体素），通过几何投影和属性映射，转化为结构化的二维视频帧，然后利用现有成熟且高效的二维视频编码器（如H.265/HEVC或H.266/VVC）进行压缩。这种“副载波”式的设计理念，能最大程度复用已有视频编码产业链的优势。该标准主要定义了两种编码模式，其内容可以概括如下：2.1基于视觉体积视频的编码（V3C）V3C是该标准的核心，设计用于处理体积视频。它定义了从体积视频源到二维帧表示的完整映射与编码流程。具体技术内容包括：-补丁生成（PatchGeneration）：首先将每一帧的体积数据进行表面分析，将其分割成若干个连续的、近似平坦的“补丁”。-补丁包装（PatchPacking）：将这些补丁按照一定的规则，在二维空间中紧凑排列，形成一个或多个“图集”（Atlas）。-多平面生成（Multi-planeGeneration）：对于每个补丁，至少生成三个二维图像：几何图（存储深度/距离信息）、纹理图（存储颜色信息）和占用图（标记哪些像素是有效的三维内容）。这些图共同构成了对原始三维场景的完整描述。-编码与复用：这些二维图像序列随后被送入标准的视频编码器进行压缩，最终形成符合V3C格式的比特流。2.2基于视频的点云压缩（V-PCC）V-PCC是V3C技术在点云数据上的具体应用实例，主要针对静态点云或动态点云序列。其技术路线与V3C高度一致，但在补丁生成和属性映射上针对点云的稀疏特性进行了优化：-点云映射：将点云的三维点投影到其表面的二维补丁上。-占用图与平滑度：通过占用图标记每个点的有效性，并利用平滑度信息优化纹理和几何的准确度。-属性传递：将点云的原始颜色、法线等属性映射到对应的纹理图上。2.3标准的技术贡献与对比优势相比于传统的基于体素或八叉树的直接压缩方法（如G-PCC，Geometry-basedPCC），-带宽效率：V3C/V-PCC通过复用高效的二维视频编码器，能在同等视觉质量下实现高达50%-70%的码率节省。-兼容性：直接兼容现有的视频传输、分发和显示硬件/软件生态，无需全新的解码芯片。-可扩展性：支持从低分辨率到高分辨率、从低帧率到高帧率的渐进式解码。该标准定义了详细的比特流语法、解码过程以及一致性测试点，确保任何符合该标准的产商开发的产品能够实现互联互通。三、标准应用场景与价值ISO/IEC23090-5:2023标准为多个前沿应用领域提供了技术基石：1.虚拟现实/增强现实/混合现实：-VR社交与游戏：实现动态角色的实时三维重建与交互，提供更真实的沉浸感。-远程协同：支持远程工作者以“全息图”形式出现，增强协作的临场感。2.影视娱乐：-体积视频拍摄：在电影、MV、体育赛事中引入360度自由视角回放功能。-虚拟制片：利用体积视频技术记录演员表演，并在后期与CG场景无缝融合。3.自动驾驶与测绘：-高精度地图：点云地图是自动驾驶的核心要素之一。V-PCC能高效压缩和传输高精地图数据，降低自动驾驶汽车对计算资源和网络带宽的需求。4.文化遗产保护与数字化：-3D文物扫描：对博物馆藏品、历史建筑进行高精度点云扫描和体积视频记录，实现数字化存档和远程赏析。5.工业检测与数字孪生：-缺陷检测：利用点云数据对工业零件进行自动化三维检测。-数字孪生：构建工厂、城市等大型物理空间的动态三维副本，V3C/V-PCC是实现这一目标的关键数据压缩技术。四、主要制定及修订单位介绍4.1国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）本标准的制定与发布单位，是国际标准化领域最具权威性的技术委员会之一——国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）。JTC1成立于1987年，是ISO和IEC两大国际标准组织专门为信息技术领域设立的联合技术委员会，其秘书处由美国国家标准学会（ANSI）承担。组织架构与运作模式：ISO/IECJTC1负责制定整个信息技术领域的国际标准，范围涵盖从计算机硬件、软件到网络通信、多媒体等几乎所有方面。其内部设有多个子委员会（Subcommittee，SC），专门负责细分领域的标准制定。对于本报告所关注的沉浸式媒体编码标准，其隶属于JTC1下的SC29（音频、图像、多媒体信息和超媒体信息编码）子委员会。SC29是全球音视频编码标准（如MPEG系列、JPEG系列）的诞生地，是最负盛名的多媒体标准组织。在SC29内部，又进一步划分为多个工作组（WG），具体负责本标准的制定工作：-WG2：负责MPEG系统的标准制定。-WG4：负责MPEG视频编码标准。-WG7：专门负责MPEG-H3D音频和点云压缩（PCC）相关标准。WG7正是ISO/IEC23090-5:2023的直接负责工作组。该工作组汇集了来自全球顶尖企业（如华为、三星、高通、腾讯、苹果、微软等）、科研机构（如各知名大学、研究所）和行业联盟的数百名专家。整个标准制定过程遵循严格的五阶段流程：提案阶段（NP）、工作草案阶段（WD）、委员会草案阶段（CD）、国际标准草案阶段（DIS）和最终国际标准草案阶段（FDIS）。每个阶段都需要经历多轮的技术辩论、实验验证和投票表决，确保标准的科学性与广泛共识。核心贡献：ISO/IECJTC1/SC29/WG7的核心贡献在于：1.技术归集与融合：将业界提出的数十种点云压缩方案（如苹果的“APCC”、三星的”SPCC”等）进行统一测试与评估，最终选定了“基于视频的”这一技术路线，并将其提炼为V3C和V-PCC的核心框架。2.互操作性保证：通过制定详细的比特流语法、解码器参考软件（如TMC2，TestModelforV-PCC）和一致性测试，确保了不同厂商的产品之间能够无缝对接。3.生态构建：促进了基于该标准的上中下游产业链的形成，包括传感器制造商、编码器/解码器IP提供商、云服务商、终端设备商和内容制作商。ISO/IEC作为全球公认的权威标准组织，其发布的标准具有极高的公信力和市场强制力。ISO/IEC23090-5:2023的落地，为沉浸式媒体产业的健康发展提供了最坚实的法律与技术依据。五、结论与展望5.1结论总结ISO/IEC23090-5:2023《信息技术沉浸式媒体的编码表示第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）》是沉浸式媒体技术发展史上的一个里程碑。它成功地将复杂的三维空间数据压缩问题，巧妙地转化为对成熟二维视频编码器的高效利用问题，为体积视频和点云的存储、传输与应用提供了首个国际通用的标准化解决方案。该标准通过提出“补丁生成-包装-多平面编码”的统一架构，实现了以下价值：-效率与兼容性的完美平衡：在保持极高压缩率的同时，完美兼容现有H.265/H.266视频编码芯片和播放基础设施。-应用场景的极大拓展：从VR娱乐到自动驾驶，为多个万亿级产业奠定了技术基础。-产业生态的构建：驱动了从内容采集设备到云渲染服务的全链条协同发展。5.2未来展望：从“编码”到“智能”尽管ISO/IEC23090-5:2023已被废止（被更新的版本如ISO/IEC23090-5:2024或第二版替代），但这并非意味着其价值消失，而是标志着技术发展的加速。未来的发展方向将集中在以下几个方面：1.AI驱动的智能编码：2.实时与极低延迟编码：当前标准侧重于高效存储，但实时编码和解码的性能开销巨大。未来，结合边缘计算和6G网络，将开发出面向实时沉浸式通信（如VR会议）的专用编码器与解码器芯片，将延迟从秒级降低至毫秒级。3.面向特定领域优化的编码：除了通用的V3C和V-PCC，将出现针对特定应用的专用编码Profile。例如，面向自动驾驶的动态点云压缩算法，会重点优化对运动物体（如行人、车辆）的编码效率与几何精度；面向工业数字孪生的静态高精点云压缩算法，则会追求极致的几何保真度。4.标准化迭代与融合：随着ISO/IEC23090系列标准的不断演进