信息技术沉浸式媒体的编码表示第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo摘要本报告围绕国际标准ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》的立项与发展历程展开系统论述。随着虚拟现实（VR）、增强现实（AR）和扩展现实（XR）技术的快速普及，市场对高沉浸感、高自由度的视频体验需求激增，传统二维视频编码标准已难以满足多视点、六自由度（6DoF）场景下的高效压缩与传输需求。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合成立了运动图像专家组（MPEG），启动了MPEG-I（沉浸式媒体）系列标准的研发工作，其中第12部分（MIV）专注于沉浸式视频的编码表示。本报告详细剖析了该标准的立项背景（包括技术驱动因素与行业痛点）、核心编码架构（如基于基础视图和附加视图的表示模型、补丁数据缝合与属性映射机制）、关键技术特征（如视口依赖传输、元数据与感知质量优化），并分析了面向广电、流媒体、远程协作等典型场景的产业化应用。报告指出，MIV标准通过融合多视点视频加深度（MVD）与基于图像的渲染（IBR）技术，实现了在有限比特率下对多个视点的几何与纹理信息的高效压缩。尽管该标准已于2023年正式发布，但鉴于其被更新的技术方案迭代（如MPEG-ISceneDescription、Video-basedPointCloudCompression等），目前状态已显示为废止。本报告旨在为相关领域的技术研发人员、标准从业者及产业决策者提供一份兼具技术深度与产业视野的权威参考。关键词：沉浸式媒体；MPEG-I；ISO/IEC23090-12；视频编码；六自由度；虚拟现实；编码表示Keywords:ImmersiveMedia;MPEG-I;ISO/IEC23090-12;VideoCoding;SixDegreesofFreedom(6DoF);VirtualReality(VR);CodedRepresentation1.引言信息技术的发展正推动媒体形态从传统的平面视听向沉浸式、交互式体验演进。沉浸式视频作为一种核心媒介形式，不仅要求还原真实世界的视觉细节，更要求支持用户在三维空间内自由改变观看视角。然而，高自由度意味着需要传输海量的多视点数据，对现有视频编码与传输体系构成了严峻挑战。为应对这一技术需求，国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）下属的运动图像专家组（MPEG）自2017年起正式启动沉浸式媒体标准化工作，即MPEG-I系列标准。其中，ISO/IEC23090-12:2023（MPEGImmersiveVideo,MIV）是专为沉浸式视频设计的编码表示规范，旨在以更高的压缩效率支持3DoF+和6DoF场景。2.标准立项背景与需求分析2.1技术驱动：从3DoF到6DoF的演进早期沉浸式体验主要局限于3DoF（三自由度：俯仰、偏航、翻滚），用户仅能转动头部，无法进行空间位移。而6DoF（六自由度）在此基础上增加了三维空间的平移能力，允许用户自由“行走”于虚拟场景中。这一转变对视频编码提出了根本性要求：-多视点一致性：需精确编码不同摄像机视角间的几何与纹理关系。-几何表示：必须存储或隐式表达场景的深度信息。-交互响应：编码后的位流需支持低延迟的视口自适应传输。2.2行业痛点：现有编码标准的局限性传统视频编码标准（如H.264/AVC、H.265/HEVC）以及高动态范围编码标准（如HDR10+），均假设视频源为单一平面视角，无法高效处理存在视差的多视点输入。多视点视频编码（MVC）虽支持多通道，但其冗余去除能力有限，且不支持视点合成的随机访问。这些局限性在6DoF场景下会导致巨大的带宽消耗和存储成本。2.3标准化需求的确立面对上述矛盾，产业界迫切需要一种新的编码范式，其核心诉求包括：-在保持与现有编解码器兼容性的同时，引入专用的沉浸式工具。-提供可扩展的视点表示，支持从少量参考视点合成任意中间视点。-定义简洁、高效的元数据描述，使解码端能够理解场景几何结构。3.标准核心技术内容解析ISO/IEC23090-12:2023（MIV）并非一诞生就独立于现有编解码体系，而是一种建立在传统视频编解码器之上的“表示格式”。其核心创新在于通过一种称为“基础视图+附加视图（Atlas）”的架构，实现对沉浸式视频的高效编码。3.1核心架构：BasicView+AtlasMIV将输入的多个视点定义为“输入视图（InputViews）”。编码前，系统会选择一个或多个视图作为“基础视图”（BasicView），这些视图将被编码为完整的传统视频流。剩余视图中的非冗余信息（即空间位置或纹理上有别于基础视图的部分）被剪裁、打包成一种类似“补丁图集（PatchAtlas）”的二维视频流。具体流程包括：1.视口分析：计算每个输入视图与基础视图的视差，识别冗余区域。2.补丁裁剪：将非冗余的像素区域剪裁为小型矩形块（Patch）。3.图集组装：将多个补丁有序排列到单个二维帧中，形成“附加视图”（Atlas），并记录每个补丁在原始3D空间中的位置（全局坐标偏移量）和缩放信息。4.深度图编码：Atlas中包含深度信息，用于记录像素的深度值，为视点合成提供几何依据。3.2关键技术特征-视口依赖传输（Viewport-dependentStreaming）：MIV允许服务器仅根据用户当前视口传输部分基础视图和相应的Atlas补丁，而非完整场景的所有数据，显著降低了实时交互场景下的带宽需求。-高效冗余消除：通过全局运动补偿和局部补丁映射，MIV在不同视点间去除了90%以上的空间冗余。-元数据封装：标准定义了低开销的“MIVBitstreamMetadata”，其中包括补丁数据结构、相机参数、全局变换矩阵等，确保解码器能准确重建3D场景。3.3与相关标准的关系MIV作为ISO/IEC23090系列（MPEG-I）的一部分，与第2部分“基于几何的点云压缩（G-PCC）”和第5部分“基于视频的点云压缩（V-PCC）”互补。V-PCC侧重于对稀疏点云进行编码，而MIV侧重于对密集的、连续的多视角视频进行表示。在应用场景中，MIV更适用于实景采集、多机位体育赛事直播等场景。4.标准应用价值与产业展望4.1核心应用场景-沉浸式广电：支持用户通过头戴显示设备或裸眼3D屏幕，自由选择观看足球比赛或演唱会时的任意“黄金机位”。-远程沉浸式协作：在工业设计评审、远程医疗会诊中，参与者可围绕一个三维模型或场景全自由度行走。-虚拟社交与游戏：为元宇宙平台提供高压缩比、低延迟的视角渲染技术。4.2价值与局限性价值：MIV将6DoF视频编码的复杂度从“几何级增长”降维到“线性增长”，为后续产业化铺平了道路。局限性：由于编码器和解码器需实时执行复杂的补丁匹配与合成算法，对算力要求较高。此外，生成的Atlas视频流存在一定的边界伪影，特别是当视点之间深度差异较大时。5.主要参与单位介绍：FraunhoferHeinrichHertzInstitute(HHI)在ISO/IEC23090-12的制定过程中，德国的弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）扮演了至关重要的角色。该机构是MPEG-I沉浸式视频项目的核心贡献者之一，其提出的多项关键技术直接构成了MIV标准的核心框架。FraunhoferHHI是全球顶级的通信与多媒体技术研究机构，拥有深厚的视频编码研究根基（曾主导H.264/AVC的优化开发并深度参与HEVC/VVC标准化）。在MIV项目中，FraunhoferHHI团队专注于“高效多视点分析和表示模型”的开发。其贡献的“深度图优化”与“补丁图集生成”方法被采纳为MIV的参考软件模型的基准模块。该机构还提供了大量的测试序列（如“会场全景”、“足球赛”等），并主导了相关的主观质量评测实验，确保了标准对真实应用场景（包括复杂遮挡、急剧景深变化）的鲁棒性。作为标准化活动中的技术领导者，FraunhoferHHI不仅推动了标准的制定，还通过其开源项目（如MIV参考软件）促进了标准在产、学、研领域的广泛传播。其研究团队在标准化会议中提交的40余项技术提案，涵盖了从像素级编码优化到系统级架构设计的各个层面，直接塑造了MIV标准的技术高度和产业化可行性。这一贡献，体现了科研机构在将前沿技术转化为国际标准中的关键桥梁作用。6.结论与展望ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》的发布，是沉浸式媒体标准化进程中的一个重要里程碑。它巧妙地将复杂的6DoF视频压缩问题转化为一个高效的二维图集编码问题，通过补丁映射、视口依赖传输和深度几何建模等创新技术，显著提升了多视点视频的压缩效率，为实现高沉浸感、低带宽的视觉体验提供了可行的技术路径。然而，技术进步永无止境。该标准目前的“废止”状态并非意味着其技术的失效，而是反映了该领域标准的快速迭代。随着对更高压缩比、更强交互性、更低延迟的需求不断涌现，以及人工智能赋能编码技