ISOIEC 23090-122025 信息技术.沉浸式媒体的编码表示.第12部分MPEG沉浸式视频标准立项发展报告

IT业标准立项发展报告：MPEG沉浸式视频（ISO/IEC23090-12:2025）标准立项发展报告StandardizationDevelopmentReport:MPEGImmersiveVideo—Part12:InformationTechnology-CodedRepresentationofImmersiveMedia(ISO/IEC23090-12:2025)摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的迅猛发展，传统平面视频编码标准已难以满足六自由度（6DoF）交互场景对海量三维空间数据的压缩与传输需求。为应对这一挑战，国际标准化组织动态图像专家组（MPEG）在ISO/IEC23090系列框架下启动了MPEG沉浸式视频（MIV）标准的研制工作。本报告围绕ISO/IEC23090-12:2025《信息技术—沉浸式媒体的编码表示—第12部分：MPEG沉浸式视频》的立项背景、技术框架、标准化历程及产业应用前景展开系统论述。报告指出，MIV标准通过“基础视图+附加信息”的混合编码架构，在兼容传统视频编解码器的基础上实现了多视角场景的高效表示与压缩，显著降低了沉浸式内容的分发带宽门槛。该标准填补了沉浸式视频编码领域的国际空白，对于推动沉浸式媒体产业的规模化商用具有重要意义。报告同时介绍了标准修订过程中的主要参与单位及相关技术贡献，并对该标准的未来演进方向进行了展望。关键词：MPEG沉浸式视频；沉浸式媒体；ISO/IEC23090；视频编码；六自由度；虚拟现实；多视角压缩Keywords:MPEGImmersiveVideo;ImmersiveMedia;ISO/IEC23090;VideoCoding;SixDegreesofFreedom;VirtualReality;Multi-viewCompression1引言1.1研究背景随着第五代移动通信（5G）网络的大规模部署以及终端显示设备的不断迭代，沉浸式媒体技术正从实验室走向消费市场，成为数字经济时代最具增长潜力的信息消费形态之一。与传统的二维平面视频相比，沉浸式视频能够为用户提供具有深度感知和交互能力的视觉体验，支持用户在虚拟场景中进行视角切换和自由漫游，即所谓“六自由度”（6DegreesofFreedom,6DoF）交互能力。然而，沉浸式视频的实现依赖对真实世界场景的多视角采集与三维重建，由此产生的数据量呈指数级增长。以典型的6DoF沉浸式视频为例，其原始数据量可达同等分辨率传统视频的数十倍乃至上百倍。在现有网络带宽条件下，若不经过高效压缩编码，海量沉浸式内容的实时传输与存储几乎无法实现。因此，制定专门面向沉浸式媒体的高效视频编码标准，成为制约该产业发展的关键瓶颈。1.2国际标准化需求在沉浸式媒体编码领域，传统的ISO/IEC14496-10（H.264/AVC）、ISO/IEC23008-2（H.265/HEVC）及ISO/IEC23090-3（H.266/VVC）等视频编码标准虽具备优秀的平面视频压缩能力，但其设计初衷并非针对多视角、多平面深度信息的联合编码。沉浸式媒体的编码需要在保证任意视角渲染质量的前提下，充分利用多视角之间的数据冗余，实现整体码率的最小化。这一技术特征决定了必须制定一项面向沉浸式媒体特性的专用编码标准，而非简单复用传统视频编码工具。在此背景下，ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息技术分技术委员会）下属的MPEG工作组于2019年正式启动MPEG沉浸式视频（MIV）标准化项目，其目标是制定一种能够兼容现有视频编码标准、同时面向沉浸式显示应用的高效编码解决方案。2标准立项概况2.1标准基本信息-标准编号：ISO/IEC23090-12:2025-标准全称：Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo-中文译名：信息技术—沉浸式媒体的编码表示—第12部分：MPEG沉浸式视频-标准状态：现行（Published）-发布机构：国际标准化组织（ISO）与国际电工委员会（IEC）联合发布-发布日期：2025年9月1日-标准性质：国际标准-标准语言：英语2.2标准所属系列本标准隶属于ISO/IEC23090系列标准（即MPEG-I标准体系）。该系列标准聚焦于沉浸式媒体的编码表示，涵盖沉浸式视频、音频、点云、深度映射等多种数据类型。其中：-ISO/IEC23090-1：沉浸式媒体架构-ISO/IEC23090-2：沉浸式视频（omnidirectionalmedia,OMAF）-ISO/IEC23090-3：多功能视频编码（VVC）-ISO/IEC23090-5：点云编码（V-PCC）-ISO/IEC23090-12：MPEG沉浸式视频（MIV）MIV作为该系列的第12部分，与OMAF（第2部分）形成互补：OMAF面向的是基于球面投影的全景视频编码，而MIV则面向具有视差和深度信息的六自由度沉浸式视频编码，代表了沉浸式媒体编码技术从“环绕观看”向“自由漫游”的演进方向。2.3编制历程MIV标准的研制经历了多个阶段。自2019年立项以来，MPEG组织收集了来自全球近百个机构的技术提案，经历了多轮核心实验（CoreExperiment）与评估测试。经过数次技术评审与草案修订，MIV标准最终于2024年进入国际标准最终草案（FDIS）阶段，并于2025年9月正式发布。值得注意的是，该标准的开发并非从零开始，而是在已有MPEG-I架构基础上，继承了OMAF以及VVC标准中适用于沉浸式场景的编码工具，同时创新性地提出了面向多视角视频的特定编码工具和比特流语法结构，实现了“继承”与“创新”的有机统一。3标准核心技术内容3.1标准适用范围ISO/IEC23090-12规定了一种用于表示沉浸式视频的编码格式，该格式支持从有限数量的输入视角生成任意输出视角的六自由度沉浸式显示。该标准定义的比特流语法和语义约束了编码后的沉浸式视频数据格式，使得符合标准的解码器和渲染器能够对视差信息进行正确的解析和渲染。MIV标准的适用范围包括：-虚拟现实（VR）内容的制作与分发；-增强现实（AR）内容的场景融合；-自由视角视频（Free-viewpointVideo）的编码传输；-体育赛事、演出活动、远程教育等沉浸式直播场景；-沉浸式广告、数字文博、建筑可视化等垂直行业应用。3.2编码架构与技术原理MIV编码器的核心架构可概括为“以传统视频编码器为核心、以MPEG-I附加信息为辅助”的混合编码框架。其基本设计思想为：在发送端，将从多视角相机阵列获取的场景原始数据（包括纹理图与深度图）进行预处理，通过“基本视图选择”与“附加信息生成”两大模块，将多视角数据转换为一个基础视频序列（BasicVideoSequence）及若干辅助数据流。具体而言，MIV编码流程包括以下关键步骤：第一，视角分组与基本视图选择。编码器根据虚拟视点分布需求，从输入的多视角数据中选择部分视角作为“基本视图”（BasicViews），这些视图将直接采用传统视频编码器（如H.265/HEVC或H.266/VVC）进行编码。基本视图的选取原则是在保证全场景覆盖的前提下最小化视图数量，以降低编码码率。第二，冗余信息剔除（Pruning）。对于未被选入基本视图的其余视角，编码器通过像素级深度比较，剔除与基本视图在空间位置和颜色信息上存在高度冗余的区域，仅保留携带额外信息的“补充图像”（Patch）。相较于直接编码全部视角数据，该过程可将待编码数据量降低70%以上。第三，补充图像打包（PatchPacking）。将从各附加视角提取的补充图像按照特定规则高效排列，形成若干幅“附加视频序列”（AdditionalVideoSequences），再送入传统视频编码器进行压缩。第四，辅助信息编码。为支持解码端正确重建接收到的补充图像并将其映射回三维空间，MIV定义了一系列辅助信息，包括补充图像在打包图像中的位置坐标（PackingMap）、视角间对应关系（ViewParameter）、深度表示参数等。这些辅助信息以高效方式编码为元数据流，与视频流一并传输。3.3解码与渲染流程4标准主要参与单位与应用前景4.1主要参与单位——FraunhoferHHI在MIV标准的研制过程中，Fraunhofer海因里希·赫兹研究所（HeinrichHertzInstitute,HHI）作为沉浸式视频编码技术领域的核心研究机构，始终扮演着引领性的角色。该研究所隶属于德国弗劳恩霍夫应用研究促进协会，是欧洲最大的应用研究机构之一，长期从事视频编码、图像处理与沉浸式媒体技术研究。FraunhoferHHI是H.264/AVC、H.265/HEVC及H.266/VVC等国际视频编码标准的核心贡献者之一，在视频编码工具箱的设计和优化方面积累了深厚的技术底蕴。在MIV标准项目中，FraunhoferHHI团队主导了MIV编码架构的整体设计和关键技术验证工作，包括：-提出了基于深度图剪除和补充图像打包的MIV核心编码框架，该框架是MIV标准的基石；-开发了MIV标准参考软件模型（TestModelforMIV），为各参与单位提供了统一的实验评估平台；-领导了多个核心实验（CoreExperiments），涵盖视角剪除效率优化、补充图像打包策略改进、元数据压缩等关键议题；-联合TNO、华为、英特尔等多家国际机构开展了面向沉浸式视频的主观质量评价实验，建立了面向6DoF场景的评价方法体系。FraunhoferHHI在MIV标准中的贡献不仅体现在技术提案的数量与质量上，更重要的是，其提出的基本视图+附加数据流编码架构在标准化讨论中形成了共识基础，为MIV标准在较短时间内完成从立项到发布提供了核心推动力。该研究所还依托其在柏林拥有的世界领先的沉浸式媒体实验室，为MIV标准的验证提供了包括光场相机阵列、高动态范围显示墙等在内的顶尖实验条件。除FraunhoferHHI外，华为技术有限公司、韩国电子通信研究院（ETRI）、日本广播协会（NHK）、挪威理工大学等多家国际机构也为MIV标准中补充图像打包策略、深度信息编码及渲染架构设计提供了重要技术输入。4.2应用前景分析MIV标准的发布具有广泛的产业应用前景：在广播电视领域，MIV技术支持体育赛事和大型演出的自由视角直播。观众可在观看过程中自主选择观赛角度，获得“身临其境”的观赛体验。该技术已被多家国际转播商纳入下一代沉浸式转播技术评估范畴。在远程协作和数字孪生领域，MIV的六自由度特性使用户可以从任意角度检视远程场景或数字孪生体，为工业巡检、远程医疗、建筑可视化等场景提供了全新的信息呈现手段。5结论ISO/IEC23090-12:2025（MPEG沉浸式视频）的正式发布标志着沉浸式视频编码领域国际标准的重大突破，填补了六自由度沉浸式内容高效压缩编码的标准空白。该标准通过将多视角数据智能转换为“基本视频+附加图像+元数据”的混合表示，在充分发挥传统视频编码器压缩效率的同时，有效满足了沉浸式显示所需的任意视角合成能力，为沉浸式媒体从技术验证走向规模化商用奠定了坚实的标准化基础。展望未来，MIV标准将沿着以下方向持续演进：参考文献[1]ISO/IEC23090-12:2025,Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo[S].Geneva:ISO/IEC,2025.[2]ISO/IEC23090-2:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part2:Omnidirectionalmediaformat[S].Geneva:ISO/IEC,2023.[3]ISO/IEC23090-3:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part3:Versatilevideocoding[S].Geneva:IS