ISOIEC 23090-122025 信息技术.沉浸式媒体的编码表示.第12部分MPEG沉浸式视频标准立项发展报告

MPEG沉浸式视频（ISO/IEC23090-12:2025）标准立项发展报告StandardizationDevelopmentReport:MPEGImmersiveVideo(ISO/IEC23090-12:2025)摘要随着虚拟现实（VR）、增强现实（AR）及扩展现实（XR）技术的迅猛发展，沉浸式媒体已成为全球信息产业竞争的战略高地。作为支撑沉浸式体验的核心技术环节，视频编码标准的制定与演进直接决定了沉浸式媒体系统的传输效率、存储成本与用户体验。本标准立项发展报告以国际标准化组织/国际电工委员会（ISO/IEC）联合发布的技术标准ISO/IEC23090-12:2025《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》为研究对象，系统阐述该标准的立项背景、技术演进脉络、核心编码框架及其在产业应用中的战略价值。报告详细梳理了MPEG沉浸式视频标准从需求分析、技术征集、参考软件验证到国际标准草案（DIS）及各阶段审议的完整标准化工作流程，深入分析了该标准在六自由度（6DoF）视频支持、基于几何的网格编码、位流语法设计及渲染友好性等方面的核心技术特征。同时，本报告介绍了标准主要贡献单位——索尼公司的技术积累与标准化实践，并对该标准在未来沉浸式通信、自由视点体育直播、沉浸式远程协作等典型应用场景中的推广前景进行了展望，旨在为相关领域科研人员、标准工作者及产业决策者提供全面、权威的参考依据。关键词：MPEG沉浸式视频；沉浸式媒体；视频编码标准；六自由度；ISO/IEC23090；虚拟现实；网格编码Keywords:MPEGImmersiveVideo;ImmersiveMedia;VideoCodingStandard;SixDegreesofFreedom;ISO/IEC23090;VirtualReality;MeshCoding1引言1.1研究背景近年来，以虚拟现实和增强现实为代表的沉浸式技术在全球范围内呈现出爆发式增长态势。根据国际数据资讯（IDC）发布的市场追踪报告，全球VR/AR头显设备出货量持续攀升，消费级与行业级应用场景不断扩展，涵盖沉浸式游戏、虚拟社交、远程教育、医学可视化、工业仿真及体育赛事直播等众多领域[1]。然而，沉浸式媒体与传统平面视频在数据特性上存在本质差异——沉浸式视频通常包含多视角相机阵列采集的高分辨率画面、深度信息及几何网格数据，其原始数据量可达传统高清视频的数十倍乃至上百倍。这一特性对视频编码标准提出了全新的技术要求：在保证高保真视觉质量的前提下，如何实现高效的压缩表示、灵活的自适应传输以及对渲染终端的友好支持，成为标准化工作的核心议题。国际标准化组织与国际电工委员会下属的动态图像专家组（MovingPictureExpertsGroup，MPEG）长期致力于媒体编码国际标准的制定工作。从MPEG-1到MPEG-4，从H.264/AVC到H.265/HEVC，MPEG系列标准持续引领着音视频编码技术的发展方向[2]。面对沉浸式媒体的编码需求，MPEG于2017年启动MPEG-I（沉浸式媒体）阶段一标准化工作，并在ISO/IEC23090系列框架下陆续发布了多项相关标准。其中，ISO/IEC23090-12（MPEGImmersiveVideo，MIV）作为承载沉浸式视频核心编码表示的关键标准，自立项之初便受到全球学术界与产业界的广泛关注。1.2标准基本信息本标准编号为ISO/IEC23090-12:2025，正式名称为《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》（Informationtechnology-Codedrepresentationofimmersivemedia-Part12:MPEGimmersivevideo），由ISO/IECJTC1/SC29（编码音视频、多媒体与超媒体信息分技术委员会）归口管理，国际电工委员会发布，标准状态为现行（Active），正式发布日期为2025年9月1日，标准语言为英语。该标准确立了沉浸式视频的统一编码表示框架，为多视角视频、深度信息及几何数据的压缩传输提供了完整的标准化技术方案。2标准立项背景与需求分析2.1沉浸式媒体标准的总体架构ISO/IEC23090（MPEG-I）系列标准是MPEG面向沉浸式媒体应用制定的系统性标准族，其各部分分别针对沉浸式媒体的不同技术维度进行规范。具体而言：第2部分（ISO/IEC23090-2）规定了沉浸式视频的编码表示，即本报告所述的MPEG沉浸式视频标准；第3部分（ISO/IEC23090-3）聚焦沉浸式音频的编码表示；第5部分（ISO/IEC23090-5）定义了点云压缩标准；第6部分（ISO/IEC23090-6）规范了沉浸式媒体的传输协议；第10部分（ISO/IEC23090-10）则涉及网格编码标准[3]。这一系列标准相互配合，构成了覆盖视觉、听觉、几何及传输等全方位技术维度的沉浸式媒体标准生态。MIV标准在整个MPEG-I标准体系中处于核心枢纽地位——它既是沉浸式视觉内容编码的基础性规范，又是连接采集端、传输端与渲染端的标准化桥梁。MIV标准的设计目标并非替代既有的传统视频编码标准（如H.265/HEVC、H.266/VVC），而是架构于其之上，通过引入“源内容精简”与“补充信息编码”的核心理念，利用现有高性能视频编码器对沉浸式视频信号进行高效压缩[4]。2.2沉浸式视频编码的技术挑战与传统平面视频相比，沉浸式视频编码面临三大核心挑战：其二，实时性与交互性的双重约束。沉浸式媒体的典型应用场景往往要求低时延的交互式体验。当用户改变头部位置或视角方向时，系统需实时解码并渲染相应的视频内容。这种交互性需求使得编码后的码流必须具备灵活的随机访问能力和视点自适应能力，而传统视频编码标准在这方面的支持相对有限[6]。其三，终端渲染适配的复杂性。不同沉浸式终端设备的显示能力、解码资源和渲染管线存在显著差异。编码表示需要在码流层面提供多层次的适配能力，使终端能够依据自身能力选择解码和渲染相应的子集，从而在计算资源、带宽消耗与视觉质量之间取得最优平衡。2.3现有标准的能力缺口与MIV的立项动因在MIV标准立项之前，沉浸式视频编码主要依赖两类技术路径：一是直接使用传统视频编码标准对各视角视频分别进行独立编码，这种方式虽然简单直接，但未能充分利用多视角视频之间的高度相关性，编码冗余大；二是采用多视角视频编码（MVC）及其扩展技术，该类技术在视角相关性利用方面有所改善，但其架构设计主要面向有限的视角数量，对大规模相机阵列和包含深度信息的沉浸式视频支持能力明显不足[7]。此外，MPEG在点云编码（ISO/IEC23090-5）和网格编码（ISO/IEC23090-10）方面的标准化工作主要面向静态或动态几何对象的编码表示，其技术方案侧重于几何信息的精确重建。然而，沉浸式视频的核心特征是“以纹理视频为主导、辅以几何信息”，在编码策略和位流组织方式上与纯几何编码存在根本性差异。因此，亟需制定一项专门面向沉浸式视频的编码表示标准，在充分利用现有视频编码技术优势的同时，为多视角纹理与深度信息的高效压缩和灵活表示提供统一的标准化框架[8]。在上述背景下，MPEG于2019年正式发布MIV标准的征集提案（CallforProposals），面向全球征集沉浸式视频编码技术方案。来自工业界与学术界的多家机构提交了技术提案，经过严格的对比测试与主观/客观质量评估，最终确定了以基于图块（Patch）的源内容精简技术为核心的参考模型，并逐步推进标准的制定工作[9]。3核心技术内容3.1标准框架与设计理念ISO/IEC23090-12:2025所定义的MPEG沉浸式视频编码标准，其基本设计理念可概括为“以图块为基础的内容精简+以既有编码器为核心的视频压缩+以补充信息为辅助的视点合成支持”。MIV编码器在预处理阶段对各输入视角的视频帧进行分析，识别出包含冗余信息的内容区域，并通过图块提取操作仅保留必要的像素区域，将多视角源内容高效重组为一个或多个图块集合（PatchAtlas）视频序列。这些图块集合视频随后使用传统视频编码标准（HEVC或VVC）进行压缩编码。与此同时，编码器生成一组补充信息（SupplementaryInformation），描述图块与源视角之间的映射关系、深度信息的使用方式以及渲染所需的几何参数[10]。值得注意的是，MIV标准在规范层级上采用了“编码表示”而非“编码算法”的定位。这意味着标准仅规定位流语法和解码过程，而不限制编码器的具体实现方式。这一设计为不同厂商的编码器实现提供了充分的优化空间，各机构可在保持码流互通性的前提下，开发具有差异化竞争优势的高效编码方案。3.2对六自由度（6DoF）视频的支持MIV标准对沉浸式视频的支持能力覆盖从三自由度（3DoF）到六自由度（6DoF）的完整范围。在3DoF场景中，用户头部可在固定位置进行旋转操作，视频内容通常采用等距柱状投影（EquirectangularProjection）表示。MIV可对这种全景视频进行有效编码。在6DoF场景中，用户可在虚拟场景中自由移动位置，MIV通过多视角纹理与深度信息的联合编码表示，使解码端能够利用深度图像渲染（Depth-Image-BasedRendering，DIBR）技术合成任意虚拟视角的图像[11]。3.3位流语法与解码过程MIV标准定义的位流结构由以下核心元素组成：首先是图块集合序列（AtlasSequence），它承载了精简后的纹理和深度信息，是解码器重建沉浸式视频画面的主要数据来源；其次是补充信息（SupplementaryInformation），以参数集的形式携带图块布局、图块与源视角的对应关系、相机参数及深度表示方式等关键元数据；再次是在基础层之上可选存在的增强层，用于渐进式质量提升或附加视角信息的表示[12]。解码器在解码过程中，首先从位流中解析补充信息和图块集合序列，然后通过逆图块映射操作将解码后的图块集合恢复为多视角纹理与深度信号。最终，依据用户当前视点位置，解码器调用视图合成模块，利用恢复的多视角信号通过DIBR技术合成目标视点的图像。整体解码流程的设计兼顾了计算复杂度和渲染灵活性，使MIV解码器能够适配从高性能PC到移动终端的多种平台。4标准制定历程与参与单位4.1标准制定时间线与关键节点MIV标准的制定经历了严谨而高效的标准化流程。2019年7月，MPEG在瑞典哥德堡会议上正式发布MIV征集提案，标志着标准制定工作的正式启动。此后，标准草案经历了多次迭代完善：从核心实验定义到参考软件模型确立，从工作草案（WD）到委员会草案（CD），从国际标准草案（DIS）到最终国际标准草案（FDIS），每一步均经过全球参与成员的充分讨论和投票认可。在标准制定过程中，关键的技术决策包括：确定基于图块集成的编码框架作为参考模型架构、定义补充信息的语法元素与语义约束、确定与HEVC/VVC的对接方式和位流封装格式。这些决策经过了多轮主观视觉质量测试和客观指标评估的验证，确保了标准技术方案的先进性和鲁棒性。4.2主要贡献单位——索尼集团公司在MIV标准的制定过程中，索尼集团公司（SonyGroupCorporation，以下简称“索尼”）作为全球领先的电子与信息技术企业，发挥了不可替代的核心技术贡献作用。索尼在沉浸式媒体技术领域的深厚积累源自其长期在影视制作、专业广播及消费电子领域的系统性布局。在MIV标准制定中，索尼贡献了多项关键编码工具和优化算法，尤其在基于深度信息的视图合成优化、图块布局的自适应决策以及补充信息的精简表示等方面做出了突出贡献。索尼团队提出的一些核心编码工具被采纳为标准参考模型的组成部分，显著提升了编码效率与渲染质量。索尼在标准化组织中的深度参与与其产业战略高度一致。作为沉浸式内容生产设备和显示终端的综合制造商，索尼深刻理解沉浸式视频编码标准对端到端产业链打通的关键作用。在MIV标准的讨论过程中，索尼不仅是技术提案的积极贡献者，还承担了交叉验证、一致性测试规范制定及参考软件维护等重要的标准化支撑工作。其专业团队活跃于ISO/IECJTC1/SC29/WG3各次工作组会议，联合全球合作伙伴共同推进标准的技术成熟及推广落地。除索尼之外，华为、三星、高通、英特尔、FraunhoferHHI等全球知名企业与研究机构也为MIV标准的制定做出了重要贡献，共同构建了该标准坚实的技术基础。5标准应用前景与推广价值5.1典型应用场景分析MIV标准的应用场景覆盖多个高价值领域：（一）沉浸式体育赛事直播。体育赛事的沉浸式转播是MIV最具市场潜力的应用场景之一。通过在体育场馆内部署多相机阵列，结合MIV编码技术，可为远端观众提供自由视点的赛事观看体验。观众可自主选择观看视角、聚焦特定运动员或从任意机位欣赏精彩瞬间回放，显著增强观赛的沉浸感和交互性。（二）沉浸式远程协作。在工业设计评审、医疗手术指导及远程教育等专业场景中，MIV支持的6DoF沉浸式视频能够为远程参与者提供身临其境的临场感知能力。相比传统的平面视频会议系统，沉浸式远程协作可实现更精准的空间理解和更自然的多方交互。5.2产业推广的政策与技术支撑从政策层面看，我国《虚拟现实与行业应用融合发展行动计划（2022—2026年）》明确提出突破近眼显示、渲染处理等关键核心技术，加快虚拟现实与行业应用的深度融合[13]。MIV标准作为沉浸式视频编码领域的核心国际标准，对我国发展自主可控的沉浸式媒体产业链具有重要参考价值。国内相关企业和科研机构应加快对MIV标准的技术跟踪和自主创新能力建设，在标准应用和演进过程中争取更多话语权。从技术层面看，MIV标准与新一代视频编码标准VVC的深度对接将持续拓展其性能边界。随着5G/6G通信网络的大规模部署，沉浸式视频的传输带宽瓶颈将显著缓解，MIV标准的规模化商用条件日趋成熟。6结论与展望ISO/IEC23090-12:2025（MPEG沉浸式视频）标准的正式发布，是沉浸式媒体标准化进程中的重要里程碑。该标准基于MPEG数十年的视频编码标准化经验，以创新的图块集成框架和补充信息机制，有效解决了沉浸式视频在数据压缩、灵活传输与渲染适配等方面的关键技术难题。标准在架构设计上充分考虑了前向兼容性和实现灵活性，为产业界提供了稳定可靠的技术基石。展望未来，MIV标准的生命力将在以下方向上持续彰显：其一，随着VVC等新一代高效编码器的全面商用，MIV的整体编码效率有望进一步提升，更好地满足超高分辨率沉浸式视频的编码需求；其二，人工智能技术在视频处理领域的深入应用，将为MIV编码器的智能化优化提供新的技术路径；其三，MIV与点云编码、网格编码等相邻标准的协同融合，将催生更为完整的沉浸式内容表示解决方案。可以预见，在标准化组织、产业界和学术界的共同推动下，MPEG沉浸式视频标准将逐步成为沉浸式媒体内容生产、分发与消费环节的核心技术规范，为全球沉浸式产业的发展提供持续、强劲的标准化驱动力。参考文献[1]IDC.WorldwideAugmentedandVirtualRealityHeadsetTracker,2025.InternationalDataCorporation,2025.[2]ISO/IECJTC1/SC29.OverviewoftheMPEG-4Standard,ISO/IECJTC1/SC29/WG11N4668,2002.[3]ISO/IEC23090-2:2023.Informationtechnology—Codedrepresentationofimmersivemedia—Part2:Immersivevideo.ISO/IEC,2023.[4]BoyceJM,YeY,ChenJ,etal.OverviewoftheMPEGimmersivevideocodingstandard[C]//ProceedingsoftheISO/IECJTC1/SC2