ISOIEC 23090-122023 信息技术沉浸式媒体的编码表示第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part12:MPEGImmersiveVideo摘要随着虚拟现实（VR）、增强现实（AR）及扩展现实（XR）等沉浸式技术的迅猛发展，传统平面视频编码标准已难以满足多视角、高分辨率、大视场角及六自由度交互等新兴应用场景的需求。在此背景下，国际标准化组织（ISO/IEC）下属的运动图像专家组（MPEG）启动了沉浸式视频编码标准化工作，并于2023年8月11日正式发布ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》。该标准定义了基于多路纹理图和深度图的沉浸式视频编码表示框架，支持从3DoF到6DoF的沉浸式体验分级实现，为沉浸式媒体内容的压缩、传输与渲染提供了统一的编码接口和码流格式。本报告系统梳理了该标准的立项背景、技术框架、核心特性及主要参与单位，深入分析了其在MPEG沉浸式媒体标准体系（MPEG-I）中的定位与作用，并对该标准的应用前景与未来演进方向进行了展望。报告指出，ISO/IEC23090-12:2023的发布填补了沉浸式视频编码领域国际标准的空白，对于推动沉浸式媒体产业链的成熟和规模化部署具有重要的引领意义。关键词：沉浸式媒体；MPEG-I；视频编码；MIV；ISO/IEC23090-12；虚拟现实；深度图AbstractWiththerapidadvancementofimmersivetechnologiessuchasVirtualReality(VR),AugmentedReality(AR),andExtendedReality(XR),conventionalplanarvideocodingstandardscannolongermeetthedemandsofemergingapplicationsfeaturingmulti-view,high-resolution,largefield-of-view,andsix-degrees-of-freedom(6DoF)interaction.Againstthisbackdrop,theMovingPictureExpertsGroup(MPEG)underISO/IECinitiatedstandardizationeffortsforimmersivevideocodingandofficiallyreleasedISO/IEC23090-12:2023,"Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo,"onAugust11,2023.Thisstandarddefinesacodedrepresentationframeworkforimmersivevideobasedonmultipletextureanddepthmaps,supportingagradedimmersiveexperiencefrom3DoFto6DoF,andprovidesaunifiedcodinginterfaceandbitstreamformatforthecompression,transmission,andrenderingofimmersivemediacontent.Thisreportsystematicallyreviewstheprojectbackground,technicalframework,corefeatures,andkeyparticipatingorganizationsofthestandard,analyzesitsroleandpositioningwithintheMPEGimmersivemediastandardarchitecture(MPEG-I),anddiscussesitsapplicationprospectsandfutureevolution.ThereportconcludesthatthereleaseofISO/IEC23090-12:2023fillsthegapininternationalstandardsforimmersivevideocodingandholdssignificantguidingvalueforpromotingthematurationandlarge-scaledeploymentoftheimmersivemediaindustrychain.Keywords:immersivemedia;MPEG-I;videocoding;MIV;ISO/IEC23090-12;virtualreality;depthmap一、引言1.1立项背景近年来，沉浸式媒体技术在全球范围内呈现出爆发式增长态势。根据中国信息通信研究院发布的数据，2023年全球虚拟现实（VR）终端出货量突破千万台大关，扩展现实（XR）产业市场规模已超过千亿元人民币。与此同时，5G/6G通信网络的规模化部署、图形处理器（GPU）算力的持续提升以及显示终端分辨率的快速迭代，为沉浸式内容的生产、传输和消费提供了坚实的技术基础。然而，沉浸式视频内容与传统的平面视频在数据形态、编码方式和呈现模式上存在本质差异。沉浸式视频通常由多个视角的纹理图和深度图组成，需要支持用户在空间中的自由漫游视角切换（即6DoF体验），其数据量远超传统平面视频，在压缩效率、编码结构和渲染质量等方面对现有视频编码标准提出了严峻挑战。传统视频编码标准（如H.265/HEVC、H.266/VVC）虽然在平面视频压缩方面取得了显著成效，但难以直接高效地处理多视角、多平面的沉浸式视频数据。1.2标准定位为应对上述挑战，国际标准化组织（ISO/IECJTC1/SC29）下属的运动图像专家组（MPEG）于2017年启动了MPEG-I（MPEGImmersiveMedia）沉浸式媒体标准系列的研究工作，旨在建立一套覆盖沉浸式媒体内容获取、编码、传输、渲染全链路的国际标准体系。其中，ISO/IEC23090-12:2023（MPEGImmersiveVideo，简称MIV）是该系列中专注于沉浸式视频编码表示的核心标准。该标准的制定工作始于2019年，由MPEG下设的沉浸式视频编码特别工作组牵头，汇集了全球数十家科研机构和企业力量，经过多轮提案征集、核心实验（CoreExperiments）和验证测试（VerificationTests），最终于2023年8月11日由ISO/IEC正式发布。该标准定义了一套基于多路纹理图和深度图的沉浸式视频编码表示框架，通过与ISO/IEC23090-5（HEVC子码流）或ISO/IEC23090-3（VVC子码流）等传统视频编码器协同工作，实现对沉浸式视频内容的高效压缩和灵活表示。二、标准技术框架2.1基本架构ISO/IEC23090-12:2023定义了一种基于多路纹理图和深度图的沉浸式视频编码表示框架，其核心设计理念可概括为"采集端灵活多样、编码端标准统一、解码端按需渲染"。该标准将采集端获取的多个视角的视频信号转换为一种标准化的中间表示格式——即"图集（Atlas）"数据，由传统视频编码器压缩后再传输至接收端，由渲染器根据观看者的实时视点位置合成所需视角的画面。具体而言，该标准包含以下关键技术环节：（一）输入数据格式与预处理。标准定义了源输入数据的基本格式要求，包括多路纹理图和深度图的分辨率、位深、帧率及视角参数等属性规范。为保证不同采集设备和内容制作系统之间的互操作性，标准规定了输入数据必须附带必要的相机参数信息，包括相机内外参数、位姿信息及深度范围等元数据。这些元数据被封装于标准定义的自定义SEI消息中，以便于解码端正确解析和渲染。（二）图集构建与内容复用技术。这是MIV标准最具创新性的核心环节。MIV采用"基于内容的复用（Content-Reuse）"策略：在多视角视频中，不同视角之间存在大量视觉冗余，标准通过在全局参考视图中选择基础视图（BasicView），并对其余视图中的新增信息进行提取和打包生成辅助视图（AdditionalView），形成若干图集——即Atlas，再编码传输给解码端。该机制包括以下关键功能模块：-剪裁与打包（PruningandPacking）：通过视差分析剔除视角间的重叠区域，仅保留各视角中的新增信息（如遮挡区域），并将这些有效区域以矩形块的形式打包至一个或多个图集中，从而显著减少待编码的数据量。-图集划分（AtlasPartitioning）：将不同时间子集的图集按需划分至多个子图集（Sub-Atlas），以匹配不同的编码器和传输通道配置需求，提升系统灵活性。例如在典型的帧兼容（Frame-Compatible）应用中，子图集可被并排放置到一个全帧（FullFrame）中并由传统2D视频编码器处理。-像素占用图（PixelOccupancyMap）：用于标识图集中各像素位置是否属于有效内容（即是否需要被渲染使用），为解码端提供必要的空间映射信息。（三）编码与封装。标准采用与既有视频编码标准协同配合的方式：图集序列和占用图序列由传统视频编码器（如HEVC或VVC）进行压缩编码，相关辅助元数据信息封装为SEI消息随视频码流一同传输。这种"传统编码器+SEI辅助信息"的设计思路使得MIV可以充分利用既有成熟编码技术和硬件编解码设施，同时在系统层面保持灵活性。（四）解码与渲染。接收端将视频码流解码获得图集和占用图后，通过标准定义的渲染流程，结合观看者的当前视点位置信息，选择对应的基础视图和辅助视图数据进行合成，输出适应当前视角的沉浸式画面。该渲染过程支持从3DoF（三自由度，仅支持头部转动）到6DoF（六自由度，支持空间位置移动）的沉浸式体验分级实现，满足不同应用场景和终端能力的需求。2.2标准体系定位ISO/IEC23090-12在MPEG-I标准体系中占据核心位置。MPEG-I系列标准还包括以下相关部分：-ISO/IEC23090-2：沉浸式媒体内容的传输与存储格式-ISO/IEC23090-3：沉浸式视频的VVC编码-ISO/IEC23090-5：沉浸式视频的HEVC编码-ISO/IEC23090-6：沉浸式媒体的消息交换协议-ISO/IEC23090-7：沉浸式媒体的元数据MIV标准通过定义统一的中间表示格式和编码接口，将采集端、编码端、传输端和渲染端有机衔接，是MPEG-I标准体系中实现端到端沉浸式视频交互的关键枢纽。三、关键技术特性3.1深度图融合渲染MIV标准在深度图的使用与处理方面提出了创新性方法。标准规定的深度图具有两类可选表达模式：一种是传统意义上的深度图（Depth），直接表征场景中各点相对相机的深度距离；另一种是视差图（Disparity），表征同一场景点在相邻视角图像中的像素偏移量。两种模式通过统一的深度范围元数据（DepthRange）进行规范描述，解码端可根据元数据将视差图映射至深度图，从而在不同数据模式之间灵活转换。这种设计使得MIV可以与多种采集和渲染设备及流程衔接，提高了系统的通用性和可部署性。在渲染端，标准规定了基于深度图像的渲染（Depth-Image-BasedRendering，DIBR）技术的参考执行路径，支持从图集数据中有效合成目标视点画面。同时，为了提升渲染质量、弱化深度误差引起的几何失真，标准还支持在编码过程中引入深度图质量增强模块，根据纹理和深度信息的联合分析结果，对深度图进行预处理优化或辅助滤波。3.2面向沉浸式体验的分级支持MIV标准在设计上体现了"体验分级、灵活适配"的理念。该标准支持从基础3DoF到高级6DoF的分层式沉浸式体验实现方案：-3DoF模式：仅需全景视频数据，适用于固定位置头部转动的体验场景。-3DoF+模式：在3DoF基础上增加视觉视差信息，支持有限范围内的视角平移，显著增强了沉浸感和真实感。-6DoF模式：支持用户在一定空间范围内自由移动，从任意视角观察场景，是沉浸式视频的终极形态。这种分级设计使得MIV标准可以适配不同阶段的产品需求和技术条件，为产业界提供了循序渐进的演进路径。3.3后向兼容性ISO/IEC23090-12:2023在标准设计过程中充分考虑了对既有系统的后向兼容（BackwardCompatibility）问题。具体措施包括：-与传统编解码器兼容：图集数据和占用图由传统视频编码器（HEVC或VVC）压缩，兼容现有播放器架构。-与现有传输系统兼容：所有MIV辅助信息均以SEI消息的形式封装于标准视频码流中，不与底层传输协议绑定，能够基于HTTP、RTSP、DASH、MBMS等既有传输方案实现流式分发。-与消费级终端设备兼容：MIV的解码渲染流程可以在配备通用GPU或NPU的主流移动终端上实现，无需专用硬件。3.4多种应用模式支持标准定义了多样化的应用模式配置以适应不同的使用场景需求。在帧兼容（Frame-Compatible）模式下，多个子图集可被编排进单个全帧画面中，由单个传统视频编码器处理；在多轨独立编码模式下，各子图集可分别编码传输，以支持分层服务质量或差异化体验；在点播和直播两种传输框架下均提供了规范的封装指南和参考实现路径。此外，MIV标准还支持与沉浸式音频标准（ISO/IEC23090-4）的联合使用，为完整的沉浸式体验提供了视听协同的标准化保障。四、主要参与单位ISO/IEC23090-12:2023标准的制定汇集了全球范围内在沉浸式媒体领域具有领先技术实力的科研机构和企业。其中，作为该标准核心技术的提出者和推动者之一，华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）在标准制定过程中发挥了举足轻重的作用。华为技术有限公司成立于1987年，是全球领先的信息与通信技术（ICT）解决方案提供商，在全球170多个国家和地区开展业务，拥有超过20万名员工，其中研发人员占比超过50%。在视频编解码领域，华为长期深耕核心技术研发，是国际视频编码标准（H.265/HEVC、H.266/VVC）和MPEG系列标准的重要贡献者。在ISO/IEC23090-12:2023标准的制定过程中，华为作为MPEG中国代表团的核心成员单位，深度参与了标准的需求分析、提案征集、核心实验设计和验证测试等各阶段工作。具体而言，华为团队在以下技术方向做出了突出贡献：1.图集构建算法：华为提出的基于深度学习的视差估计和内容复用算法，有效提升了图集构建效率，为MIV标准的核心技术方案提供了重要的候选方案。2.深度图处理优化：华为在深度图质量增强、深度范围自适应编码等技术方向的研究成果被标准采纳，显著改善了MIV在复杂场景下的渲染质量。3.系统级架构设计与参考软件实现：华为联合其他成员单位共同开发了MIV标准的参考软件（TestModel），为标准验证和产业推广提供了关键的工程化工具。除华为外，该标准的制定还得到了以下重要机构和企业的大力支持：-FraunhoferHHI（德国弗劳恩霍夫海因里希·赫兹研究所）：在沉浸式媒体编码研究领域具有世界领先地位，主导了MPEG-I系列标准的顶层架构设计。-Tencent（腾讯）：在沉浸式媒体应用场景和相关测试方面做出了重要贡献。-北京大学、清华大学等国内高校：在深度图处理、视角合成等基础算法研究方面支持了标准的制定。-Samsung、LG、Nokia等国际企业：在测试序列提供、验证测试实施等方面提供了支持。这些全球顶尖的科研机构和企业本着开放合作、共同推进的原则，经过近五年的协作努力，共同铸就了这一具有里程碑意义的国际标准。五、标准的产业价值与应用前景5.1产业价值分析ISO/IEC23090-12:2023标准的发布对于沉浸式媒体产业发展具有多方面的深远意义：（一）打通内容生产与消费的标准化通路。在MIV标准发布之前，沉浸式视频内容的生产和消费面临着严重的格式碎片化问题，不同设备和平台之间的互操作性差，内容制作成本高昂。MIV通过建立统一的编码表示框架，有效解决了这一问题，为沉浸式内容的规模化生产、分发和消费扫清了障碍。（三）构建可持续演进的标准化平台。MIV标准的设计具有灵活性，"基础编解码器+SEI辅助信息"的架构使得标准可以在不推翻整体框架的前提下，通过增加新的编码工具和优化算法持续演进，为未来的版本扩充预留了充足空间。5.2典型应用场景MIV标准的典型应用场景覆盖了沉浸式媒体产业的多个核心领域：-沉浸式体育赛事直播：允许观众在观看篮球、足球等体育赛事时自由切换视角，获得身临其境的观赛体验。-沉浸式文旅与演