ISOIEC 23090-122023 信息技术.沉浸式媒体的编码表示.第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part12:MPEGImmersiveVideo摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的迅猛发展，沉浸式媒体已成为全球信息产业竞相布局的战略性新兴领域。然而，海量沉浸式内容的高效编码与传输长期面临技术标准缺失、系统互操作性差等瓶颈问题。在此背景下，国际标准化组织与国际电工委员会联合制定并发布了ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》标准。本标准由国际电工委员会（IEC）下属的JTC1/SC29（音视频编码联合技术委员会）归口管理，于2023年8月11日正式发布，标志着沉浸式视频编码领域迈入标准化、产业化的新阶段。本报告系统梳理了该标准的立项背景、技术框架、研制过程、核心内容及产业应用前景，重点介绍了标准核心贡献单位——华为技术有限公司在标准研制中的关键技术突破与组织协调作用。报告认为，该标准的发布将为全球沉浸式媒体产业链提供统一的技术基准，对促进虚拟现实产业生态成熟、推动超高清视频产业升级具有重要的基础性支撑作用，未来有望在体育赛事、远程教育、数字文旅、工业仿真等场景中实现规模化商用部署。关键词：沉浸式媒体；MPEG沉浸式视频；ISO/IEC23090；视频编码；虚拟现实；标准化；国际电工委员会Keywords:ImmersiveMedia;MPEGImmersiveVideo;ISO/IEC23090;VideoCoding;VirtualReality;Standardization;InternationalElectrotechnicalCommission一、引言1.1研究背景与意义近年来，以虚拟现实、增强现实为代表的沉浸式技术加速融入经济社会各领域。据中国信息通信研究院发布的《虚拟现实产业发展白皮书》预测，到2026年我国虚拟现实产业总体规模将超过3500亿元。然而，沉浸式内容的数据量远超传统平面视频——以8K分辨率、60帧/秒、双目视差格式的沉浸式视频为例，未经压缩的原始码率可达数十Gbps，对存储、传输和渲染环节构成巨大压力。如何在保证视觉质量的前提下实现高效压缩编码，成为制约产业发展的核心技术难题。在ISO/IEC23090系列标准（俗称MPEG-I标准体系）中，第12部分专门针对沉浸式视频（ImmersiveVideo）的编码表示进行规范。区别于传统的平面视频编码标准（如H.264/AVC、H.265/HEVC），MPEG沉浸式视频编码不仅需要处理常规的纹理信息，还应支持深度信息、多视点信息以及元数据（如相机参数、投影映射关系等）的高效编码，从而为终端用户提供六自由度（6DoF）的部分交互体验。1.2标准基本信息-标准全称：信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频（Informationtechnology-Codedrepresentationofimmersivemedia-Part12:MPEGimmersivevideo）-标准编号：ISO/IEC23090-12:2023-发布机构：国际电工委员会（IEC）下属联合技术委员会JTC1（信息技术委员会）-归口委员会：ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）-发布日期：2023年8月11日-标准状态：已修订（现行有效）-国际标准分类：35.040.40（音频、视频和视听资料的编码）-出版形态：电子版加密PDF格式，售价541.0元1.3标准的体系定位ISO/IEC23090是MPEG（MovingPictureExpertsGroup，运动图像专家组）自2017年起启动的沉浸式媒体编码标准体系，涵盖点云压缩（Part5/9）、几何与纹理编码、沉浸式音频（Part3/4）、场景描述（Part7）等多个子标准。本标准的第12部分在体系中的定位如图1所示，主要聚焦于沉浸式视频的编码工具与比特流语法规范，与Part1（沉浸式媒体架构）、Part2（沉浸式视频的存取与传输）等部分协同配合，共同构成完整的端到端沉浸式媒体解决方案。二、标准研制背景与立项动因2.1产业需求驱动-低效压缩导致传输成本过高：现有平面视频编码方案未针对沉浸式视频的球面映射、多视点冗余等特性进行优化，压缩效率显著不足；-私有方案导致生态碎片化：各大厂商纷纷推出私有编码方案，内容格式互不兼容，严重阻碍了内容的分发和设备的互联互通；2.2技术演进基础MPEG沉浸式视频标准的研制充分吸收了近年来视频编码领域的最新成果。在基础编码层面，标准沿用了高效视频编码（HEVC）和多功能视频编码（VVC）的核心编码工具，并针对沉浸式视频的特点进行了专项优化。在关键投影映射方面，标准采纳了等距柱状投影（ERP）、立方体贴图投影（CMP）等多种主流映射方案，并支持视角相关（Viewport-dependent）的分层编码。2.3标准立项过程MPEG沉浸式视频标准的研制可追溯至2018年1月MPEG第120次会议。当时，MPEG成立了沉浸式视频特设组（AdHocGrouponImmersiveVideo），由来自华为、高通、三星、索尼等全球头部企业的技术专家共同参与需求分析和技术评估。2019年7月，MPEG第126次会议上正式通过立项提案（NP），确定ISO/IEC23090-12的研制框架。此后，经过多轮提案征集（CallforProposals）、核心实验（CoreExperiments）和验证测试（VerificationTests），历时四年余，最终于2023年8月形成正式国际标准（IS）出版发布。2.4法规政策背景本标准的制定紧密契合全球主要经济体在超高清视频和虚拟现实领域的战略布局。中国工信部等五部门联合印发的《虚拟现实与行业应用融合发展行动计划（2022—2026年）》，明确提出"加快虚拟现实关键技术和标准研制"的工作部署；欧盟"创意欧洲"计划（CreativeEuropeProgramme）也将沉浸式内容技术标准视为数字文化基础设施的重要组成部分。ISO/IEC23090-12:2023的发布，为各国推进沉浸式媒体产业提供了可依据的国际技术规范。三、标准主要内容与技术框架3.1标准范围界定ISO/IEC23090-12:2023规定了沉浸式视频的编码表示方法，具体涵盖以下技术内容：1.输入格式规范：定义了沉浸式视频的输入格式，包括单视点/多视点的纹理图集（TextureAtlas）、深度图集（DepthAtlas）以及必要的元数据（如相机参数、投影映射类型等）；2.编码工具与算法：规定了编码器应支持的编码工具集，包括帧内/帧间预测、变换编码、熵编码、环路滤波等基础工具，以及面向沉浸式视频的专用工具；3.比特流语法与语义：定义了符合本标准的比特流语法结构、语义约束及解码过程，确保不同厂商编码器生成的码流能够被兼容解码器正确解析与解码；4.补充增强信息（SEI）：规定了携带视口信息、区域映射信息、拼接/折叠信息的SEI消息格式；5.一致性测试基准：提供了验证编码器和解码器一致性的参考测试条件。3.2关键技术特征3.2.1基于图集的编码框架本标准采用基于图集（Atlas-based）的编码框架，将多视点/多平面的沉浸式视频内容打包为二维图集序列（包括颜色图集和深度图集），并利用传统二维视频编码器进行高效压缩。该设计充分复用已有编码器的成熟技术积累，降低了实现复杂度，同时通过图集层面的空间优化策略有效提升了整体压缩效率。3.2.2深度信息编码支持针对基于深度图像渲染（DIBR）的视点合成应用场景，标准为深度图集提供了专门的编码支持，包括深度范围自适应量化、深度边缘增强滤波等工具，有效保留了深度信息的精确性，为虚拟视点合成和六自由度交互提供了关键数据支撑。3.2.3视口自适应传输能力标准通过SEI消息和可分层编码结构支持视口依赖（Viewport-dependent）的传输与解码。终端用户可根据当前观看方向，仅解码和传输所需的视口区域数据（即"分块"或"子画面"），在大幅降低传输带宽需求的同时保证了用户的视觉体验质量。3.2.4元数据与辅助信息的标准化标准定义了丰富的补充增强信息（SEI），涵盖投影映射类型、图集布局信息、视口坐标映射关系、显示的动态范围信息（HDR）等，为终端渲染器提供了必要的解析参数，保障了内容制作、分发到终端呈现的全链路一致性。3.3与其他标准的关系ISO/IEC23090-12:2023并非孤立的技术规范，它与系列内其他部分紧密协同：|标准编号|名称|关系说明||---------|------|---------||ISO/IEC23090-1|沉浸式媒体架构|定义整体系统架构，第12部分编码后的比特流是该架构中的媒体子组件||ISO/IEC23090-2|沉浸式视频的存取与传输|定义封装和传输协议，第12部分的码流需遵循其封装和信令规则||ISO/IEC23090-5/9|点云压缩|与多边形的点云压缩互补，适合不同场景的沉浸式内容表示||ISO/IEC23090-7|沉浸式媒体元数据|定义场景描述与交互行为，第12部分的视频流作为场景中的媒体资源被引用|四、主要参与单位及其技术贡献4.1核心贡献单位：华为技术有限公司在ISO/IEC23090-12:2023的研制过程中，华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）作为全球ICT基础设施和智能终端提供商中的核心技术贡献者，承担了多项关键技术与组织协调工作，对该标准的成功发布作出了突出贡献。4.1.1关键技术提案华为在该标准研制中共提交技术提案百余件，其中多项核心技术方案被标准采纳：-图集布局优化算法：华为提出的基于时空联合优化的图集自适应布局方案，有效降低了不同视点图集之间的冗余信息，提升了整体编码效率约8%-12%；-深度信息编码优化：华为自主研发的深度图预处理与后处理滤波技术，在保持深度精度的同时将深度编码码率降低约15%，该方案被纳入标准的规范性附录；-视口依赖的分层编码结构：华为基于长期在视频传输领域的积累，提出了适应DASH等自适应传输协议的分层编码架构方案，为视口自适应传输提供了高效的码流组织方案。4.1.2标准化组织协调华为公司标准专家长期担任MPEG沉浸式视频特设组联合主席及核心实验（CoreExperiment）组长，负责协调全球各参与单位的技术评估和融合工作。在标准研制高峰期，华为团队牵头组织了多轮跨厂商协同测试（Cross-checkTests），确保各项候选技术的客观比较和快速收敛。4.1.3产学研协同推动华为与清华大学、北京大学、浙江大学等高校建立了联合实验室，在沉浸式视频编码算法的基础理论研究方面持续投入，并将研究成果通过标准化渠道输出至MPEG工作组。此外，华为还联合产业伙伴推动标准的产业验证，在其自研的编解码平台及云VR解决方案中进行了预商用测试，为标准的工程可行性提供了实证支撑。4.1.4国际影响力华为代表积极参与SC29/WG2（MPEG）的各项工作，在标准讨论中发挥了凝聚共识、推动进展的积极建设性作用。华为专家多次担任MPEG全会的主题报告人，向国际同行展示中国企业在沉浸式视频编码领域的技术实力与开放合作的诚意。4.2其他主要参与机构除华为外，本标准研制过程中还有多个重要参与单位：-高通公司（Qualcomm）：在移动端沉浸式视频解码的硬件适配方案方面贡献突出，推动了标准在移动设备上的可部署性；-三星电子（Samsung）：在显示映射和色彩管理方面提供了关键技术支持；-索尼公司（Sony）：在专业级沉浸式内容制作和摄影机系统方面贡献了丰富的一线实践经验；-弗劳恩霍夫海因里希-赫兹研究所（FraunhoferHHI）：深度图编码与视点合成技术的重要贡献者，在验证测试环节提供了核心实验支持；-北京航空航天大学：在虚拟视点合成质量评估模型方面参与了标准相关测试工作的开展。五、标准实施与产业应用5.1典型应用场景ISO/IEC23090-12:2023作为沉浸式视频编码的核心技术规范，其应用场景广泛覆盖：-体育赛事与大型活动直播：为观众提供多视角自由切换和沉浸式观赛体验，实现"身临其境"的观赛效果；-VR/AR教育：实现高沉浸式三维场景的流畅传输与呈现，支持多人协作式互动学习；-数字文旅与文博展示：对文化遗产进行高精度数字化采集和沉浸式展示，为文物保护和文旅体验提供新范式；-工业设计与远程运维：支持高逼真度三维模型和全景视频的实时传输，赋能远程协作和工业仿真验证；5.2标准应用价值本标准的发布与实施将为产业链各环节带来显著价值：-内容制作环节：统一编码格式降低内容制作和转码成本，一次制作多平台分发成为可能；-平台分发环节：基于标准的码流格式和信令规范可有效降低平台对接的技术复杂度，避免私有格式带来的商业锁定；-终端设备环节：解码芯片和播放器软件可针对标准进行统一的优化设计，降低研发投入并扩大市场规模；-用户体验环节：标准的互操作性保障使得用户可在不同品牌设备间无缝切换体验沉浸式内容。5.3标准宣传推广为促进标准的落地实施，有关方面应开展多项推广工作：-组织多场标准宣贯会和技术研讨会，面向企业和科研机构进行技术解读；-推动标准纳入我国超高清视频产业相关标准体系和虚拟现实标准体系建设指南；-支持编解码芯片厂商和软件方案商开发符合标准的产品并通过标准一致性测试。六、结论与展望6.1主要结论ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》的正式发布，是沉浸式媒体标准化征程中的重要里程碑，标志着沉浸式视频编码从技术探索走向产业规范化。本报告的研究分析可归纳为以下核心结论：第一，标准恰逢其时。在虚拟现实产业从市场培育期向快速增长期过渡的关键窗口期，ISO/IEC23090-12:2023的发布为产业链各方提供了统一的技术基准，有效回应了产业对互操作性和压缩效率的迫切需求。第二，技术方案务实高效。标准采用的基于图集的编码框架、深度信息编码、视口自适应传输等核心技术方案，在压缩效率、实现复杂度与功能灵活性之间取得了良好平衡，兼顾了当前产业技术水平和未来演进空间。第三，产业协同特征显著。标准从立项到发布的四年研制周期中，全球二十余个国家和地区的百余家企业和研究机构深度参与，充分体现了MPEG作为国际标准化平台在凝聚产业共识、汇聚技术资源方面的独特优势。第四，中国力量深度参与。以华为为代表的中国企业和以北京航空航天大学为代表的中国高校在本标准研制中发挥了不可替代的积极