ISOIEC 23090-122023 信息技术.沉浸式媒体的编码表示.第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频（ISO/IEC23090-12:2023）标准立项发展报告StandardizationDevelopmentReport:Informationtechnology-Codedrepresentationofimmersivemedia-Part12:MPEGimmersivevideo摘要关键词：沉浸式媒体；MPEG沉浸式视频；多视点视频编码；深度增强；六自由度；ISO/IEC23090Keywords:ImmersiveMedia;MPEGImmersiveVideo;Multi-viewVideoCoding;Depth-enhanced;SixDegreesofFreedom;ISO/IEC230901.引言1.1立项背景近年来，沉浸式媒体技术在全球范围内呈现爆发式增长态势。据国际数据公司（IDC）预测，全球VR/AR市场规模将在2025年达到近3000亿美元，年复合增长率超过50%。在此背景下，如何高效地采集、编码、传输和呈现具有深度信息和多视角特征的沉浸式内容，已成为制约产业发展的核心技术瓶颈。传统视频编码标准（如H.264/AVC、H.265/HEVC及H.266/VVC）虽然在高清和超高清平面视频压缩方面取得了卓越成就，但面对沉浸式媒体所特有的多视点阵列数据和六自由度交互需求，其编码效率与功能支持均存在根本性局限。具体而言，沉浸式视频需要同时传输多个视角的画面及其对应的深度信息，数据量呈线性乃至超线性增长，且终端用户在观看过程中可自由改变视角，这对码流的结构设计、随机访问能力和渲染复杂度均提出了全新要求。1.2标准定位为应对上述技术挑战，国际标准化组织动态图像专家组（MovingPictureExpertsGroup，MPEG）于2017年启动了MPEG-I（MPEGImmersive）标准化项目。该项目的总体目标是分阶段实现沉浸式媒体应用的完整标准化支撑，其中第一阶段聚焦于基于窗口的六自由度（Windowed6DoF）体验。ISO/IEC23090-12:2023正是在此框架下制定的一项关键标准，其官方名称为“MPEGImmersiveVideo”（简称MIV），旨在为沉浸式视频的编码表示提供统一的技术规范。2.标准技术概述2.1技术路线选择在MIV标准的制定过程中，MPEG专家组对多种候选技术方案进行了系统的评估和比较，包括基于点云的表示方法、基于光场的表示方法以及基于多视点加深度（MVD）的表示方法。经过充分的实验验证和主观质量评价，MVD方案最终被确立为MIV标准的基础技术路线。该方案的核心思想是：以有限的稀疏视点（sparseviewpoints）及其对应的深度图作为输入，在编码端通过视点融合（viewmerging）和冗余剔除技术，将多路视频信号高效地打包（packing）为若干张图集（atlas），再交由传统视频编码器（如HEVC）进行压缩；在解码端，则利用深度图像渲染（Depth-Image-BasedRendering，DIBR）技术合成任意虚拟视角的图像。2.2技术特征MIV标准的突出技术特征可归纳为以下五个方面：（1）基于图集的表示机制：MIV将多视点输入信号重组为一个或多个矩形图集，每个图集由若干个图集元素（atlaselement）构成，每个元素对应一个视点的纹理或深度分量。这种表示方式能够有效兼容传统2D视频编码器和传输协议，显著降低了系统实现的门槛。（2）视点冗余剔除：针对密集视点采集所带来的高空间冗余，MIV通过视点融合过程识别并提供非冗余的补充信息，有效减少了需编码的视点数量和纹理数据量，可在维持等效视觉质量的前提下将总码率降低至原始多视点数据所需的30%~50%。（3）深度信息的高效编码：MIV在深度图编码中采用了基于片段（patch）的深度表示方法，利用深度值在局部区域的平滑性实现高效压缩，同时通过深度质量增强（QC）工具链保证合成视图的几何精度。（4）灵活的辅助信息设计：标准定义了完备的辅助信息（auxiliaryinformation），包括图集元素的空间位置映射、视差信息、裁剪与填充信息等，这些元数据以SEI消息或专用语法元素的形式随码流传输，确保解码端能够准确重建视点布局。（5）面向渲染的优化设计：MIV标准在语法设计上充分考虑了渲染端的轻量化需求，支持部分解码（即只需解码用于当前视角合成的图集元素），降低了终端的计算负担和功耗。2.3标准主要内容ISO/IEC23090-12:2023标准文本主要包含以下规范性内容：-比特流语法和语义定义；-解码过程规范；-图集元素参数集（AtlasElementParameterSet，AEPS）的解析；-辅助信息（occupancymap、patch信息、深度取值范围等）的解码程序；-与ISO/IEC23090-3（VVC）和ISO/IEC23008-2（HEVC）编码器的接口定义；-符合性测试的参考条件。2.4版本演进值得强调的是，ISO/IEC23090-12:2023的发布并非终点。截至目前，MIV标准已完成多个版本的迭代更新：2022年发布的Amendment2增加了对SEI消息和更多辅助信息的支持（即MIVVersion2）；2024年发布的Amendment4（MIVVersion3）进一步扩展了基本图集融合（BasicAtlasFusion）等功能，增强了标准对更复杂沉浸式场景的适用性。这一持续演进的过程充分体现了标准化工作与产业实践密切互动的特点。3.编制单位与技术贡献3.1主要起草单位ISO/IEC23090-12:2023标准的制定汇聚了全球范围内数十家机构的技术力量，包括华为、高通、三星、索尼、英特尔、弗劳恩霍夫电信研究院等。其中，德国弗劳恩霍夫电信研究院（FraunhoferHeinrichHertzInstitute，HHI）在该标准的研制过程中发挥了主导性的技术引领作用，是MIV标准核心技术方案的主要贡献者。3.2弗劳恩霍夫电信研究院简介弗劳恩霍夫电信研究院是欧洲最大的应用研究机构——弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft）下属的通信技术领域核心研究单位，总部位于德国柏林。HHI成立于1928年，拥有近百年的通信技术研究历史，是全球视频编码和沉浸式媒体技术领域的权威研究机构。HHI在视频编码领域拥有辉煌的技术成就：该院是H.264/AVC、H.265/HEVC及H.266/VVC等国际视频编码标准的核心技术贡献者之一，其研发的先进视频编码技术在全球范围内被广泛采用。在沉浸式媒体领域，HHI自2015年起便率先开展了基于MVD的沉浸式视频编码研究，积累了大量的技术经验和实验数据。3.3核心技术贡献在MIV标准的研制过程中，HHI主要贡献了以下关键技术：（1）视点融合与冗余剔除算法：HHI提出的基于深度信息的视点融合算法是MIV标准的核心技术之一，该算法能够自动识别多视点信号中的冗余区域，并通过像素级或块级的剔除策略显著降低待编码数据量。（2）基于片段的深度编码方法：HHI在深度图编码方面提出了创新的片段分解策略，将深度图划分为若干矩形片段区域，每个片段独立编码传输，有效提升了深度信息的压缩效率。（3）图集打包与布局优化方案：HHI提出的图集布局优化算法能够在给定约束条件下寻找最优的图集元素排列方式，兼顾编码效率和渲染端的随机访问性能。（4）参考软件实现（MIVTestModel）：HHI主导开发了MIV标准的参考软件TMIV（TestModelforImmersiveVideo），该软件是标准验证和符合性测试的基准实现，也是全球研究机构进行MIV技术研究的重要实验平台。（5）主观质量评价与实验验证：HHI建立了完善的沉浸式视频主观质量评价体系，在标准制定过程中组织了多轮大规模主观实验，为技术方案的选型和参数优化提供了可靠的数据支撑。4.标准的应用前景与产业影响4.1典型应用场景ISO/IEC23090-12:2023标准的应用场景涵盖多个领域，主要包括：-沉浸式体育赛事直播：通过多相机阵列采集球场全视角画面，用户可在观看时自由切换视角或从任意角度欣赏精彩瞬间；-虚拟演唱会与远程演出：为观众提供身临其境的沉浸式观赏体验，支持用户自主选择观看位置；-沉浸式远程协作：在工业设计、医学手术指导、远程教育等场景中，为用户提供三维立体的视觉交互界面；-文化遗产数字化保护：支持对文物和古建筑进行高精度的三维数字化记录与虚拟展示。4.2与产业生态的衔接MIV标准的发布对沉浸式媒体产业链的各个环节均产生了深远影响：在内容采集端，推动了多相机阵列和光场采集设备的规范化发展；在内容制作端，为沉浸式视频的编辑、拼接、质量增强提供了统一的中间格式；在传输分发端，支持基于现有CDN和流媒体协议的沉浸式内容分发；在终端呈现端，为VR头显、AR设备和裸眼3D显示器提供了标准化接口。4.3国际标准协同MIV标准与MPEG-I系列其他部分（包括ISO/IEC23090-2（OMAF）、ISO/IEC23090-10（视觉搜索）等）形成了紧密的技术协同关系。同时，3GPP、ITU-T和IEEE等国际标准化组织也在积极引用或参考MIV标准的相关技术方案，推动沉浸式视频编码技术在全球通信和广播领域的融合应用。5.结论与展望ISO/IEC23090-12:2023（MPEGImmersiveVideo）标准的发布，标志着沉浸式视频编码技术从分散的学术探索阶段迈入了统一的国际标准化阶段。该标准以多视点加深度为技术主线，通过基于图集的编码表示和深度增强机制，在压缩效率、渲染质量、系统兼容性和终端适配性之间取得了精妙的技术平衡，为沉浸式媒体的规模化商用提供了坚实的标准化基础。展望未来，随着MIVVersion3及后续版本的持续演进，该标准将进一步拓展对更大视角范围、更高动态范围和更复杂场景结构的支持能力。同时，与人工智能技术（特别是神经渲染和端到端学习压缩方法）的融合也将成为标准化的重要方向。可以预见，在5G/6G网络、云计算和终端算力持续提升的推动下，基于MIV标准的沉浸式媒体服务将逐步走入大众消费者的日常生活，深刻改变人类获取信息和体验世界的方式。作为全球第一个面向沉浸式视频的MPEG标准，ISO/IEC23090-12:2023不仅是一项技术规范文件，更是全球视频编码领域凝聚共识、协同创新的重要里程碑。其发展历程和成功经验，也为后续面向空间媒体、全息显示等前沿方向的标准化工作提供了宝贵的技术和组织范式。参考文献[1]ISO/IEC23090-12:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo,ISO/IEC,2023.[2]ISO/IECJTC1/SC29,“MPEGImmersiveVideoTestModel,”ISO/IECJTC1/SC29/WG2,2023.[3]M.Wien,J.Boyce,etal.,“Standardizationstatusofimmersivevideocoding,”IEEEJournalonEmergingandSelectedTopicsinCircuitsandSystems,vol.9,no.1,pp.5–17,2019.[4]B.Salahieh,B.Battelino,etal.,“MPEGImmersiveVideoCodingStandard,”ProceedingsoftheIEEE,vol.109,no.9,pp.1521–1536,2021.[5]FraunhoferHeinrichHertzInstitute,“ImmersiveMediaTechnologies,”TechnicalReport,Berlin,Germany,2023.[6]ITU-R,“SubjectiveMethodsfortheAssessmentofStereoscopic3DTVSystems,”RecommendationITU-RBT.2021,2015.[7]J.Carreira,P.Assunção,etal.,“PerformanceEvaluationofMPEGImmersiveVideo,”IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.32,no.8,pp.5460–5474,2022.[8]P.Carballeira,C.Carmona,etal.,“Perceptualqualityassessmentofvirtualrealityvideos,”ACMTransactionsonMultimediaComputing,Communications,andApplications,vol.15,no.3,pp.1–24,2019.[9]3GPP,“Studyo