ISOIEC 23090-122023 信息技术沉浸式媒体的编码表示第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part12:MPEGImmersiveVideo摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，用户对高保真、高交互性沉浸式体验的需求日益增长，传统视频编码标准已难以满足六自由度（6DoF）及多视点沉浸式内容的压缩与传输要求。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合组建的运动图像专家组（MPEG）启动了MPEG沉浸式视频（MIV）标准的制定工作，旨在为沉浸式媒体内容提供高效、统一的编码表示范式。本标准（ISO/IEC23090-12:2023）作为MPEG-I系列标准的重要组成部分，系统定义了基于多视点纹理加深度（MVD）的沉浸式视频编码框架，确立了基本比特流、补充比特流、图集内容生成及视口渲染等核心技术规范。本报告全面梳理了该标准的立项背景、编制过程、核心技术内容与应用前景，分析了其在沉浸式媒体标准化进程中的战略地位，并对该标准的后续演进方向进行了展望，以期为国内相关技术研发和标准化工作提供参考借鉴。关键词：沉浸式媒体；MPEG沉浸式视频；编码表示；多视点视频；虚拟现实；六自由度；ISO/IEC23090Keywords:ImmersiveMedia;MPEGImmersiveVideo;CodedRepresentation;Multi-viewVideo;VirtualReality;SixDegreesofFreedom;ISO/IEC23090一、引言1.1立项背景近年来，沉浸式技术以前所未有的速度渗透到娱乐、教育、医疗、工业制造等众多领域。据国际数据公司（IDC）预测，全球AR/VR市场支出将在2024年超过320亿美元，年复合增长率达31.5%。然而，沉浸式体验的核心——让用户能够在虚拟环境中自由移动视角并感知真实三维深度——对视频内容的采集、编码、传输和渲染提出了远超传统平面视频的技术要求。传统视频编码标准（如H.264/AVC、H.265/HEVC乃至H.266/VVC）均基于单视点平面像素的时空冗余消除原理进行设计。对于沉浸式媒体所需的多个视点同步采集画面，传统方法无论是采用独立编码再拼接的方式，还是采用帧打包（FramePacking）的方式，均存在编码冗余大、码率开销高、渲染灵活性差等突出问题。以六自由度沉浸式视频为例，欲使用户能够在有限空间范围内自由改变视角，需要同时传输多个视点的纹理和深度信息，所需数据量往往是传统单视点视频的十到数十倍，在现有网络带宽条件下难以实用化部署。为此，MPEG于2017年正式启动MPEG-I（ISO/IEC23090）沉浸式媒体标准系列的研制工作，其中第12部分——MPEG沉浸式视频（MIV）——专门针对沉浸式视频的高效编码表示进行规范。1.2标准基本信息-标准编号：ISO/IEC23090-12:2023-标准名称：信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频-英文名称：Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo-发布机构：国际标准化组织（ISO）/国际电工委员会（IEC）联合技术委员会JTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）-发布日期：2023年8月11日-标准状态：已废止（后续版本替代）-国际标准分类（ICS）号：35.040.40（信息技术应用中音频、视频和视听信号的编码）二、标准编制过程2.1需求分析与探索阶段（2017—2019年）2017年7月，MPEG在第121次会议上正式发布了沉浸式媒体的标准化路线图，确立了以"自然场景的六自由度沉浸式视频"为核心目标的探索方向。此后，MPEG的3DG（三维图形）小组和Video小组联合成立了沉浸式视频探索实验组，面向产业界广泛征集沉浸式视频编码的技术提案。在这一阶段，各参与单位提交的技术方案涵盖了基于几何的编码方案、基于光场的编码方案以及基于多视点加深度（MVD）的编码方案等多种技术路线。经过多轮主客观对比测试，MPEG于2019年1月确定将基于MVD的图集（Atlas）编码方案作为MIV标准的基线技术框架。该方案的核心思想在于：并非对所有输入视点的纹理和深度信息进行完整编码，而是通过冗余消除技术，仅编码那些包含新信息的像素区域，聚合成若干"图集"（即\"基本比特流\"），同时附加少量元数据（即\"补充比特流\"）以支持接收端的视口合成。2.2工作草案与测试模型阶段（2019—2021年）在确定基线框架后，MPEG随即发布了MIV的测试模型（TestModelforMPEGImmersiveVideo，简称TMIV），并建立了配套的通用测试条件（CommonTestConditions，CTC）。TMIV作为MIV算法的参考软件平台，允许各参与单位在此基础上进行算法优化和提案验证。2020年至2021年间，MPEG围绕TMIV开展了多轮核心实验（CoreExperiments），重点关注以下技术方向：-图集内容的布局优化（包括按视口相关性子图集划分、按空间位置排序等）；-冗余像素的检测与移除策略（基于深度一致性检验和块级冗余判断）；-补充比特流中全局曝光参数、相机参数的编码效率优化；-与H.266/VVC等新一代视频编码标准进行适配的编码工具优化。2.3委员会草案与最终国际标准阶段（2021—2023年）经过多轮迭代与优化，MIV的工作草案（WorkingDraft）于2021年10月形成，并于2022年1月正式进入委员会草案（CommitteeDraft）阶段。2022年7月，MPEG第137次会议通过了MIV的最终委员会草案（FinalCommitteeDraft），随后进入国际标准最终草案（FDIS）投票阶段。2023年8月11日，ISO/IEC23090-12:2023正式发布。该标准的制定过程历时近六年，汇聚了来自全球数十家企业和科研机构的贡献，包括华为、高通、三星、英特尔、索尼、FraunhoferHHI、Technicolor等国际知名企业与研究机构。三、标准核心技术内容ISO/IEC23090-12:2023所定义的MPEG沉浸式视频编码框架，以下述核心技术要素为支撑：3.1基于图集的编码框架MIV标准的核心编码框架采用"多视点输入—冗余消除—图集生成—传统编码—补充比特流"的端到端架构。具体而言：-输入阶段：接收来自相机阵列的多个视点的纹理图像序列和对应的深度图序列；-冗余消除阶段：利用深度信息进行三维投影变换，将每个输入视点的像素投影到参考视点坐标系中，检测并标记冗余像素（即在其他视点中已被编码表达的像素）；-图集生成阶段：将去除了冗余像素后的有效像素重新排列打包，生成若干矩形区域（即图集），每个图集由纹理部分和对应的深度部分组成；-编码阶段：图集的纹理部分和深度部分分别送入传统视频编码器（如H.265/HEVC或H.266/VVC）进行压缩编码，生成基本比特流。3.2基本比特流与补充比特流MIV标准将最终输出的码流划分为两个层次：-基本比特流（BaseBitstream）：包含图集纹理和深度的编码数据，由传统视频编码器压缩生成。基本比特流兼容传统视频解码器，这意味着仅支持传统解码能力的终端也能解码基本比特流，尽管其呈现效果退化为有限的视点选择。-补充比特流（SupplementalBitstream）：包含渲染所需的元数据信息，包括相机参数、图集布局信息、全局曝光参数、深度量化参数等。这些信息以SEI（SupplementalEnhancementInformation）消息或独立元数据流的形式承载。3.3视口渲染与呈现MIV标准还规范了接收端视口渲染所需的参数导出过程。解码器在获得基本比特流中的图集数据和补充比特流中的元数据后，能够重建出包含多个有效视点像素的\"点云\"表示，进而根据用户当前的视口位置和方向，采用深度图像渲染（Depth-Image-BasedRendering，DIBR）技术合成所需视角的图像。MIV标准在规范层面对渲染所需的相机投影参数、像素深度转换关系等进行了统一定义，以确保不同厂商的渲染器之间具有互操作性，但具体的渲染合成算法（如空洞填充、遮挡处理等）留给实现者自行优化。3.4配置文件和层级为满足不同应用场景的需求，ISO/IEC23090-12:2023定义了多个配置文件和层级，主要包括：-MIV基本配置文件（MIVMainProfile）：支持以图集方式编码多视点纹理加深度数据；-MIV基础配置文件（MIVBaseProfile）：在不使用补充比特流的情况下，对单视点纹理加深度或简单多视点内容进行有限质量的三维呈现，适用于对解码复杂度要求较低的场景。各配置文件均设定了相应的层级（Levels）约束，规定了图集分辨率、比特率、帧率等参数的上限范围。四、标准应用前景与产业影响4.1典型应用场景-沉浸式体育赛事直播：在体育场馆内部署多相机阵列，利用MIV编码将不同视角的画面高效压缩传输，用户可通过VR头显或手机自由切换视角，获得\"在场\"般的观看体验；-沉浸式文旅与教育：对历史遗迹、博物馆藏品、自然景观等进行多视角三维采集，通过MIV标准编码后分发给用户，支持自由漫游式的沉浸式浏览。4.2与传统编码方案的对比优势相较于传统的多视点视频编码（MVC）方案和简单的独立编码方案，MIV在编码效率方面具有显著优势。根据MPEG官方验证测试结果，在相同的视觉质量水平下，MIV相比独立编码所有视点的参考方案可节省约70%~80%的码率开销。此外，MIV的比特流结构天然支持与现有视频编码标准和传输协议的兼容适配，降低了产业部署的门槛。4.3标准化工作的战略意义作为MPEG-I系列中首个针对沉浸式视频编码发布的正式国际标准，ISO/IEC23090-12:2023填补了沉浸式媒体标准化体系中的关键空白，为后续沉浸式音频、沉浸式场景描述等配套标准（如ISO/IEC23090-13等）的协同发展奠定了基础。该标准的发布标志着沉浸式视频从学术研究和私有方案走向规模化产业应用的关键转折。五、主要编制单位介绍——弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）在ISO/IEC23090-12:2023的编制过程中，德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute，简称FraunhoferHHI）作为MIV标准的核心技术贡献单位之一，发挥了关键的引领作用。FraunhoferHHI是德国弗劳恩霍夫应用研究促进协会下属的一家专注于通信技术领域的研究机构，总部位于柏林。该所在视频编码、三维场景重建和沉浸式媒体技术领域拥有超过三十年的深厚积累，是全球视频编码标准化研究的重要策源地之一。FraunhoferHHI不仅是H.264/AVC、H.265/HEVC和H.266/VVC等历代视频编码标准的核心技术贡献者，更在三维视频处理和沉浸式显示技术方面持有大量基础专利。在MIV标准的研制过程中，FraunhoferHHI承担了以下关键任务：主导了MIV测试模型（TMIV）参考软件的整体架构设计与核心模块开发；提出了基于深度一致性检验的冗余像素消除算法，该方案成为标准中冗余消除环节的基线技术；深度参与了图集布局优化和补充比特流参数定义的技术验证；主持了多轮MIV主观质量评估实验的测试设计与数据分析工作。通过上述贡献，FraunhoferHHI在MIV标准的\"基础框架设计—参考软件实现—验证测试支撑\"全链条中，奠定了自身从基础研究到工程落地的完整能力。六、结论与展望ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》的发布，是沉浸式媒体标准化进程中的一个重要里程碑。该标准首次以国际标准的形式确立了面向六自由度沉浸式视频的编码表示框架，通过基本比特流与补充比特流的双层结构设计，实现了与传统视频编码生态的平滑兼容，同时为高性能渲染保留了充足的元数据支撑，为全球沉浸式视频产业的规模化商用奠定了坚实的技术基石。展望未来，沉浸式视频标准化将围绕以下方向持续演进：第一，编码效率的进一步提升。随着神经渲染（NeuralRendering）和端到端学习式编码等新技术的快速发展，MPEG已在积极探索将这些前沿技术引入后续版本的MIV标准之中，以期在相同码率下实现更高的视觉质量。第二，与传输系统和应用层的深度协同。面向5G/6G网络的流媒体传输优化、面向分布式云渲染的码流切片与边缘缓存机制等，均需要MIV标准与传输协议族和应用层标准开展更紧密的联合设计。第三，国内标准化工作的跟进与参与。我国在沉浸式视频采集设备、VR终端制造和沉浸式内容生产方面已形成较为完整的产业链条。中国电子技术标准化研究院、数字音视频编解码技术标准（AVS）工作组等相关单位应密切跟踪ISO/IEC23090-12的后续版本演进，积极组织国内企业深度参与国际标准制定工作，推动具有自主知识产权的技术方案融入国际标准体系，提升我国在沉浸式媒体标准化领域的话语权和影响力。参考文献[1]ISO/IEC23090-12:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo[S].Geneva:ISO/IEC,2023.[2]ISO/IECJTC1/SC29/WG2,"MPEGImmersiveVideoTestModel12(TMIV12)",ISO/IECJTC1/SC29/WG2N131,2022.[3]BoyceJ,DoreR,DziembowskiA,etal.MPEGimmersivevideocodingstandard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2022,32(9):5850-5866.[4]DziembowskiA,D