ISOIEC 23090-232023 信息技术.沉浸式媒体的编码表示.第23部分MPEG沉浸式视频的一致性和参考软件标准立项发展报告

ISO/IEC23090-23:2023《信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件》标准立项发展报告StandardizationDevelopmentReport:Informationtechnology–Codedrepresentationofimmersivemedia–Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的快速发展，传统平面视频编码标准已难以满足六自由度（6DoF）交互、多视点渲染及全景沉浸体验对数据压缩效率和系统互操作性的需求。在此背景下，国际标准化组织动态图像专家组（MPEG）制定了MPEG沉浸式视频（MIV）编码标准体系，其中ISO/IEC23090-23:2023作为该系列标准的重要组成部分，专注于规定MIV编码器、解码器及码流的一致性测试方法和参考软件实现。本报告系统梳理了该标准的立项背景、技术演进脉络、核心内容框架及其在广播、云游戏、远程协作等典型应用场景中的实践价值，并对标准在测试向量设计、参考软件维护及下一代编解码技术融合等方面的发展前景进行了展望。该标准的发布与实施，为沉浸式视频生态中设备互联互通、内容可交换和系统可扩展提供了不可或缺的技术保障。关键词：沉浸式视频；MPEG；一致性测试；参考软件；ISO/IEC23090；编解码标准；六自由度Keywords：ImmersiveVideo;MPEG;ConformanceTesting;ReferenceSoftware;ISO/IEC23090;VideoCodingStandard;SixDegreesofFreedom一、引言1.1研究背景从高清电视到超高清视频，从平面显示到立体视觉，视频技术经历了多轮范式跃迁。近年来，以头戴式显示器（HMD）、光场显示和悬浮全息显示为代表的新兴终端设备推动视频应用从"看平面"走向"入场景"。沉浸式媒体不再仅指高分辨率、高帧率的平面影像，而是涵盖多视角、深度信息、空间音频和用户交互在内的全息化、场景化内容形态。视频编码作为媒体传输和存储的核心使能技术，其标准化进程始终与终端能力和应用需求紧密联动。ITU-T和ISO/IEC联合制定的H.264/AVC、H.265/HEVC以及H.266/VVC等标准体系主要面向帧式视频（Frame-basedVideo），难以高效表达多视点阵列、深度图集和不规则几何采样形成的沉浸式内容。为此，MPEG于2017年启动沉浸式媒体编码系列标准（MPEG-I，即ISO/IEC23090系列）的制定工作，通过划分"第一阶段：3DoF"和"第二阶段：6DoF"两个技术阶段系统推进沉浸式媒体标准化布局。1.2MIV标准的定位与意义MPEG沉浸式视频（MIV，MPEGImmersiveVideo）是MPEG-I第二阶段的核心编解码技术，目标是在保持较高渲染质量的前提下，以尽可能低的码率传输多视角场景数据，支持用户在6DoF空间中自由移动并获取与视角适配的实时渲染画面。MIV技术路线基于"先采样再聚合"的编码框架：输入端对密集相机阵列获取的多路视频和深度图进行冗余剔除、图集（Atlas）构建和补丁（Patch）打包，输出端通过解码重建、逆投影和基于深度图像的渲染（DIBR）完成视角合成。在上述技术框架中，一致性和参考软件是标准能否有效落地的关键环节。ISO/IEC23090-23:2023正是针对MIV编码器和解码器的一致性评估和参考实现而专门制定的标准，在测试方法规范、码流符合性判定及软硬件协同验证等方面提供了明确的规则和工具。二、标准立项背景与研制过程2.1立项动因ISO/IEC23090-23:2023的立项主要源于以下技术需求和产业痛点：第一，多厂商互操作的现实需要。MIV编解码涉及相机阵列标定、深度估计、图集打包、补丁合并、几何与纹理映射等多个模块，各厂商在具体实现上存在较大差异。若无统一的一致性判据，不同设备之间的码流互通将缺乏可靠性保障。第二，参考软件作为标准文本的有机延伸。视频编码标准通常以算法描述的形式规定解码过程，但其语法树和语义的复杂性使得仅凭文本难以实现完全一致的工程复现。参考软件为开发者和测试机构提供了基准实现，是推进标准落地不可或缺的工程载体。第三，沉浸式视频质量评测方法尚属空白。传统的PSNR、SSIM等指标不完全适用于基于渲染的沉浸式视频，需要结合视点合成质量、几何精度、遮挡边界等多维因素进行综合评估。一致性标准为上述评测提供了程序化的判定框架。2.2研制历程与阶段分工ISO/IEC23090-23的研制工作由MPEG下属的视觉编码工作组（WG2）主导推进，历时约两年完成。在技术路线形成阶段，工作组面向全球征集了多套候选参考软件架构，并在CoreExperiment框架下对图集生成、补丁合并和渲染策略等核心模块进行了系统对比。在一致性测试方案确立阶段，工作组设计了多组涵盖不同相机布置、场景复杂度和码率档位的测试条件，形成了标准附录中的测试向量集。2023年10月，ISO/IEC23090-23:2023由国际电工委员会正式发布。这标志着MIV标准体系从"编码规范定义"向"产品验证规范确认"的关键跨越，为产业化推进扫清了测试层面的障碍。三、标准技术内容概述3.1标准范围与体系定位ISO/IEC23090-23:2023是ISO/IEC23090系列（统称为MPEG-I）的第23部分。该系列标准整体遵循"编码表示—存储封装—传输协议—一致性验证"四层架构进行编制。ISO/IEC23090-23所辖的一致性测试和参考软件工作，在体系架构中处于验证与合规层，服务于编码层（ISO/IEC23090-12，MIV规范）和系统层（ISO/IEC23090-10，OMAF）之间的接口衔接。该标准规定的范围包括：-MIV码流的语法、语义一致性判别规则；-解码器输出图像与参考解码器输出图像之间的误差判定指标及容限；-编码器在符合性码流生成过程中的约束条件；-参考软件的功能模块组成、接口定义及使用规范。3.2一致性测试核心方法一致性测试的核心逻辑是"构造已知输入、比对特定输出"。ISO/IEC23090-23:2023从以下三个层次规定了测试方法：（1）码流层级的一致性（Bitstream-levelConformance）。通过预定义的标准测试码流对解码器进行输入刺激，依据解码结果与参考输出的像素误差、时间戳正确性和缓冲占用状态等判定解码器的合规性。该层级检测无需修改被测设备内部逻辑，只需提供标准化的码流及对应的参考输出哈希值。（2）解码器行为层级的一致性（Decoder-behavior-levelConformance）。在解码过程中设置特定的参数配置，如参考图像缓冲区的尺寸限制、输出时延要求等，检测解码器是否在资源受限条件下仍能按标准语义完成正确解码。该层级对嵌入式终端和低功耗移动设备的合规性验证尤为重要。（3）编码器产出的一致性（Encoder-output-levelConformance）。编码器应能生成在解码端可被标准解码器无缝解析的码流。此处的关键约束包括：码流中所有语法元素必须严格遵循ISO/IEC23090-12的语法表定义；解码所需的所有参考信息（如相机参数、深度范围等）应正确编码到补充增强信息（SEI）或参数集中。3.3参考软件架构该标准附带的参考软件采用模块化架构设计，主要包含以下功能组件：-图集构建模块（AtlasConstruction）：负责从多路输入视频中提取有效像素区域，完成冗余剔除与图集排布；-补丁打包模块（PatchPacking）：基于几何信息和运动一致性对提取区域进行分组聚合，形成具有空间和时间相关性的补丁序列；-编码前端模块（EncodingFrontend）：将图集序列送入底层视频编码器（通常采用HEVC或VVC），并完成辅助信息（如占位图、深度分量）的编码映射；-解码与重建模块（DecodingandReconstruction）：将解码后的图集序列逆映射回原始视角布局；-渲染辅助模块（RenderingSupport）：输出供DIBR渲染使用的几何与纹理接口数据。参考软件以C++语言实现，提供命令行工具和应用程序编程接口（API）两种调用方式，支持Linux和Windows双平台运行，为集成到第三方测试系统和产品研发流程提供了灵活接口。四、标准实施应用与外延影响4.1典型应用领域ISO/IEC23090-23:2023已逐步在以下领域发挥实质性作用：（1）沉浸式广播与流媒体服务。面向体育赛事、演唱会等大型场景的多机位沉浸式直播，一致性测试保障了不同服务提供商的内容终端之间能够实现码流级互操作，有效避免"孤岛式"应用生态。（2）云VR/云游戏平台。云渲染场景要求GPU集群将渲染结果实时编码传输到头显设备，编码延迟和质量可控性直接决定用户体验。参考软件提供的优化实现路径，为云端编码器的性能和合规性调优提供了基准。（3）工业数字孪生与远程协作。在远程运维、远程医疗等对视角连续性和几何精度要求较高的场景中，一致性测试确保多站点系统之间交换的沉浸式数据具有统一语义基准确性，避免因编解码实现差异导致的视觉畸变。4.2潜在标准协同ISO/IEC23090-23:2023与其他相关标准的协同亦值得关注：在传输层面，MPEG媒体传输协议（MMT）和基于ISOBMFF的动态流媒体封装为沉浸式码流的承载提供了容器；在质量评估层面，ITU-TP.360系列中针对沉浸式视频的主观质量评价方法，为码流客观一致性判定提供了主观验证支撑；在数字版权管理层面，ISO/IEC23001-7（通用加密方案）为沉浸式内容的加密保护预留了兼容性接口。五、主要研制单位在本标准的研制过程中，弗劳恩霍夫海因里希-赫兹研究所（FraunhoferHeinrichHertzInstitute，FraunhoferHHI）发挥了突出的技术引领作用。FraunhoferHHI总部位于德国柏林，是欧洲最大的应用研究机构——弗劳恩霍夫应用研究促进协会下属的通信技术领域核心研究所，长期致力于视频编码、沉浸式媒体处理和网络传输技术的研究。该研究所是MPEG组织的重要成员单位，深度参与了H.264/AVC、H.265/HEVC、H.266/VVC等历代视频编码标准的核心技术研发，其主导提出的多项算法工具被纳入国际标准，是视频编码领域全球最具影响力的研究机构之一。在ISO/IEC23090-23:2023的研制中，FraunhoferHHI主要承担了三方面工作：一是提出了基于"先验场景分析—动态补丁生成—感知驱动优化"的图集生成核心算法框架，该框架成为参考软件中图集构建模块的基础架构；二是主导设计了用于一致性验证的通用测试向量生成工具链，覆盖了多种相机阵列拓扑（一维线性、二维网格和弧形分布）和场景复杂度档位；三是负责参考软件中渲染辅助模块的高效实现与优化，确保参考解码器在保证重建精度的同时具备可接受的运行效率。值得一提的是，FraunhoferHHI还将该标准成果与其自研的沉浸式媒体处理平台进行了集成验证，在端到端沉浸式通信实验环境中完成了多轮互操作性测试，为标准技术方案的工程可行性提供了充分的验证证据。此外，该研究所还积极推动标准成果向垂直行业转移，与广播、汽车和医疗影像等领域的企业建立了联合实验室，加速了沉浸式视频技术的产业化进程。六、结论与展望ISO/IEC23090-23:2023的发布填补了MPEG沉浸式视频标准体系中一致性验证环节的空白，为MIV编解码器和码流的合规性判定提供了统一的方法框架和基准软件工具。该标准不仅有效支撑了沉浸式视频产业链中设备互操作、内容可交换和系统可扩展等关键需求，也为后续面向点云压缩（MPEGPCC）、神经场景表示等新方向的标准化工作积累了测试方法学经验。可以预见，在沉浸式媒体技术从"可用"走向"好用"的进程中，ISO/IEC23090-23:2023将持续发挥其承上启下的关键作用，为构建开放、协同、可持续的沉浸式媒体产业生态提供坚实的标准化支撑。参考文献[1]ISO/IEC23090-12:2022,Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo[S].Geneva:ISO/IEC,2022.[2]ISO/IEC23090-23:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo[S].Geneva:ISO/IEC,2023.[3]BoyceJ,etal.MPEGImmersiveVideoCodingStandard[J].ProceedingsoftheIEEE,2021,109(9):1521-1536.[4]MPEGRequirementsGroup.RequirementsforMPEG-IPhase2[R].ISO/IECJTC1/SC29