ISOIEC 23090-232023 信息技术.沉浸式媒体的编码表示.第23部分MPEG沉浸式视频的一致性和参考软件标准立项发展报告

信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件标准立项发展报告StandardizationDevelopmentReport:Informationtechnology-Codedrepresentationofimmersivemedia-Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo摘要关键词：沉浸式媒体；MPEG沉浸式视频；一致性测试；参考软件；ISO/IEC23090；视频编码Keywords:Immersivemedia;MPEGimmersivevideo;Conformancetesting;Referencesoftware;ISO/IEC23090;Videocoding1引言1.1标准立项背景近年来，沉浸式媒体技术在全球范围内呈现出爆发式增长态势。根据国际数据公司（IDC）发布的报告，全球AR/VR市场支出预计将在2025年达到近500亿美元的规模。随着6DoF（六自由度）视频、全向视频、体积视频等新型媒体形态的涌现，传统视频编码标准已难以满足沉浸式体验对多维数据压缩和高效渲染的迫切需求。为应对上述挑战，国际标准化组织ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）下设的MPEG工作组启动了MPEG-I（ISO/IEC23090系列）标准体系的制定工作。其中，ISO/IEC23090-12（MPEGImmersiveVideo，简称MIV）作为MPEG-I阶段2的核心标准，定义了沉浸式视频的编码表示和比特流语法。然而，仅靠编码格式规范本身无法保证各实现方产品之间的互操作性和一致合规性。为此，制定与之配套的一致性测试和参考软件标准成为MPEG-I标准体系完善的关键一环。1.2标准定位与作用ISO/IEC23090-23:2023是直接服务于ISO/IEC23090-12:2022的配套标准，其核心功能涵盖以下三个层面：一是规定MPEG沉浸式视频编码器、解码器及比特流的一致性测试方法和判定条件；二是提供经过验证的参考软件实现，作为编码器和解码器开发、测试和比对的标准基准；三是为设备制造商、内容提供商和服务运营商提供权威的合规性验证工具集。该标准在MPEG-I标准族中处于"验证层"位置，不仅是对编码规范的补充约束，更是确保沉浸式视频编码技术从标准化文件走向大规模商业部署的必经之路。2标准编制过程概述2.1国际标准研制历程ISO/IEC23090-23:2023的研制工作严格遵循ISO/IECJTC1的标准化工作程序。该项目由SC29/WG2（MPEG）工作组中的沉浸式媒体编码专题组具体推进。研制过程分为以下几个主要阶段：-需求定义阶段（2019年—2020年）：明确沉浸式视频编码一致性测试的范围、测试层次（比特流级、解码器级、编码器级）和参考软件的功能架构需求。-提案征集与评估阶段（2020年—2021年）：面向全球各成员国和产业界征集一致性测试方案和参考软件实现提案，并组织多轮主观质量评测和客观指标比对。-工作草案与委员会草案阶段（2021年—2022年）：整合各方贡献，形成工作草案（WD）和委员会草案（CD），经多轮会议审查和修改完善。-国际标准最终草案与发布阶段（2022年—2023年）：通过最终草案（FDIS）投票后，于2023年10月23日正式发布。2.2标准草案中的核心研究问题在标准研制过程中，工作组围绕以下关键技术难点开展了深入研究：-测试用例覆盖度：如何设计有限的测试用例集，使之能够覆盖MIV编码算法中最具代表性的编码路径、预测模式、视图合成参数和参考帧管理策略；-解码器一致性判定方法：由于沉浸式视频解码过程中的浮点运算和像素插值存在精度差异，如何为不同解码器制定合理的容差阈值（tolerancethresholds），既确保互操作性又不失判别效力；-参考软件的高效性与可移植性：参考软件需要兼顾编码质量和运算效率，同时具备良好的平台可移植性，以便在不同硬件架构上运行比对；-位流条件：定义了一组在一致性测试中可被验证的"位流条件"（bitstreamconditions），以判定位流是否符合MIV语法和语义要求。3标准主要内容3.1标准范围ISO/IEC23090-23:2023规定了ISO/IEC23090-12（MPEGImmersiveVideo）所定义的编码比特流、解码器和编码器的一致性测试方法。该标准描述了与解码器相关的测试流程、比特流级别的测试套件以及参考解码器和参考编码器的软件实现要求。标准的适用范围涵盖：-面向MIV解码器和编码器厂商的符合性验证；-MIV比特流的通用合规性检查；-基于参考软件的编码参数优化和算法验证；-沉浸式视频系统端到端的互操作性测试。3.2一致性测试框架标准将一致性测试分为两个层次：-比特流一致性：验证编码器产生的比特流是否符合ISO/IEC23090-12的语法和语义约束，包括参数集完整性、NAL（NetworkAbstractionLayer）单元结构、子比特流提取规则以及MIV特有的视角合成辅助信息的编码正确性。-解码器一致性：验证解码器在接收标准规定的测试比特流时，能否在规定的误差容限内正确解码并输出符合质量要求的沉浸式视频帧序列。测试中使用峰值信噪比（PSNR）和均方误差（MSE）等客观指标对解码输出与参考输出进行比对。3.3参考软件架构提供配套参考软件是ISO/IEC23090-23的核心特色。参考软件采用模块化架构设计，包括：-MIV编码器参考实现：支持全部MIV编码工具，包括基础视图选择、附加视图编码、占据图（occupancymap）生成、几何辅助信息编码和材质图块打包等。-MIV解码器参考实现：实现MIV解码流程的全部环节，包括参数解析、纹理重建、深度图处理和视图合成等。-渲染器接口模块：提供解码后沉浸式场景渲染的参考接口，便于与上层显示系统衔接。-测试脚本与配置文件：提供标准化的测试配置文件和自动化测试脚本，便于用户快速部署和执行一致性测试。3.4测试套件标准定义了多种MIV测试序列和对应的编码配置文件，包括针对不同分辨率（高清、4K、8K）、不同场景复杂度（多人场景、自然场景、室内场景）以及不同视图数量（两个、四个、八个）的测试素材。4标准的技术特色4.1面向六自由度沉浸式视频的验证有别于传统的2D/3D视频编码标准，MIV的一致性测试需要特别关注以下技术要点：-视图合成质量评估：解码器输出的目标视图是通过深度图像渲染（DIBR）技术合成产生的，标准要求对合成视图的质量进行基准比对；-基于图块的打包/解包链路验证：MIV将多路视频信号转换为图块（patch）序列进行编码，一致性测试覆盖打包过程和解包重建过程的全链路正确性；-辅助信息编码正确性：MIV中深度图、占据图和几何信息的编码精度直接影响合成视点质量，测试需对这些元数据通道做专项检查。4.2兼顾不可知性ISO/IEC23090-23在参考软件之外，充分考虑了编码器实现方案的多样性。标准规定，只要编码器输出的比特流符合语法和位流条件的约束，解码端能够正确解码，则不限定编码器的具体技术路线，从而为厂商留出创新空间。5标准与相关法规政策的关系5.1与我国标准化战略的衔接2023年，工业和信息化部、教育部、文化和旅游部、国家广播电视总局、国家体育总局联合印发的《元宇宙产业创新发展三年行动计划（2023—2025年）》明确提出，要"突破沉浸式视频、跨介质内容编码等关键技术"，并"加快数字内容领域标准制定"。ISO/IEC23090-23作为沉浸式视频编码标准体系中落实互操作性的核心文件，对我国元宇宙、VR/AR产业的健康有序发展具有直接参考价值。5.2与国内标准体系的协同我国已发布GB/T33475（信息技术高效多媒体编码）系列标准，并在AVS（AudioVideocodingStandard）工作组框架下推进沉浸式视频编码标准的研究。ISO/IEC23090-23的发布为国内沉浸式视频编码标准的测试验证和产业化落地提供了重要的国际对标依据。6主要参与单位及其贡献6.1参与单位概况ISO/IEC23090-23:2023的制定汇集了全球多个国家和地区的标准化机构和产业联盟的共同努力。其中，我国在沉浸式媒体编码标准化领域做出了突出的贡献，中国电子技术标准化研究院作为该标准制定的重要参与单位之一，在研究和推动相关工作中发挥了重要作用。6.2中国电子技术标准化研究院的贡献中国电子技术标准化研究院是我国电子信息领域标准化工作的国家级核心研究机构，长期承担全国音频、视频及多媒体系统与设备标准化技术委员会（SAC/TC242）秘书处工作，在音视频编解码、数字版权管理和沉浸式媒体相关标准研制方面具有深厚积累。在ISO/IEC23090-23标准研制过程中，该院的主要贡献体现在以下方面：-一致性测试方法提案：结合我国在AVS标准测试验证方面的长期经验，提出了MIV比特流一致性测试的多项技术方案，包括图块级语法检查、深度图精度边界判定等具有工程价值的建议。-主观评价实验组织：参与组织了面向MIV输出质量的跨国主观评测实验，推动了测试序列的多样性和评价方法的合理性。-国际标准化人才培养：通过参与该标准制定，培养了一批熟悉MPEG-I标准体系和国际标准化工作流程的青年专家，为我国后续深入参与沉浸式媒体国际标准化奠定了基础。-测试标准成果转化：积极推动将该国际标准的一致性测试方法转化为适用于我国沉浸式视频产业的标准验证方案，促进相关测评工具的在华落地。此外，华为技术有限公司、北京大学、浙江大学等企业和高校也在MIV测试模型开发方面做出了重要贡献。7结论与展望7.1标准发布的意义ISO/IEC23090-23:2023的发布是MPEG-I标准体系走向成熟的重要标志。该标准不仅为MIV编码器和解码器的实现提供了统一的技术准绳，有效降低了不同设备和平台间的互操作障碍，还通过参考软件降低了沉浸式视频编解码技术的开发门槛，加速了技术从研究原型向商用产品的转化进程。对于沉浸式媒体产业链上的芯片设计企业、设备制造商、内容生产商和平台服务商而言，该标准提供了清晰的技术合规路径和质量基准。7.2未来发展方向展望未来，ISO/IEC23090-23的持续演进将围绕以下几个方向展开。其一，随着MIV编码标准本身的后续修订（如增加新的编码工具、扩展更高编码效率配置），一致性测试套件和参考软件将持续同步更新。其二，面向8K及以上超高清分辨率、高动态范围和广色域等新型视频属性的测试用例将不断丰富。其三，针对机器学习辅助编码、AI驱动的视图合成等前沿技术在MIV框架下的应用，新一代一致性测试需求和验证方法的研究即将启动。其四，该标准的应用范围将进一步扩展至点云压缩、全息显示等更广泛的沉浸式媒体形态。可以预见，ISO/IEC23090-23将在沉浸式媒体技术从标准化走向产业化、从实验室走向消费市场的进程中持续发挥关键的基础性支撑作用。伴随着全球XR生态的快速成长，该标准所确立的一致性验证理念和技术方案，将成为沉浸式内容无缝交互和规模分发的重要基石。参考文献[1]ISO/IEC23090-23:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo,2023.[2]ISO/IEC23090-12:2022,Informationtechno