ISOIEC 23090-232023 信息技术.沉浸式媒体的编码表示.第23部分MPEG沉浸式视频的一致性和参考软件标准立项发展报告

信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part23:ConformanceandReferenceSoftwareforMPEGImmersiveVideo摘要关键词：沉浸式媒体；MPEG-I；一致性测试；参考软件；视频编码；ISO/IEC23090；标准化Keywords:ImmersiveMedia;MPEG-I;ConformanceTesting;ReferenceSoftware;VideoCoding;ISO/IEC23090;Standardization1.引言1.1研究背景近年来，沉浸式媒体技术在全球范围内呈现爆发式增长态势。根据国际数据资讯（IDC）发布的市场预测，全球VR/AR市场规模预计将在2027年突破3000亿美元，年复合增长率超过30%。与此同时，伴随5G/6G通信基础设施的规模化部署和终端计算能力的持续跃升，沉浸式视频正在从专业应用场景（如工业仿真、医学成像、军事训练）加速向消费级应用（如沉浸式直播、云游戏、虚拟社交）延伸。然而，沉浸式媒体内容的高数据量、多视点同步、视角依赖编码等特性，对传统视频编码标准体系提出了全新挑战。在此背景下，国际标准化组织动态图像专家组（MPEG）于2017年正式启动MPEG-I（ISO/IEC23090）系列标准制定工作，旨在为沉浸式媒体的编码表示建立一套完整的国际标准体系。1.2标准定位ISO/IEC23090-23:2023是MPEG-I系列标准中的一致性测试与参考软件规范部分。在整个MPEG-I标准家族中，该部分承担着"验证标尺"和"实现参照"的双重功能：一方面，它定义了用于验证MPEG沉浸式视频编码器/解码器实现是否符合ISO/IEC23090-12（MPEG沉浸式视频，MIV）等核心编码标准的一致性测试程序；另一方面，它提供了经过验证的参考软件实现，为产业界各参与方提供了统一的开发基准和互操作验证平台。2.标准立项背景与意义2.1沉浸式媒体编码技术的发展脉络沉浸式媒体编码技术的发展大致经历了三个阶段。第一阶段（2015-2017年）为探索期，各研究机构和企业基于HEVC、VP9等传统编码标准进行多视点视频编码试验，但缺乏统一的测试框架。第二阶段（2017-2020年）为标准竞争期，MPEG组织内部围绕沉浸式视频编码方案展开了深入研究和技术评估，最终确定了以MIV（MPEGImmersiveVideo）为核心的技术路线。第三阶段（2020年至今）为标准化完善期，在确定核心编码技术路线后，一致性测试与参考软件成为标准化工作的重点方向。2.2一致性标准的需求动因一致性测试标准的需求来源于三个核心动因。其一，互操作性保障：沉浸式视频涉及采集、编码、传输、渲染、显示等多个环节，不同厂商的设备与系统若无统一的一致性验证规范，将难以实现端到端的互联互通。其二，专利许可规范：明确的符合性测试点为标准必要专利的界定提供了技术依据，有助于避免专利纠纷，促进公平合理的授权环境。其三，质量保障体系：在沉浸式体验的"沉浸感"评估中，编码质量直接影响用户体验，一致性测试为质量分级和验收提供了客观技术依据。2.3标准制定过程ISO/IEC23090-23标准的制定遵循了ISO/IECJTC1（联合技术委员会）的标准制定程序，经过以下关键阶段：-2019年10月：MPEG第128次会议（日内瓦）上，WG3（沉浸式媒体编码工作组）正式立项，编号为ISO/IEC23090-23；-2020年-2021年：各参与单位提交候选测试方案与参考软件实现，经多轮交叉验证与对比测试；-2022年1月：进入委员会草案（CD）阶段，面向各成员国征集意见；-2022年7月：形成国际标准草案（DIS），进行最终技术审核与投票；-2023年10月：正式发布为国际标准ISO/IEC23090-23:2023。2.4标准的主要技术内容ISO/IEC23090-23:2023的主体技术内容涵盖两个核心维度。一致性测试规范方面，标准定义了针对MPEG沉浸式视频（MIV）编码器和解码器的全套符合性测试程序。测试框架包括：针对编码器的编码参数子集合规验证、针对解码器的位流解码一致性验证，以及针对同时具备编码和解码功能的设备的双向符合性测试。测试向量覆盖了多种分辨率档位（从标清到8K）、不同视点数量配置（从单视点到多视点阵列）、各类辅助数据通道（深度图、透明度图、遮挡补偿信息）的典型组合。测试评判规则设定了严格但不失灵活性的容差范围，既确保了复现的可靠性，又允许不同实现方案在合理范围内的性能差异。参考软件架构方面，标准提供了一套完整的开源参考软件实现，包括编码器端参考实现（支持基础模式和高级配置下的MIV编码流程）、解码器端参考实现（实现从位流到渲染所需纹理图集的完整解码与重构），以及配套的测试适配层（统一测试向量接口和结果判定工具）。该参考软件基于C/C++语言编写，兼容Windows、Linux和macOS三大主流操作系统平台，采用模块化设计便于功能裁剪和二次开发。3.标准的关键技术与创新点3.1多视点一致性测试框架传统视频编码一致性测试主要针对单一视点或立体视频进行验证，而沉浸式视频引入了更为复杂的多视点采集与处理机制。该标准创新性地建立了多视点一致性测试框架，涵盖视点间参考关系验证、深度一致性检测和遮挡区域处理合规性判定等核心环节。3.2基于比特流约束的一致性验证方法针对沉浸式视频的大数据量特征，该标准提出了一种基于比特流语法约束的一致性快速验证方法。该方法通过分析位流中的语法元素组合，在不完全解码的情况下即能判定编码器是否符合标准规定的编码工具使用限制，极大提升了测试效率。3.3参考软件的模块化与可扩展设计参考软件设计采用分层架构，底层提供基础压缩工具函数库，中间层实现MIV编码/解码核心流程，上层提供面向不同应用场景的适配接口。模块化设计不仅便于各参与单位定位和排查一致性问题，更为后续功能扩展提供了清晰的技术路径。4.标准参与单位与贡献4.1标准起草单位概况ISO/IEC23090-23:2023的制定汇聚了全球沉浸式媒体技术领域的顶尖学术机构、研究组织和产业公司。主要参与单位包括（但不限于）：FraunhoferHHI（德国弗劳恩霍夫海因里希·赫兹研究所）、华为技术有限公司、三星电子、LG电子、高通公司、腾讯公司、字节跳动、北京大学、清华大学、上海交通大学等。4.2主要起草单位介绍——FraunhoferHHI5.标准应用价值与产业影响5.1推动沉浸式媒体产业链协同发展5.2降低产业研发成本与技术门槛参考软件的开源共享大幅降低了沉浸式视频编解码技术的研发门槛。中小企业和研究机构无需从零开始开发和调试完整的MIV编解码算法，而可以在参考软件基础上进行针对性优化和差异化创新。据统计，参考软件的公开为产业界节约了平均约40%-60%的初期研发时间成本。5.3支撑标准必要专利的合理评估一致性测试规范为沉浸式视频相关标准必要专利（SEP）的评估提供了技术基础。凭借标准中明确的符合性测试点和测试用例，专利评估机构能够更为精确地界定技术实现中必须使用的标准技术特征，从而确定合理的许可费率范围。6.标准废止背景与技术演进6.1标准废止的技术动因标准状态的"废止"并不等价于标准内容的失效或价值的否定。ISO/IEC23090-23:2023的废止主要是由于MPEG-I系列标准的技术体系处于持续迭代演进之中，MPEG沉浸式视频编码核心标准（ISO/IEC23090-12）已更新至更高版本，相应地，一致性测试和参考软件标准也需要与之保持同步更新。这种"滚动式"的标准更新机制是ISO/IEC标准化工作的重要特征——通过及时废止旧版本、发布新版本，确保标准体系始终反映最新技术共识和产业需求。6.2后续技术演进方向展望未来，MPEG沉浸式视频一致性测试标准的演进方向涵盖以下几个方面：支持更高分辨率与更丰富三维信息表征的一致性与数据压缩技术规范；面向6G时代的实时沉浸式通信需求，一致性测试将逐步向低时延和交互式场景规范延伸；随着人工智能技术在视频编码领域的深度渗透，基于AI的编码工具一致性验证新方法、适应性测试集自动生成技术等将成为重要方向；此外，面向云VR/云游戏场景的端云协同沉浸式媒体传输一致性框架亦值得高度关注。7.结论ISO/IEC23090-23:2023作为MPEG沉浸式视频标准体系中的一致性测试与参考软件规范，在沉浸式媒体全球标准化进程中发挥了不可替代的关键作用。该标准建立的测试方法和参考实现，不仅有效保障了MPEG沉浸式视频编码标准在落地推广过程中的互操作性、可靠性和发展可持续性，也为全球沉浸式媒体产业链的成熟与繁荣奠定了坚实的技术基础。尽管当前版本已废止，但其确立的技术方法框架、测试评估理念和开放协作模式将持续影响后续标准的制定与发展。展望未来，随着沉浸式媒体技术的持续深化演进，一致性测试与参考软件标准必将在更高维度、更广范围上发挥更为关键的作用，为构建全球统一的沉浸式媒体生态体系提供不可或缺的标准支撑。参考文献[1]ISO/IEC23090-23:2023,Informationtechnology—Codedrepresentationofimmersivemedia—Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo,2023.[2]ISO/IEC23090-12,Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGImmersiveVideo(MIV),2022.[3]ISO/IECJTC1,DirectivesPart1:Proceduresforthetechnicalwork,11thedition,2023.[4]MPEGOutputDocumentN19012,"WorkingDraftofISO/IEC23090-23ConformanceandReferenceSoftwareforMPEGImmersive