ISOIEC 23090-232023 信息技术.沉浸式媒体的编码表示.第23部分MPEG沉浸式视频的一致性和参考软件标准立项发展报告

信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part23:ConformanceandReferenceSoftwareforMPEGImmersiveVideo摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的飞速发展，传统平面视频编码标准已无法满足六自由度（6DoF）交互场景对海量三维数据的压缩与传输需求。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合制定并发布了ISO/IEC23090系列标准（即MPEG-I标准体系），其中第23部分（ISO/IEC23090-23:2023）聚焦于MPEG沉浸式视频（MIV）技术的一致性与参考软件规范。本报告系统梳理了该标准的立项背景、技术框架、核心内容及其在产业落地中的关键作用，详细介绍了主要参与单位在标准制定过程中的技术贡献，并就该标准的废止状态及后续演进趋势进行了深入分析。报告指出，尽管该标准已废止，但其确立的MIV一致性测试方法论和参考软件架构为沉浸式视频编码技术的持续迭代提供了重要技术基线，对推动沉浸式媒体生态的标准化进程具有里程碑式意义。关键词：MPEG-I；沉浸式视频；MIV；一致性测试；参考软件；ISO/IEC23090；六自由度；视频编码Keywords:MPEG-I;ImmersiveVideo;MIV;ConformanceTesting;ReferenceSoftware;ISO/IEC23090;SixDegreesofFreedom;VideoCoding一、引言1.1研究背景与意义在此技术浪潮中，国际标准化组织ISO/IECJTC1/SC29（音视频编码标准化分技术委员会）下属的MPEG（MovingPictureExpertsGroup，运动图像专家组）于2017年正式启动了MPEG-I（沉浸式媒体编码）系列标准的研究制定工作。该系列标准旨在为沉浸式媒体应用提供一套完整、统一的编码解决方案，涵盖从场景表示、数据压缩到渲染交互的全流程技术规范。其中，ISO/IEC23090-23（即MPEG-I第23部分）专门定义了MPEG沉浸式视频（MIV）技术的一致性测试方法和参考软件实现，是确保标准可实施性和互操作性的关键组成部分。1.2标准基本信息|项目|内容||------|------||标准编号|ISO/IEC23090-23:2023||中文名称|信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件||英文名称|Informationtechnology—Codedrepresentationofimmersivemedia—Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo||标准状态|废止||发布机构|国际标准化组织（ISO）/国际电工委员会（IEC）||发布日期|2023年10月23日||发布年份|2023年||国别|国际组织||语言|英语||版本说明|电子版加密PDF格式|二、MPEG沉浸式视频（MIV）技术概述2.1MIV技术原理与架构MPEG沉浸式视频（MIV，MPEGImmersiveVideo）是MPEG-I阶段1（Phase1）的核心技术成果，专注于支持三自由度加（3DoF+）和部分六自由度（6DoF）的沉浸式视频体验。MIV采用了一种基于场景表示的技术路线：在编码端，系统接收来自多个摄像头的多视角视频信号及其对应的深度信息，通过视图合成、冗余消除和分块打包（Packing）等步骤，将多个视点的信息高效组织为有限的几个基础视图（BaseView）和附加视图（AdditionalView），并将其合成为一个视频序列进行传统视频编码器的压缩；在解码端，则通过视图合成技术根据用户交互动态生成所需视角的图像。MIV技术路线的核心优势在于其对现有视频编码标准的良好兼容性——即可以依托H.265/HEVC或H.266/VVC等传统视频编码器完成基础的压缩任务，从而降低实现复杂度和产业部署门槛。这一设计理念使其在标准化评审中获得了广泛支持。2.2MIV标准化进程MPEG-I标准体系的制定遵循了MPEG一贯的分阶段推进策略。2017年，MPEG正式发布沉浸式媒体标准化白皮书，明确了"阶段1（Phase1）支持3DoF+，阶段2（Phase2）支持完整6DoF"的总体路线图。MIV作为阶段1的关键技术，经历了以下主要研发节点：-2019年7月：MPEG发布MIV技术征集书（CallforProposals），全球多家机构提交技术方案；-2020年1月：完成核心实验（CoreExperiment）评估，确定MIV基础架构；-2020年10月：形成委员会草案（CD），进入正式标准化流程；-2021年7月：发布国际标准草案（DIS），面向各成员国征询意见；-2022年：完成最终国际标准草案（FDIS）投票；-2023年10月：正式发布ISO/IEC23090-23:2023。2.3一致性测试与参考软件的作用三、ISO/IEC23090-23:2023标准核心内容3.1一致性测试规范ISO/IEC23090-23:2023定义了一套完整的一致性测试框架，具体包括以下几个方面：（1）比特流一致性测试（BitstreamConformanceTesting）标准规定了MIV编码器所产生比特流必须满足的语法和语义约束条件。测试方法包括：对比特流执行完全解析，验证其语法结构符合ISO/IEC23090-12（MIV主标准）中规定的码流语法表；对照标准中定义的语义约束条件逐项检查，包括但不限于各语法元素取值范围的合法性、参考视图关系的正确性、分块打包信息的完整性等。只有通过全部检查的比特流方可被认定具备一致性。（2）解码器一致性测试（DecoderConformanceTesting）针对解码器的一致性验证是确保解码重建视频质量的关键环节。该标准提供了基于参考解码器的严格测试方法，通过构造特定的一致性测试比特流，对解码器的输出进行像素级比较。测试过程中，解码器输出的重建视图必须与参考解码器在相同输入条件下的输出在允许的容差范围内完全一致。MIV中涉及视图合成操作，因此解码器含合成功能时需对合成视点的输出进行额外的质量评估。（3）测试数据的组织与管理标准定义了用于一致性测试的位流集和对应的测试描述，包括测试序列的来源、分辨率、视点数量、深度格式等关键特征。测试数据划分为多个档次和级别，为不同应用场景提供相应的测试覆盖范围。3.2参考软件规范参考软件方面，ISO/IEC23090-23:2023给出了MIV编码器/解码器参考实现的规范说明。参考软件以C++语言编写，具有以下核心设计特征：-模块化架构：将MIV处理流程划分为视图合成（ViewSynthesis）、基本视图选择（BasicViewSelection）、分块打包（Packing）、辅助数据生成等独立功能模块，便于研究者定位和修改特定环节；-可配置性：通过配置文件支持不同测试条件和编码参数组合，适应多样化的测试验证需求；-接口标准化：定义了统一的输入输出接口格式，方便与上游采集设备和下游渲染显示系统的对接。3.3与其他MPEG-I部分的关系ISO/IEC23090-23在MPEG-I标准体系中居于配套支撑地位。其对应的核心技术规范为：-ISO/IEC23090-12:2022——《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频（MIV）》，该标准是MIV的主体技术规范，定义了比特流语法、解码过程及视图合成相关技术要素；-ISO/IEC23090-2——涵盖沉浸式视频的编码表示中涉及深度增强等内容的规范；-ISO/IEC23090-10——定义了沉浸式媒体相关的元数据和渲染交互格式。ISO/IEC23090-23中的一致性测试条件和参考实现，均以上述标准规定的技术要素为直接依据，形成"规范+验证+参考"三位一体的完整技术闭环。四、标准参与单位4.1主要参与机构ISO/IEC23090-23:2023的制定汇聚了全球沉浸式媒体领域的顶尖科研机构和产业力量。在MPEG框架下，来自各成员国的专家以个人身份参与标准制定工作，其所属机构包括但不限于：FraunhoferHHI（德国弗劳恩霍夫海因里希·赫兹研究所）、华为技术有限公司、中兴通讯股份有限公司、北京大学、清华大学、韩国电子通信研究院（ETRI）、日本NTT、法国Orange、美国InterDigital、荷兰飞利浦等。4.2重点参与单位介绍：弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）在上述参与单位中，德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）在MIV技术研发和ISO/IEC23090-23:2023制定过程中发挥了最为关键的引领作用。（1）机构概况FraunhoferHHI位于德国柏林，是欧洲最大的应用研究机构——弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft）下属的65个研究所之一，专注于电信、光通信和多媒体技术领域的研究开发。该所拥有超过400名科研人员，在视频编码、沉浸式媒体、机器视觉等方向拥有逾30年的深厚积累，是全球视频编码技术的发源地之一——著名的H.264/AVC和H.265/HEVC标准的核心技术便诞生于此。（2）技术贡献在MIV标准化项目中，FraunhoferHHI作为MPEG-I的技术发起者和主要推动者，作出了以下突出贡献：-技术方案原型开发：FraunhoferHHI最早提出了基于深度图像渲染（DIBR，Depth-Image-BasedRendering）的多视点视频编码方案，该方案构成了MIV技术路线的基础框架；-参考软件实现：FraunhoferHHI主导编写了MIV参考软件的核心代码，包括视图合成模块和多视点视频预处理工具链，其代码质量和技术性能成为后续优化迭代的基准；-核心实验组织：在MPEG框架内，FraunhoferHHI专家参与组织了多轮核心实验（CoreExperiments）和交叉验证（Cross-Check）工作，确保不同机构提交的技术方案在统一条件下进行公平比对与验证；-一致性测试方法设计：FraunhoferHHI深度参与设计了ISO/IEC23090-23中所定义的一致性测试流程和判定准则，特别是针对视图合成模块的测试方法提出了创新方案；-标准化文本编写：该所多名专家担任了MPEG-I相关子工作组的主编或联合主编，直接负责了ISO/IEC23090-23标准文本的起草和编辑工作。（3）产业影响力FraunhoferHHI不仅停留在标准文本层面，更积极推动MIV技术的产业化落地。该所开发了基于MIV的端到端沉浸式视频系统原型，并与多家欧洲广播机构和电信运营商合作开展了5G+沉浸式媒体的现场试验。此外，FraunhoferHHI还对外提供MIV技术的专利许可和技术咨询，是沉浸式视频技术生态中极具影响力的核心力量。五、标准应用现状与产业影响5.1应用场景ISO/IEC23090-23:2023定义的一致性和参考软件体系在实际产业中具有明确的应用场景：-设备互操作性验证：终端设备厂商（如VR头显、智能手机、智能电视制造者）依据该标准对其产品进行一致性验证，以确保不同品牌的编码器和解码器之间能够实现无缝衔接；-内容制作与分发质量保障：内容提供商和流媒体平台通过一致性测试保障了其沉浸式内容的编码质量符合行业标准，为用户提供了统一的体验基线；-编解码器产品开发参照：芯片厂商和软件编码器开发商以参考软件为基准，优化自身产品的编码效率和解码速度，缩短产品上市周期。5.2标准废止的原因与影响ISO/IEC23090-23:2023目前状态显示为"废止"。标准废止通常有以下几种原因：技术路线发生重大调整、该标准被合并或取代、或原标准中的技术要素已纳入其他标准而不再需要独立文本。就本标准的实际情况而言，其废止的主要背景在于MPEG-I阶段2的加速推进——随着全功能6DoF沉浸式体验相关技术（如MPEG沉浸式场景描述等）的快速成熟，MPEG于2024年前后进行了标准体系的整合优化，将MIV一致性测试方法和参考软件的相关要素纳入更新版本或者合并至统一的沉浸式媒体一致性测试框架中，以保持标准体系的精简性和一致性。需要注意的是，标准的废止并不等于技术的消亡。在产业实践中，基于ISO/IEC23090-23:2023所开发的产品和测试工具仍在持续运行。同时，其在标准化方法论层面的探索——即如何针对包含合成环节的新型视频编码技术开展有效的一致性验证——对该领域后续标准的制定产生了深远的方法论借鉴价值。六、结论与展望6.1结论ISO/IEC23090-23:2023作为MPEG沉浸式视频（MIV）技术的一致性测试与参考软件规范，是MPEG-I标准化进程中的重要里程碑。本报告通过系统梳理该标准的立项背景、技术架构、核心内容和产业影响，得出以下主要结论：第一，MIV技术通过多视点+深度的场景表示方案，在传统视频编码框架下实现了高效的沉浸式内容压缩，代表了3DoF+时代的主流技术路线，而一致性测试和参考软件是保障该技术路线落地可行的关键支柱。第二，ISO/IEC23090-23:2023在一致性测试方法论上的创新——特别是针对视图合成环节的验证方法——为后续含深度信息视频编码标准的一致性测试提供了重要参考范式。第三，以FraunhoferHHI为代表的国际顶尖研究机构在标准制定中发挥了核心引领作用，体现了基础研究、标准制定与产业转化三者之间的良性互动关系。第四，标准的废止反映了技术迭代更新中标准体系自我优化的正常周期。标准文本的形式虽已变化，但其积累的技术资产和方法论将继续在后续标准中传承和发展。6.2展望展望未来，沉浸式媒体标准化将呈现以下发展趋势：其一，随着MPEG-I阶段2标准的全面推进，面向完整6DoF场景的编码表示将逐步完善，一致性测试体系也将从单一视频编码向"视频+场景描述+交互元数据"的复合框架演进。其二，AI驱动的编码技术（如神经辐射场NeRF、3D高斯泼溅等新兴表示方式）正在快速兴起，如何将其纳入标准体系并建立相应的一致性验证方法，将是MPEG及全球标准化组织面临的新课题。其三，在应用层面，沉浸式媒体技术正加速与文化体育赛事、远程教育、数字孪生、工业仿真等垂直行业深度融合，标准化工作需持续兼顾技术先进性与产业部署的现实需求。可以预见，尽管ISO/IEC23090-23:2023已经进入废止状态，但其所承载的技术积累和标准化经验将持续助力沉浸式媒体技术的标准化进程，为构建更加丰富的沉浸式视觉体验世界奠定坚实的技术基石。参考文献[1]ISO/IEC23090-23:2023,Informationtechnology—Codedreprese