信息技术.沉浸式媒体的编码表示.第23部分MPEG沉浸式视频的一致性和参考软件标准立项发展报告

标题：信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part23:ConformanceandreferencesoftwareforMPEGimmersivevideo摘要结论指出，ISO/IEC23090-23:2023标准的立项与发布，标志着沉浸式视频编码从理论研究走向了标准化实践的关键一步。它为业界提供了统一的性能评估标尺和可复现的实施范例，显著降低了技术落地的风险与成本。面向未来，随着新一代视听体验需求的演进，该标准的技术遗产与研制范式将持续影响后续沉浸式媒体编码标准的迭代与发展，引导行业朝着更高效、更开放、更具互操作性的方向演进。关键词沉浸式媒体；MPEG沉浸式视频；一致性与参考软件；视频编码；国际标准；ISO/IEC23090；六自由度；互操作性Keywords:ImmersiveMedia;MPEGImmersiveVideo(MIV);ConformanceandReferenceSoftware;VideoCoding;InternationalStandard;ISO/IEC23090;SixDegreesofFreedom(6DoF);Interoperability正文一、标准立项背景与意义在信息技术领域，媒体内容的呈现形式正经历从二维平面向三维空间的深刻变革。沉浸式媒体，特别是能够提供六自由度（6DoF）视觉体验的沉浸式视频，已成为下一代消费级和企业级应用的焦点。不同于传统2D视频，沉浸式视频通常由多个紧密排列的摄像头阵列或深度相机捕捉，生成包含丰富深度信息和视角信息的“多视点+深度”（MVD）数据。这导致数据量呈指数级增长，对现有的视频压缩标准提出了前所未有的挑战。在此背景下，国际标准化组织（ISO）和国际电工委员会（IEC）的第一联合技术委员会（JTC1）下属的SC29“音频、图像、多媒体和超媒体信息”分委员会，特别是其运动图像专家组（MPEG），于2019年左右启动了名为“MPEG沉浸式视频”（MPEGImmersiveVideo,MIV）的新一代视频编码标准化项目。该项目旨在开发一套高效的编码表示方法，能够从海量的多视点源数据中提取、编码和重建出供用户自由探索的三维视觉场景。ISO/IEC23090是一个系列标准，涵盖了对点云、视频、音频等多种沉浸式媒体的编码表示。其中的第23部分，即“MPEG沉浸式视频的一致性和参考软件”，是整个MIV标准体系中不可或缺的支撑性、工具性、验证性标准。其立项的意义在于：1.确保互操作性：该标准通过定义明确的符合性测试点（ConformanceTestingPoints），规定了MIV解码器必须满足的最低技术要求。不同设备制造商和软件开发商可以依据此标准验证其产品能否正确解析和重建MIV码流，这是构建开放、健康产业生态链的基础。2.提供技术基准：参考软件（ReferenceSoftware）作为标准文本的可执行补充，精确实现了标准所定义的编码、解码算法。它为业界提供了一个无歧义的技术参考实现，用于算法性能评估、新算法研究对比以及作为产品开发的起点。开发人员可以将自己的实现与参考软件的输出进行比对，以验证其正确性。3.加速技术落地：在标准的早期阶段，提供经过验证的、功能完整的参考软件，可以大幅降低应用开发者的进入门槛，缩短产品研发周期，从而加速MIV技术从实验室走向市场的商业化进程。4.形成技术闭环：一致性测试关注“输出结果是否正确”，而参考软件关注“过程如何实现”。二者相结合，构成了从算法定义、软件实现到合规性验证的完整技术闭环，保证了标准制定的严谨性和可操作性。二、标准核心技术内容与范围ISO/IEC23090-23:2023作为一项技术规范，其核心是为ISO/IEC23090-12（MPEG沉浸式视频编码）所定义的编码技术提供一致性测试方法和参考软件。其主要内容可概括为以下两个部分：1.一致性测试(ConformanceTesting)该部分定义了一套严谨的测试程序和方法，用以评估一个MIV比特流或解码器是否符合ISO/IEC23090-12标准。关键要素包括：*测试点定义：标准明确了多个层级和维度的测试点。这些测试点涵盖了不同的编码配置（如不同的基本视图数量、不同粒度的图集/Atlas生成策略）、不同的量化参数、不同的运动估计精度等关键技术特征。*测试比特流生成：标准描述了如何生成用于测试的比特流。这些比特流通常基于标准指定的源测试序列，并施加特定的编码约束。比特流内嵌了用于验证的关键信息，例如预期的解码输出值。*符合性要求：针对解码器，它定义了从比特流中正确解析语法元素和执行解码过程的能力。例如，解码器必须在给定的计算资源和内存限制下，正确重建出图集数据、元数据以及最终的沉浸式视频帧。任何一次解码失败或输出与预期不符，均判定为不符合标准。*解码器角色定义：一致性测试区分了“核心解码器”和“合成器”的角色。核心解码器负责从码流中解码出图集数据，而合成器则负责基于图集和元数据渲染出用户所需的特定视角的视图。标准可能分别定义这两者的符合性要求，或整体要求。2.参考软件(ReferenceSoftware)该部分规定了作为标准文本参考实现的开源软件。其主要特征和功能包括：*功能性完整：参考软件实现了ISO/IEC23090-12标准中描述的所有核心算法模块，包括图集生成（AtlasGeneration）、图集编码（AtlasCoding）、元数据封装（MetadataEncapsulation）、图集解码（AtlasDecoding）、视图合成（ViewSynthesis）等。它是标准各项技术规定的可执行映像。*验证基准：任何声称符合MIV标准的商业或开源实现，都可以通过与参考软件的相同输入输出比对来进行自发验证。这也是标准开发组织进行一致性测试的核心工具。*算法原型：参考软件不仅是验证工具，也是技术研究的起点。研究人员可以在参考软件的代码基础上，修改或替换特定模块（如合成算法、图集打包策略），以探索新的技术改进，并能够与原始性能进行公平对比。*文档化与可读性：软件的代码组织、注释、以及附带的用户手册和开发者指南，都有助于技术社区理解MIV标准的复杂算法。三、标准研制与修订历程及状态该标准经历了典型的MPEG标准研制流程：*提案与需求阶段（2019-2020年）：在MIV核心实验收敛后，针对一致性测试方法论和参考软件的实现方案，各会员单位（如高校、研究机构、企业）开始提交技术提案。*核心开发阶段（2020-2022年）：由MPEG下辖的专门工作组负责，召开多次线上线下会议，整合并迭代了参考软件的代码。同时，定义了第一版的一致性测试比特流和测试规范。关键决策包括选择哪种开源许可协议（通常是有使用限制的或研究友好的开源许可）、如何组织软件模块以实现对编码算法的独立评估等。*验证与批准阶段（2022-2023年）：标准草案（CommitteeDraft,CD）和最终草案（FinalDraftInternationalStandard,FDIS）经过多次内部审查和公众评议。期间，通过交叉验证，不同公司基于同一规范的参考软件实现的测试结果被用于修正标准文本中的潜在歧义。最终，ISO/IECJTC1/SC29/WG2（MPEG工作组）投票通过该标准，并于2023年10月23日正式发布，标准编号为ISO/IEC23090-23:2023。当前状态：根据您提供的信息，该标准状态为“废止”。在标准化领域，标准的废止通常意味着该版本已被更新的版本所取代，或者该技术方向已被更优的方案替代。鉴于MIV标准本身在继续演进（例如立项了支持更复杂场景的MIV2.0项目），该一致性标准很可能已被ISO/IEC23090-23:2024或其他后续修订版所替代。废止状态强调了用户应关注并使用最新版本的技术规范，以确保与当前产业链的技术要求保持一致。四、主要参与单位简介：MPEG（运动图像专家组）本标准的制定主体是由ISO和IEC共同组建的第一联合技术委员会（JTC1），其中的SC29分委员会，而具体的技术工作由声名卓著的MPEG（MovingPictureExpertsGroup,运动图像专家组）负责。MPEG是媒体编码领域全球最权威的标准化组织之一。组织性质与历史MPEG成立于1988年，是ISO/IECJTC1下的一员。其使命是制定关于运动图像及其伴音（音频）压缩、解压缩、处理和编码表示的国际标准。从最初的MPEG-1（CD质量的视频）、MPEG-2（数字电视和DVD），到MPEG-4（交互式多媒体应用）、MPEG-7（多媒体内容描述接口），再到MPEG-21（多媒体框架）和MPEG-H（高效视频编码），以及最近的MPEG-I（沉浸式媒体），MPEG的标准深刻影响了全球数字媒体的发展进程，催生了数十亿级的产业规模。在MIV标准研制中的角色在ISO/IEC23090系列标准的研制中，MPEG扮演了以下核心角色：1.技术驱动者：MPEG是MIV技术方案的起源。其核心实验（CoreExperiments）环节是团队智慧的结晶。全球顶尖的图像处理、计算机视觉、视频编码的专家（来自高校如斯坦福大学、马克斯·普朗克研究所；企业如高通、苹果、华为、索尼等）汇聚于此，通过辩论、试验、编码竞赛的方式，筛选出最优的技术方案，并最终集成到标准文本中。2.流程管理者：MPEG拥有成熟、严谨、透明的标准化流程。从需求定义、技术评估、提案征集、实验验证、草案写作，到最终的国际标准投票，每一步都遵循严格的时间表和规则。对于“一致性与参考软件”标准的制定，MPEG组织了专门的一致性测试组（TestModelGroup），负责协调参考软件的版本发布、评估一致性测试的有效性，并解决跨厂商的互操作性问题。3.社区建设者：MPEG不仅输出标准文本，也输出参考软件、测试数据、测试条件以及技术报告。它本质上构建了一个全球性的技术社区。通过公开的会议纪要、开放的软件仓库以及技术研讨会，MPEG促进了全球范围内对沉浸式视频编码技术的研究、理解和应用。贡献与影响MPEG对ISO/IEC23090-23:2023的贡献是不可替代的。该标准的发布，标志着沉浸式视频编码领域第一个国际性的、明确、可验证的互操作性标尺的诞生。它让“声称符合MIV”的产品有了可复现的检验方法。尽管该版本已废止，但其作为基石，为后续更高效、更鲁棒的沉浸式视频标准化工作铺平了道路，也充分体现了MPEG在推动前沿媒体技术标准化方面的核心领导力。五、结论与展望ISO/IEC23090-23:2023《信息技术沉浸式媒体的编码表示第23部分：MPEG沉浸式视频的一致性和参考软件》标准的制定与发布，是沉浸式媒体技术发展史上的一个重要里程碑。它不仅为复杂的MIV编码技术构建了一个严谨的互操作性评估体系，还通过开源参考软件的方式，为全球范围内的研究者和开发者提供了可复现的实施蓝本，极大地促进了相关技术的交流和产品的快速迭代。该标准的立项体现了标准化工作从“定义算法”向“定义一致性与验证方法”的深刻转变，强调了标准实施的可行性、可测试性与可信赖性。它为整个MPEG-I（沉浸式媒体）标准家族的研究、开发、测试和部署提供了不可或缺的工程化支撑。展望未来，尽管当前版本已成“废止”状态，但其技术思想与设计范式将长期存在：1.技术演进驱动标准更新：随着沉浸式视频技术（如基于神经网络的渲染、更高阶的沉浸感表示、混合分辨率的流媒体传输）的进一步成熟，对一致性测试的定义和方法（例如更复杂的主观评价结合客观指标、实时解码的符合性要求）必然提出更高要求。后续的修订版将采纳这些新技术，以保持标准的先进性。2.从测试到认证服务：基于该标准的一致性测试工具，可能会催生第三方的认证服务。设备制造商可以将自己的硬件解码器或软件解码器送往认证实验室，通过官方测试并获得“MIV兼容”标识。这对于最终用户和内容分发商来说，将是一种强有力的质量保证，有助于消除市场对互操作性的疑虑。3.对其它标准