ISOIEC 23090-22021 信息技术.沉浸式媒体的编码表示法.第2部分全向媒体格式标准立项发展报告

信息技术沉浸式媒体的编码表示法第2部分：全向媒体格式标准立项发展报告EnglishTitleStandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part2:Omnidirectionalmediaformat摘要本标准立项发展报告旨在系统梳理国际标准ISO/IEC23090-2:2021《信息技术沉浸式媒体的编码表示法第2部分：全向媒体格式》的制定背景、技术内容、实施现状及废止影响。随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的快速发展，全向媒体（OmnidirectionalMedia）作为用户与虚拟环境交互的核心信息载体，其标准化需求日益迫切。ISO/IEC23090-2:2021作为MPEG-I标准框架下的关键组成部分，定义了全向媒体内容的封装、元数据及投影格式，旨在实现不同设备与平台间沉浸式内容的高效互操作。然而，随着技术迭代与产业需求升级，该标准已于近期被宣布废止。本报告深入分析该标准的技术规范、产业链应用情况及废止背后的驱动因素，并探讨其对未来沉浸式媒体标准化体系的启示。重要结论表明：技术演进速度超过标准修订周期导致了该标准的废止，但其所奠定的技术基础与编码范式为后续标准的制定提供了重要参考；国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会（JTC1）正在推动更先进、更灵活的沉浸式媒体编码标准的制定，以适应8K、3D音频及实时渲染等新的技术需求。关键词-沉浸式媒体(ImmersiveMedia)-全向媒体格式(OmnidirectionalMediaFormat,OMF)-编码表示法(CodedRepresentation)-MPEG-I标准(MPEG-IStandard)-虚拟现实交互(VirtualRealityInteraction)-元数据封装(MetadataEncapsulation)-标准废止(StandardWithdrawal)-互操作性(Interoperability)KeywordsImmersiveMedia;OmnidirectionalMediaFormat(OMF);CodedRepresentation;MPEG-IStandard;VirtualRealityInteraction;MetadataEncapsulation;StandardWithdrawal;Interoperability1.研究背景与目的1.1沉浸式媒体的技术浪潮近年来，随着5G/6G网络、边缘计算和高分辨率显示设备的普及，沉浸式媒体技术实现了跨越式发展。全向媒体，即允许用户通过旋转视角自由观看360°场景的媒体内容（含全景视频与空间音频），已成为虚拟现实和增强现实应用的核心技术支撑。然而，长期以来，由于缺乏统一的国际标准，不同厂商开发的内容格式互不兼容，严重阻碍了沉浸式内容的跨平台分发与生态构建。市场急需一套标准化的数据格式，以统一定义全向媒体的视频投影方式（如等距柱状投影、立方体贴图）、音频渲染（如双耳立体声、HOA高阶高保真度立体声）及元数据结构。1.2ISO/IEC23090-2:2021的立项初衷ISO/IEC23090系列标准，即“MPEG-I”标准，旨在为沉浸式媒体提供端到端的编码表示法。作为该系列的第二部分，ISO/IEC23090-2:2021（全向媒体格式，OMF）于2021年7月正式发布。其核心目标包括：-规范数据封装：基于ISO基础媒体文件格式（ISOBMFF），定义全向媒体内容的存储与流化格式。-定义元数据框架：提供空间映射、区域界定、视口相关描述等元数据，支持自适应流媒体及随机访问。-统一投影与打包：规定多种投影格式及其在矩形平面中的打包方式，限定解码器的基本支持模式。标准发布之初，被视为打通VR产业链“数据孤岛”的关键协议，被广泛应用于全景视频采集、VR头显播放及流媒体服务平台。2.标准技术内容分析2.1核心规范与架构ISO/IEC23090-2:2021建立了一套完整的全向媒体数据模型。其技术核心主要包括以下几个方面：1.投影格式规范：标准明确支持多种投影方式，如等距柱状投影（EquirectangularProjection,ERP）作为基本配置，同时定义了立方体贴图（CubemapProjection,CMP）等高级投影。这些投影定义了如何将球面全向视频映射到二维矩形平面，以供传统视频编码器（如H.265/HEVC）编码。2.区域封装（Region-wisePacking,RWP）：针对不同区域的编码质量需求（如中心视线区域的高清晰度与边缘区域的低清晰度），标准规定了在编码前对投影后的图像进行几何变换与重排的方法。这允许内容提供者通过非均匀采样提高编码效率。3.元数据整合：标准定义了关键的元数据盒子（Boxes），如`ProjectionFormatBox`用于描述投影类型，`RegionWisePackingBox`用于指示打包映射。此外，`SphereRegionBox`和`ViewportBox`等元数据为弹幕渲染、视口依赖流化提供了精确的空间坐标描述。2.2与相关标准的关系ISO/IEC23090-2:2021并非孤立存在，它是MPEG-I标准生态的一部分，与以下标准协同工作：-ISO/IEC23090-1(Architecture):定义了沉浸式媒体系统的总体架构和参考模型。-ISO/IEC23090-3(VersatileVideoCoding):指定全向媒体内容可选用的视频编码标准（如VVC/H.266），以实现更强压缩性能。-ISO/IEC23090-10(Server-basedMediaStreaming):聚焦于基于服务器的流媒体会话机制。2.3技术优势与局限性优势：-一致性保证：提供了标准化的元数据，确保不同厂商的播放器能正确解码和渲染。-编码效率提升：通过区域封装允许针对高关注区域（视口内）提升质量，而整体码流不显著增加。-兼容性设计：基于ISOBMFF兼容现有媒体引擎。局限性：-响应速度滞后：标准制定周期长（约3-5年），发布后迅速面临了新技术的挑战，如AI驱动的实时渲染、8K/12K超分辨率全景视频处理。-灵活性不足：固定的投影-封装-编码流程限制了基于像素级内容补偿技术的灵活应用。3.实施现状与废止原因分析3.1实施现状在标准有效期内（2021-2024年），该标准被部分流媒体平台（如某些云VR服务）及全景相机厂商采纳作为内置数据封装格式。然而，其普及率并未达到预期。主要原因在于：-产业替代方案成熟：MPEG-DASHDynamicAdaptiveStreamingoverHTTP与基于WebXR的设备兼容性更好，众多企业转向构建私有或更灵活的混合格式。-实时性要求变化：产业向实时渲染、游戏引擎（如UnrealEngine,Unity）方向倾斜，这些平台对原生OMF格式的支持较弱，更倾向采用源素材解码为主的方式。3.2废止的根本原因ISO/IEC23090-2:2021的废止是技术发展的必然结果。具体来说：1.编码技术迭代加速：2021年后，以VVC为代表的新一代视频编码标准，以及基于神经网络的分发机制（如AVS3,AV1的沉浸式扩展）在压缩效率上实现了20%-30%的提升，使原始封装的改进点失效。2.更优的标准化解决方案出现：MPEG-I系列标准中的其他部分（如ISO/IEC23090-7图像与视频点云编码、ISO/IEC23090-12沉浸式视频的测试模型等）吸收了更先进的元数据管理方式，使得OMF作为一个独立的、基础的格式部分逐渐失去“前沿”位置，而被整合入更为宏大的沉浸式媒体架构中。3.标准不断修订迭代：ISO作为标准化组织对标准有明确的修订机制。2024年前后，ISO/IECJTC1/SC29工作组认为OMF的内容已经过时，应被废止以鼓励使用基于新版视频编码和新封装模型的后续标准（如ISO/IEC23090-2的修订版或ISO/IEC23090-20系列）。旧版本的保留反而可能造成行业对新能力的认知混乱。4.主要制定单位与标委会介绍4.1主要参与单位：国际标准化组织/国际电工委员会第一联合技术委员会第二十九分技术委员会（ISO/IECJTC1/SC29）背景：ISO/IECJTC1/SC29是专注于“音频、图像、视频及多媒体信息编码”的权威国际标准化分技术委员会，也就是业界熟知的MPEG委员会的核心所在。ISO/IEC23090-2:2021正是由SC29下属的WG4（视频编码工作组）和WG7（多媒体传输与集成工作组）共同制定。贡献细化：1.技术框架设计：SC29组织了全球顶尖的科研机构与企业的专家，设计并定义了OMF的核心架构。他们基于广泛收集的市场需求，通过“贡献-讨论-共识”的流程，在参考模型（TestModel）中验证了各种投影与封装的编码效率。2.互操作性验证：标准制定过程中，SC29组织了多次“核心实验”（CoreExperiment）和“互操作性验证活动”，确保不同厂商（如Intel、Qualcomm、华为、Sony等）的编解码器能够遵照OMF准确还原沉浸式场景。3.元数据标准化：SC29的专家们定义了`omf:track`逻辑媒体模块，并撰写了标准文本中细致的语法描述，为全球开发者提供了严格的参考。地位与影响：SC29是多媒体编码标准领域最具影响力的国际标准化组织之一，其制定的MPEG-2、H.264、HEVC和VVC标准对世界视听产业产生了深远影响。ISO/IEC23090-2:2021的废止行为本身，恰恰体现了SC29严谨、动态、向前看的标准化工作精神——敢于废止不再具有先进性的标准，为更新的技术方案留出空间。5.结论与展望5.1结论ISO/IEC23090-2:2021《信息技术沉浸式媒体的编码表示法第2部分：全向媒体格式》的制定与废止，是标准化进程中“有生有灭”自然规律的典型体现。该标准在2021年为沉浸式媒体的互操作提供了宝贵的基石，解决了全景视频封装格式混乱、元数据缺失等核心痛点，在前辈技术（如行业早期的Equirectangularonly方案）基础上实现了显著进步。然而，技术的飞速发展（尤其是AI辅助渲染、面向对象的音频表征和更高效的压缩算法）以及市场对实时、交互、多自由度体验的更高要求，使得该标准在2024年后事实上已落后于产业实践。因此，其废止并非失败，而是一种积极的、促进产业进一步技术升级的机制。5.2展望基于本报告的分析，未来沉浸式媒体的标准化发展将呈现以下趋势：-淘汰与进化并行：旧的OMF标准被废止，但其所包含的核心概念（如区域封装、视口元数据）将被进化后纳入更先进的版本或全新的标准族中（例如即将推出的沉浸式视频演进标准）。-面向6DoF与混合内容：未来的标准（如ISO/IEC23090-5点云编码）将超越360°视频的限制，支持六自由度（6DoF）的移动和交互，真实与虚拟物体的无缝融合。-AI与标准的深度融合：标准化将不再局限于传统压缩与封装，还将涉及AI驱动的元数据（如语义分割、场景理解、个性化推荐）的标准化表达。-向实时与低延迟分发靠拢：标准体系将进一步支持从解码渲