ISOIEC 23090-22021 信息技术.沉浸式媒体的编码表示法.第2部分全向媒体格式标准立项发展报告

信息技术沉浸式媒体的编码表示法第2部分：全向媒体格式标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part2:OmnidirectionalMediaFormat摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的迅猛发展，沉浸式媒体已成为全球信息技术产业竞相布局的战略性领域。全向媒体（OmnidirectionalMedia）作为沉浸式内容的核心形态，其编码表示与封装格式的标准化直接关系到不同设备、平台与系统之间的互操作性，也深刻影响着用户在沉浸式环境中的视觉体验质量。本报告以国际标准化组织（ISO）与国际电工委员会（IEC）联合发布的标准ISO/IEC23090-2:2021《信息技术沉浸式媒体的编码表示法第2部分：全向媒体格式》为研究对象，系统梳理了该标准的立项背景、编制历程、核心技术内容及其技术架构，深入分析了标准在全球范围内的应用现状与产业影响。报告指出，该标准作为ISO/IEC23090系列标准体系的重要组成部分，通过定义全向媒体的投影、区域封装、视频与音频编码约束及元数据规范，有效解决了当前沉浸式媒体内容在采集、制作、传输和呈现环节中因格式不统一而导致的兼容性瓶颈问题。同时，本报告还就该标准废止的技术原因进行了客观研判，并结合新一代沉浸式媒体编码技术的发展趋势，对未来标准体系的演进方向提出了前瞻性建议。本报告旨在为标准使用者、技术研发人员及行业决策者提供全面的参考依据。关键词：全向媒体格式；沉浸式媒体编码；ISO/IEC23090；虚拟现实；投影映射；空间音频；标准化Keywords:OmnidirectionalMediaFormat;ImmersiveMediaCoding;ISO/IEC23090;VirtualReality;ProjectionMapping;SpatialAudio;Standardization1引言1.1研究背景近年来，沉浸式技术以前所未有的速度渗透至娱乐、教育、医疗、工业仿真、远程协作等多个行业领域。根据国际数据资讯（IDC）发布的全球沉浸式技术市场预测报告，全球VR/AR市场规模在2024年已突破300亿美元，并预计在2026年前保持年均超过30%的复合增长率。在这一蓬勃发展的产业生态中，全向媒体—即能够为用户提供360度全方位视角的影像与音频内容—构成了沉浸式体验的核心数据基础。全向媒体内容的典型特征在于其数据量的庞大性与空间维度的完整性。与传统平面视频相比，全向视频在同一时间点需要呈现完整的球面视觉信息，这意味着在同等分辨率条件下，其数据量通常为传统视频的4至6倍。这一特征给内容的采集、编码、存储、传输和渲染带来了巨大的技术挑战。更为关键的是，不同厂商所采用的投影方式（如等距柱状投影、立方体贴图投影等）、元数据定义、封装格式和传输协议各不相同，导致跨平台、跨设备的内容互操作严重受阻，整个产业链的协同发展也因此面临结构性瓶颈。在这一背景下，国际标准化组织ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）启动了ISO/IEC23090系列标准（即MPEG-I标准）的编制工作。其中，第2部分专门针对全向媒体格式（OmnidirectionalMediaFormat，简称OMAF）制定统一规范，旨在解决沉浸式内容在编码表示层面的格式兼容问题。1.2标准基本信息与文本说明本报告所研究的标准ISO/IEC23090-2:2021由ISO/IECJTC1/SC29分技术委员会组织制定，于2021年7月7日正式发布，取代了2019年发布的第一版（ISO/IEC23090-2:2019）。该标准的正式名称由ISO/IECJTC1/SC29/WG3（编码表示法工作组）编制，针对360度视频、空间音频、沉浸式元数据等技术要素制定了完整的规范体系。根据正式出版文本说明，该标准的官方电子版为加密PDF格式，下载耗时约1分钟，文件带有水印保护标识，需安装FileOpen插件方可打开浏览，且使用环境要求电脑联网验证授权。每位购买者在累计3台电脑上安装使用，共计可打印5次。标准文本售价为541.0元人民币（含增值税），对应定价策略遵循ISO出版物的统一价格体系。2标准立项背景与编制历程2.1立项的产业驱动ISO/IEC23090-2的立项可追溯至2016年前后。彼时，全球虚拟现实产业正经历第一轮投资热潮，Oculus、HTC、Sony、Google、Samsung等国际巨头纷纷推出消费级VR头显设备，YouTube、Facebook等平台也陆续上线了360度视频播放功能。然而，产业初期的野蛮生长很快暴露出诸多深层问题：第一，投影格式碎片化严重。不同内容制作者和硬件厂商在将球面视频映射至平面编码时采用了截然不同的方案。等距柱状投影（ERP）因其结构简单而应用最广，但存在像素冗余高、两极区域过采样严重等问题；立方体贴图投影（CMP）在像素效率上具备优势，却在球面到立方体面的映射计算上增加了复杂度；此外还有金字塔投影、鱼眼投影等各类变体方案。各家厂商均倾向于推广自有投影方案以构建技术壁垒，导致产业链上下游在内容交换环节面临严重的格式兼容障碍。第二，缺少统一的元数据支撑。全向视频在播放时需要配合视口（viewport）信息、初始视角方向、内容覆盖范围等元数据才能正确呈现。由于这些元数据缺乏统一标准，各终端在解析和渲染外部输入的内容时往往需要依赖私有约定或事后推断，严重影响了用户体验的一致性。第三，空间音频的同步呈现缺乏规范。沉浸式体验不仅依赖于完整的视觉覆盖，还需要与之匹配的空间音频信息。如何在全向媒体文件中存储和传输与观看方向联动的音频元数据，在标准立项之初几乎是空白地带。上述问题的集中爆发使得产业界对建立统一的全向媒体格式标准的呼声日益高涨。2.2MPEG-I标准体系的规划面对来自产业界的迫切需求，ISO/IECJTC1/SC29/WG3（MPEG系统小组）在2017年前后正式启动了MPEG-I（即ISO/IEC23090系列）标准的系统规划工作。该系列标准旨在覆盖沉浸式媒体从采集、编码、封装到交互呈现的全链路技术规范，计划分为多个部分分别立项推进：-第1部分：沉浸式视频的编码架构（已由ISO/IEC23090-1发布）-第2部分：全向媒体格式（OMAF），即本报告所研究的对象-第3部分：沉浸式视频的编码表示-第5部分：点云编码表示-第6部分：沉浸式媒体的传输与接收协议其中，第2部分作为MPEG-I体系的基础性规范，承担着定义全向媒体内容统一封装格式的重要使命。2017年7月，该部分正式立项，项目编号被正式分配为ISO/IEC23090-2，由来自韩国电子通信研究院（ETRI）的专家担任项目编辑（ProjectEditor）。此后，项目组经过多轮委员会草案（CD）、国际标准草案（DIS）和最终国际标准草案（FDIS）阶段的技术审议，于2019年初形成了首个正式版本（ISO/IEC23090-2:2019），并在2021年进行了修订更新。2.3ISO/IEC23090-2:2021的修订要点2021年版本相对于2019年第一版的主要修订集中在以下几个方面：-补充了对8K及以上超高分辨率全向视频的支持能力；-扩展了对HDR（高动态范围）视频技术的适配；-增加了对视口相关传输（Viewport-DependentDelivery）的元数据描述支持；-完善了对多个音频场景（如对话、环境声、特效声）的表示能力；-修正了第一版在特定投影映射计算方面的若干技术偏差。该版本的发布标志着全向媒体格式标准在技术完备性和适用性方面迈上了一个新台阶。3标准核心技术内容分析3.1全向媒体的定义与分类ISO/IEC23090-2:2021首先对全向媒体的范畴进行了清晰界定。根据标准的定义，全向媒体是指通过多视角采集设备获取的、能够覆盖用户在三维空间中任意视线方向的图像和音频内容的总称。具体而言，全向媒体包含以下三类要素：1.全向图像/视频：通过多个摄像机同步采集并拼接而成的360度全景视觉内容，以球面（sphere）作为统一的空间参考模型。标准中定义了两种基本的关联模式：单像关联（monoscopic）和立体像关联（stereoscopic），后者通过双球面入射分别对应左眼与右眼的视觉差异。2.全向音频：能够根据用户头部旋转或视角变化动态调整声场定位的音频内容。标准引用了ISO/IEC23008-3（3D音频标准）中定义的音频场景表示方式，允许通过元数据描述音频对象在三维空间中的方位信息。3.沉浸式元数据：用于描述全向媒体内容本身的各类辅助信息，包括投影类型标识、覆盖范围、初始视角建议、区域质量指示等。3.2投影方式规范投影是将球面全向视频映射为传统平面矩形视频帧的必要步骤，也是全向媒体格式中最核心的技术环节之一。ISO/IEC23090-2:2021明确支持和规范了以下投影方式：等距柱状投影（EquirectangularProjection，ERP）：作为基础性投影方式，被标准列为必选支持项。该投影将球面按经纬线等间距展开为2:1的矩形平面。其优点是映射关系简单、便于实现和互操作，缺点是像素密度在赤道区域和两极区域存在显著差异，整个平面的编码效率不高。立方体贴图投影（CubemapProjection，CMP）：在ERP基础上作为可选支持项被纳入标准。该投影将球面内容映射至立方体的6个面上，每个面对应球面的一个90度视角方向。相比于ERP，CMP在像素利用效率上具有明显优势，但需要额外的坐标变换计算。标准对立方体面的排列顺序、旋转方向和封装方式均做出了明确规定。此外，标准还允许通过扩展机制引入投影类型，为后续新型投影方案（如旋转球面投影、自适应像素密度投影等）预留了接口空间，体现了标准在技术前瞻性和开放兼容性方面的考量。3.3区域封装与质量分层具体而言，RWP方案包含两个核心组成部分：-区域映射（Region-WiseMapping）：定义球面坐标与矩形区域内像素坐标之间的几何转换关系；-区域封装（Region-WisePacking）：定义多个预处理后的区域在最终平面帧中的空间排列方式，包括位置坐标、旋转角度、缩放比例等参数。通过RWP机制，内容提供商可以在不改变底层视频编码标准的前提下，灵活地根据内容特性优化空间分辨率分配，从而在码率受限的条件下最大化主观视觉质量。3.4定时元数据与视口相关传输为了更好地支持自适应流媒体和视口相关传输场景，ISO/IEC23090-2:2021定义了定时元数据（TimedMetadata）框架。允许内容提供方以与视频帧时间轴同步的方式注入各类动态元数据，包括：-推荐的初始视角方向（InitialViewingOrientation）；-视口相关的质量指示（ViewportQualityIndication）；-内容覆盖范围（ContentCoverage）信息，用于标识视频帧中实际包含球面内容的范围；-传感器数据（如陀螺仪/加速度计）在录制时的参考信息。3.5文件封装与媒体配置文件在文件封装层面，该标准基于ISO基础媒体文件格式（ISOBaseMediaFileFormat，ISOBMFF，即ISO/IEC14496-12）定义了全向媒体的存储结构。标准规定，全向视频轨和音频轨需要在样本描述中标注投影类型、区域封装参数、球面坐标参考系等描述性信息，以便播放端能够正确解析和渲染。同时，为兼顾不同应用场景的复杂度和性能需求，ISO/IEC23090-2:2021定义了三个媒体配置文件（MediaProfile）：-OMAFMediaProfile1（基础配置）：适用于视频编码约束要求较低、以兼容性为首要目标的应用场景；-OMAFMediaProfile2（主配置）：支持更高分辨率、更高比特深度的全向视频；-OMAFMediaProfile3（扩展配置）：面向专业级应用，支持更丰富的投影方式和质量增强特性。4标准应用现状与产业价值4.1国际认可与产业链采纳自ISO/IEC23090-2:2019发布以来，该标准已被全球范围内众多设备制造商、内容平台和技术服务商广泛采纳为全向媒体内容的基本格式依据。设备层面：多数全景相机厂商在输出的元数据和封装格式中均与OMAF标准对齐，典型代表包括Insta360、RicohTheta系列产品。这些设备在导出全景视频时，默认以ERP投影配合标准的球面坐标元数据进行封装，用户可以在各类OMAF兼容播放器中获得一致性的观看体验。平台层面：YouTube、Facebook等大型视频平台在360度视频上传和分发流程中，均明确要求内容提供者遵循与OMAF相兼容的元数据规范。这一举措极大促进了全向媒体内容在不同平台之间的可迁移性。播放器层面：包括PicoVR、OculusMediaStudio以及多种开源播放器在内的软件生态均实现了对OMAF封装的解析支持，市场整体正在形成围绕该标准的技术共生态势。4.2对我国全向媒体产业的影响在我国，虚拟现实产业被列为数字经济时代的重点发展方向。工业和信息化部等部门在近年来发布的《关于加快推进虚拟现实产业发展的指导意见》中明确将"推进标准化体系建设"作为重点任务，强调加快VR内容编码、传输和呈现等关键环节的标准制定与推广。ISO/IEC23090-2:2021作为沉浸式媒体领域的国际基础标准，对我国VR内容生产工具链的升级改造、5G+VR融合应用场景的落地以及VR服务平台之间的互联互通均具有重要的规范引导作用。4.3技术局限与废止研判尽管ISO/IEC23090-2:2021在发布时代表了全向媒体格式领域的最先进水平，但受限于立项初期对技术路线的规划框架，其在实际应用中也逐渐暴露出一些局限：-对新兴编码技术的兼容性不足：随着H.266/VVC（多功能视频编码）和AV1等新一代视频编码标准在全向视频领域的应用日趋广泛，OMAF在编码约束上与新型编码器之间的深度适配仍需要进一步细化；-对体积视频支持的缺失：全向媒体格式主要聚焦于360度视频内容，而对包含深度信息的体积视频（VolumetricVideo）尚无完整的表达与封装规范；-立体视觉表示能力有限：当前版本对于立体全向视频支持方式相对简化，更多依赖双球面并行编码，在编码效率优化方面仍有提升空间。鉴于上述技术发展变化以及MPEG在后续版本中的系统性升级规划，ISO/IEC23090-2:2021版本最终被标记为废止，由更新版本（或后续合并集成方案）所取代。这一废止并不否定该版本标准的历史价值和现实参考意义，而是标准体系持续进化的正常且必要的环节。5主要参与单位介绍作为ISO/IECJTC1/SC29/WG3的重要成员机构，韩国电子通信研究院（ElectronicsandTelecommunicationsResearchInstitute，ETRI）在ISO/IEC23090-2标准的立项和制定过程中发挥了关键作用。ETRI成立于1976年，是韩国政府资助的综合性信息通信技术研究机构，长期致力于广播电视、移动通信、人工智能和沉浸式媒体等领域的基础研究与核心技术研发。在MPEG标准化工作中，ETRI拥有深厚的积累，先后主导和参与了包括MPEG-H3D音频、MPEG-I沉浸式媒体在内的多项国际标准的制定，是国际音视频编码标准化领域的重要力量之一。在ISO/IEC23090-2项目推进过程中，ETRI不仅是项目编辑（