ISOIEC 23090-22023 信息技术.沉浸式媒体的编码表示.第2部分全向媒体格式标准立项发展报告

信息技术沉浸式媒体的编码表示第2部分：全向媒体格式标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part2:Omnidirectionalmediaformat摘要：随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，全向媒体（OmnidirectionalMedia）作为构建沉浸式体验的核心内容形式，其标准化工作已成为全球信息产业关注的焦点。本报告围绕国际标准ISO/IEC23090-2:2023（信息技术沉浸式媒体的编码表示第2部分：全向媒体格式）展开，系统阐述了该标准的立项背景、核心技术内容及产业发展意义。报告首先分析了沉浸式媒体产业对统一、高效的全向媒体格式的迫切需求，指出当前全向视频和音频内容在采集、编码、存储、分发和渲染等环节存在的互操作性问题。其次，深入剖析了标准的核心技术要素，包括投影格式（如等距柱状投影）、区域打包方案、元数据规范及视口独立/相关编码技术。最后，报告总结了该标准在推动产业生态成熟、降低内容制作成本、提升用户体验流畅性等方面的重要价值，并对未来沉浸式媒体标准体系的演进方向进行了展望。结论指出，ISO/IEC23090-2:2023不仅是全向媒体领域的里程碑式文件，更是构建下一代沉浸式通信和娱乐基础设施的基石。关键词：沉浸式媒体；全向媒体；ISO/IEC23090；MPEG-I；虚拟现实；视口自适应；元数据；投影格式Keywords:ImmersiveMedia;OmnidirectionalMedia;ISO/IEC23090;MPEG-I;VirtualReality;Viewport-AdaptiveStreaming;Metadata;ProjectionFormat正文：一、引言：沉浸式媒体时代的技术挑战与标准化需求随着5G/6G通信、高性能计算及感知识别技术的跨越式发展，以虚拟现实、增强现实为代表的沉浸式技术正从专业领域加速向大众消费市场渗透。全向媒体，即能够为用户提供360°全方位观看体验的视频、音频及图像内容，是构建沉浸式环境的核心数据载体。然而，在全向媒体产业的快速发展进程中，一个关键瓶颈日益凸显：缺乏统一的、高效的媒体格式标准。在实际应用中，不同厂商的全向摄像机、头戴式显示器（HMD）以及内容分发平台，往往采用各异的投影格式（如立方体贴图、金字塔映射等）、编码参数和元数据规范。这种碎片化生态导致了以下几个严重问题：1.互操作性差：不同设备间的内容无法直接兼容，内容制作者需要针对不同平台进行多次转码和适配，极大增加了制作成本和分发复杂度。2.传输效率低下：传统视频编码技术未针对全向内容的“视口（Viewport）相关”特性进行优化。用户观看时，仅需解码其视线方向的局部高清画面，而服务器却需传输全局高分辨率视频，造成了大量的带宽和计算资源浪费。3.用户体验割裂：缺乏统一的元数据标准，导致播放器无法准确解析视频的投影方式、旋转角度和有效区域，容易出现画面畸变、初始视角错误、无法实现六自由度（6DoF）运动等体验缺陷。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）第一联合技术委员会（JTC1）下属的运动图像专家组（MPEG）于2016年启动了“MPEG-I”项目（ISO/IEC23090系列），旨在为沉浸式媒体提供端到端的编码与系统解决方案。其中，ISO/IEC23090-2:2023作为该系列标准的核心构成部分，专门针对全向媒体格式（OmnidirectionalMediaFormat,OMAF）进行了规范化定义，为产业的规模化发展扫清了关键障碍。二、标准核心技术内容解析ISO/IEC23090-2:2023的正式名称为《信息技术沉浸式媒体的编码表示第2部分：全向媒体格式》，是MPEG-I系列标准的第二版标准（第二版于2023年发布）。该标准并非仅仅定义了单一的编码算法，而是在现有视频/音频编码标准（如HEVC/H.265、AAC）的基础上，构建了一套完整的媒体格式封装和元数据描述体系。其核心技术要点包括：1.投影格式的统一与扩展2.区域打包方案（Region-wisePacking）全向视频的像素分布并非均匀。例如，ERP格式在赤道附近区域信息密度高，而在两极附近则存在大量采样冗余。为了提升编码效率，标准引入了区域打包方案。它允许内容制作者将高信息密度的区域（如画面中心）切割下来，以高分辨率打包到二维画面的核心位置，而将信息稀疏的背景区域（如天空、地面）降低分辨率处理后填充。这种“非均匀采样”的打包方式，能够在不影响用户核心视口体验的前提下，显著降低数据量。3.视口相关元数据与自适应传输4.音频格式的沉浸式支持标准不仅关注视频，还对全向空间音频进行了规范。内容包括对四声道立体声（Ambisonics）格式、基于对象的音频（Object-basedAudio）的封装支持。标准允许音频流携带方位元数据，使得用户旋转头部时，声音能够实现与视觉画面相匹配的方位感和距离感，从而营造出高度真实的声场环境。5.时间轴与随机访问作为媒体格式标准，OMAF定义了全向媒体内容的时空坐标系。它规定了如何通过统一的元数据，将视频的二维像素坐标与世界坐标系的三维球面坐标进行精确映射。同时，标准优化了随机访问点的设置，使得用户在快速跳转播放进度后，能迅速定位并解码出正确的画面。三、标准的产业价值与重大意义ISO/IEC23090-2:2023的发布，对于全球沉浸式媒体产业链具有深远的推动作用：1.降低行业门槛，促进生态繁荣：以往，中小型内容创作者和硬件厂商往往需要自行研发复杂的投影和元数据处理技术。标准的建立使得技术实现变得模块化和可复用，任何厂商都可以基于OMAF标准快速开发出兼容的产品，极大地缩短了产品上市周期。2.优化网络传输，提升用户体验：通过视口自适应技术，OMAF标准将全向媒体的传输带宽需求降低至传统全局传输模式的30%-50%（视具体场景而定）。用户不再需要等待数秒的缓冲才能获得高流畅度体验，而是可以享受到近乎即时的响应和更清晰的画面，这对于VR直播、在线教育、远程协作等实时性要求高的应用场景至关重要。3.推动产业规模化，催生新业态：统一的格式标准是内容跨平台分发的基石。OMAF的出现，使得全向视频可以像传统2D视频一样，在各大内容分发网络（CDN）和流媒体平台上无障碍传播。这直接催生了全景体育赛事直播、全景旅游体验、虚拟展厅展示等新型商业业态。4.为下一代媒体格式奠定基础：OMAF是MPEG-I标准体系的“根基”。后续标准如ISO/IEC23090-10（点云编码）、ISO/IEC23090-12（六自由度视觉）等，都依赖于OMAF所提供的媒体封装、元数据框架和时域同步机制。四、主要参与单位介绍——MPEG（MovingPictureExpertsGroup）标准的立项、修订与发布，得益于一个在国际标准化领域具有崇高声誉和强大技术影响力的组织——运动图像专家组（MovingPictureExpertsGroup,MPEG）。1.组织概况MPEG成立于1988年，是由国际标准化组织（ISO）和国际电工委员会（IEC）联合成立的专家工作小组（正式名称为ISO/IECJTC1/SC29/WG11）。其核心使命是制定用于压缩、解压、处理和表示运动图像、音频及其组合的开放国际标准。经过三十余年的发展，MPEG已经从一个专注于视频编码的专家小组，演变为全球范围内制定数字媒体编码、系统和应用标准的权威性平台。2.核心理念与技术贡献MPEG始终坚持“开放、透明、国际共识”的原则。所有技术提案均来自全球范围内的会员单位（包括企业、研究机构、大学等），并通过连续的会议讨论、性能测试和投票表决来达成共识。这种开放协作模式确保了标准的先进性、公平性和广泛的市场接受度。MPEG最著名的贡献包括MPEG-1（VCD）、MPEG-2（DVD/DVB）、MPEG-4（DivX、AVC/H.264）、MPEG-H（HEVC/H.265、3DAudio）以及最新的MPEG-I(ImmersiveMedia)。每一项标准都深刻改变了人类获取和消费数字视听内容的方式。3.在ISO/IEC23090-2:2023中的具体作用针对OMAF标准的制定，MPEG-WG11（即MPEG的核心工作组）主导了以下关键活动：*需求收集与分析：组织来自世界各地的VR头显厂商、内容提供商、芯片设计公司（如高通、索尼、三星等）以及学术界专家，共同分析全向媒体在直播、点播、游戏、社交等场景下的共性技术需求。*核心技术验证：围绕投影格式、区域打包、视口自适应等关键技术点，MPEG组织了多轮核心实验（CoreExperiments,CEs）。例如，对不同投影格式（ERPvs.CMP）在相同码率下的编码失真进行客观（PSNR）和主观（MOS）评估，最终确定了推荐方案。*系统集成与封装规范：MPEG的专家们负责将视频编码、音频编码、元数据描述、ISOBMFF封装（ISOBaseMediaFileFormat）等不同模块进行系统级集成。他们定义了详细的盒子（Box）结构、语法元素和语义，确保所有符合标准的数据流可以被任何兼容的解析器正确理解。*版权与专利管理：MPEG通过其专利池管理机制（如MPEGLA），为OMAF标准中包含的关键专利技术提供了清晰、合理的授权路径，消除了企业采用该标准的法律风险。可以说，没有MPEG这样一个具有强大凝聚力、技术深度和全球影响力的标准化组织，就不可能有ISO/IEC23090-2:2023这样一部具有高度前瞻性和实用性的沉浸式媒体格式标准。五、结论与展望ISO/IEC23090-2:2023标准，作为全向媒体领域的“通用语言”，成功解决了360°视频/音频在存储、传输和播放过程中的互操作性问题。它不仅定义了技术规范，更构建了一个以“用户视口为中心”的全新内容分发范式。该标准的发布，标志着沉浸式媒体产业从“技术实验”阶段正式迈入了“规模化商用”阶段。展望未来，全向媒体标准化的发展将呈现以下趋势：1.向更高阶的沉浸度迈进：OMAF奠定了2D全景到3D空间的基础。未来的标准化工作将更侧重于六自由度（6DoF）媒体，如点云、光场和体素内容的格式标准化，使用户可以像在真实空间中一样，自由移动头部和身体，从任意角度和距离观察场景。2.端到端系统的深度融合：标准将不再局限于编码和封装，而是向内容制作、网络传输协议（如QUIC/HTTP/3）、服务器调度算法以及终端渲染管线进行更深度的接口标准化。例如，针对VR云游戏场景，定义