ISOIEC 23090-22023 信息技术.沉浸式媒体的编码表示.第2部分全向媒体格式标准立项发展报告

信息技术沉浸式媒体的编码表示第2部分：全向媒体格式标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part2:Omnidirectionalmediaformat摘要关键词：沉浸式媒体；全向媒体格式；ISO/IEC23090-2；虚拟现实；编码表示；标准化Keywords:ImmersiveMedia;OmnidirectionalMediaFormat;ISO/IEC23090-2;VirtualReality;CodedRepresentation;Standardization一、引言1.1标准立项背景近年来，以虚拟现实（VR）、增强现实（AR）为代表的沉浸式技术在全球范围内呈现爆发式增长态势。据国际数据公司（IDC）统计，2023年全球AR/VR头显出货量已突破2800万台，相关内容与服务市场规模超过2000亿美元。在这一背景下，全向媒体——即能够为用户提供360°全景视角的视音频内容及其交互信息的统一体——成为驱动沉浸式体验的核心数据形态。然而，在ISO/IEC23090-2标准发布之前，全向媒体领域长期面临以下核心挑战：其一，各厂商采用私有化的投影方式（如等距柱状投影、立方体投影、鱼眼投影等）和封装结构，导致内容格式互不兼容，产业链上下游难以高效协同；其二，全向视频数据量庞大，需要在保持视觉质量的前提下实现高效的压缩和传输，急需统一的编码与封装框架；其三，沉浸式体验要求用户能够在一定视角范围内自由选择观看方向（即视区相关传输与渲染），这一交互机制缺乏统一的技术规范。为解决上述问题，国际标准化组织ISO/IECJTC1（信息技术联合技术委员会）下属的SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）于2017年正式启动"沉浸式媒体编码表示"系列标准（即ISO/IEC23090系列，也称MPEG-I标准）的制定工作。其中，第2部分——全向媒体格式（OmnidirectionalMediaFormat,OMAF）——作为该系列中最早成熟的核心标准之一，于2019年发布了第一版（ISO/IEC23090-2:2019），并于2023年完成实质性修订，发布了第二版（ISO/IEC23090-2:2023）。1.2标准的定位与作用ISO/IEC23090-2:2023是沉浸式媒体领域的核心技术标准之一，定位于全向媒体内容的统一表示与封装格式规范。它解决了沉浸式内容从采集、编码、封装、传输到渲染全链条中"格式割裂"的根本性问题。该标准定义了全向视频和音频的媒体格式特性，覆盖投影映射、区域打包（Region-wisePacking）、时间轴元数据、媒体配置文件以及视区（Viewport）相关的交互式传输与解码机制。该标准与ISO/IEC23090-3（全向媒体点播与流式传输协议）、ISO/IEC23090-10（沉浸式音频的表示与格式）等标准协同配合，共同构成MPEG-I标准体系的核心骨架。该标准的制定和发布，不仅对于统一全球全向媒体内容格式、降低产业协作成本具有直接推动作用，更对虚拟现实内容制作工具链的标准化、播放终端的一致性适配、网络分发效率的优化以及用户沉浸式体验的一致性保障具有深远的基础性影响。它在全向媒体技术规格的丛林中确立了"通用语言"，使内容生产者、平台运营商、设备制造商和最终用户能够在统一的框架下高效协作。二、标准技术框架与核心内容2.1标准范围与定位ISO/IEC23090-2:2023规定了全向媒体的编码表示格式，具体涵盖以下技术维度：-全向视频的投影与映射方式：定义等距柱状投影（EquirectangularProjection,ERP）、立方体投影（CubemapProjection,CMP）等多种投影格式的数学表示、坐标系统和信令语法；-区域打包方案：允许将360°投影画面按照不同的空间区域进行重排，以优化编码效率和主观视觉质量，并规范对应的信令机制；-媒体封装结构：基于ISO基媒体文件格式（ISOBMFF，ISO/IEC14496-12）定义全向媒体特定的轨道结构、样本类型和元数据盒子（Box）；-视区相关媒体信息的表示：定义视区元数据（ViewportMetadata）的携带方式，支持服务端或客户端依据用户视角进行媒体流的选择性传输；-全向音频的表示：规范与全向视频配合的空间音频格式的接入方式，支持基于场景的音频对象和基于声道的音频表示；-内容配置文件和级别：定义不同应用场景下的技术配置组合，确保互操作性的同时兼顾实现复杂度。2.2版本演进与关键技术修订与2019年第一版相比，2023版标准在以下关键技术方面进行了重要修订和功能扩展：（1）新增柱面投影与改进的区域打包2023版引入柱面投影（CylindricalProjection），并将区域打包信令从原版中仅支持矩形区域扩展至支持任意形状的打包区域描述，提高了编码灵活性和主观质量优化能力。（2）支持立体/多视点全向视频为适应立体VR体验需求，新版标准完善了立体全向视频（StereoOmnidirectionalVideo）的左、右眼视图的轨道组织和视差信息携带机制，为六自由度（6DoF）体验的演进预留了技术接口。（3）增强视区相关的传输与渲染信令新版对"视区相关"（Viewport-dependent）的全向媒体传输给予了更完善的支持，细化了多个视区描述（MultipleViewportDescription）的语法定义，补充了播放器切换视区时的解码刷新与随机访问点约束，显著提升了流式传输场景下的用户体验。（4）高效视频编码的适配与改进为适配当前主流编码格式（如H.265/HEVC、H.266/VVC），新版标准进一步优化了编码视频流与全向媒体元数据之间的关联方式，明确了不同编码标准下全向媒体内容的封装一致性要求。2.3关键技术特征2.3.1投影与映射机制投影是将球面全景内容转换为平面矩形视频帧的第一步，是全向媒体编码的基础。ISO/IEC23090-2:2023支持的投影方式包括：|投影类型|特征描述|典型应用场景||---------|---------|-------------||等距柱状投影（ERP）|经纬度等间隔采样，映射关系简单，兼容性最佳|通用全景视频、直播流媒体||柱面投影|在水平方向保持360°连续映射，垂直方向采用有限视野|部分全景直播、监控场景||自适应投影|依据内容特征动态选择最优投影方式|高端制作、AI辅助编码|2.3.2区域打包区域打包（Region-wisePacking,RWP）允许将360°画面中不同区域的采样点重新排列为矩形编码区域，其核心目标包括：-将有效像素集中在更紧凑的编码区域，减少无效编码开销；-对用户关注度较高的区域（如画面中心、动作热点区域）给予更多采样密度；-在立体内容中将左右眼视图排列为适合帧兼容编码的布局。2.3.3封装与元数据基于ISOBMFF的封装结构定义了如下关键盒子（Box）：-`ProjectionFormatBox`：标识所使用的投影方式和相关参数；-`RegionWisePackingBox`：描述区域打包方案的几何信息；-`ViewportInfoBox`：携带视区描述信息和时间相关的视区元数据；-`StereoVideoBox`：定义立体视图排列方式及相关参数。2.3.4配置文件和级别标准定义了多个配置文件和级别，以满足不同应用场景的差异化需求：-OMAFMediaProfile：规定全向媒体内容的整体封装与描述要求；-VideoProfile：按编码格式和投影方式的不同组合划分；-Viewport-dependentProfile：支持视区相关传输的更高层次配置。该分级体系有效平衡了互操作性与实现复杂度之间的关系，使轻量级的播放器能够以较低成本支持主流内容格式，同时为高端设备预留了功能扩展空间。2.4与相关标准的协同关系ISO/IEC23090-2:2023并非孤立存在，它与以下标准形成紧密的技术协同：-ISO/IEC23090-3（全向媒体流式传输）：规定了基于DASH的全向媒体流化传输的信令与协议；-ISO/IEC23090-10（沉浸式音频格式）：定义了与全向视频协同呈现的沉浸式音频编码与渲染格式；-ISO/IEC14496-12（ISO基媒体文件格式）：全向媒体封装所依赖的基础容器格式；-ISO/IEC23008-2（高效视频编码，HEVC）/ISO/IEC23090-3（多功能视频编码，VVC）：全向视频压缩所采用的主流视频编码标准。这种"基础容器+专用协议+视频编码+音频编码"的多层标准协同架构，确保了全向媒体内容从制作端到消费端全链路的顺畅流通。三、标准实施与应用价值3.1全向媒体的产业链覆盖ISO/IEC23090-2:2023标准的实施横跨全向媒体内容生产、处理、分发、消费全产业链。在采集端，全景相机厂商可依据标准输出统一的投影与封装格式，减少后期处理中的格式转换成本。在制作端，剪辑、拼接、调色等软件工具可依托统一的数据结构实现高效协作。在平台端，内容分发网络（CDN）和流媒体平台可依据标准的视区相关信令进行智能化带宽调度，降低传输成本。在终端端，头显设备、播放器软件可依据统一的配置文件实现一致性兼容，提升用户体验。3.2典型应用场景|应用领域|主要应用方式|标准带来的核心价值||---------|-------------|-------------------||VR影视与娱乐|360°电影、VR演唱会直播、交互式游戏|跨平台内容互通，统一渲染行为||广播电视|全景新闻直播、体育赛事VR转播|标准化的制作与分发流程||远程教育|虚拟课堂、实验实训全景教学|多终端适配，内容可复用||医疗仿真|手术教学、康复训练VR系统|数据精度统一，可靠复现||文旅展示|文化遗产数字化、虚拟旅游|长期保存与多平台展示||军事训练|沉浸式作战仿真、虚拟演习|多兵种协同的场景一致性|3.3经济效益分析该标准的实施对产业经济效益的促进体现在多个维度：-降低格式转换成本：统一格式可减少产业链各环节因格式不兼容造成的重复编码和转码开销；-提升CDN分发效率：视区相关的选择性传输可减少30%-60%的冗余带宽消耗；-扩大市场规模：由于终端兼容性提升，内容生产商可以面向全平台发布内容，有效拓展了分发渠道和受众范围；-促进创新：标准化为中小企业进入沉浸式媒体市场降低了技术门槛，激发了产业链各环节的创新活力。四、主要参与编制单位4.1国际标准化组织ISO/IECJTC1/SC29ISO/IEC23090-2:2023由ISO/IECJTC1（信息技术联合技术委员会）下属的SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）归口管理，具体编制工作由其下设的WG2（编码表示工作组）承担。SC29/WG2的前身即为MPEG（MovingPictureExpertsGroup，运动图像专家组），是国际多媒体编码领域最具影响力的标准化组织之一。4.2主导研制单位——华为技术有限公司在ISO/IEC23090-2:2023标准的研发过程中，华为技术有限公司作为全球领先的ICT基础设施和智能终端提供商，是全向媒体标准的核心贡献者之一，在标准的技术方案设计和关键技术创新方面发挥了重要的主导作用。华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）成立于1987年，总部位于中国深圳，是全球领先的信息与通信技术（ICT）解决方案供应商。华为在沉浸式媒体技术领域深耕多年，围绕VR/AR/MR产业链布局了从芯片、终端到云计算的全栈能力。公司拥有超过10万名研发员工，在全球设立了16个研发中心和36个联合创新中心，持续推动音视频编解码、多媒体传输、人工智能等技术的前沿创新。在ISO/IEC23090-2:2023标准制定过程中，华为派出了资深标准专家团队深度参与标准草案的讨论和制定，华为专家在以下方面做出了突出贡献：（1）主导区域打包（RWP）技术的优化与扩展华为提出的基于感知质量的自适应区域打包优化方案被纳入标准技术评估体系，有效提升了高动态范围（HDR）全向视频在有限码率条件下的视觉质量。（2）推动视区相关传输信令的设计华为在全球率先提出了面向视区自适应传输的全向媒体技术方案，包括TCP友好速率控制与视区元数据的协同设计，这一方案对2023版标准中增强的视区描述信令设计发挥了关键作用。（3）贡献立体全向媒体的编码经验依托华为在VR视频领域端到端的研发积累，公司为2023版标准中立体全向视频轨道组织的设计提供了大量实验数据和工程经验，使标准的可行性和实用性得到显著增强。（4）推动标准与开源生态的衔接华为积极参与了全向媒体标准参考软件的开发和验证工作，同时推动了OpenHarmony生态对OMAF标准格式的原生支持，从系统层面加速了标准的规模化商用落地。除华为技术有限公司外，还有三星电子、索尼、高通、FraunhoferHHI、NTT等国际知名企业和研究机构深度参与了本标准的制定工作，为标准的技术完备性和产业适用性提供了多方面保障。五、结论与展望5.1结论ISO/IEC23090-2:2023《信息技术沉浸式媒体的编码表示第2部分：全向媒体格式》的实施，为全球沉浸式媒体产业提供了一套完整、开放、可扩展的技术规范体系。该标准在投影方式、区域打包、媒体封装、视区信令及音频关联表示等关键技术维度上实现了统一与优化，有效解决了此前全向媒体内容格式碎片化的突出问题。2023版标准相对于2019年首版在立体视差支持、视区信令灵活性和新型投影方式等方面实现的重要技术升级，使其更好地适应了行业发展的新需求。该标准的发布标志着全向媒体内容产业链各方可在统一的技术框架下实现内容互通与质量互认，对于促进沉浸式技术的大规模商用具有重要意义。随着VR/AR终端性能的持续增强和网络基础设施的不断演进，ISO/IEC23090-2:2023将成为支撑未来元宇宙、沉浸式社交、全息通信等新型应用的基础性技术底座。5.2展望展望未来，ISO/IEC23090-2标准在以下方面将持续演进：（1）向六自由度（6DoF）体验深度拓展当前标准仍以三自由度（3DoF）的全向视频（即用户可在固定位置旋转头部观察）为主要支持对象。随着光场采集、体积视频（VolumetricVideo）、神经渲染等技术的成熟，未来标准将进一步向6DoF体验方向扩展，使用户能够在空间中自由移动并观察场景的不同角度。（2）与人工智能技术深度融合人工智能驱动的超分辨率重建、视角合成、内容感知编码等技术正在重塑沉浸式媒体的生产方式。未来版本的标准有望引入面向AI编码工具的接口与元数据规范，使神经网络编解码器