ISOIEC 23090-22021 信息技术 - 多媒体应用格式（MPEG-A） - 第20部分全方位媒体应用格式标准立项发展报告

ISO/IEC23090-2:2021《信息技术——沉浸式媒体的编码表示——第2部分：全方位媒体格式》标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-CodedRepresentationofImmersiveMedia-Part2:OmnidirectionalMediaFormat(ISO/IEC23090-2:2021)摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的迅猛发展，全方位媒体（OmnidirectionalMedia）作为构建沉浸式体验的核心内容形态，其标准化编码与封装格式已成为国际信息技术领域的战略竞争焦点。本报告以国际标准ISO/IEC23090-2:2021《信息技术——沉浸式媒体的编码表示——第2部分：全方位媒体格式》为研究对象，系统梳理了该标准的立项背景、技术演进脉络、核心框架内容及其国际标准化工作历程。报告指出，该标准由国际标准化组织与国际电工委员会联合技术委员会ISO/IECJTC1下设的SC29分技术委员会（编码音频、图像、多媒体和超媒体信息）归口管理，旨在为全方位媒体内容的存储、流化传输、渲染呈现及交互消费提供统一的技术规范，解决早期全景视频格式碎片化、互操作性差等关键问题。本报告详细阐述了标准的核心技术要素，涵盖投影映射（ProjectionMapping）、区域环绕（Region-wisePacking）、视频与音频编码约束、元数据信令机制及文件封装格式等关键技术域，并深入分析了该标准对全球VR内容产业生态、终端设备制造商、内容制作平台及流媒体服务商的深远影响。报告还专门介绍了该标准的修订与维护机制，讨论了从第一版（2019年）到当前修订版本（2021年）间的技术增量改进，并针对我国在全方位媒体领域的标准化策略提出了建议。结论认为，ISO/IEC23090-2:2021作为沉浸式媒体基础性标准，将持续引领全球XR产业技术走向，其后续演进版本将进一步融合深度信息、自由视点及AI驱动编码等前沿方向。关键词：全方位媒体格式；沉浸式媒体；MPEG-I；虚拟现实；投影映射；标准国际化Keywords:OmnidirectionalMediaFormat;ImmersiveMedia;MPEG-I;VirtualReality;ProjectionMapping;StandardizationInternationalization一、引言1.1研究背景近年来，以虚拟现实、增强现实为代表的沉浸式技术正在深刻改变人类感知和交互数字内容的方式。据国际数据公司（IDC）预测，全球VR/AR市场将在2025年达到近3000亿美元的规模。支撑这一庞大产业生态的基础性技术之一，便是全方位媒体（即360°全景视频/音频）的高效编码、封装与分发技术。然而，在ISO/IEC23090-2标准发布之前，全球范围内的全景视频格式多种多样，从各厂商私有的投影格式到五花八门的元数据方案并存，导致内容制作成本高企、终端兼容性差、用户消费体验参差不齐，严重制约了产业的规模化发展。为应对上述行业痛点，MPEG（MovingPictureExpertsGroup，动态图像专家组）于2017年前后正式启动了MPEG-I（沉浸式媒体）阶段一（Phase1）的标准化工作，将全方位媒体格式列为优先级最高的标准化议题。经过多轮提案征集、核心实验（CoreExperiment）评估及一致性测试，ISO/IEC23090-2第一版于2019年正式发布，随后于2021年完成第一次修订。1.2标准基本信息本报告研究对象为ISO/IEC23090-2:2021，其正式名称如下：-中文名称：信息技术——沉浸式媒体的编码表示——第2部分：全方位媒体格式-英文名称：Informationtechnology-Codedrepresentationofimmersivemedia-Part2:Omnidirectionalmediaformat-发布机构：国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会JTC1-归口单位：ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）-发布日期：2021年7月7日-国际标准分类号（ICS）：35.040.40（音频、视频和视听系统的编码）-标准状态：已修订（现行有效，后续被更新的修订版或增补版所补充）1.3标准定位与价值ISO/IEC23090-2:2021是MPEG-I系列标准（ISO/IEC23090系列）中最为基础和核心的组成部分。该系列标准的整体框架涵盖沉浸式媒体的编码表示、存储与传输等全链路技术环节。其中，Part2定义了全方位媒体从制作端到消费端的统一数据格式规范，是整个系列标准的基石。二、标准立项背景与研制历程2.1产业需求驱动全方位媒体格式标准化需求的提出，主要源于以下三方面的产业驱动力：第一，内容制作端的成本压力。在无统一格式的背景下，内容制作者需要针对不同平台（如YouTube、Facebook、OculusTV等）分别生成适配不同投影格式、不同元数据标注规则的内容版本，制作效率极其低下。据MPEG工作组2017年的产业调研报告显示，格式适配环节可占全景内容制作总成本的20%-30%。第二，设备互操作性要求。全景内容需在多种终端（头戴式显示器、智能手机、平板电脑、智能电视等）上呈现，而不同终端的渲染能力、显示特性和传感器配置差异巨大。缺乏统一的格式规范意味着终端厂商需分别适配各内容平台的私有格式，造成研发资源浪费。第三，流媒体传输效率需求。全景视频的数据量远大于传统平面视频，在同等码率下需要更高的编码效率和更精细的视口（Viewport）自适应传输能力，这要求标准化的区域描述机制和元数据信令架构。2.2标准化研制时间线ISO/IEC23090-2的研制过程经历了严谨的国际标准开发流程，主要节点如下：-2017年1月（ISO/IECJTC1/SC29第118次MPEG会议，日内瓦）：MPEG正式批准启动MPEG-IPhase1的立项（NewWorkItemProposal），确立全方位媒体格式为第一阶段工作重点。-2017年7月（第120次会议，都灵）：发布工作草案（WorkingDraft,WD）第一版，确立文档基本框架。-2018年4月（第122次会议，圣迭戈）：发布委员会草案（CommitteeDraft,CD），完成对球面投影、区域环绕封装、元数据方案等核心技术的首轮集成。-2018年10月（第124次会议，澳门）：发布国际标准草案（DraftInternationalStandard,DIS），进入各国家成员体投票阶段。-2019年1月（第125次会议）：最终国际标准草案（FinalDraftInternationalStandard,FDIS）完成编辑工作。-2019年7月：ISO/IEC23090-2:2019正式发布。-2020年-2021年：根据产业反馈与新技术需求，启动第一轮修订工作（Amendment1），重点补充视口相关的补充增强信息（SEI）、增强的投影指示及新的区域封装模式等。-2021年7月7日：ISO/IEC23090-2:2021修订版正式发布。2.3主要参与方该标准的研制汇聚了全球领先的技术企业、研究机构和学术组织。主要贡献机构包括：三星电子、华为技术有限公司、高通公司、诺基亚技术公司、索尼公司、LG电子、中兴通讯、法国原子能委员会电子信息技术实验室（CEA-Leti）、德国弗劳恩霍夫集成电路研究所（FraunhoferIIS）、北京大学、清华大学等。各参与方在投影格式、封装结构、元数据方案和传输机制等方面贡献了大量核心技术专利和技术提案。三、标准核心技术内容3.1标准范围与体系架构ISO/IEC23090-2:2021定义了全方位媒体内容从编码前的源格式处理到解码后渲染呈现之间的完整数据格式规范。标准规定的处理流程涵盖以下关键环节：1.全方位视频的投影（Projection）与区域环绕（Region-wisePacking）2.投影后的2D图像的编码约束3.全方位音频的编码与空间元数据指示4.媒体文件封装格式（基于ISO基媒文件格式ISO/IEC14496-12）5.全方位媒体相关的元数据信令（包括球面结构、坐标系统、内容覆盖范围等）6.视口自适应传输所需的补充增强信息3.2核心投影方法标准明确规定了多种球面到平面映射的投影方法，以满足不同场景下的编码效率与渲染质量需求：-等距柱状投影（EquirectangularProjection,ERP）：作为最基础的保底投影格式，所有符合标准的解码器必须支持ERP，确保基本互操作性。-立方体投影（CubemapProjection,CMP）：将球面映射到立方体六个面，减小采样冗余，提升编码效率。-等面积投影（Equal-AreaProjection,EAP）：在纬度方向采用正弦映射规则，减少高纬度区域过度采样。-截断等距柱状投影（TruncatedEquirectangularProjection,TEP）：仅在指定纬度范围内保留有效图像区域。-旋转球面投影（RotatedSphereProjection,RSP）：通过坐标旋转优化球面特定区域（通常是用户关注的中心区域）的采样密度。这些投影格式在标准中均以严格的数学定义方式给出描述，包括坐标变换矩阵和采样规则，确保各设备厂商实现的一致性。3.3区域环绕打包技术区域环绕打包（Region-wisePacking,RWP）是2021修订版中进一步完善的功能特性。该技术允许将投影后的各区域图像（如立方体投影各面或ERP拆分块）进行独立分辨率缩放和空间重排，使高关注度区域获得更高的空间采样率，低关注度区域则相应降低分辨率。经过打包后的紧凑布局可显著提升视频编码效率，在主观质量等同的条件下节省最高30%的码率。2021年修订版额外增加了对环绕区域的动态切换指示能力，允许内容提供方在直播流中调整区域布局参数而无需中断流会话。3.4元数据信令体系标准定义了全面的元数据信令机制，主要包括以下几类：-球面坐标系统（SphericalCoordinateSystem）：明确全景视频中yaw、pitch、roll三个自由度的定义和旋转规则。-投影指示元数据（ProjectionIndicationSEI）：在编码视频比特流中传递投影格式信息。-区域环绕信息（Region-wisePackingInformation）：描述打包后图像的几何变换关系。-内容覆盖范围（ContentCoverage）：指示内容覆盖的球面方向范围，用于视口渲染优化。-推荐视口（RecommendedViewport）：向终端设备传递内容提供商推荐的初始观看视角。-立体视频相关元数据（StereoVideoRelatedMetadata）：支持左眼/右眼双目视频的格式描述。3.5文件封装与传输支持标准基于ISO/IEC14496-12（ISO基媒文件格式，ISOBMFF）定义了全方位的媒体封装方案。在2021年版修订中进一步完善了以下方面的支持：-全方位视频轨道（OmnidirectionalVideoTrack）的样本条目格式定义-全方位音频轨道（OmnidirectionalAudioTrack）与元数据轨道的关联-DASH（基于HTTP的动态自适应流）分段映射规则，支持基于视口的自适应流传输-定时元数据轨道（TimedMetadataTrack）的定义，用于动态视口信息四、标准修订的主要技术增量相较于2019年发布的第一版，ISO/IEC23090-2:2021修订版的核心技术增量体现在以下方面：4.1视口相关的渲染质量提升修订版新增了用于矩形视口（RectangularViewport）补充增强信息的SEI消息，允许编码器在比特流层面传递视口的坐标和尺寸信息，配合接收端解码器进行视口感知的后处理渲染优化。该机制为低延迟视口自适应流传输场景提供了标准化的信令支撑。4.2扩展的投影表示能力2021版新增了旋转球面投影的增强定义，允许在编码过程中更灵活地选择球面旋转角度以适配内容的具体关注区域。同时，修订版进一步明确了多个投影方法之间的可切换约束条件，使编码器可以依据场景内容在中途切换投影方式而保持解码兼容。4.3改进的兼容性与一致性测试支持修订版补充了更加完善的比特流一致性测试（ConformanceTesting）素材和测试向量集，用于指导各厂商实现间的互操作性验证。标准附录中新增了若干实际应用场景的示例，如体育赛事全景直播、VR会议等场景下的格式参数选择指南。五、主导企事业单位介绍5.1华为技术有限公司华为技术有限公司作为全球领先的信息与通信技术解决方案提供商，在ISO/IEC23090-2标准的研制过程中扮演了关键角色。华为公司自2017年MPEG-I项目启动之初便深度参与全方位媒体格式的各项核心技术的开发和标准化推动工作。在技术贡献方面，华为公司重点参与了以下工作：（一）区域环绕打包技术的核心贡献。华为在标准制定过程中提交了多项关于区域自适应分辨率分配的技术提案，提出了基于视觉显著性检测的区域权重分配算法，这些提案被采纳为区域环绕打包技术框架的重要组成部分。（二）视口自适应流传输技术方案。华为基于在视频传输领域的深厚积累，提出了基于HTTP/2和QUIC协议的视口自适应流传输方案的技术建议，推动了标准中定时元数据轨道和视口SEI消息相关定义的完善。（三）立体全方位视频格式支持。华为在双目立体全景视频的格式定义方面发挥了引领作用，其提交的左右眼视图交织方案和对应的元数据设计被纳入了标准中立体视频相关章节的参考方案。华为公司还积极参与了标准的符合性测试和互操作性验证工作，与多家国际主流VR终端厂商和设备制造商建立了联合测试合作机制。此外，华为消费者业务部门将在其VR终端产品和视频云服务平台中率先部署符合ISO/IEC23090-2:2021标准要求的内容处理能力，推动标准的产业化落地。5.2其他重要参与单位概述除华为公司外，三星电子在等距柱状投影和立方体投影的编码优化方面贡献显著，高通公司在移动端解码器的低功耗实现架构上提供了大量技术支持，索尼公司在全方位音频格式与视频的同步播放机制方面发挥了重要推动作用。六、标准实施与应用前景6.1对产业生态的影响ISO/IEC23090-2:2021的发布对于全方位媒体产业生态产生了显著的结构性影响：内容制作层面，统一的格式规范使得内容制作者可以在一次制作完成后适配所有符合标准的播放终端，显著降低了多格式分发带来的额外成本。同时，标准化的元数据机制也为内容版权管理和使用追踪提供了技术支撑。设备制造层面，终端设备厂商可以依据标准集中开发通用解码与渲染管线，降低研发复杂度。多个国际主流VR头显制造商已在其新一代产品中明确支持该标准的解码能力。平台服务层面，流媒体平台可在CDN网络中实现标准化的内容缓存和分发策略，通过视口自适应技术降低带宽成本，提升用户体验。6.2与相关标准的协同关系ISO/IEC23090-2:2021并非孤立的标准，它与多部重要的国际标准和技术规范形成了紧密的协同关系：-与ISO/IEC23090-10（MPEG-IPhase2）的延续关系：后者在全方位媒体基础上增加了深度信息和自由视点视频的支持，前者为其提供基础的媒体格式框架。-与ISO/IEC23008-2（HEVC）和ISO/IEC23090-3（VVC）的编码协同：全方位媒体格式中的视频编码层采用通用视频编码标准，保证编码器实现的复用性。-与ISO/IEC23009-1（DASH）的传输协同：全方位媒体的流化传输依赖DASH的分段和自适应机制。-与3GPP相关规范的配合：在5G移动网络环境中，全方位媒体格式作为VR业务的核心媒体格式被3GPPTS26.118等规范引用。6.3关键技术挑战尽管ISO/IEC23090-2:2021建立了较为完善的格式规范基础，但