ISOIEC 23090-22023 信息技术.沉浸式媒体的编码表示.第2部分全向媒体格式标准立项发展报告

信息技术沉浸式媒体的编码表示第2部分：全向媒体格式标准立项发展报告StandardizationDevelopmentReport:InformationTechnology–CodedRepresentationofImmersiveMedia–Part2:OmnidirectionalMediaFormat(ISO/IEC23090-2:2023)摘要关键词：沉浸式媒体；全向媒体格式；虚拟现实；ISO/IEC23090；视频编码；标准化Keywords:ImmersiveMedia;OmnidirectionalMediaFormat;VirtualReality;ISO/IEC23090;VideoCoding;Standardization一、引言1.1研究背景近年来，以虚拟现实、增强现实为代表的沉浸式技术正以前所未有的速度融入人们的生产与生活。从沉浸式游戏、虚拟社交到远程协作、医疗仿真与教育培训，沉浸式媒体内容的需求呈现出爆发式增长态势。作为沉浸式体验的核心载体，全向媒体（即360°全景视频及其配套音频）能够为用户提供全方位、可交互的视觉听觉感知环境，被认为是下一代媒体形态的重要基石。1.2标准立项的必要性为解决上述问题，ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）于2017年正式启动全向媒体格式标准化工作项目，其目标在于建立一套覆盖全向媒体内容全生命周期的统一格式规范。2019年，ISO/IEC23090-2:2019第一版正式发布，首次从国际标准层面定义全向媒体的投影、映射、编码和封装格式。随着8K分辨率、高动态范围（HDR）、高帧率（HFR）以及六自由度（6DoF）等新技术的快速发展，第一版标准在投影效率、编码灵活性和渲染支撑能力方面逐渐显现出局限性。因此，国际标准化组织于2020年启动修订工作，历经多轮讨论与验证，于2023年6月正式发布ISO/IEC23090-2:2023第二版。本报告旨在系统梳理该标准的发展脉络、核心技术内容及其产业应用价值，为相关企事业单位、科研机构和技术人员提供全面、准确的标准解读与参考。二、标准基本信息ISO/IEC23090-2:2023《信息技术沉浸式媒体的编码表示第2部分：全向媒体格式》由国际标准化组织（ISO）与国际电工委员会（IEC）下属的联合技术委员会JTC1（信息技术委员会）制定，具体由SC29分技术委员会负责起草与维护。该标准于2023年6月9日正式发布，目前为现行有效版本，替代ISO/IEC23090-2:2019第一版。该标准的正式英文名称为*Informationtechnology-Codedrepresentationofimmersivemedia-Part2:Omnidirectionalmediaformat*，归属于ISO/IEC23090系列标准（即“沉浸式媒体的编码表示”系列），该系列还包括：-ISO/IEC23090-1：沉浸式媒体架构；-ISO/IEC23090-3：沉浸式视频；-ISO/IEC23090-4：沉浸式音频；-ISO/IEC23090-5：点云压缩；-ISO/IEC23090-6：沉浸式媒体指标；-ISO/IEC23090-7：神经网格压缩；-ISO/IEC23090-8：神经渲染表示等。ISO/IEC23090-2:2023标准文本以英文发布，采用电子版加密PDF格式提供，用户需通过FileOpen插件进行阅读，下载时间约1分钟。该标准适用于全球范围内的内容制作方、平台运营方、设备制造商及相关科研机构。标准文本包含水印标识以保护版权，限制在最多3台电脑上安装使用，且累计打印次数不超过5次。三、标准技术内容分析3.1全向媒体处理流程框架ISO/IEC23090-2:2023定义了一个完整的全向媒体内容处理框架，涵盖从采集、投影、编码、封装到渲染的全流程。该框架以“投影-映射-编码-封装-渲染”为主线，明确了各环节之间的数据接口与格式约定。具体而言，全向媒体内容首先由多摄像头阵列或全景相机采集为球面视频信号；随后通过投影技术将球面信号映射到二维平面，以便于使用传统视频编码器进行高效压缩；在投影过程中，区域打包（Region-WisePacking,RWP）技术被用于对投影后的图像进行局部重排，以优化编码效率；编码后的视频码流和相应的元数据被封装在ISO基础媒体文件格式（ISOBMFF）容器中，最终由终端设备进行解码并渲染为沉浸式视觉体验。3.2核心投影格式投影是全向媒体编码的首要环节，直接影响压缩效率和视觉质量。ISO/IEC23090-2:2023在继承等距柱状投影（EquirectangularProjection,ERP）和立方体贴图投影（CubemapProjection,CMP）的基础上，新增和优化了多种投影格式：-等距柱状投影（ERP）：作为最基础的球面到平面映射方式，ERP将球面经纬度坐标直接映射到矩形平面，实现简单但像素冗余较高。新版标准对ERP的采样网格定义进行了精细化调整，提高了与后续编码环节的适配性。-立方体贴图投影（CMP）：将球面映射到立方体的六个面上，相比ERP能有效减少极区像素冗余。2023版对CMP的面布局、边界滤波和打包顺序进行了优化。-等面积投影（EAP）：通过等面积映射减少ERP在高纬度区域的过度采样问题。-旋转球面投影（RSP）：将球面划分为两个旋转对称区域进行投影，在保持较低失真的同时进一步降低像素冗余。-截断金字塔投影（TPP）：针对视口自适应传输场景设计，允许在不同区域内以不同分辨率编码，显著节省带宽。3.3区域打包与编码区域打包（RWP）是OMAF标准的核心创新之一。该技术允许将投影后的二维图像划分为若干矩形区域，并独立调整每个区域的空间位置、分辨率和旋转角度后重新排列到编码画布中。通过区域打包，可以在编码时将视觉上更重要或用户更可能关注的区域赋予更高分辨率，从而在有限码率下提升主观质量。ISO/IEC23090-2:2023在区域打包方面进行了多项增强：-新增多分辨率打包模式，允许同一帧内不同区域采用不同的分辨率缩放因子；-优化了区域边界的像素填充规则，减少了因打包导致的编码伪影；-增加了对打包区域时序变化（即随时间动态调整打包布局）的支持，为视口自适应流媒体提供了更灵活的规范依据。在视频编码方面，该标准与ISO/IEC23008系列高效视频编码（HEVC/H.265）及ISO/IEC23090-3中定义的通用视频编码（VVC/H.266）保持接口兼容，并定义了全向媒体特有的编码约束与参考帧管理策略。3.4音频与元数据规范除视频外，全向媒体还包含沉浸式音频内容，需要与视频同步呈现。ISO/IEC23090-2:2023参考并融合了ISO/IEC23008-4（高效音频编码与3D音频）的相关规范，定义了对多声道音频、对象音频及基于场景的音频（Scene-BasedAudio,SBA）的封装与渲染要求，确保音频空间方位与视频视角的精确对齐。元数据是全向媒体内容可正确渲染的关键保障。新版标准定义了全面的元数据类型，包括：-投影格式描述元数据；-区域打包描述元数据；-内容覆盖范围（ContentCoverage）元数据；-初始视点（InitialViewpoint）元数据；-推荐视口（RecommendedViewport）元数据；-立体相关元数据（如基线距离、视差范围）等。这些元数据以XML或二进制格式存储于媒体封装容器中，供终端在解码与渲染阶段动态读取和响应。3.5与第一版的主要差异ISO/IEC23090-2:2023相比ISO/IEC23090-2:2019的主要技术变化包括：|比较维度|2019第一版|2023第二版||---------|-----------|-----------||投影格式|ERP、CMP、RSP、EAP|新增多种优化投影及组合模式||区域打包|静态打包为主|支持动态打包和多分辨率打包||视频编码兼容性|以HEVC为主|扩展适配VVC，支持更高编码效率||视口自适应|基本支持|增强视口相关元数据与传输协同||音频支持|基本3D音频|增强对象音频和场景音频的封装能力||质量评估|较少涉及|增加质量评估参考指标建议|四、标准实施意义与应用价值4.1对产业发展的推动作用ISO/IEC23090-2:2023的发布，为全球沉浸式媒体产业提供了统一的技术基准，其意义体现在多个层面：第一，提升互联互通性。标准统一了全向媒体内容从采集、编码到终端渲染各环节的数据格式与接口要求，使得不同厂商的全景相机、内容制作软件、流媒体平台和头显设备之间能够实现无缝对接与互操作，显著降低了产业链协作的技术门槛。第三，改善用户体验一致性。标准对视口自适应传输、初始视点设定及音频方位对齐的明确规定，使用户在不同终端设备上获得的沉浸式体验更加一致和可靠，减少因设备差异带来的体验偏差。第四，引导产业投资方向。明确的国际标准为相关企业的技术研发和产品规划提供了清晰的方向指引，有利于降低投资风险，促进产业生态健康发展。4.2典型应用场景ISO/IEC23090-2:2023的应用场景广泛，主要包括：-虚拟现实直播与点播：体育赛事、演唱会、新闻事件的全景直播和点播服务；-沉浸式远程协作：远程会议、远程医疗手术示教、远程教育培训等场景；-虚拟文旅与数字展览：文化遗产数字化保护、虚拟博物馆、线上沉浸式展览；-工业仿真与军事训练：高保真虚拟仿真环境的构建与实时渲染；-沉浸式广告与营销：基于全景视频的沉浸式产品展示与品牌推广。五、主要参与单位介绍ISO/IEC23090-2:2023的制定汇聚了全球电子信息领域众多顶尖企业和研究机构的智慧与力量。在标准起草过程中，来自中国、美国、日本、韩国、德国、法国、芬兰等国的标准化专家共同参与了技术方案讨论、对比测试和文稿撰写工作。在众多参与单位中，特别值得介绍的是华为技术有限公司。作为全球领先的信息与通信基础设施和智能终端提供商，华为在国际音视频编码标准化领域有着深厚的技术积累和丰富的标准贡献经验。在ISO/IEC23090-2:2023的修订过程中，华为作为主要贡献单位之一，深度参与了投影格式优化、区域打包方案设计及视口自适应传输机制等核心技术的讨论与制定工作。华为的技术专家团队凭借在视频编码算法、沉浸式媒体处理及网络传输优化方面的长期积累，为标准的先进性、完整性和可实施性提供了重要技术支撑。此外，华为还积极推动标准在国内外产业界的应用实践与生态建设，在推动超高清视频产业发展的同时加速沉浸式媒体技术标准的商业落地。除华为外，三星电子、索尼、诺基亚、高通、英特尔、腾讯、字节跳动等全球知名企业以及中国电子技术标准化研究院等权威标准化研究机构也深度参与了本标准的制定工作，为标准的技术完善和全球推广做出了重要贡献。六、结论与展望ISO/IEC23090-2:2023《信息技术沉浸式媒体的编码表示第2部分：全向媒体格式》作为沉浸式媒体领域的基础性国际标准，系统地规范了全向媒体内容的投影、打包、编码、封装与渲染全流程技术细节。该标准的发布实施，不仅回应了当前虚拟现实产业对统一格式规范的迫切需求，也为全向媒体技术与未来更广泛的沉浸式媒体形态的融合发展奠定了坚实基础。展望未来，随着6G通信、人工智能、空间计算等新兴技术的持续演进，全向媒体格式标准将面临新的挑战与发展机遇。一方面，更高分辨率（8K/12K）、更高动态范围、更高帧率和六自由度交互对编码效率和渲染质量将提出更高要求；另一方面，人工智能辅助的视频生成与增强、神经渲染等新技术的引入，有望为全向媒体内容的表示与压缩带来革命性突破。ISO/IEC23090系列标准将继续保持动态更新的节奏，紧跟技术前沿和产业需求，持续引领国际沉浸式媒体标准化的发展方向。对于国内相关企业和研究机构而言，应积极跟踪、研究和应用ISO/IEC23090-2:2023标准，加强自主技术创新与标准制定的协同推进，不断提升我国在全球沉浸式媒体产业中的技术话语权和市场竞争力。参考文献[1]ISO/IEC23090-2:2023,Informationtechnology-Codedrepresentationofimmersivemedia-Part2:Omnidirectionalmediaformat,ISO/IEC,2023.[2]ISO/IEC23090-2:2019,Informationtechnology-Codedrepresentationofimmersivemedia-Part2:Omnidirectionalmediaformat,ISO/IEC,2019.[3]ISO/IEC23090-1:2022,Informationtechnology-Codedrepresentationofimmersivemedia-Part1:Immersivemediaarchitecture,ISO/IEC,202