ISOIEC 23090-42025 信息技术 沉浸式媒体的编码表示 第4部分MPEG-I沉浸式音频标准立项发展报告

标题：信息技术沉浸式媒体的编码表示第4部分：MPEG-I沉浸式音频标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part4:MPEG-Iimmersiveaudio摘要关键词沉浸式媒体；MPEG-I；音频编码；ISO/IEC23090-4；标准发展；沉浸式音频；元宇宙KeywordsImmersiveMedia;MPEG-I;AudioCoding;ISO/IEC23090-4;StandardDevelopment;ImmersiveAudio;Metaverse正文1.引言：沉浸式时代的音频技术现状与挑战随着信息技术的飞速演进，人类感知外部世界的方式正经历着从二维平面到三维空间的深刻变革。虚拟现实（VR）、增强现实（AR）、混合现实（MR）等沉浸式技术，以及由此衍生出的元宇宙概念，正逐步渗透至娱乐、教育、医疗、工业设计等各个领域。在这些应用中，视觉体验无疑占据核心地位，但听觉体验作为构成完整沉浸感的关键要素，其重要性同样不可忽视。真实、准确的沉浸式音频能够极大地增强用户的临场感、空间定位感以及情感代入，是构建可信“数字孪生”世界不可或缺的一环。正是在此背景之下，国际标准化组织（ISO）下属的动态图像专家组（MPEG）启动了MPEG-I沉浸式媒体标准化项目，意图构建一个涵盖视觉、听觉、伴生感官（如触觉）的全方位沉浸式媒体生态系统。作为该系列标准的重要组成部分，ISO/IEC23090-4:2025《信息技术沉浸式媒体的编码表示第4部分：MPEG-I沉浸式音频》(MPEG-IPhase2沉浸式音频)应运而生，旨在解决上述核心挑战，为沉浸式音频提供全球统一的、高效的编码表示基准。2.标准背景与历史沿革ISO/IEC23090系列标准，通常被称为MPEG-I标准，是由国际标准化组织（ISO）和国际电工委员会（IEC）的第一联合技术委员会（JTC1）下的SC29分委会（音频、图像、多媒体和超媒体信息编码）制定的。MPEG-I的名称直接指向“沉浸式媒体”，其目标是定义一套适用于多种沉浸式应用（如VR、AR、全景视频）的编码、传输和渲染的国际标准。MPEG对于音频编码的标准化努力由来已久。从经典的MPEG-1AudioLayerIII(MP3)，到MPEG-2AAC，再到支持环绕声的MPEG-H3DAudio，每一次标准的迭代都在降低码率、提升音质和扩展声道数方面取得了显著进步。MPEG-H3DAudio作为第三代音频编码标准，已经能够支持多达22.2声道以上的三维声场，为沉浸式音频的初步探索奠定了基础。然而，MPEG-H主要侧重于基于通道（Channel-based）和部分基于对象（Object-based）的音频，对于更灵活的基于场景（Scene-based）音频（如HigherOrderAmbisonics，高阶环境立体声，简称HOA）支持有限。进入20年代后半叶，随着VR/AR硬件成本的下降和性能的提升，市场对“真正”沉浸式音频的需求急剧增长。MPEG-I项目应运而生。MPEG-I被划分为多个阶段（Phase），其中Phase1侧重于全景视频和基本的沉浸式音频，而Phase2则旨在显著提升音频的沉浸式体验，并要求与Phase1标准兼容。ISO/IEC23090-4:2025正是MPEG-IPhase2沉浸式音频标准的最终版本。该标准于2025年11月3日正式发布，标志着MPEG在沉浸式音频领域历时数年的技术探索、方案征集、竞争评估和标准制定工作取得了阶段性重大成果。它的发布，不仅是对现有MPEG-H等标准的继承与超越，更是对未来沉浸式内容制作、分发和播放全链路的一次根本性重塑。3.核心技术内容与创新点分析ISO/IEC23090-4:2025并非一项简单的增量式更新，而是一次对沉浸式音频编码表示范式的重大升级。该标准全面支持三种主要的沉浸式音频表示和处理方式：基于通道（Channel-BasedAudio,CBA）、基于对象（Object-BasedAudio,OBA）和基于场景（Scene-BasedAudio,SBA）。其核心创新点体现在以下几个方面：1.全息声场的高效编码：标准重点改进了对高阶环境立体声（HOA）的支持。与传统的立体声或环绕声不同，HOA并不依赖固定的音箱布局，而是通过一组球谐函数基函数在数学上表示整个声场的空间分布。这为用户提供了无与伦比的灵活性和沉浸感，用户可以在任意耳机或音箱系统上通过空间渲染算法重现高度精确的声场。标准定义了一种全新的HOA编码模式，能够在不牺牲空间分辨率的前提下，将HOA信号的数据压缩到远低于原始采样率的水平，从而在有限的带宽下传输完整的声场信息。2.灵活的对象音频元数据与交互性：OBA技术允许将场景中的不同声源（如游戏中的脚步声、对话、枪声）作为独立的音频对象进行编码，并附带描述其位置、大小、运动轨迹等的元数据。ISO/IEC23090-4:2025对元数据规范进行了重大扩展，增加了对对象相对重要性、时空遮挡效果、以及用户交互行为（如用户转头、拉近放远某个对象）的实时响应支持。这使得终端应用可以实现高度个性化的音频体验，例如，在VR游戏中，用户可以通过转动头部或身体来改变声音的定位方向，或者通过交互界面选择性地增强或屏蔽某个对象的音量。3.统一的混合编码框架：为了适应不同内容制作流程和端侧处理能力的多样性，标准定义了一个统一的混合编码框架。该框架能够在一个单一的码流中同时包含CBA、OBA和SBA数据。内容制作方可以根据节目需要，灵活地混合使用这三种技术。例如，一个体育直播场景中，可以使用基于场景的编码（SBA）来拾取整个体育场的环境声场，使用基于对象的编码（OBA）来单独捕捉运动员的奔跑声和裁判的哨声，并使用基于通道的编码（CBA）作为备用信号。解码器则可以根据播放设备的能力和用户的偏好，智能地选择并混合这些信号进行渲染，保证了向后兼容性与面向未来的可扩展性。4.低延迟与高编码效率的平衡：对于需要实时交互的应用（如音视频会议、远程协作、云游戏），低延迟是核心需求。标准特别优化了编解码器的端到端延迟，引入了多种低延迟编码配置，支持从100毫秒级到20毫秒级不等的延迟要求。同时，标准采用了一系列先进的感知音频编码技术，包括心理声学模型优化、参数化差分编码、以及基于深度学习的后处理增强技术，以在给定的低码率下实现尽可能高的主观音质。这使得在有限的网络环境下，用户也能获得令人满意的沉浸式音频体验。4.应用价值与行业影响ISO/IEC23090-4:2025的发布，将对全球沉浸式内容产业产生深远而广泛的影响。对于内容制作方而言，该标准提供了一套稳定、高效的技术规范，可以避免碎片化的私有格式，降低内容制作和分发的复杂性。对于硬件制造商和平台运营商而言，统一的标准化接口意味着其产品（如VR头显、智能音箱、手机）可以无需修改即可兼容和播放海量的标准内容，从而促进生态的快速成熟。具体应用场景包括：*元宇宙与社交平台：实现每秒更新率超过48帧的动态对象位置追踪，带来真实的空间音频，使用户在虚拟世界中能够“听声辨位”，极大提升社交真实感。*线上直播与娱乐：提供媲美线下演唱会的沉浸式体验，用户可以在家中戴上耳机，体验到如临现场般的环绕声和舞台定位感。*远程协作与教育：在虚拟办公室或教室里，通过精确的音频定位，可以营造出多人围坐讨论或演讲者站在讲台上的空间感，有效提升远程沟通和信息传递效率。*游戏与互动内容：赋能下一代VR游戏，实现高精度的声音遮挡、反射和衍射效果，让游戏世界的声音环境更加真实和动态。5.主要参与单位介绍：MPEG标准委员会与ISO/IECJTC1/SC29ISO/IEC23090-4:2025的制定，是一个庞大而严谨的国际协作过程，其主导力量是声名显赫的动态图像专家组（MPEG）以及其上级组织ISO/IECJTC1/SC29。ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分委员会）是国际标准化体系中负责多媒体编码技术的核心委员会。该委员会汇集了来自全球数十个国家的顶尖科学家、工程师和行业专家。其成员单位包括世界知名的信息技术公司（如苹果、谷歌、微软、华为、高通、杜比）、研究机构（如弗劳恩霍夫集成电路研究所、法国电信研究院）以及高校。SC29下又设有多个工作组，其中MPEG（作为临时命名但实质等同于JTC1/SC29/WG2等具体工作组）是负责音视频编码的旗舰工作组。本次标准制定的核心参与者是MPEG音频编码小组（通常被称为MPEG-A）。该小组由来自全球的音频编码专家组成，定期举行会议进行技术提案征集、交叉验证、算法竞赛以及标准文本撰写。弗劳恩霍夫集成电路研究所（FraunhoferIIS）作为MPEG音频编码领域的长期领导者之一，在该标准的制定过程中发挥了关键作用。FraunhoferIIS是MPEGAAC、MPEG-H3DAudio等众多音频标准的核心技术贡献者，其在沉浸式音频算法、心理声学模型以及空间渲染方面拥有超过30年的深厚积累。在ISO/IEC23090-4:2025的制定过程中，FraunhoferIIS贡献了其针对高阶环境立体声（HOA）的专利解码技术，以及面向低延迟、高交互性应用场景的音频对象实时渲染引擎。此外，杜比实验室（DolbyLaboratories）、高通公司（Qualcomm）以及华为技术有限公司（Huawei）等也在此标准中贡献了大量关于元数据定义、跨平台互操作性以及针对移动端的高效解码实现方案的技术提案。这些企业和机构通过MPEG这一开放、透明且竞争性的平台，经过多年的反复论证和试验，最终凝聚了共识，形成了这份代表当前沉浸式音频技术最高水准的国际标准。该标准的发布，不仅是技术上的胜利，更是国际标准化合作精神的集中体现。6.结论ISO/IEC23090-4:2025《信息技术沉浸式媒体的编码表示第4部分：MPEG-I沉浸式音频》的发布，是沉浸式媒体技术发展史上的一个重要里程碑。该标准成功地将基于通道、基于对象和基于场景的音频编码技术融合到一个统一、高效且灵活的框架之中，解决了长期制约沉浸式音频普及的数据量、计算复杂度和互操作性三大瓶颈。它不仅为当前VR/AR和元宇宙领域的内容制作与分发提供了权威的技术规范，更为未来更高级别、更高保真度的沉浸式音频应用奠定了坚实的技术基石。展望未来，随着5G/6G网络基础设施的普及以及边缘计算、云端渲染技术的成熟，ISO/IEC23090-4:2025标准的价值将进一步凸显。我们有望在音视频会议、远程