ISOIEC 23090-342025 信息技术 沉浸式媒体的编码表示 第34部分沉浸式音频参考软件标准立项发展报告

信息技术沉浸式媒体的编码表示第34部分:沉浸式音频参考软件标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-CodedRepresentationofImmersiveMedia-Part34:ImmersiveAudioReferenceSoftware摘要随着虚拟现实（VR）、增强现实（AR）、混合现实（MR）及扩展现实（XR）等沉浸式技术的迅猛发展，沉浸式音频作为构建真实感和空间感的关键要素，其编码、传输与渲染技术已成为国际标准化组织关注的核心议题。本报告围绕国际标准化组织/国际电工委员会（ISO/IEC）联合技术委员会发布的ISO/IEC23090-34:2025标准——《信息技术沉浸式媒体的编码表示第34部分:沉浸式音频参考软件》展开系统性论述。报告首先分析了该标准立项的背景，包括沉浸式媒体产业生态的快速演进和技术标准化的迫切需求；其次，详细阐述了标准的编制原则、总体框架和核心技术内容，涵盖参考软件架构设计、功能模块划分、接口规范定义及与ISO/IEC23090系列其他部分标准的协同关系；再次，深入剖析了标准的关键技术要点，包括基于场景的音频描述、对象的空间定位编码、声道信号的灵活映射以及渲染器的参考实现等，并进一步探讨了参考软件在一致性测试、互操作性验证和产业化落地等多元场景中的应用路径。报告还介绍了主导制定该标准的国际组织和主要参与企事业单位。最后，本报告对沉浸式音频标准的未来发展趋势进行了展望，指出人工智能驱动的高效编码、多模态协同沉浸式体验和面向6G时代的泛在化服务将成为重要方向。该标准的发布实施，对于统一全球沉浸式音频技术规范、降低产业研发成本、促进内容生态繁荣具有重要意义。关键词：沉浸式音频；参考软件；ISO/IEC23090标准体系；媒体编码；空间音频；互操作性；扩展现实Keywords:Immersiveaudio;Referencesoftware;ISO/IEC23090standardfamily;Mediacoding;Spatialaudio;Interoperability;Extendedreality1.引言1.1立项背景近年来，以虚拟现实和增强现实为代表的沉浸式技术经历了从概念验证到规模化商用的范式转变。根据国际数据资讯（IDC）的预测，全球XR市场在2024至2028年间将保持超过30%的年复合增长率，到2028年市场规模有望突破千亿美元大关。在这一产业浪潮中，沉浸式音频作为构建逼真临场感不可或缺的信息维度，正日益受到学术界和工业界的广泛重视。与传统的立体声和环绕声相比，沉浸式音频旨在通过精准的空间声场再现，使用户能够在三维空间中感知声音的方位、距离和运动轨迹。这种音频形式不仅需要采集和编码更多的空间信息，还要求在解码端具备灵活的渲染能力，以适应从耳机回放到多声道扬声器阵列的多样化播放环境。然而，在ISO/IEC23090-34:2025标准发布之前，沉浸式音频领域面临着显著的技术碎片化问题。不同厂商提出的专有音频格式和编解码方案互不兼容，导致内容制作方需要在多种格式之间进行昂贵的转码适配，设备制造商则不得不集成多套解码方案以应对碎片化的内容生态。这种状况严重制约了沉浸式媒体产业链的良性循环发展。因此，从国际标准化层面统一沉浸式音频的编码表示和参考软件实现，已成为产业界的共同呼声。1.2标准立项意义ISO/IEC23090-34:2025作为ISO/IEC23090系列标准（即MPEG-I标准体系）的重要组成部分，其立项和发布具有多重战略意义。首先，该标准通过定义统一的沉浸式音频参考软件框架，为不同类型的沉浸式音频内容提供了一套标准化的编码表示范式，从根本上解决了格式碎片化带来的互操作性问题。其次，参考软件作为标准文本的重要补充，为各利益相关方提供了一个可验证、可参考、可扩展的实现基准，有助于降低技术开发门槛、缩短产品研发周期。再次，该标准的发布进一步丰富了ISO/IEC23090标准体系的内涵，使沉浸式媒体从视觉到听觉形成了完整的技术闭环，为构建真正意义上的全感官沉浸式体验奠定了标准化基石。2.标准编制原则与总体框架2.1编制原则ISO/IEC23090-34:2025在编制过程中遵循了以下基本原则：（1）技术中立性原则。标准制定坚持技术中立，不偏向任何特定厂商的专有音频技术方案，而是从功能需求和性能要求出发，定义开放性的技术规范，为各类创新性音频编码算法预留充分的发展空间。（2）兼容性与可扩展性原则。标准在设计上充分考虑了对既有音频编码标准（如MPEG-4AAC、MPEG-H等）的兼容能力，同时为未来新兴音频技术的嵌入预留了扩展接口。（3）实用性原则。参考软件的架构设计以实际部署场景为导向，兼顾计算复杂度、内存占用和实时性能等多维指标，确保标准能够真正落地于消费电子、专业制作等差异化应用场景。（4）开放透明原则。标准的制定全过程采取开放模式，广泛吸纳各成员国、各相关产业领域的意见和建议，确保标准内容的科学性和公正性。2.2标准定位与总体框架ISO/IEC23090-34:2025在ISO/IEC23090系列标准体系中扮演着参考软件基准的角色。ISO/IEC23090系列标准围绕沉浸式媒体的编码表示构建了多层次的技术规范体系，涵盖场景描述、几何信息编码、视觉内容编码、音频内容编码以及相关的一致性测试和参考软件等子标准。本部分标准（Part34）专注于沉浸式音频参考软件的规范定义。从内容框架来看，该标准的主要架构分为以下几个层面：第一层为参考软件总体架构，定义了软件的模块化组织方式、核心数据流和控制流的走向，以及各模块间的标准接口。第二层为编解码功能模块，涵盖沉浸式音频编码器、解码器和渲染器的参考实现规范。第三层为辅助工具集，包括比特流解析器、元数据管理器、音频预处理/后处理工具以及质量评估工具等。第四层为外部接口层，规定了参考软件与外部系统（如内容制作工具链、播放设备驱动层）之间的交互协议，同时定义了与ISO/IEC23090系列其他部分（如视觉部分的参考软件、场景描述部分的实现）协同工作时的对接机制。3.标准核心技术内容3.1沉浸式音频编码表示模型ISO/IEC23090-34:2025所定义的参考软件采用了一种融合多种音频表示形式的综合编码模型。该模型通过整合三种基础性的音频表示方式来适应不同应用场景的需求：（1）基于声道的表示（Channel-based）。传统的扬声器馈送信号表示法，适用于从立体声到高阶环绕声（如5.1、7.1.4等）的传统音频系统。参考软件实现了对这种表示法的高效编解码，并与传统播放设备保持良好兼容。（2）基于对象的表示（Object-based）。将音频场景视为一系列独立音频对象及其关联的空间位置元数据的集合。每个音频对象不仅包含音频信号数据本身，还携带了随时间变化的空间坐标、增益系数、声学属性等元数据信息。参考软件中设计了高效的元数据编码机制，以控制元数据的比特率开销，并提供了对象交互接口，使得终端用户能够根据偏好对音频对象进行个性化调整（如调节对白音量、关闭特定音效等），这是传统音频广播无法实现的全新用户体验。（3）基于场景的表示（Scene-based）。采用高阶高保真度立体声（Higher-OrderAmbisonics,HOA）技术，以球谐函数分解的方式对整个声场进行数学表示。这种表示方法不依赖于具体的扬声器布局，在解码端可根据实际播放环境灵活地进行声场重合成。参考软件实现了HOA信号的编码、解码以及HOA与对象表示之间的格式转换模块。这三种表示形式在参考软件架构中可以灵活组合，通过统一的编码框架进行联合优化。例如，在一个复杂的沉浸式音频场景中，背景环境声可采用基于场景的表示以高效捕获空间声场特性，而前景的关键音效（如人物对白、乐器独奏等）则采用基于对象的表示以支持终端交互功能。3.2参考软件架构设计参考软件的架构设计遵循模块化和分层化的工程原则，以C++语言为主要实现语言，确保跨平台的可移植性。整体架构分为如下功能层次：（1）输入/输出层。负责不同格式的音频输入文件的解析与音频输出文件的写入，支持常见的音频文件格式和原始音频数据格式。（3）渲染器层。实现从解码后的音频表示到具体播放设备配置的映射转换功能。该层包含双耳渲染器（用于耳机回放）、扬声器渲染器（用于多声道扬声器系统）以及声场合成器等多种功能模块。（4）公共工具层。提供公用的数学运算库（如矩阵运算、球谐函数计算等）、内存管理工具、错误处理机制、日志系统等基础性工具集。3.3关键技术与创新点解析3.3.1元数据的高效编码与灵活传输在基于对象的沉浸式音频系统中，元数据编码效率直接影响整体压缩性能。参考软件采用了一种基于时间分段的自适应量化编码方案，根据元数据随时间的动态变化特征自适应调整量化精度和时间采样密度。在音频对象空间位置变化缓慢的时间段内，降低时间采样密度和量化精度，从而大幅度压缩元数据比特率；在空间位置快速变化的瞬态段，则提高采样密度和量化精度，确保空间定位的准确性。在元数据的使用与传输方面，参考软件不仅支持在编码比特流内部封装元数据，还提供了将元数据作为独立流进行传输或存储的方案，这为面向对象的交互式音频服务的实现提供了技术基础。此外，参考软件中元数据的编码采用可扩展设计，允许在解码端通过对元数据的解析和修改，实现对音频场景的交互式调整，如音频对象的选择性静音、音量平衡调整以及空间位置的个性化重映射等功能。3.3.2HOA信号的自适应阶数选择参考软件中的HOA编码器引入了信号自适应阶数选择的机制。传统方法通常对整个音频场景采用统一的HOA阶数进行编码，这在声场复杂度分布不均匀的场景中会造成编码效率的浪费。参考软件引入基于感知模型的HOA阶数自适应分配算法，将声场划分为若干时频子带，根据不同子带的空间复杂度特征选择不同的HOA阶数进行编码，从而在保持感知质量的前提下显著提升编码效率。3.3.3渲染器的多配置适配机制面对从耳机到条形音箱（Soundbar）、从2.0立体声到22.2多声道系统的多样化播放终端，参考软件构建了一种基于统一中间表示（UnifiedIntermediateRepresentation,UIR）的渲染框架。所有解码后得到的不同类型的沉浸式音频信号先被转换为一种统一的中间空间表示，随后由终端的渲染模块根据实际扬声器配置或耳机参数进行最终渲染输出，这一机制有效保证了不同播放环境下的最佳听觉体验一致性。3.3.4与ISO/IEC23090系列标准的协调参考软件在设计和实现层面，与ISO/IEC23090系列中的其他相关标准进行了充分的技术协调。具体而言，参考软件实现了对ISO/IEC23090-31（沉浸式音频编码）的完整支持，所有编解码功能模块均以该标准定义的比特流语法和语义为基准进行规范化实现。同时，参考软件提供了与ISO/IEC23090-14（场景描述）的对接接口，支持将从场景描述部分解析得到的音频场景布局信息导入音频渲染模块，实现视听协同的沉浸式体验。此外，在与ISO/IEC23090-8（网络协议）的交互上，参考软件中的解码模块和交互控制模块已预设了对网络传输场景的适配能力，支持从网络流中直接提取音频基本流和交互控制消息，为面向流媒体的沉浸式音频服务提供即插即用的参考实现。4.标准应用前景分析4.1一致性测试与认证4.2产业化落地路径在广播与流媒体领域，参考软件为沉浸式音频内容的制作、编码和分发提供了标准化的技术参考，有助于加速沉浸式音频在数字广播、互联网流媒体平台以及音乐和影视内容分发服务中的部署与普及。在游戏与交互娱乐领域，参考软件的模块化设计使得游戏开发者能够在引擎中集成符合国际标准的沉浸式音频编解码和渲染能力，实现“一次制作、多平台覆盖”的音频内容生产管线。在远程会议与协同办公领域，随着沉浸式通信技术的普及，参考软件为空间音频会议系统提供了标准化的编解码和渲染参考，支撑更具真实临场感和空间分辨力的远程沟通体验。4.3开发者生态与开源社区参考软件的发布为全球范围内的开发者提供了标准化学习和二次开发的蓝本，有助于构建活跃的沉浸式音频技术开发者社区。同时，参考软件的设计思想和部分模块也可以为开源社区提供有价值的参考，推动更广泛的技术创新与成果共享。5.主要参与单位介绍ISO/IEC23090-34:2025由国际标准化组织与国际电工委员会联合技术委员会（ISO/IECJTC1）下属的“视听对象编码”分技术委员会（SC29）负责制定。SC29下属的联合视频专家组和联合音频专家组等多个专项工作组具体承担了该标准的起草和技术论证工作。在众多参与单位中，德国弗劳恩霍夫集成电路研究所（FraunhoferIIS）在沉浸式音频参考软件研制方面发挥了突出的主导作用。作为全球音频编码与声学信号处理领域久负盛名的研究机构，FraunhoferIIS是MP3音频编码技术的发明者，也是AAC（高级音频编码）和MPEG-H音频系列标准的核心技术贡献者。该研究所主导研发了MPEG-H3D音频编解码系统，其技术方案和软件实现已被多部MPEG音频标准所采纳。在ISO/IEC23090-34:2025的编制过程中，FraunhoferIIS承担了参考软件核心架构设计、编解码算法参考实现以及关键模块（如HOA处理模块和双耳渲染器）的开发和验证工作。该研究所提供的核心技术方案和软件代码，构成了本参考软件的主干框架。此外，FraunhoferIIS还主导制定了参考软件的一致性测试计划，确保标准内容的可实施性和可验证性。除FraunhoferIIS之外，其他参与本标准的机构还包括中国电子技术标准化研究院、北京大学、清华大学等国内科研机构，以及日本广播协会（NHK）、韩国电子通信研究院（ETRI）等国际知名研究机构，以及腾讯、字节跳动、华为等国内头部科技企业。这些机构在标准化技术讨论、文稿审查、验证测试等环节发挥了各自的专业优势，为标准的成功发布贡献了重要力量。6.结论与展望ISO/IEC23090-34:2025的正式发布，是沉浸式媒体标准化进程中的重要节点，标志着沉浸式音频技术进入了一个以统一编码标准和开放参考实现为基础的新阶段。这一里程碑式的成果将在多个维度产生深远影响。从技术维度看，该标准所提供的参考软件和测试基准将成为业界实现互操作和合规性的共同坐标，有助于在全球范围内消除沉浸式音频内容的“格式壁垒”和“生态孤岛”。从产业维度看，统一的参考软件不仅降低了技术开发的门槛，还将有效压缩不同系统之间的适配成本。展望未来，沉浸式音频标准化将在以下几个方向持续深化演进。可以预见，随着ISO/IEC23090-34:2025的深入推广以及后续版本的持续演进，沉浸式音频技术将加速走向成熟完善，为全球用户