ISOIEC 23090-82020 信息技术沉浸式媒体的编码表示第8部分基于网络的媒体处理标准立项发展报告

信息技术沉浸式媒体的编码表示第8部分：基于网络的媒体处理标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part8:Networkbasedmediaprocessing摘要随着增强现实（AR）、虚拟现实（VR）和混合现实（MR）等沉浸式媒体技术的蓬勃发展，其对网络带宽和计算资源的需求呈指数级增长。传统的本地渲染和媒体处理模式已难以应对海量用户并发访问与实时交互的苛刻要求。在此背景下，基于网络的媒体处理（NetworkBasedMediaProcessing,NBMP）技术应运而生，旨在将媒体处理任务从终端设备迁移至网络边缘或云端，以实现高效、低时延、可扩展的沉浸式媒体服务。本标准，即ISO/IEC23090-8:2020，作为MPEG-I标准系列的重要组成部分，正式确立了NBMP的通用架构、功能组件和接口规范。本报告旨在系统阐述该标准立项的产业背景、核心技术架构、关键术语定义及其对行业发展的重要指导意义。报告明确指出，该标准通过定义媒体处理实体之间的互操作接口，为构建开放、灵活的沉浸式媒体服务生态提供了技术基石。尽管该标准已于2020年发布（并在后续版本中演进），但其确立的“网络即平台”核心理念，至今仍深刻影响着流媒体、云游戏、实时通信等领域的系统设计与部署。关键词沉浸式媒体；基于网络的媒体处理；MPEG-I；媒体处理实体；功能描述；网络架构Keywords:ImmersiveMedia;NetworkBasedMediaProcessing(NBMP);MPEG-I;MediaProcessingEntity(MPE);FunctionalDescription;NetworkArchitecture正文1.引言：沉浸式媒体时代的挑战与机遇当前，信息技术正加速向以用户为中心的沉浸式体验演进。全景视频、自由视点视频、点云、六自由度（6DoF）交互等新型媒体格式的出现，极大地丰富了信息的表现形式。然而，这些沉浸式媒体内容具有超高分辨率（如8K/12K）、高帧率（如90fps/120fps）和大数据量的特点，对终端设备（如头显、手机）的实时解码、渲染及交互处理能力构成了严峻考验。单纯依赖终端硬件升级的“端计算”模式，不仅增加了设备成本与功耗，也无法有效应对网络延迟波动带来的用户体验问题（如晕动症）。为解决这一矛盾，业界普遍认为将媒体处理能力向网络侧迁移是必然趋势。通过将复杂的渲染、拼接、转码、合成等任务卸载至部署在网络边缘或中心的服务器集群，结合媒体流的动态自适应分发，可以实现：-减少网络传输带宽：网络端仅需传输用户视角所需的数据块，而非整个媒体流。-实现低时延交互：通过边缘计算缩短处理距离，满足实时交互需求。-支持多用户协同：在网络端统一管理多用户的视角和交互状态。在此背景下，国际标准化组织动态图像专家组（MPEG）敏锐地捕捉到这一技术趋势，于2017年启动了MPEG-I（沉浸式媒体标准）项目，其中第8部分即为“基于网络的媒体处理”（NBMP）。该标准的立项，标志着沉浸式媒体技术从“端到端”的简单传输向“端-网-云”协同处理模式的战略性转型。2.标准概述与核心架构ISO/IEC23090-8:2020旨在定义一个通用的、设备无关的框架，用于在网络上描述、部署和履行媒体处理功能。其核心目标不是规定具体的处理算法，而是提供一套统一的接口和描述语言，使得不同的媒体处理节点（跨厂商、跨平台）能够互相理解和协作。2.1核心概念与术语-媒体处理实体：能够执行一个或多个媒体处理任务的逻辑或物理单元。它可以是一个云服务器上的微服务、一个边缘网关上的功能模块，甚至是一个高性能终端。-功能描述：使用一种标准化语言（在本标准中为JSONSchema）对媒体处理任务的目标、输入、输出、配置参数及依赖关系进行声明式描述。这是NBMP生态系统的核心，它让服务的需求方无需关心底层实现细节。-NBMP任务：由一个或多个媒体处理实体协同完成的一组完整媒体处理操作，例如“将一个全景视频流转换为用户视角的2D视频流输出”。-媒体处理实体连接图：描述各个媒体处理实体之间如何通过数据流连接的拓扑结构，是实现复杂工作流编排的基础。2.2整体架构本标准定义的NBMP架构主要包含以下逻辑组件：-NBMPSource：请求媒体处理服务的实体（如AR/VR应用、媒体分发平台）。-NBMPWorkflowManager：工作流管理器，负责接收源端的服务请求，解析功能描述，发现并调度合适的媒体处理实体，并监督整个任务的执行生命周期。-NBMPFunctionRepository：功能库，所有可用媒体处理实体及其功能描述的注册中心。-MediaProcessingEntity(MPE)：具体的媒体处理执行单元。-NBMPSink：接收最终处理结果的实体（如终端用户设备）。这些组件通过标准化的RESTfulAPI（特别是MPEG-INBMP定义的接口）进行通信，实现了请求的提交、工作流的创建、状态的监控和资源的释放。2.3技术要点-声明式工作流：NBMP采用“描述式”而非“命令式”模型。源端只需声明“我需要什么（例如：将A视频渲染成B视角）”，工作流管理器自动计算“如何做（例如：调用渲染单元1和解码单元2，并按拓扑图连接）”。这极大地增加了系统的灵活性和可扩展性。-媒体流抽象：标准定义了媒体流的抽象表示，允许在MPE之间传输多种媒体格式（如视频、音频、点云、时序元数据），并提供了支持时戳、同步、RTP打包等功能。-服务质量与计费：标准提供了基本的机制，以支持对处理任务的延迟、吞吐量、精度等服务质量要求进行描述和监控，并为后续的网络资源管理和计费奠定了基础。3.标准发布的背景与意义本标准的发布（2020年）恰逢5G网络商用部署初期的关键节点。5G网络提供的超大带宽（eMBB）和超低时延（uRLLC）特性，为空口传输超高清实时媒体流创造了可能。然而，如果媒体处理本身仍然在终端完成，5G的网络优势将无法完全发挥。NBMP标准为这项挑战提供了系统性解决方案。-推动产业分工：标准明确了媒体处理功能的定义形式（功能描述），使得媒体处理算法开发者可以独立于网络基础设施商和应用集成商进行工作。这将孵化出一个全新的“媒体功能即服务”产业链。-降低系统集成门槛：统一的API接口打破了不同厂商（如云平台、内容提供商、终端制造商）之间的技术壁垒，使得构建跨域、异构的全球性沉浸式媒体服务成为可能。-支撑元宇宙雏形：身临其境的交互式体验是构建元宇宙的核心诉求。NBMP提供的“将计算与渲染迁移至网络边缘”的能力，正是实现大规模、低延迟、高保真度元宇宙应用的关键技术之一。4.介绍参与标准修订的标委会本标准的制定和修订工作主要由ISO/IECJTC1/SC29/WG11负责。详细介绍：ISO/IECJTC1/SC29/WG11（运动图像专家组）ISO/IECJTC1（信息技术标准化联合技术委员会）的SC29（音频、图像、多媒体和超媒体信息编码）分委会下辖的WG11工作组，即全球著名的运动图像专家组。WG11成立于1988年，是迄今为止在数字音视频编码标准化领域最具影响力和权威性的国际技术组织之一。核心职责：WG11的主要职责是制定针对运动图像、音频及其相关数据的编码、解码、表示、压缩、传输和元数据的国际标准。其目标是通过标准化，确保全球范围内不同设备和系统生成的多媒体内容能够无缝互操作。其工作范围横跨从传统的MPEG-1、MPEG-2（数字电视、DVD）到MPEG-4（交互式多媒体、视频会议），再到现代的MPEG-7（多媒体内容描述接口）、MPEG-21（多媒体框架）以及当前最前沿的MPEG-I（沉浸式媒体）和MPEG-DASH（基于HTTP的动态自适应流媒体）。组织结构与工作模式：WG11由来自全球各个国家的行业专家、研究机构代表和标准制定组织的技术代表组成。例如，来自中国的华为、中兴、腾讯、阿里巴巴、北京大学、中国科技大学等企业和高校的专家深度参与了MPEG-I系列标准（包含NBMP）的制定工作。WG11通常每年举行4至6次全体会议（AhGs+Plenary），并下设多个专门的研究组，负责具体标准项目（如NBMP）的技术探讨、草案撰写、一致性测试及最终文本的审核。对NBMP标准的贡献：1.定义需求（Requirements）：WG11首先通过对产业界（如流媒体服务商、内容创作者、设备制造商）的广泛调研，明确了NBMP需要解决的核心痛点（如异构处理能力、动态负载、低时延要求）。2.设计框架：WG11专家组历经多次深入讨论，确定了以“功能描述”为核心、以“工作流管理器”为智能中枢、以RESTfulAPI为互操作接口的宏观架构。3.开发具体协议：工作组详细定义了功能描述的JSONSchema语法、MPE之间的数据平面通信协议（如使用HTTP/2WebSocket）、以及用于任务管理、状态查询、错误处理的控制平面API。该部分的技术要求极高，需要协调网络、云计算和音视频处理三方面的专业知识。4.建立一致性测试：在标准制定完成后，WG11负责编写一致性测试规范，以确保不同厂商实现的NBMP系统能够相互调用。WG11的严谨、开放、协作的工作流程，保证了ISO/IEC23090-8:2020标准不仅具有前瞻性的技术视野，更具备坚实的工程实践基础。该工作组的持续工作（例如，后续发布的NBMP第2版增加了对6DoF点云处理的支持）也确保了标准化成果能够紧跟技术演进。结论ISO/IEC23090-8:2020《信息技术沉浸式媒体的编码表示第8部分：基于网络的媒体处理》标准，是全球首个系统性地定义在网络上描述、部署和执行媒体处理任务的国际标准。它前瞻性地提出了“媒体功能虚拟化”与“网络即平台”的范式，将复杂的媒体处理从笨重的终端设备解耦出来，迁移至灵活、可扩展的云端和边缘网络。该标准的发布，不仅为5G/6G时代沉浸式媒体的规模化商业应用扫清了互操作性障碍，更深刻影响了后续