ISOIEC 23090-82025 信息技术沉浸式媒体的编码表示第8部分基于网络的媒体处理标准立项发展报告

信息技术沉浸式媒体的编码表示第8部分：基于网络的媒体处理标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-CodedRepresentationofImmersiveMedia-Part8:NetworkBasedMediaProcessing摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，海量沉浸式媒体数据的实时传输与处理已成为制约产业规模化应用的关键瓶颈。传统的终端本地处理模式在计算能力、存储空间和能耗等方面面临严峻挑战，基于网络的媒体处理（NetworkBasedMediaProcessing，NBMP）范式应运而生。在此背景下，国际标准化组织ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）制定了ISO/IEC23090-8:2025《信息技术沉浸式媒体的编码表示第8部分：基于网络的媒体处理》标准。本报告系统梳理了该标准的研制背景、技术框架、核心内容和应用前景，深入分析了其在沉浸式媒体处理领域的标准化意义。该标准于2025年6月27日正式发布，定义了通用、可扩展的NBMP框架，包括工作流描述、处理功能模块化、任务分发协议和媒体流管理等核心机制，有效解决了沉浸式媒体处理中算力资源异构、网络环境动态变化以及媒体格式多样化的关键挑战，为云边协同的沉浸式媒体服务提供了统一的标准化接口和架构参考。本报告还介绍了标准主要修订单位的技术贡献，并对基于网络的媒体处理标准化未来发展方向进行了展望，旨在为相关研究人员和产业实践者提供系统性参考。关键词：标准化；沉浸式媒体；基于网络的媒体处理；MPEG-I；ISO/IEC23090-8；云计算；边缘计算AbstractWiththerapiddevelopmentofimmersivetechnologiessuchasVirtualReality(VR),AugmentedReality(AR),andMixedReality(MR),real-timetransmissionandprocessingofmassiveimmersivemediadatahasbecomeacriticalbottleneckconstraininglarge-scaleindustrialdeployment.Traditionalterminal-sidelocalprocessingmodelsfaceseverechallengesincomputationalcapability,storagecapacity,andenergyconsumption,thusgivingrisetotheNetworkBasedMediaProcessing(NBMP)paradigm.Againstthisbackdrop,ISO/IECJTC1/SC29(Codingofaudio,picture,multimediaandhypermediainformation)developedtheISO/IEC23090-8:2025standard,"Informationtechnology-Codedrepresentationofimmersivemedia-Part8:Networkbasedmediaprocessing."Thisreportsystematicallyreviewsthedevelopmentbackground,technicalframework,corecontent,andapplicationprospectsofthestandard,andprovidesanin-depthanalysisofitsstandardizationsignificanceinthefieldofimmersivemediaprocessing.OfficiallypublishedonJune27,2025,thisstandarddefinesagenericandextensibleNBMPframework,encompassingcoremechanismssuchasworkflowdescription,modularprocessingfunctions,taskdistributionprotocols,andmediastreammanagement,effectivelyaddressingthekeychallengesofheterogeneouscomputingresources,dynamicnetworkenvironments,anddiversemediaformatsinimmersivemediaprocessing.Itprovidesaunifiedstandardizedinterfaceandarchitecturalreferenceforcloud-edgecollaborativeimmersivemediaservices.Thisreportalsointroducesthetechnicalcontributionsoftheprimaryparticipatingorganizationsandoutlinesfuturedirectionsfornetwork-basedmediaprocessingstandardization,aimingtoprovidesystematicreferenceforrelevantresearchersandindustrypractitioners.Keywords:Standardization;ImmersiveMedia;NetworkBasedMediaProcessing;MPEG-I;ISO/IEC23090-8;CloudComputing;EdgeComputing1.引言1.1研究背景沉浸式媒体技术，包括虚拟现实、增强现实和混合现实等，正在深刻改变信息消费模式与人机交互方式。根据国际数据公司（IDC）的预测，全球AR/VR市场支出预计将在未来数年内持续高速增长，应用场景涵盖远程协作、沉浸式教育、数字孪生、虚拟社交和互动娱乐等众多垂直领域。然而，沉浸式媒体区别于传统二维视频的显著特征在于其多视角、高分辨率、高帧率和深度信息等数据维度，导致单路沉浸式内容的数据量可达到传统高清视频的数十甚至上百倍。这种数据规模的指数级增长对终端设备的解码能力、渲染性能和功耗水平提出了苛刻要求。1.2标准化必要性尽管业界已提出多种基于网络媒体处理的解决方案，但各方案之间在接口协议、数据格式、工作流描述和任务管理等方面存在显著差异，形成了碎片化的技术生态，严重制约了跨厂商、跨平台的互操作性。具体而言：第一，不同厂商的媒体处理平台采用私有API，导致应用开发者面临严重锁定效应；第二，处理功能模块缺乏统一封装规范，难以实现跨平台复用和动态编排；第三，缺乏标准化的服务质量（QoS）协商机制，使端到端的服务质量保障难以实现。在此背景下，ISO/IECJTC1/SC29/WG3（MPEGSystems）专家组启动了NBMP标准的研制工作，旨在定义一套独立于底层实现技术的通用媒体处理框架。1.3标准定位ISO/IEC23090-8:2025是MPEG-I（ISO/IEC23090系列，沉浸式媒体编码表示标准族）的第8部分，其标准定位如下：定义基于网络的媒体处理的总体架构和参考模型；规定NBMP工作流描述格式（WDF）及其语义；定义NBMP处理功能（Function）的封装与描述机制；规范媒体处理任务的配置、执行和管理协议；提供与传输协议无关的接口抽象层，同时支持RESTful等主流实现方式。2.标准研制历程2.1立项背景与需求分析ISO/IEC23090-8标准的研制工作始于MPEG组织对沉浸式媒体处理和分发需求的深入调研。随着MPEG-I标准的逐步完善，业界逐渐认识到单纯的前端采集与解码标准化不足以支撑完整的沉浸式媒体应用服务链路，网络侧的媒体处理环节同样需要标准化。在需求收集阶段，MPEG专家组广泛征集了来自电信运营商、云服务提供商、消费电子厂商、内容制作方和科研机构的需求输入。主要需求包括：支持多租户场景下的媒体处理资源共享；实现处理功能的热插拔和动态编排；兼容不同网络拓扑（中心云、边缘云、混合部署）；支持差异化的QoS等级和计费需求；保障媒体内容的传输安全性和完整性。2.2研制过程该标准的研制历经需求定义、征集提案（CallforProposals）、核心技术实验（CoreExperiment）、工作草案（WorkingDraft）迭代和最终委员会草案（FinalCommitteeDraft）等阶段。各阶段的主要工作包括：-需求与用例收集阶段：明确标准范围，定义NBMP参考用例，输出NBMP需求文档。-技术方案征集阶段：向全球征集NBMP技术方案，多家机构提交了架构提案。-核心技术实验阶段：组织多轮核心实验，对各种关键技术方案进行验证和对比。-工作草案编制阶段：完成工作草案的编制，经过多轮会议审议和修改完善。-国际标准最终草案（FDIS）投票阶段：通过各成员国投票，最终形成国际标准正式发布。2.3发布信息ISO/IEC23090-8:2025于2025年6月27日正式发布，标准状态为现行（Active），由国际电工委员会（IEC）发布。该标准替代了此前发布的ISO/IEC23090-8:2022第一版，在沉浸式媒体处理框架的完备性、接口兼容性和安全性等方面进行了系统性升级。3.标准主要内容3.1标准范围ISO/IEC23090-8:2025规定了基于网络的媒体处理的系统架构、信息模型和接口协议。具体涵盖：NBMP总体架构模型，包括媒体源、NBMP工作流管理器、NBMP功能仓库、NBMP处理节点和媒体接收端等功能实体；NBMP工作流描述文档（WorkflowDescriptionDocument）的格式和语义，用于描述媒体处理工作流的拓扑结构、处理步骤和参数配置；NBMP功能描述文档（FunctionDescriptionDocument），用于描述可复用的媒体处理功能模块的输入输出格式、配置参数和部署要求；NBMP任务配置和提交流程，即工作流管理器如何将一个工作流实例化为具体的处理任务并向处理节点分发；NBMP与传输协议之间的映射关系，包括基于HTTP/HTTPS的RESTful接口实现方式；以及与ISO/IEC23090系列其他标准部分的协同关系。3.2参考架构NBMP参考架构包含了四个核心功能实体：媒体源（MediaSource）：提供待处理的沉浸式媒体内容，可以是实时采集的流媒体或已存储的媒体文件。媒体源通过标准接口向NBMP工作流管理器发起处理请求，并将媒体数据发送至指定的处理节点。NBMP工作流管理器（WorkflowManager）：作为NBMP体系中的控制核心，负责接收媒体源提交的处理任务请求，将任务需求映射为具体的工作流描述，从NBMP功能仓库中选择合适的处理功能，协调处理节点的资源分配，并监控任务的执行状态。工作流管理器向媒体源提供API接口，使媒体源能够提交、查询和终止处理任务。NBMP功能仓库（FunctionRepository）：存储各类可复用的媒体处理功能的描述信息和部署包。功能提供方通过注册接口将其开发的处理功能发布到功能仓库中，并声明功能的能力属性和部署要求。工作流管理器通过查询功能仓库来完成处理功能的匹配和选择。NBMP处理节点（ProcessingNode）：执行实际媒体处理任务的实体，可以部署在中心云、边缘云或网络接入节点。处理节点负责实例化媒体处理功能、接收待处理的媒体流、执行处理逻辑并将结果输出至下一处理阶段或最终媒体接收端。这些功能实体间通过标准化的API接口进行交互，其中最关键的是工作流管理器与媒体源之间的控制接口和工作流管理器与处理节点之间的管理接口。3.3关键技术机制工作流描述格式（WorkflowDescriptionFormat，WDF）：WDF是NBMP标准的核心数据结构，采用JSON（JavaScript对象表示法）格式描述媒体处理工作流的全部信息。一个完整的工作流描述包含工作流基本属性（如名称、优先级、QoS需求）、处理功能节点列表（包括每个节点的类型、输入输出端口、配置参数）、功能节点间的连接关系（即数据流拓扑）以及执行要求（如部署位置偏好、硬件加速要求、最大端到端延迟）等。工作流描述文档可以被视为一种领域特定语言（DSL），它屏蔽了底层异构基础设施的差异，使上层应用能够以声明式方式表达媒体处理需求。功能抽象与封装：NBMP标准定义了统一的处理功能封装模型，每个处理功能被视为一个独立的、可部署的媒体处理单元。功能描述信息包括：功能标识与版本、输入/输出媒体格式支持范围（编码格式、分辨率、帧率、色彩空间等）、可配置的参数列表（如编码码率、算法模式、质量等级）、所需计算资源估计（CPU/GPU需求、内存占用）以及部署约束条件。该机制使得不同开发者开发的媒体处理算法能够以标准化的方式集成到NBMP框架中。任务生命周期管理：标准定义了从任务创建、配置、执行、监控到释放的完整生命周期管理流程。工作流管理器向处理节点发送任务创建请求后，能够在任务创建和配置完成之前，通过"准备"机制建立媒体处理功能实例间的连接关系并完成媒体流的传输准备，但不启动实际的媒体数据流处理。在准备完成后，工作流管理器通过对已创建任务的控制消息向处理节点发送"开始"指令，以触发媒体流的实际处理。任务执行过程中，处理节点周期性地向工作流管理器报告任务状态、资源使用情况和错误信息。任务完成后，工作流管理器执行清理操作以释放资源。媒体流与信息流映射：在NBMP中，媒体数据从源到接收端的传输通过功能节点间的连接关系进行描述。标准允许两种数据流模式：直通模式（媒体流经处理节点转发而无需工作流管理器中转）和受控模式（数据路径经过工作流管理器协调）。这种灵活性使NBMP能够适配不同网络条件和应用需求。4.标准主要修订单位与贡献4.1主要参编单位ISO/IEC23090-8:2025由ISO/IECJTC1/SC29/WG3（MPEGSystems）组织研制，汇聚了全球范围内在多媒体处理、网络传输和沉浸式技术领域具有领先优势的企业、研究机构和标准化组织。主要参编单位包括：-华为技术有限公司：在NBMP架构设计、协议定义和QoS保障机制方面做出了核心贡献。华为在5G/6G网络和多媒体处理领域的深厚技术积累，为NBMP标准的网络适应性设计提供了重要支撑。-中兴通讯股份有限公司：在网络切片与媒体处理的结合、边缘计算场景下的NBMP部署方案方面贡献了多项关键技术提案。-中国电信集团有限公司：作为全球领先的电信运营商，在NBMP网络部署需求、运营管理要求和服务质量保障方面提供了丰富的工程实践经验。-清华大学：在媒体处理算法优化、工作流描述模型的理论基础方面贡献了重要的学术研究成果。-北京大学：在沉浸式媒体质量评价、视觉感知建模等方面为NBMP的QoS体系设计提供了理论依据。-腾讯科技有限公司：在实时音视频处理和沉浸式互动媒体应用方面提供了丰富的产品实践和用例输入。-三星电子：在终端-网络协同处理方面贡献了关键的技术方案，推动了NBMP标准与终端生态的有效衔接。-高通公司：在移动计算平台的媒体处理能力和异构计算架构方面提供了重要的技术参考。此外，爱立信、诺基亚、英特尔、索尼、松下等国际企业，以及德国弗劳恩霍夫研究所、日本广播协会（NHK）等研究机构也深度参与了该标准的研制工作。4.2主要参编单位技术贡献以华为技术有限公司为例，其在ISO/IEC23090-8:2025标准研制中的技术贡献体现在多个关键维度。在NBMP架构设计方面，华为联合其他贡献单位共同定义了标准中"工作流管理器-功能仓库-处理节点"的三层逻辑架构模型，该架构既保持了各功能实体的职责清晰性，又通过标准化API实现了灵活的组合与部署。华为提出了"细粒度功能组合"的设计理念，支持同一工作流中不同功能模块在异构基础设施上的弹性调度。该模型经过多轮广泛技术讨论被采纳写入标准正文，成为NBMP框架的架构性基础。在QoS保障机制方面，华为基于其在通信网络领域积累的QoS管理经验，主导设计了NBMP标准中服务等级协议（SLA）的协商流程和QoS参数映射机制。华为提出的"从应用层QoS需求到底层网络资源的层次化映射"方案，通过在功能描述和任务描述中引入结构化的QoS指标字段，使NBMP能够支持低延迟交互式媒体场景（如云VR）和大带宽高吞吐场景（如8K全景视频）等差异化服务需求。在接口协议设计方面，华为重点参与了NBMP工作流管理器API的协议语义定义和RESTful映射规范工作。华为提出的资源导向型接口设计模式（以统一资源标识符定位各类NBMP资源，并通过标准HTTP方法进行操作）被采纳为API设计的基本原则。此外，华为还推动建立了接口版本管理机制和向后兼容策略，确保NBMP框架的长期稳定演进。在安全机制增强方面，华为针对NBMP面临的媒体处理链路径长、涉及实体多等安全挑战，与高通、三星等公司共同提出了增强的安全认证与访问控制框架。该框架支持基于OAuth2.0的授权机制，以及媒体内容在NBMP处理链路中的完整性校验方案，相关成果被纳入标准的技术附件。在部署案例验证方面，华为积极参与了NBMP标准的互操作性测试和验证工作，联合多家参编单位搭建了跨厂商的NBMP测试环境，在标准定稿前完成了端到端的工作流创建、任务提交、媒体处理和质量反馈的闭环验证，有效降低了标准发布后的产业落地风险。5.标准应用前景5.1典型应用场景云VR/AR服务：在云VR场景中，终端仅负责采集交互指令并呈现解码后的画面，渲染等计算密