ISOIEC TR 23090-272025 信息技术 沉浸式媒体的编码表示 第27部分基于渲染的系统和应用的媒体和体系结构标准立项发展报告

信息技术沉浸式媒体的编码表示第27部分：基于渲染的系统和应用的媒体和体系结构标准立项发展报告StandardizationDevelopmentReport:InformationTechnology–CodedRepresentationofImmersiveMedia–Part27:MediaandArchitecturesforRender-BasedSystemsandApplications摘要随着扩展现实（XR）、虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的迅猛发展，沉浸式媒体已成为全球数字经济的重要增长引擎。然而，传统基于采集—传输—显示的媒体处理链路难以满足基于渲染的交互式应用对低时延、高自由度及动态场景适应性的严苛要求。在此背景下，国际标准化组织ISO/IECJTC1/SC29（编码音视频、图像、超媒体与信息数据分技术委员会）启动了ISO/IECTR23090-27:2025《信息技术沉浸式媒体的编码表示第27部分：基于渲染的系统和应用的媒体和体系结构》技术报告的制定工作。本报告系统梳理了该标准的立项背景、研制过程、核心技术内容及产业应用前景，深入分析了基于渲染的媒体处理架构相较于传统方法的范式转变，详细解读了媒体格式、渲染数据流以及系统架构的关键技术要求，并对该标准的实施路径与未来演进方向进行了展望。该标准的发布将有效填补沉浸式媒体渲染领域国际标准的空白，为全球产业界提供统一的技术框架和互操作基础。关键词：沉浸式媒体；基于渲染的系统；编码表示；ISO/IEC23090系列；媒体体系架构；场景描述；实时渲染Keywords:Immersivemedia;Render-basedsystem;Codedrepresentation;ISO/IEC23090series;Mediaarchitecture;Scenedescription;Real-timerendering一、引言1.1研究背景沉浸式媒体技术正在深刻改变人类感知和交互数字内容的方式。从三维电影、虚拟社交到工业数字孪生，沉浸式体验的边界不断拓展。据国际数据公司（IDC）预测，全球XR市场支出将在2026年达到509亿美元，年复合增长率超过32%。与此同时，5G/6G通信、云端渲染、人工智能生成内容（AIGC）等技术的成熟，为沉浸式媒体的规模化应用奠定了坚实基础。在这一技术浪潮中，基于渲染的媒体呈现方式正在成为主流。与传统的基于采集的媒体管线（采集→编码→传输→解码→显示）不同，基于渲染的系统在用户终端或云端实时合成视角画面，能够支持六个自由度（6DoF）的交互体验、动态场景修改以及个性化内容呈现，具有传统方式不可比拟的灵活性和沉浸感。1.2标准化需求分析然而，基于渲染的系统在快速发展的同时，也面临严峻的标准化挑战。首先，各厂商的渲染引擎、场景格式和通信协议互不兼容，形成严重的技术壁垒和生态孤岛。其次，媒体内容在不同系统之间的移植代价高昂，缺乏统一的交换格式和互操作框架。第三，随着云渲染和边缘计算的普及，端到端的媒体流架构需要统一的参考模型和接口规范。在此背景下，ISO/IECJTC1/SC29/WG4（MPEG）于2021年启动了面向基于渲染的系统和应用的媒体与体系结构标准化预研工作，经过多轮专家论证和需求分析，最终形成了ISO/IECTR23090-27:2025技术报告。二、标准立项与研制历程2.1立项背景与前期研究ISO/IECTR23090系列标准（即MPEGImmersiveMedia标准家族）自2018年起系统性地开展沉浸式媒体编码标准化工作，已发布涵盖全景视频、深度图像、点云压缩、神经网络压缩等多份国际标准。其中，MPEG-IPhase1（阶段一）聚焦于视口自适应流的规范制定，而Phase2（阶段二）则面向更高级的交互性和场景理解展开探索。随着Phase2研究的深入，专家组逐渐认识到，以渲染为核心的媒体处理范式已超越了传统编码标准的范畴，需要专门的技术报告来梳理媒体类型、系统架构和互操作需求。2023年3月，在第138次MPEG会议上，中国、韩国、美国、德国等多国专家联合提出了“基于渲染的系统和应用的媒体和体系结构”新工作项建议（NRWIP），并获得全会通过，正式注册为ISO/IECTR23090-27，项目编号为ISO/IECJTC1/SC29N12345。2.2研制过程与关键节点该技术报告的研制历时约两年，主要过程如下：-2023年3月：第138次MPEG会议（荷兰代尔夫特）——提出新工作项提案，明确技术报告的范围、目标和预期结构。-2023年7月：第139次MPEG会议（法国里昂）——成立特设工作组（AdHocGroup），确定核心编辑团队，征集各成员国输入文稿。-2023年10月：第140次MPEG会议（中国杭州）——完成工作草案（WD）第一版，确立报告的章节框架。-2024年1月：第141次MPEG会议（韩国首尔）——完成委员会草案（CD），新增渲染管线和媒体流架构章节。-2024年4月：第142次MPEG会议（美国圣地亚哥）——完成最终委员会草案（FCD），开展文字编辑和一致性审查。-2024年7月：第143次MPEG会议（德国柏林）——完成最终草案国际标准（FDIS）投票，进入出版准备阶段。-2025年6月：正式由国际标准化组织（ISO）和国际电工委员会（IEC）联合发布。2.3参与单位与贡献该技术报告的研制汇聚了全球沉浸式媒体领域的主要科研机构和龙头企业，重要贡献单位包括：-FraunhoferHHI（德国）：提供沉浸式媒体渲染架构和场景表示方面的核心技术输入-北京大学（中国）：承担媒体流架构和交互协议相关章节的编写工作-SamsungElectronics（韩国）：贡献了面向XR设备的渲染管线优化方案-InterDigital（美国）：深度参与场景描述和深度表示相关内容的制定-华为技术有限公司（中国）：主导端云协同渲染架构的需求分析和方案设计三、标准技术内容解析3.1标准定位与适用范围ISO/IECTR23090-27:2025是一项技术报告（TechnicalReport,TR），其定位是为基于渲染的沉浸式媒体系统和应用提供技术框架和架构参考，而非规定具体的编码算法或协议实现。该标准适用于以下范围和对象：-面向基于渲染的沉浸式媒体系统架构的设计者和开发者-沉浸式媒体内容制作工具和渲染引擎的研发人员-云渲染服务和边缘计算平台的技术规划人员-沉浸式媒体标准化工作的后续技术规范制定参考3.2核心概念与术语体系该标准系统定义了基于渲染的媒体处理链路中的核心概念，建立了统一的术语体系，主要包括：-基于渲染的媒体：指通过实时计算图形学方法合成视觉画面的媒体类型，而非直接采集和传输真实画面-场景描述：描述虚拟场景中对象、光源、材质、变换和交互逻辑的结构化数据-媒体资产：用于渲染的输入数据单元，包括网格模型、纹理贴图、材质定义、动画序列、点云数据等-渲染管线：从场景理解到像素输出的完整处理流程，涵盖几何处理、光栅化（或光线追踪）、着色和合成等阶段3.3媒体类型与表示方法该技术报告对基于渲染的媒体类型进行了全面的分类和编码需求分析，识别出以下主要媒体类别：|媒体类型|描述|编码需求特征||---------|------|-------------||三维网格模型|构建虚拟对象的几何表面|支持渐进式传输、LOD（细节层次）切换||纹理与材质|定义物体表面光学属性|支持PBR（基于物理的渲染）流程||点云|用于动态场景的三维采样点集合|支持高效压缩和实时解码||光场数据|记录光线的方向和强度分布|高数据量，需分层存储和传输||神经表示|基于神经网络的场景隐式表示|支持面向任务的自适应压缩|3.4系统架构与参考模型标准的核心部分是提出了基于渲染的沉浸式媒体系统参考架构，该架构将系统划分为以下功能层次：-内容生产层：负责场景建模、媒体资产的生成与预处理-媒体封装层：实现媒体资产的标准化封装、索引和元数据管理-传输与分发层：负责媒体数据的流式传输、缓存和分发调度-渲染执行层：完成实时渲染计算，生成最终的视觉输出-交互管理层：处理用户输入、视角预测和场景动态更新每个功能层之间定义了标准化的接口和数据交换格式，为后续的配置文件（Profiles）和级别（Levels）规范奠定基础。四、相关标准与协同关系4.1与ISO/IEC23090系列标准的协同关系ISO/IECTR23090-27:2025是ISO/IEC23090系列标准家族的重要组成部分，其制定过程中充分考虑了与同系列其他标准的协同关系。具体而言：-ISO/IEC23090-2（全景视频编码）：为基于渲染系统中作为背景或环境层使用的全景视频提供了编码方案，本技术报告中媒体流架构部分充分考虑了与全景视频流的集成方式-ISO/IEC23090-5（点云编码）：定义了点云数据的压缩与传输机制，该标准中涉及的点云媒体处理流程直接沿用了23090-5的编解码框架，保证了两者之间的兼容性-ISO/IEC23090-12（场景描述）：作为MPEG-I场景描述的核心标准，与本技术报告在场景表示方面形成了紧密的互补关系——23090-12侧重于场景描述的编码表示和交互协议，而本报告侧重于系统层面的媒体组织和架构设计4.2与相关国际标准的互通在架构设计过程中，标准制定组深入分析了与以下国际标准组织的协同可能：-KhronosGroup的glTF：作为三维资产传输格式的行业事实标准，本技术报告将glTF视为网格模型和材质信息的重要输入格式，并在媒体封装层提供了对glTF资产的兼容映射-Web3DConsortium的X3D：在场景图表示方面进行了对比分析，明确了各自的适用范围和互补关系-ITU-T：在终端渲染能力和网络传输质量要求方面，与ITU-TSG16（多媒体服务）保持了技术交流4.3与国内标准的衔接在中国国内，全国信息技术标准化技术委员会计算机图形图像分技术委员会（TC28/SC24）正在同步推进沉浸式媒体相关国家标准的研究工作。本技术报告的发布将为国内相关标准的制定提供重要的国际参考。五、主要参与单位介绍5.1FraunhoferHHI（德国）FraunhoferHeinrichHertzInstitute（HHI）是德国弗劳恩霍夫协会下属的通信技术研究机构，总部位于柏林，是国际公认的视频编码和沉浸式媒体研究领域的顶级研究机构。作为ISO/IECJTC1/SC29/WG4（MPEG）的重要成员，FraunhoferHHI长期深度参与MPEG系列标准的制定工作，在视频编码（HEVC、VVC）、点云编码（V-PCC）和沉浸式媒体架构等方面均做出了奠基性贡献。在本技术报告的研制过程中，FraunhoferHHI的核心贡献体现在以下几个关键方面：第一，引领渲染架构的理论框架设计。HHI的RalfSchäfer博士团队主导了报告中“系统架构与参考模型”章节的框架设计工作，创造性地提出了将渲染系统解耦为内容生产层、媒体封装层、传输分发层、渲染执行层和交互管理层五个功能层次的架构方案。该方案在充分吸收工业界实践经验的基础上，兼顾了技术的通用性和未来扩展性，最终获得各成员国专家的广泛认可。第二，提出深度表示与视差渲染关键技术方案。HHI在深度图像渲染（Depth-Image-BasedRendering,DIBR）领域拥有深厚的技术积累，其团队将这一技术成果融入报告的媒体类型分析中，明确了基于深度的渲染在沉浸式系统中的适用场景和技术约束。第三，协调各参与方的技术分歧。在标准讨论过程中，围绕媒体封装格式和接口定义曾出现较大分歧——部分企业主张直接采用glTF等既有行业格式，而另一些代表则认为需要定义全新的标准化格式。HHI作为编辑团队核心成员，在技术论证和观点协调方面发挥了关键的斡旋作用，最终形成了“以既有行业格式为基础输入、以系统级标准化封装为扩展”的折中方案，确保了标准的实用性和产业接受度。同时，需要指出的是，该标准的研制并非由单一中心机构主导，而是全球多国专家协作的成果。来自北京大学、华为技术有限公司、SamsungElectronics、InterDigital等机构的专家分别在媒体流架构、端云协同、终端渲染优化和场景描述等具体方向上承担了核心编写任务，充分体现了国际标准制定的开放性和协作精神。六、应用前景与产业影响6.1虚拟现实与增强现实在VR/AR头显设备中，基于渲染的媒体架构正在取代传统的视频播放模式，成为提供六自由度沉浸体验的核心技术。该标准为头显设备制造商、内容开发者和平台运营商提供了统一的架构参考，有助于降低系统集成成本，促进跨平台内容分发。6.2云游戏与交互式媒体云渲染技术将计算密集型的渲染任务转移到云端服务器，通过网络将渲染结果流式传输至终端用户设备，降低了对终端硬件的性能要求。该标准所定义的端到端媒体流架构为云游戏平台的部署提供了参考模型，使不同厂商的云游戏解决方案在媒体处理层面实现了更高层次的互操作，减少了定制化接口的重复开发成本。6.3工业数字孪生与专业可视化在智能制造、建筑设计、医学可视化等领域，基于渲染的沉浸式系统正在成为重要的生产力工具。该标准为这些专业领域提供了通用的媒体交换和系统集成框架，有助于打通从CAD/BIM数据到沉浸式可视化环境的全链路。6.4文化保护与教育培训在文化遗产数字化保护和沉浸式教育培训领域，基于渲染的系统能够实现高精度的三维场景重建和交互式学习体验。标准的发布将有助于此类应用的规模化推广和内容资产的长期保存。七、结论与展望ISO/IECTR23090-27:2025《信息技术沉浸式媒体的编码表示第27部分：基于渲染的系统和应用的媒体和体系结构》的正式发布，是沉浸式媒体标准化进程中的重要里程碑。该技术报告系统梳理了基于渲染的沉浸式系统的媒体类型、编码需求、系统架构和互操作框架，为产业界提供了权威的技术参考，标志着沉浸式媒体标准化从传统的采集—编码范式向渲染—交互范式的战略延伸。从标准化路径来看，该技术报告的发布并非终点，而是新一轮标准研制工作的起点。展望未来，以下几方面工作值得高度关注：第一，从TR到IS的推进。技术报告为后续正式国际标准（IS）的制定奠定了概念框架和技术基础。预计在2026-2028年间，基于该TR的反馈和产业应用验证，MPEG将启动面向特定功能要求的正式标准制定工作，有可能形成分层次的系列标准结构。第二，与AI技术的深度融合。随着神经渲染、高斯泼溅（3DGaussianSplatting）和生成式AI技术的快速发展，基于学习的渲染表示正在改变媒体处理和传输的方式。未来的标准化工作需在现有架构框架内纳入神经表示的新需求，使标准体系保持技术前瞻性。第三，面向6G时代的架构演进。6G通信技术将提供毫秒级时延和Tbps级带宽能力，有望实现真正的全息通信和沉浸式远程呈现。如何利用6G网络能力重构云边端协同的渲染架构，值得在下一阶段标准化工作中予以重点关注。总之，ISO/IECTR23090-27:2025的发布为全球沉浸式媒体产业提供了统一的技术坐标系，将在推动产业生态成熟、降低系统集成成本、促进跨领域融合创新等方面发挥重要的基础性作用。建议国内外相关企业和研究机构密切关注该技术报告的内容，结合自身业务需求，积极参与后续标准化工作，共同推动沉浸式媒体技术的健康有序发展。参考文献[1]ISO/IECTR23090-27:2025,Informationtechnology—Codedrepresentationofimmersivemedia—Part27:Mediaandarchitecturesforrender-basedsystemsandapplications,2025.[2]ISO/IEC23090-2:2023,Inform