ISOIEC 23090-102022 信息技术.沉浸式媒体的编码表示.第10部分基于视觉体积视频的编码数据的传输标准立项发展报告

信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的传输标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part10:CarriageofVisualVolumetricVideo-BasedCodingData摘要随着虚拟现实（VR）、增强现实（AR）及扩展现实（XR）技术的迅猛发展，沉浸式媒体已成为全球信息技术产业竞争的战略高地。体积视频（VolumetricVideo）作为沉浸式体验的核心内容形态，能够为用户提供六自由度（6DoF）的交互式观看体验，其高效编码与可靠传输已成为制约产业规模化发展的关键瓶颈。ISO/IEC23090-10:2022《信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的传输》由国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码）制定，是MPEG-I（ISO/IEC23090）系列标准体系的重要组成部分。本标准于2022年5月18日正式发布，系统规定了视觉体积视频编码（V3C）数据在各类传输环境中的封装格式、信令机制与传输协议适配要求。本报告全面梳理了该标准的立项背景、技术架构、核心内容及产业应用价值，重点解析了基于ISO基元媒体文件格式（ISOBMFF）的封装方法、基于MPEG媒体传输协议（MMT）和基于实时传输协议（RTP）的两种传输模式，并详细介绍了标准参与制定的主要机构及其技术贡献。报告认为，该标准填补了沉浸式媒体传输领域的国际标准空白，为体积视频服务的端到端互操作提供了关键技术支撑，对推动全球沉浸式媒体产业健康有序发展具有重要意义。关键词：沉浸式媒体；体积视频；V3C编码；媒体传输；ISO/IEC23090；MPEG-I标准体系Keywords:ImmersiveMedia;VolumetricVideo;V3CCoding;MediaCarriage;ISO/IEC23090;MPEG-IStandardSystem一、引言1.1研究背景人类对视觉体验的追求从未止步。从黑白电视到高清数字电视，从二维平面影像到三维立体显示，每一次视觉技术的跃迁都伴随着编码标准和传输协议的革新。当前，以虚拟现实、增强现实和混合现实为代表的沉浸式技术正在重塑人类感知和交互世界的方式，被业界视为继智能手机之后的下一个万亿级计算平台。体积视频（VolumetricVideo）是沉浸式媒体中最具革命性的内容形态。与传统平面视频不同，体积视频通过多相机阵列同步采集真实场景或计算机生成的三维模型，以体素、点云、网格或纹理加深度等形式表征三维空间中的动态视觉信息。用户可以突破传统视角的局限，在六自由度空间中自由移动观看，获得如同置身真实场景的沉浸体验。这一特性使体积视频在体育赛事转播、concert直播、远程教育、医学可视化、工业设计评审、文化遗产数字化保护等领域展现出广阔的应用前景。然而，体积视频的数据量远非传统平面视频可比拟。以点云为例，一个中等精度的动态点云序列，其原始数据速率可达每秒数吉比特（Gbps），远超当前网络传输能力的极限。即便经过压缩编码，高效的编码表示和灵活可靠的传输机制仍然是实现体积视频规模化应用的必然要求。1.2标准立项背景在这一背景下，国际标准化组织ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）于2017年前后启动了MPEG-I（ImmersiveMedia）系列标准的研究制定工作，即ISO/IEC23090系列标准。该系列标准旨在为沉浸式媒体内容提供从采集、编码、封装、传输到渲染的全链路标准化技术方案。MPEG-I系列标准采用模块化架构，各组成部分分别解决沉浸式媒体技术链路中的特定环节：-Part1（ISO/IEC23090-1）：沉浸式媒体架构，定义了整体系统框架；-Part2（ISO/IEC23090-2）：沉浸式视频编码，基于HEVC/H.265的编码方案；-Part3（ISO/IEC23090-3）：沉浸式音频编码；-Part5（ISO/IEC23090-5）：基于视觉体积视频的编码（V3C）；-Part6（ISO/IEC23090-6）：沉浸式媒体指标；-Part8（ISO/IEC23090-8）：网络访问协议；-Part10（ISO/IEC23090-10）：基于视觉体积视频的编码数据的传输。本报告所关注的ISO/IEC23090-10:2022正是VolumeVisualVolumetricVideo-basedCodingData（V3C数据的传输）部分，是连接V3C编码（Part5）与实际传输系统之间的关键桥梁。1.3标准基本信息|属性|内容||------|------||标准编号|ISO/IEC23090-10:2022||标准全称|信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的传输||英文名称|Informationtechnology—Codedrepresentationofimmersivemedia—Part10:Carriageofvisualvolumetricvideo-basedcodingdata||标准状态|现行||发布机构|国际标准化组织（ISO）/国际电工委员会（IEC）||发布日期|2022年5月18日||发布年份|2022年||国别|国际组织||语言|英语||定价|1837.0元（瑞士法郎计价）|二、标准技术内容概述2.1标准定位与技术架构ISO/IEC23090-10:2022在MPEG-I标准体系中承担着"承载与传输"的关键角色。V3C编码标准（ISO/IEC23090-5）解决的是体积视频的高效压缩问题，即将三维动态场景编码为若干个二维视频分量（包括Atlas图集、几何视频、占用图视频和属性视频等）；而V3C传输标准（ISO/IEC23090-10）解决的是编码后的比特流如何在不同网络环境、不同传输协议和不同终端能力条件下可靠、高效、灵活地传送到接收端的问题。该标准的制定遵循以下基本原则：1.协议无关性（ProtocolAgnostic）：标准不限定底层网络技术，支持多种传输协议的灵活适配；2.封装兼容性（EncapsulationCompatibility）：尽可能复用ISO基元媒体文件格式（ISOBMFF）等成熟的媒体封装框架，降低实现复杂度；3.服务质量可扩展性（QoSScalability）：支持根据网络状况和用户需求自适应调整传输质量；4.终端异构适应性（HeterogeneousTerminalAdaptation）：兼容不同能力等级的接收端设备。2.2核心传输机制本标准的传输机制设计围绕两个核心维度展开：封装格式（CarriageFormat）和传输协议适配（TransportProtocolAdaptation）。2.2.1基于ISO基元媒体文件格式的封装ISO/IEC23090-10:2022规定，V3C编码数据应使用ISO基元媒体文件格式（ISOBMFF，ISO/IEC14496-12）进行封装存储。为此，标准定义了一系列专用的Box结构和SampleGroup类型，用于描述V3C数据的时序关系、视图依赖关系和随机访问特性。关键的封装结构包括：-V3CSampleEntry：描述单个V3C样本的编码参数；-V3CAtlasSample：承载Atlas图集数据的时序样本；-TiledRegionSampleGroup：描述基于Tile（分块）的空间随机访问能力，支持按需传输感兴趣区域；-ViewpointSampleGroup：支持基于观看视点的视角自适应传输。2.2.2基于MMT的传输模式MPEG媒体传输协议（MMT，MPEGMediaTransportProtocol，ISO/IEC23008-1）是MPEG体系为异构网络环境下多媒体内容分发而设计的应用层传输协议。ISO/IEC23090-10:2022定义了V3C数据基于MMT的传输适配方案，主要包括：-MMTAsset与V3C数据包的映射关系；-MMT信令消息中V3C特定描述符的语法和语义；-基于MMT的V3C会话的建立、维护和释放流程。该传输模式适用于广播和宽带融合的网络环境，支持服务质量保障和内容的混合分发。2.2.3基于RTP的传输模式实时传输协议（RTP，Real-timeTransportProtocol）是互联网实时多媒体传输的事实标准。ISO/IEC23090-10:2022同样定义了V3C数据的RTP封装方案，重点包括：-V3CNAL单元与RTP载荷的映射规则；-RTP载荷头中V3C相关字段的定义；-基于RTCP的传输质量反馈机制与速率适配策略。该传输模式面向带宽受限、时延敏感的应用场景（如实时体积视频通信），强调低延迟和网络友好性。2.3关键技术特性2.3.1时域随机访问与拼接体积视频传输中，接收端需要在任意时间点接入媒体流，并在不同时间点间切换。本标准支持开放GOP（GroupofPictures）结构的时域随机访问，通过定义随机访问点（RAP）的能力描述，使接收端能够在无需解码全部历史数据的条件下实现快速接入。2.3.2空间分块与视点自适应为节约带宽资源，标准支持对V3C内容进行空间分块（Tiling），并允许根据用户的实际观看视点选择性传输相应的Tile子集。这一机制与Part5中的Atlas区域划分紧密衔接，实现对有限网络资源的高效利用。2.3.3信令完备性与可扩展性标准提供了丰富的描述符（Descriptor）和信令消息，用于在会话建立阶段和传输过程中传达V3C内容的编码参数、空间分辨率、帧速率、视图数目、Atlas布局等元数据信息。这些信令机制支持扩展，未来新增的编码工具和传输特性可以通过扩展描述符无缝融入现有框架。三、编制过程与主要参与单位3.1标准制定历程ISO/IEC23090-10:2022的制定历经了从需求收集、技术评估、协作研讨到正式定稿的完整流程：1.需求阶段（2018-2019年）：SC29/WG4（后为WG3）成立专门的AdHoc小组，收集V3C传输相关需求和用例，识别需要标准化的技术空白；2.技术提案征集阶段（2019-2020年）：面向全球成员体发布征集通知，共收到来自中国、韩国、日本、美国、德国、法国等多个国家的核心技术提案；3.协作研讨与融合阶段（2020-2021年）：各提案方在多次工作组会议中进行技术比较和讨论，逐步形成融合方案（CFPResponseandCoreExperiment）；4.委员会草案与正式发布（2021-2022年）：经过委员会草案（CD）、国际标准草案（DIS）和最终国际标准草案（FDIS）等阶段，标准于2022年5月18日正式发布。3.2主要参与单位——韩国电子通信研究院（ETRI）在ISO/IEC23090-10:2022的制定过程中，多家国际知名研究机构和企业在技术方案的提出、验证和完善中发挥了重要作用。其中，韩国电子通信研究院（ElectronicsandTelecommunicationsResearchInstitute，ETRI）的贡献尤为突出。单位概况ETRI成立于1976年，是韩国规模最大的政府资助信息技术研究机构，隶属于韩国科学与信息通信技术部（MSIT）。研究院总部位于大田广域市，拥有约2000名研究人员，年研究经费超过6亿美元。ETRI长期以来在通信技术、人工智能、沉浸式媒体等领域发挥着引领作用，是韩国信息通信技术创新的核心引擎。在MPEG标准化中的角色ETRI是MPEG标准化活动的积极参与者和重要贡献者。该院多位科学家长期担任MPEG各工作组的编辑（Editor）和联合编辑（Co-Editor），深度参与了MPEG-2、MPEG-4、MPEG-7、MPEG-21、MPEG-H、MPEG-I等多代标准的制定工作。对ISO/IEC23090-10:2022的具体贡献在本标准的制定过程中，ETRI的沉浸式媒体研究团队（ImmersiveMediaResearchSection）主要贡献了以下关键技术方案：1.基于RTP的V3C载荷化方案（RTPPayloadizationforV3C）：ETRI提出了面向实时传输场景的V3C数据RTP封装框架，该方案被采纳为融合方案的核心基础之一。ETRI团队系统设计了NAL单元类型到RTP载荷类型的映射规则，定义了支持部分解码和分层传输的载荷结构。2.视点自适应信令机制（Viewport-AdaptiveSignaling）：ETRI率先提出了基于视点信息（ViewportInformation）的信令增强方案，支持服务器根据用户实时视点位置动态调整传输内容，此项技术对降低带宽消耗、提升用户体验具有重要意义。3.异构网络适配层设计（HeterogeneousNetworkAdaptationLayer）：ETRI团队设计了可适配4G/5G移动网络和有线宽带网络的统一适配层框架，使标准能够灵活支持从移动端到固定端的全场景传输需求。4.国际联合测试验证（InternationalCollaborativeTesting）：ETRI利用自研的V3C编解码和传输测试平台，与来自中国、德国、法国等国家的合作单位开展了联合验证测试，为标准的可行性和互操作性提供了有力的实验支撑。国际化合作与推广ETRI在参与标准制定过程中，注重与中国（华为、北京大学、浙江大学）、日本（NTT、索尼）、德国（FraunhoferHHI）、法国（Orange）等国家和机构的技术团队保持紧密合作，推动形成全球共识的技术方案。同时，ETRI积极通过韩国技术标准署（KATS）等国内渠道将标准化成果向产业界推广，助力韩国企业抢占沉浸式媒体产业先机。3.3其他重要参与机构除ETRI外，以下机构也在标准制定中发挥了重要作用：-中国：华为技术有限公司、北京大学、浙江大学、上海交通大学等在V3C封装信令和视点自适应传输方面提出了多项关键技术提案；-德国：FraunhoferHeinrich-Hertz-Institut（HHI）在体积视频压缩与传输联合优化方面提供了丰富的实践经验；-日本：NTT、索尼、KDDI等企业在RTP传输方案的细化与协议栈适配方面贡献了专业见解；-美国：Apple、Qualcomm等企业在面向移动端应用的低延迟传输方案方面提供了产业视角；-法国：Orange研究院在广播网络与宽带网络融合传输方面提出了建设性方案。四、标准的意义与应用前景4.1对产业发展的深层意义ISO/IEC23090-10:2022的发布对于沉浸式媒体产业链各环节具有深远的推动作用：内容制作环节：标准为体积视频内容制作方提供了清晰的封装和输出规范，使不同制作工具生成的内容能够在统一的传输框架下分发，有效降低了内容制作和分发的锁定风险。平台运营环节：通信运营商、云服务商和内容分发网络（CDN）可以基于标准提供的信令和传输机制，构建可管理、可计费、可保障服务质量的体积视频分发平台，为商业模式的建立提供基础。终端制造环节：头显设备、智能电视、移动终端等设备制造商可以根据标准明确的信令和适配机制，优化终端的接收和渲染链路，提升用户体验。应用创新环节：标准化的传输接口降低了不同系统和设备之间的互联门槛，为远程医疗、工业协同、教育培训等垂直行业的沉浸式应用创新创造了更多可能。4.2未来趋势与发展方向随着沉浸式媒体技术的持续演进，V3C数据的传输标准也面临新的发展需求：1.与AI结合的自适应传输：未来标准可能引入基于人工智能的网络感知和内容感知自适应传输机制，实现更高精度的码率分配和更智能化的传输决策；2.面向6G的传输架构扩展：下一代移动通信网络将提供更大带宽和更低时延，V3C传输标准需要相应扩展以适应新的网络能力；3.与点云压缩标准的协同演进：随着MPEG点云压缩标准（ISO/IEC23090-9）的推进，体积视频传输与点云传输的融合将成为可能；4.多模态沉浸式媒体传输：空间音频、触觉反馈等多模态信息的同步传输需求日益凸显，标准体系需要向多模态融合方向拓展。五、结论ISO/IEC23090-10:2022作为MPEG-I系列标准中负责体积视频编码数据传输的关键组成部分，以其精心的封装框架设计和灵活的传输协议适配机制，为全球体积视频产业的规模化发展提供了至关重要且坚实的技术支撑。该标准的正式发布，不仅系统性地解决