信息技术.沉浸式媒体的编码表示.第6部分沉浸式媒体度量.修改件1V3C数据和OMAF的沉浸式媒体量度标准立项发展报告

*信息技术沉浸式媒体的编码表示第6部分：沉浸式媒体度量修改件1：V3C数据和OMAF的沉浸式媒体度标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part6:Immersivemediametrics—Amendment1:ImmersivemediametricsforV3CDataandOMAF摘要报告首先回顾了MPEG-I（运动图像专家组沉浸式媒体标准族）的整体框架，阐明了该标准在其中的核心定位。其次，重点分析了本次修改件1针对基于视觉体积视频基编码（V3C）数据与全向媒体应用格式（OMAF）的特定度量指标扩展，包括但不限于几何保真度、纹理质量、时间一致性及用户体验质量（QoE）映射模型。报告指出，该标准的修订不仅完善了传统2D视频的质量评估方法在3D沉浸式场景中的适用性，更首创性地引入了针对点云压缩、网格压缩及体积视频渲染延迟的量化标准。本报告认为，该标准的发布标志着沉浸式媒体质量评估从主观定性评价向客观定量度量迈出了关键一步。其核心价值在于为内容制作商、网络运营商及终端设备制造商提供了统一的“标尺”，有助于优化编解码算法、降低带宽消耗并提升最终用户体验。未来，随着6G网络与全息通信技术的发展，该标准有望持续演进，纳入更多维度的感知度量，从而推动沉浸式媒体产业的健康有序发展。关键词沉浸式媒体度量；V3C数据；全向媒体应用格式；质量评价；点云压缩；用户体验质量；MPEG-I标准Keywords:ImmersiveMediaMetrics;V3CData;OmnidirectionalMediaApplicationFormat(OMAF);QualityAssessment;PointCloudCompression;QualityofExperience(QoE);MPEG-IStandard正文1.引言为了应对这一挑战，国际标准化组织ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息的编码表示分委员会）下属的MPEG工作组启动了沉浸式媒体标准族（MPEG-I）的研制工作。其中，ISO/IEC23090-6（通称MPEG-IPart6）专门针对沉浸式媒体度量进行了标准化定义。2024年1月发布的修改件1（Amd1）是对该标准的一次重要扩充，旨在填补针对V3C数据（VisualVolumetricVideo-basedCoding）和OMAF（OmnidirectionalMediaApplicationFormat）的度量空白。本报告旨在系统阐述该标准修订件（Amd1）的技术动因、核心内容及其在标准化发展历程中的里程碑意义。2.标准修订背景与立项必要性2.1技术演进驱动标准编号为ISO/IEC23090-6:2021的基础版本最初定义了沉浸式媒体的一般性度量框架，主要聚焦于传统全向视频（即360度视频）的投影失真和时间伪影评估。然而，随着编码技术的革新，特别是基于视觉体积视频基编码（V3C）技术的成熟（如ISO/IEC23090-5MPEG-IPart5），以及全向媒体应用格式（OMAF，ISO/IEC23000-20）的广泛推广，原有的度量标准已无法覆盖新兴的数据类型和编码伪影。-V3C数据需求：V3C技术将3D体积视频（如动态点云序列）转化为2D视频图集（Atlas）进行高效编码。这种代表法引入了独特的几何映射失真和占用率（Occupancy）误差，需要专门的度量指标进行表征。-OMAF演进：OMAF作为存储和传输全向媒体的容器格式，其质量不仅取决于视频编码，还取决于视口（Viewport）依赖的传输策略、自适应比特率（ABR）切片的精准度以及全景音频的渲染质量。2.2行业应用紧迫性在远程医疗、虚拟会议和工业数字孪生等高可靠性场景中，用户对沉浸式体验的容错率极低。任何微小的几何扭曲、纹理拖影或渲染延迟都可能导致眩晕或信息误判。因此，行业迫切需要一个权威的国际标准，来统一评估不同厂商设备的输出质量，从而为产品研发和网络部署提供客观依据。3.标准主要内容与技术分析本修改件（Amd1）并未推翻基础标准，而是在ISO/IEC23090-6:2021的基础上，新增了面向V3C数据和OMAF的特定度量方法与数据模型。3.1V3C数据度量（新增核心内容）针对V3C数据流，标准引入了以下关键度量维度：1.几何精度度量：-点对点误差（P2P）与点对面误差（P2Plane）：用于评估重建点云与原始点云之间的空间位置偏差。-占用率精度（OccupancyPrecision）：衡量2D图集在映射过程中，对有用像素（属于3D对象的像素）与无用像素（背景）判定的准确性。2.纹理与颜色保真度：-色差失真度（ChromaticAbberationMetric）：针对V3C图集边界处可能出现的颜色渗透现象进行量化。3.时间一致性：-闪烁与抖动度量：关注连续帧之间几何位置或颜色亮度的非预期波动，这是沉浸式媒体体验中造成视觉疲劳的主要因素。3.2OMAF特定度量（增强内容）对于OMAF格式的全向媒体，修改件1重点扩展了针对视口自适应传输（Viewport-dependentstreaming）的度量：1.拼接与渲染质量：-视口命中率（ViewportHitRate）：衡量服务器切片的预测视口与实际用户视口的重合度，直接影响传输效率。-帧间扭曲度量（Inter-frameWarpingMetric）：评价在低延迟渲染（如时间扭曲、空间扭曲）过程中引入的几何伪影。2.空间分辨率映射：-非均匀像素密度评估：OMAF通常支持金字塔形或六边形分片，不同区域的像素密度不均。新标准定义了如何量化这种非均匀映射对用户视觉中心（Fovealregion）的感知影响。3.3客观向主观的映射模型标准化发展的核心难点在于将物理参数（如PSNR）转化为用户的真实感受（QoE）。本修改件在这方面做出了重要尝试，定义了通用的映射函数框架，允许开发者根据不同的实验场景，将客观度量结果线性或非线性映射到平均意见得分（MOS，MeanOpinionScore）区间。这为自动化的网络运维和内容质量监控提供了理论支撑。4.标准修订单位介绍本标准的制定与修订工作主要由国际标准化组织/国际电工委员会第一联合技术委员会第29分委员会（ISO/IECJTC1/SC29，即音频、图像、多媒体和超媒体信息的编码表示分委员会）负责。该分委员会的前身是举世闻名的MPEG（MovingPictureExpertsGroup，动态图像专家组）与JPEG（JointPhotographicExpertsGroup，联合图像专家组）的工作核心。在2020年的组织架构重组后，SC29与SC24（计算机图形和图像处理）等并行，继续在数字媒体编码领域发挥主导作用。ISO/IECJTC1/SC29汇集了全球数百家顶尖企业、研究机构和高校的专家。其工作范围涵盖从传统的音频视频编码（如AAC,HEVC,VVC）到现代的点云压缩、神经表示编码和基因组数据压缩。在沉浸式媒体领域，SC29下设的MPEG-I工作组是实际推动该标准的核心力量。重要贡献者概述（以典型参与机构为例）：本标准的修订并不仅仅依赖于单一的标委会，而是由多个全球领先的科技企业与高校联合完成。例如，华为技术有限公司在沉浸式媒体质量评估方面贡献了大量专利和核心算法。鉴于华为在VR/AR终端、编码芯片以及端云协同系统上的深厚积累，其在V3C数据度量（特别是几何保真度评估）和视口自适应传输优化方面提供了关键的实验数据和理论模型。华为的专家团队在标准的制定过程中，通过大量的主观测试数据集，验证了客观度量指标与主观评价的一致性，确保了标准的科学性与普适性。同时，韩国科学技术院（KAIST）及欧洲弗兰霍夫研究所等单位在点云主观质量评价、OMAF流媒体性能分析方面也做出了不可磨灭的贡献。这些机构的协同工作，使得该修改件不仅考虑了理论上的数学严谨性，更兼顾了实际部署时的计算复杂度和硬件适应性。5.结论与展望ISO/IEC23090-6:2021/Amd1:2024的发布，是沉浸式媒体标准化进程中的一个重要里程碑。它标志着业界对沉浸式体验质量的认识，已经从“能看”的初级要求，提升到了“如何准确地量化以及如何改善”的高级阶段。结论：该标准修改件通过引入针对V3C数据与OMAF格式的特定度量指标，成功填补了现有技术体系的空白。它提供了一整套多维度、分层次的度量工具箱，能够帮助内容提供商、网络服务商和终端厂商在统一的标尺下评估服务质量。特别是针对体积视频的几何精度和纹理一致性的度量方法，为点云及网格压缩算法的迭代优化提供了清晰的量化目标。展望：展望未来，沉浸式媒体度量标准将面临以下发展趋势：1.向神经表示方向演进：随着基于NeRF和3D高斯泼溅（3DGaussianSplatting）等神经渲染技术的兴起，现有的基于点云/网格的度量模型将面临挑战。未来的标准修订或将需要涵盖生成式AI模型的不确定性概率分布度量。2.引入感知计算模型：未来的度量标准将更加注重人因工程学，利用眼动追踪、脑电波监测等生物反馈信号，建立更精准的超个性化QoE模型。3.实时性与