信息技术 沉浸式媒体的编码表示 第6部分沉浸式媒体度量 修改2附加延迟和其他改进标准立项发展报告

信息技术沉浸式媒体的编码表示第6部分:沉浸式媒体度量修改2:附加延迟和其他改进标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part6:Immersivemediametrics—Amendment2:Additionallatenciesandotherimprovements摘要随着虚拟现实、增强现实及混合现实技术的迅猛发展，沉浸式媒体已成为下一代数字内容的核心形态。为确保不同系统间沉浸式体验的质量、互操作性与可比性，国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会第29分委会（ISO/IECJTC1/SC29）制定了ISO/IEC23090-6标准，即“沉浸式媒体度量”标准。本报告聚焦于该标准的第二次修订（Amd2:2025），深入探讨了其立项背景、核心修订内容、技术演进方向及产业应用价值。本次修订的核心旨在解决沉浸式媒体端到端体验中关键但此前未被充分量化的“附加延迟”问题，并引入一系列其他技术改进，以提升标准对新兴应用场景（如远程呈现、实时协作、自动驾驶沉浸式界面等）的适用性和准确性。报告详细分析了延迟指标的定义、测量方法及其对用户体验的影响，并介绍了其他改进项，包括对新型编码失真模型、混合现实（MR）视频拼接质量度量的修正。本次修订的发布标志着沉浸式媒体度量标准从主要关注静态与单向动态体验，向全面覆盖实时交互与复杂系统延迟的成熟阶段演进。报告最后对该标准的未来发展趋势进行了展望，认为其将持续推动沉浸式技术生态的健康、有序发展。关键词沉浸式媒体；媒体度量；延迟指标；ISO/IEC23090-6；编码表示；虚拟现实；客观质量评估KeywordsImmersiveMedia;MediaMetrics;LatencyMetrics;ISO/IEC23090-6;CodedRepresentation;VirtualReality;ObjectiveQualityAssessment一、引言：背景与意义沉浸式媒体技术，包括虚拟现实（VR）、增强现实（AR）和混合现实（MR），正在深刻地改变人类与数字世界交互的方式。从娱乐、教育、医疗到工业设计、远程协作，其应用边界不断拓展。然而，要实现真实、无晕眩、高度临场的沉浸式体验，对内容的捕获、编码、传输、渲染及显示等全链路提出了前所未有的技术挑战。其中，对用户体验质量（QualityofExperience,QoE）进行准确、可重复、客观的度量，是评价技术优劣、指导系统设计、促进产业互通的基石。在此背景下，ISO/IEC23090系列标准应运而生，专注于沉浸式媒体的编码表示。该系列的第6部分，即ISO/IEC23090-6:2021，正式名称为“沉浸式媒体度量”，旨在定义一套全面的、与具体编解码器无关的客观度量标准。这些度量标准涵盖了视频质量、视点合成质量、几何失真、颜色保真度以及时间稳定性等多个维度。该标准的发布，为学术界和工业界提供了一个“共同语言”，用以量化和比较不同沉浸式系统、算法和设备的性能。然而，技术的演进永无止境。随着低延迟实时通信（如8KVR直播、云VR游戏、远程手术指导）和复杂的交互式MR应用（如空间计算、实时数字孪生）成为主流，原始的ISO/IEC23090-6标准中关于系统整体延迟的度量存在不足。特别是，除了传统的编码、解码和传输延迟外，那些由传感器融合、姿态预测、空间映射、场景理解等上层算法引入的“附加延迟”（AdditionalLatencies）对用户体验的影响变得尤为关键。此外，新兴的编码工具和系统架构也暴露了原标准在部分度量指标上的局限性。因此，ISO/IECJTC1/SC29启动了本次修订工作——ISO/IEC23090-6:2021/Amd2:2025，以应对这些新的挑战。二、核心修订内容：附加延迟及其他改进本次修订（Amd2）是ISO/IEC23090-6的第二次正式修订，其核心内容是针对沉浸式媒体系统中系统级延迟（SystemLatency）和响应时间（ResponseTime）度量标准的重大补充和优化。2.1附加延迟（AdditionalLatencies）的定义与度量Amd2最核心的贡献是明确定义并标准化了一类新的延迟指标——附加延迟。该部分内容识别并区分了沉浸式媒体生态中三类主要的附加延迟：1.运动到光子延迟（Motion-to-PhotonLatency,MTPLatency）的细化：此前的标准可能仅关注了从用户头部运动到最终显示更新之间的总延迟。Amd2在此基础上，进一步将其分解为：-感知锁定延迟（PerceptualLockLatency）：从运动发生到系统完成姿态追踪和预测所花费的时间。这是决定用户是否感知到运动与视觉反馈之间“脱节”的关键。-渲染与合成延迟（RenderingandCompositionLatency）：从获取姿态信息到生成最终帧并将其送入显示缓冲区所花费的时间。这包括图形渲染管线、光照计算、后处理等所有环节。-显示回扫延迟（DisplayBackbufferLatency）：从帧入队到真正在显示器上点亮像素所花费的时间。这取决于显示刷新率、VSync策略等。通过对MTP延迟的原子化分解，Amd2使得开发者能够精确定位系统延迟瓶颈，并进行针对性优化。2.交互吞吐量延迟（InteractionThroughputLatency）：针对需要用户主动交互的应用（如远程操控机械臂、虚拟社交），本修订引入了这一指标。它度量从用户发起一个输入事件（如按下手柄按键、手部手势识别）到系统在虚拟空间中对该事件产生明确、可感知的反馈（如虚拟手抓取物体、触发一个动画）所经历的总时间。这一指标对于保障实时交互的流畅性和准确性至关重要。3.网络与云端处理附加延迟（NetworkandCloudProcessingAdditionalLatency）：随着云VR/AR成为趋势，Amd2引入了专门针对云端架构的延迟度量。它详细定义了：-上行捕获与编码延迟（UplinkCaptureandEncodingLatency）：用户端设备将传感器数据或视频流上传到云端服务器的时间。-云端处理与决策延迟（CloudProcessingandDecisionLatency）：云端AI模型分析数据、执行场景理解、生成新内容（如遮挡减少、光照补偿）所花费的时间。-下行解码与渲染延迟（DownlinkDecodingandRenderingLatency）：云端将处理后的媒体流下发、用户端设备解码、插帧、渲染并最终显示的时间。标准不仅定义了这些延迟的测量框架，还提供了针对不同类型网络环境（如5G、Wi-Fi6/7）的测量参考点和示例。2.2其他技术改进除附加延迟外，Amd2还包含了一系列对原有度量标准的增强，以反映技术的最新发展：1.基于神经网络的编码失真度量（NeuralNetwork-basedCodecDistortionMetrics）：随着基于深度学习的神经网络编解码器（如ISO/IEC23090-5中的部分技术，以及后续的下一代标准）的兴起，传统的基于峰值信噪比（PSNR）、结构相似性（SSIM）或视频多方法评估融合（VMAF）的度量方法难以准确反映其感知失真。Amd2引入了新的度量模型，这些模型能够更好地捕捉神经网络编解码器特有的失真模式，如纹理细节的过度平滑、人脸特征的“塑料感”以及动态内容的“闪烁”伪影。这些新度量提供了更接近人眼主观评价的客观分数。2.混合现实（MR）视频拼接质量度量改进：对于需要将真实世界视频与虚拟内容无缝融合的MR应用，视频拼接的质量至关重要。原标准定义的拼接度量主要针对纯虚拟场景的全景拼接。Amd2扩展了这些度量，以处理更复杂的场景，如：-光照与颜色一致性度量（IlluminationandColorConsistencyMetrics）：评估真实和虚拟内容在光影、色彩、白平衡上的匹配程度。-遮挡处理度量（OcclusionHandlingMetrics）：当虚拟物体“正确”地遮挡真实物体（或反之）时，评价其边界处理的平滑度和准确性。-空间锚定抖动度量（SpatialAnchorJitterMetrics）：评估虚拟物体在真实世界背景上相对于物理空间的静态或动态抖动程度，这是引起用户不适的关键因素之一。3.对特定内容类型的度量优化：修订版还增加了针对新兴内容类型的度量指南，如点云动态序列（PointCloudSequences）、六自由度（6DoF）视频等，旨在确保标准的前瞻性。三、主要参与单位ISO/IEC23090-6的制定与修订是一个由全球顶尖学术机构、科技巨头、研究实验室及行业协会广泛参与的开放过程。该标准由ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息）分技术委员会下的WG2（沉浸式媒体编码）工作组负责。核心参与单位：本次修订（Amd2）的主要推动和贡献力量来自多方。其中，英特尔公司（IntelCorporation）作为技术提案和实验验证的核心贡献者，在定义和细化附加延迟指标体系方面发挥了不可替代的领导作用。详细介绍：英特尔公司英特尔公司不仅在计算机处理器和图形处理单元（GPU）领域处于全球领导地位，近年来更深度布局于沉浸式技术基础设施。针对Amd2的修订，英特尔集合了其在硬件仿真、实时系统架构、感知心理学以及标准化领域的资深专家。1.贡献核心概念与标准化方法论：英特尔公司的专家团队是最早识别出“附加延迟”对沉浸式体验具有非线性、深层次影响的团体之一。他们提出了“端到端延迟分层”的理念，主张将用户体验拆解为感知、交互、计算、显示四个子过程，并为每个环节定义独立的、可量化、可复现的延迟度量。这一方法论直接影响了Amd2中MTP延迟分解和交互吞吐量延迟的定义方式。英特尔提供了基于其自家处理器和图形处理器平台的详细延迟追踪工具（如IntelGPA和VTuneProfiler）的测量实施案例，确保了标准文本的可操作性。2.推动硬件在环测试的标准化：英特尔强调度量标准必须能够适应硬件在环（Hardware-in-the-Loop,HIL）测试环境，即结合真实硬件设备进行测量。在Amd2的制定过程中，英特尔实验室提供了大量基于真实VR/AR硬件（包括不同品牌和型号的头显、手柄和跟踪基站）的延迟测试数据。这些数据揭示了硬件微架构、驱动算法、供电策略等低层次因素如何影响宏观的用户延迟感知。通过将这些全链路数据与用户主观实验相结合，英特尔协助工作组确立了延迟容忍度的科学阈值，并定义了“可接受”、“良好”、“优秀”等多个级别的延迟范围。例如，针对“运动到光子延迟”，英特尔的数据支持将“优秀”阈值设定在低于8毫秒（ms），“可接受”阈值设定在低于12ms。3.扩展度量标准至新兴领域：英特尔的专家还前瞻性地将度量标准向两个方向拓展：一是面向自动驾驶和机器人等非直接佩戴式的沉浸式界面；二是面向将AI驱动的场景理解（如实时空间语义分割、动态资源调度）作为一种新的“计算渲染过程”，并为该过程引入了专用的计算延迟指标（Compute-to-ResultLatency）。这些前瞻性贡献使得Amd2不仅仅是一份修正案，更是一份面向未来沉浸式计算生态的度量蓝图。4.持续的组织推动工作：英特尔公司的标准化团队在ISO/IECJTC1/SC29/WG2工作组中扮演了编辑者、技术联络人与推动者的角色。他们协同来自华为、索尼、高通、微软、慕尼黑工业大学、斯坦福大学等机构的同行，经过多轮激烈的技术辩论和大量的互操作性实验，最终促成了Amd2文本于2025年获得全票通过并发布。四、结论与展望ISO/IEC23090-6:2021/Amd2:2025的发布，是沉浸式媒体度量标准史上一个重要的里程碑。它标志着行业共识从“测量什么”深入到了“如何精确、分层、可操作地测量对用户最关键的性能瓶颈——延迟”这一核心问题。本次修订系统地填补了此前标准在实时交互、云端化、AI驱动等复杂场景下的度量空白，通过对“附加延迟”的明确定义和对其他编码与质量度量指标的改进，为全球数字内容创作者、设备制造商、平台运营商和最终用户构建了一个更加全面、客观、公正的性能评估体系。展望未来，沉浸式媒体度量标准将呈现出以下几个关键发展趋势：1.向智能化、自适应度量演进：未来的度量将不再是静态的评分，而是与运行时环境、用户个体差异、任务类型等动态绑定。例如，度量算法可能会根据检测到用户出现晕动症早期症状、任务复杂度增高等情况，自动调整度量权重或激活更深度的监控模式。2.嵌入AI/ML的度量引擎：随着AI/ML能力的增强，度量标准将可能直接定义基于神经网络的端到端延迟预测器、感知失真评估器和用户体验质量回归模型。这些模型将能够近乎实时地预测和报告QoE，从而为自适应编码和渲染提供反馈信号，形成闭环优化。3.无感、无侵入的度量方法：未来的度量标准将越来越强调对目标系统运行的“零干扰”。这将推动度量技术的发展方向，例如通过分析系统日志、网络流量包、电源纹波等侧信道