信息技术 沉浸式媒体的编码表示 第32部分触觉数据的携带标准立项发展报告

信息技术沉浸式媒体的编码表示第32部分：触觉数据的携带标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part32:Carriageofhapticsdata摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，用户对真实感和交互性的追求已从视听层面延伸至触觉感知领域。触觉数据作为构建多感官沉浸式体验的关键要素，其标准化编码与高效传输成为制约行业发展的核心瓶颈。本报告旨在系统阐述ISO/IEC23090-32:2025《信息技术沉浸式媒体的编码表示第32部分：触觉数据的携带》标准的立项背景、核心内容和战略价值。报告深入剖析了该标准在MPEG-I（ISO/IEC23090）系列框架下的定位，详细解读了其定义的多模态数据封装格式、时序同步机制以及与视听流（如视频、音频）的复合传输方法。报告指出，该标准通过规范触觉数据的携带方式，打通了触觉、视觉、听觉三大感知通道在传输层面的壁垒，为构建高度沉浸的下一代交互媒体应用奠定了坚实的技术基础。本研究对于推动远程医疗、虚拟会议、在线教育、高端游戏及工业仿真等领域的标准化发展具有重要指导意义。关键词沉浸式媒体；触觉数据；MPEG-I；编码表示；数据携带；多模态同步；ISO/IEC23090Keywords:ImmersiveMedia;HapticsData;MPEG-I;CodedRepresentation;DataCarriage;MultimodalSynchronization;ISO/IEC230901.引言在信息技术领域，媒体编码与传输的标准化始终是推动产业规模化发展的核心驱动力。从早期的音频、视频压缩标准（如MPEG-1/2/4），到面向现代互联网的流媒体协议，每一次标准的演进都深刻改变了人类获取信息的方式。当前，我们正处于从“平面视听”向“全感沉浸”跨越的关键时期。虚拟现实、增强现实等技术不仅要求高保真的视觉和听觉还原，更迫切地需要引入触觉反馈，以实现用户与数字世界的自然交互。然而，触觉信号因其异质性（如温度、压力、纹理、振动）、高采样率和对延迟的极高敏感性，其编码与传输面临巨大挑战。若无统一标准，不同厂商、不同设备间的触觉数据将无法互通，严重阻碍沉浸式媒体生态的构建。在此背景下，国际标准化组织（ISO/IECJTC1/SC29）下的动态图像专家组（MPEG）启动了ISO/IEC23090（MPEG-I）系列标准的制定工作，旨在构建完整的沉浸式媒体技术体系。其中，第32部分（Part32:Carriageofhapticsdata）的立项，正是为了填补触觉数据在标准化传输层面的空白。该标准的发布（2025年）标志着触觉数据的“最后一公里”问题——即如何在现有的数字媒体传输框架内高效、同步地携带触觉信息，获得了权威性的解决方案。2.标准背景与立项动因2.1技术发展需求沉浸式技术的发展遵循“视听为先，触觉跟进”的规律。随着头戴式显示器（HMD）分辨率、刷新率的提升以及空间音频技术的成熟，视觉和听觉的真实感已趋近“照片级”和“现场级”。然而，用户在与虚拟物体交互时若缺乏触觉反馈，会极大削弱“存在感”和“可信度”。触觉反馈设备，如触觉手套、力反馈操纵杆、振动马甲等，已开始在专业领域和消费市场出现。但缺乏标准化的数据格式和传输接口，导致这些设备各自为政，开发者需要为不同设备编写不同的解析代码，严重增加了内容制作的复杂度和成本。2.2产业生态呼唤标准产业界迫切需要一种通用的、与厂商无关的“容器”，能够将各种触觉特效（如点击、震动、摩擦、纹理）打包在现有的音视频文件中，或者作为独立的流媒体数据进行分发。ISO/IEC23090-32的立项，正是为了响应这一产业呼声，通过标准化触觉数据的携带（Carriage），解决以下核心痛点：*互操作性：确保触觉内容可以在不同厂商的播放器和硬件设备上正确解析。*封装的便捷性：定义如何在ISO基础媒体文件格式（ISOBMFF）和MPEG传输流（MTS）等现有容器中嵌入触觉数据。*时序同步：建立触觉数据与音视频流精确同步的机制，这是实现逼真体验的前提。2.3标准定位与关联作为MPEG-I（ISO/IEC23090）系列的一部分，本标准并非重新发明触觉编码算法（这部分由Part21:Hapticscoding负责），而是专注于如何“承载”这些已编码的触觉比特流。它定义了信令机制、元数据结构、数据分片和复用规则，确保触觉数据能够作为数字媒体生态系统中的“一等公民”与其他媒体数据协同工作。3.核心内容与技术规范3.1标准范围本标准主要规定了：*在基于ISO基础媒体文件格式（ISOBMFF，ISO/IEC14496-12）的封装中携带触觉数据的扩展框（Box）结构。*在MPEG-2传输流（TS）和实时传输协议（RTP）流媒体环境中携带触觉数据的信令和封装方法。*用于描述触觉设备能力（如通道数、动态范围、刷新率）和触觉数据属性（如类型、采样率、分辨率）的元数据。*支持时间戳、样本描述和随机访问点定义的时序模型。3.2关键技术规范详解a)数据封装格式标准定义了新的ISOBMFFBox类型，例如：*`haptTrack`：一个新的Track类型，专门用于承载触觉数据流。*`HaptSampleEntry`：描述触觉样本的编码格式、采样率、通道数等关键属性。*`HaptSample`：包含实际触觉帧数据，可带有时间戳，实现样本级同步。*`HaptConfigBox`：包含解码器配置信息，如编解码器类型（例如ISO/IEC23090-21,23090-25等）、初始化参数。b)同步机制精确同步是多模态沉浸体验的基石。本标准借鉴并强化了MPEG已有的时间模型：*合成时间戳（CTS）和解码时间戳（DTS）：触觉数据样本同样携带CTS，确保在播放时能精确地与视频帧、音频帧对齐。*媒体时间轴：触觉时间线是主媒体时间轴的一部分，可以方便地实现跨轨道的同步。*延迟约束信令：标准可包含指示触觉数据“端到端延迟预算”的描述子，针对触觉对延迟高度敏感的特点进行优化。c)多模态复合传输标准不仅支持独立的触觉流，还支持触觉特效的复合传输。*事件驱动型触觉：定义了一种轻量级的触觉事件格式，可以嵌入到视频帧的补充增强信息（SEI）或音频流中。当特定场景出现（如开枪、爆炸）时，播放器可以即时触发预定义的触觉效果。这种方式可以高效地传输稀疏的、触发式的触觉信号。*连续流型触觉：对于需要连续反馈的场景（如模拟滑雪时身体持续的震动、触摸物体表面的纹理），标准支持封装为独立的、高采样率的连续比特流。3.3版本与可用性本标准为ISO23090系列的正式发布版本（第1版），采用电子版加密PDF格式。文档规定了强制性和建议性条款，以确保不同实现间的互操作性。其发布标志着触觉数据已正式进入标准化传输的成熟阶段。4.标准化组织介绍：动态图像专家组（MPEG）4.1组织概况ISO/IEC23090-32:2025标准由国际标准化组织/国际电工委员会第一联合技术委员会第29分委会（ISO/IECJTC1/SC29）下的编码音视频对象工作组（WG2），即广为人知的动态图像专家组（MovingPictureExpertsGroup,MPEG）负责制定。MPEG成立于1988年，是全球数字音视频压缩与系统合成领域最权威的标准化组织之一。其主要使命是制定用于数字存储介质、广播电视、互联网流媒体和交互式应用的高效音视频编码及系统传输标准。在超过35年的发展历程中，MPEG制定了一系列改变世界的标准，包括MPEG-1（VCD）、MPEG-2（DVD/DVB）、MPEG-4（互联网视频）、MPEG-4AVC/H.264、MPEG-HEVC/H.265等。近年来，MPEG的工作重心已转向沉浸式媒体、自主人工智能编码及基因测序数据压缩等前沿领域。4.2在标准制定中的作用与贡献对于本标准，MPEG承担了以下核心角色：*需求定义：通过广泛征集产业需求（CfP），MPEG明确了触觉数据携带必须解决的核心问题，如互操作性、低延迟、多模态同步等。*技术评估与融合：来自全球的成员单位（如企业、大学、研究机构）提交技术提案。MPEG通过核心实验（CE）对提案进行评估，并融合不同方案的优点，形成统一的技术共识。*一致性测试：开发配套的一致性比特流和参考软件，确保不同厂商的产品能符合标准要求。*维护与演进：标准发布后，MPEG将继续收集应用反馈，准备可能的修正案（Amendments）或新版本，以适应技术发展。4.3组织特色MPEG以其严谨、开放、透明的决策过程而闻名。其标准制定周期通常为2-4年，通过密集的会议、线上的核心实验和邮件列表讨论，最终达到高度共识。ISO/IEC23090-32的发布，再次证明了MPEG在应对新兴多模态媒体挑战方面的领导力与专业能力。5.结论与展望ISO/IEC23090-32:2025《信息技术沉浸式媒体的编码表示第32部分：触觉数据的携带》标准的立项与发布，是沉浸式媒体技术发展历程中的一座重要里程碑。该标准成功解决了触觉数据在数字媒体系统中“如何被携带、如何被同步、如何被解析”这一基础性难题，为触觉技术的“互联互通”铺平了道路。结论：*填补了标准化空白：该标准是首个专门针对触觉数据在通用多媒体框架内携带与传输的国际标准，解决了长期以来触觉内容无法与音视频内容无缝集成的行业痛点。*推动了产业成熟：通过明确定义数据封装格式、同步机制和多模态复合方法，本标准为触觉硬件、软件中间件、内容制作工具和分发平台提供了统一的“语言”，显著降低了开发成本和市场碎片化风险。*强化了沉浸式体验：标准确保了触觉反馈与视听觉信息的高精度同步，使得用户能够获得更加自然、逼真、可信的沉浸式交互体验，从而将VR/AR应用的真实感提升到一个全新的高度。展望：1.生态系统的加速构建：随着本标准的普及，预期将会涌现大量符合标准的触觉内容创作工具、播放器SDK和消费级硬件。在线视频平台、游戏开发商和虚拟会议服务提供商有望将触觉功能作为“标配”选项之一。2.技术与应用的深度融合：该标准将促进触觉技术在远程医疗（远程触诊）、工业培训（操作反馈）、在线教育（触觉教学）等更广泛领域内的深度应用，而不仅仅是游戏和娱乐。3.未来标准化方向：MPEG（ISO/IEC23090系列）已在规划后续的标准化工作，如更先进的触觉压缩算法（Part21的迭代或新版本）、基于AI的触觉生成与渲染、以及触觉与嗅觉等其他感官信号的联合表征等。该标准为这些