信息技术 沉浸式媒体的编码表示 第31部分触觉编码标准立项发展报告

信息技术沉浸式媒体的编码表示第31部分：触觉编码标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part31:Hapticscoding摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的快速演进，用户对多感官交互体验的需求日益迫切。触觉作为视觉、听觉之外的第三大感官通道，是实现真实感、沉浸感交互的关键。然而，长期以来，缺乏统一的触觉信息编码标准，导致不同设备、不同平台之间的触觉数据互操作性差，严重制约了触觉技术的普及与应用生态的构建。本报告聚焦于国际标准ISO/IEC23090-31:2025《信息技术沉浸式媒体的编码表示第31部分：触觉编码》的立项与发展。该标准由国际标准化组织（ISO）与国际电工委员会（IEC）第一联合技术委员会（JTC1）制定，旨在为触觉数据的表示、压缩、传输和渲染提供一套统一的、可互操作的编码框架。报告深入分析了该标准的研制背景、核心内容、关键技术特征及其对相关产业的深远影响。研究表明，ISO/IEC23090-31的发布，标志着沉浸式媒体技术从“视听模拟”正式迈入“多模态融合”的新阶段，为触觉互联网、远程医疗、教育培训、娱乐游戏等领域带来了革命性的发展机遇。该标准通过定义通用的数据模型、编码工具和交互接口，有效解决了“触觉孤岛”问题，将成为未来元宇宙和数字孪生技术体系中不可或缺的基础性标准。关键词沉浸式媒体；触觉编码；ISO/IEC23090-31；MPEG-H；多模态交互；信息互操作性；标准化；感知编码Keywords:ImmersiveMedia;HapticsCoding;ISO/IEC23090-31;MPEG-H;MultimodalInteraction;InformationInteroperability;Standardization;PerceptualCoding正文1.引言在数字化转型的浪潮中，人类与数字世界的交互方式正经历着深刻的变革。从早期的图形用户界面（GUI），到触控交互，再到当下的语音、手势与眼动追踪，每一次交互范式的演进都极大地拓宽了信息技术应用的边界。然而，现有的人机交互主要依赖于视觉和听觉通道，触觉交互的缺失使得数字体验始终是“可听可见”而“无法触摸”的，这种感官上的不完整极大地限制了用户的临场感和参与度。尤其在元宇宙、远程操作、高级驾驶辅助系统（ADAS）等前沿领域，触觉反馈已成为实现真实操作感和沉浸体验不可或缺的关键要素。在此背景下，制定一个国际统一的触觉信息编码标准显得尤为关键。此前，由于缺乏顶层设计，各制造商（如HaptX、SenseGlove、Ultraleap等）和设备平台往往采用私有或半私有的数据格式，导致内容开发者需要针对不同设备适配不同的数据格式，成本高昂且效率低下。同时，不同应用场景下的触觉感知需求差异巨大——从简单的振动模式到复杂的纹理、力反馈和温度感知，其数据模型和信令机制也各不相同。为解决这一问题，国际标准化组织/国际电工委员会第一联合技术委员会的第29分委会（ISO/IECJTC1/SC29，即音频、图像、多媒体和超媒体信息编码委员会）启动了“沉浸式媒体编码表示”系列标准（ISO/IEC23090系列，即MPEG-I）的制定工作。其中，第31部分（Part31）专门针对触觉编码，旨在作为该系列标准的多模态扩展，为沉浸式体验提供全面的触觉支持。2.标准研制背景与需求分析2.1技术驱动力触觉技术的成熟是标准诞生的物质基础。近年来，随着微机电系统（MEMS）、压电陶瓷、超声波相控阵和电刺激技术的发展，触觉执行器实现了更小的体积、更低的功耗和更丰富的反馈模式。例如，高分辨率阵列式触觉手套可以提供毫米级精度的纹理和形状感知。这些硬件的进步使得更复杂、更真实、更实时的触觉信号传输成为可能，从而对数据编码和压缩提出了迫切需求。2.2市场驱动力2.3政策与行业推动多个国际组织和行业协会，如电气与电子工程师学会（IEEE）触觉技术委员会、国际触觉协会（InternationalSocietyforHaptics）以及国际电信联盟（ITU）的未来网络研究组，都曾呼吁制定触觉数据的全球标准。特别是物联网（IoT）和触觉互联网（TactileInternet）概念的提出，要求通信网络在极低延时（1ms以下）内传输触觉数据，这进一步强调了编码格式的轻量化和高效性。3.标准核心内容与关键技术ISO/IEC23090-31:2025被视为继MPEG-4Audio标准中音频的“结构化音频”概念之后，多媒体编码领域的又一次范式创新。该标准不仅仅是定义一种压缩算法，而是构建了一个完整的触觉编码生态系统。3.1触觉数据模型与表示该标准的核心创新在于定义了一个通用的“触觉原语”（HapticPrimitives）集合。不同于简单的振动波形记录，该标准支持多种抽象级别的触觉表示：-信号级表示：支持直接编码由力、力矩、加速度、振动和温度传感器采集的原始信号波形，并采用改进的离散余弦变换（MDCT）或感知多普勒变换等技术进行有损或无损压缩。-感知级表示：定义了“纹理”、“硬度”、“粘滞度”、“粗糙度”和“温度变化”等感知属性。通过感知模型对触觉信息进行抽象，使得编码效率更高，且能更自然地适配不同性能的执行器。例如，一个“光滑的玻璃表面”的感知级编码可以只包含几组参数，而非海量的采样点。-交互级表示：定义了“碰撞”、“滑动”、“戳刺”、“抓取”等交互行为触发的触觉反馈，并考虑了虚拟物体边界、形状和阻力等特性。3.2编码与压缩技术为解决触觉数据实时传输带来的网络压力，标准引入了基于心理物理学（Psychophysics）的压缩技术。技术原理在于，人类触觉系统对某些频率、幅度和空间位置的感知分辨率是有限的。标准利用人类触觉感知掩蔽效应，剔除了人眼无法察觉的冗余数据。根据测试，该标准可实现5:1至10:1的平均压缩比，在保证主观体验不降级的前提下，显著降低传输带宽。3.3交互性与流媒体封装标准定义了完善的时序模型，允许触觉数据流与视听数据流进行精确的时间同步。通过修改MPEG-4系统层（ISO/IEC14496-1）或ISOBaseMediaFileFormat(ISOBMFF)，触觉流作为新的轨类型被纳入多媒体文件中。这意味着，视频、音频、触觉可以被封装在一个单独的MP4文件中，通过现有的流媒体协议（如DASH）无缝传输。3.4设备抽象与渲染为了解决“内容”与“设备”的解耦问题，标准引入了“渲染描述符”（RenderingDescriptor）。触觉内容不直接包含驱动特定电机的具体指令，而是包含抽象的触觉属性。终端设备上的渲染引擎负责将这些抽象指令转换为该设备的特定物理输出。例如，内容定义了一个“力反馈5N”（5牛顿的力），在高端力反馈手套上，设备会精确控制电机输出5N；而在简单的振动马达上，渲染引擎会通过调整振动强度和频率来模拟这种力度感。4.主要参与单位介绍4.1国际标准化组织/国际电工委员会第一联合技术委员会第29分委会（ISO/IECJTC1/SC29）ISO/IECJTC1/SC29是制定该标准的核心组织。作为全球最具影响力的多媒体编码技术委员会，SC29下属的MPEG（MovingPictureExpertsGroup，动态图像专家组）工作组享誉世界。SC29的工作涵盖了从JPEG图像编码到MP3音频编码，再到HEVC/H.265和VVC/H.266视频编码等几乎所有主流多媒体标准。在制定ISO/IEC23090-31时，SC29展现了其强大的组织架构和技术领导力。组织架构与工作机制：SC29通过定期召开年度和中期会议，协调来自全球数十个国家的数百名专家。其中，负责触觉编码的具体工作组与分包商（包括来自学术界、工业界和标准化研究机构的专家）进行了多轮草案征集、核心实验（CoreExperiments）和互操作性测试。通过严格的投票表决流程，确保了标准的科学性和广泛代表性。该组织不仅定义了技术规范，还发布了配套的参考软件（ReferenceSoftware）和一致性测试规范，极大降低了标准落地的门槛。技术贡献：SC29将其在音视频领域的成功经验，“即插即用”地移植到了触觉领域。其提出的“系统层集成”方案，使得触觉编码标准并非孤立存在，而是无缝嵌入到已有的MPEG-H(ISO/IEC23090)系列标准生态中，从而保证了与未来即将发布的沉浸式音频（如MPEG-H3DAudio）和视频标准的完美兼容。例如，当用户在VR中观看一个球体飞来时，触觉流可以通过与视频流相同的时序标签，精确控制反馈手套在球体接触用户手掌的瞬间输出相应力量。5.结论与展望ISO/IEC23090-31:2025的正式发布，是沉浸式媒体技术发展史上的一个重要里程碑。它首次为触觉信息在通往“元宇宙”的道路上铺设了一条标准化的高速公路。基于该标准，未来的数字体验将不再局限于二维屏幕的“观看”和耳机的“聆听”，而是能够实现物理意义上的“触摸”与“感知”。结论与价值：1.降低开发门槛：内容创作者无需精通各种硬件API，只需针对标准编码格式开发一次，即可分发到所有认证终端。2.消除行业壁垒：供应商可以基于标准接口设计硬件和软件，避免了因格式不兼容导致的市场碎片化。3.提升通信效率：高效的感知压缩算法使得触觉数据能够在当前5G甚至4G网络上流畅传输，为触觉互联网的商业化铺平了道路。4.催生跨界应用：在医疗领域，标准化的触觉数据使得远程手术模拟和培训系统可以像拷贝视频一样便捷地分享触觉操作指南；在工业设计领域，设计师可以远程体验产品原型的手感，并实时反馈。未来展望：尽管ISO/IEC23090-31为触觉编码奠定了坚实基础，但其发展仍面临挑战。例如，如何定义和标准化“热觉”、“痛觉”等更复杂的主观感受；如何应对未来XG网络（6G）下更极端的低延迟需求；以及如何降低参考软件中渲染算法的计算复杂度，使其在消费级VR一体机上也能高效运行。可以预见