信息技术 JPEG XS低延迟轻量级图像编码系统 第1部分核心编码系统 修改1切片同步元数据标准立项发展报告

信息技术JPEGXS低延迟轻量级图像编码系统第1部分:核心编码系统修改1:切片同步元数据标准立项发展报告EnglishTitleStandardizationDevelopmentReport:Informationtechnology—JPEGXSlow-latencylightweightimagecodingsystem—Part1:Corecodingsystem—Amendment1:Slicesynchronousmetadata摘要本报告全面阐述了ISO/IEC21122-1:2024/Amd1:2026《信息技术JPEGXS低延迟轻量级图像编码系统第1部分:核心编码系统修改1:切片同步元数据》标准的立项背景、技术内容、发展历程及行业影响。随着超高清视频、虚拟现实(VR)、增强现实(AR)以及专业广播、远程医疗等实时图像应用领域的快速发展，对图像压缩技术提出了更高要求：不仅需要极高的压缩效率以应对带宽限制，更要求“零”延迟的实时处理能力以满足系统级交互需求。JPEGXS作为一种旨在实现视觉无损的超低延迟轻量级图像编码系统，已在专业领域得到广泛应用。然而，随着应用场景的深化，特别是在高分辨率、高帧率且需要多路并行处理的复杂系统中，传统的按帧传输元数据的方式暴露出同步效率低、处理延迟累积等问题。本修改单(Amendment1)的核心创新在于引入了“切片同步元数据”机制，允许将编码过程中的关键元数据（如量化参数、色彩空间信息、显示映射等）与图像数据切片进行精细化的时间同步。本报告详细分析了该修改单的技术原理、其对系统架构的优化价值，以及对推动JPEGXS标准在更严苛的实时性、同步性要求场景下的标准化进程。报告指出，该标准的发布标志着JPEGXS从高效编码标准向精细化、系统级同步标准迈出重要一步，对于构建下一代全实时、高可靠性的视觉处理系统具有里程碑式的意义。关键词*中文关键词：JPEGXS；低延迟；轻量级图像编码；切片同步元数据；实时编码；国际标准；ISO/IEC21122；系统同步*EnglishKeywords:JPEGXS；Low-latency；LightweightImageCoding；SliceSynchronousMetadata；Real-timeEncoding；InternationalStandard；ISO/IEC21122；SystemSynchronization正文1.引言：超低延迟图像编码的时代需求与JPEGXS的演进在当今的数字化浪潮中，视觉信息已超越文本，成为人类感知世界、机器理解环境的核心介质。从电影级后期制作、无人驾驶的感知系统，到远程手术的精准操控、云端游戏的高画质体验，无一不指向一个共同的技术高地——超低延迟、视觉无损的图像处理与传输。传统的高效压缩标准（如H.264、HEVC），尽管在压缩率上表现卓越，但其复杂的算法结构和帧间预测机制引入了不可忽视的延迟，难以满足某些对实时性有严苛要求的“内循环”系统（如自动聚焦、机器视觉伺服回路）。为解决这一矛盾，由联合图像专家组（JPEG）开发的JPEGXS标准应运而生。它重新定义了轻量级编码的设计哲学，放弃了帧间预测和复杂的率失真优化，转而采用了一种基于小波变换的、高度并行的片级（Slice-level）编码结构。这种设计使其能在极低的系统开销下，实现1/16至1/2的压缩比，同时保持编码和解码的延迟在像素行级别的微秒级，被誉为“视觉无损的RAW格式替代者”。自ISO/IEC21122系列标准发布以来，JPEGXS已成功应用于专业广播设备（如索尼的HDC系列摄像机）、视频墙显示、3D全息投影以及DCI（数字电影倡议）兼容的影院系统。然而，随着技术向更高分辨率的8K/16K、更高帧率的240Hz/480Hz以及更复杂的系统级集成（如多视点合成、空间计算）演进，一个关键的痛点日益凸显：元数据与图像数据流的异步问题。2.标准制定背景：为何需要“切片同步元数据”？在JPEGXS现有架构中，元数据（如色彩空间转换矩阵、光-电传递函数OETF、显示元数据、量化器的精细控制参数）通常以“帧”为单位进行封装。这意味着，元数据的更新频率受限于帧率。在以下场景中，这种模式的局限性暴露无遗：*高阶自适应编码：例如在专业摄影或传感器融合中，图像传感器区域可独立调整曝光或增益（即元数据随切片动态变化）。如果元数据不能在切片级同步，解码器就无法正确重建画面，导致“闪烁”或色彩断层。*多流同步系统：在虚拟现实制作中，需要同时对多个视角进行编码。若每个流使用不同步的元数据，系统同步模块将面临算法滞后或增加缓冲延迟的困境。*精确的色彩管道：在HDR（高动态范围）视频中，显示映射元数据（如MaxFALL,MaxCLL）需要在极短时间内随场景变化调整。基于帧的元数据更新常常导致HDR图像渲染的明显滞后或过曝。为了解决这些问题，并进一步增强JPEGXS对超低延迟、高精确性应用的适用性，ISO/IECJTC1/SC29/WG1委员会启动了ISO/IEC21122-1:2024/Amd1:2026标准制定项目，即本修改单：切片同步元数据。3.技术内容解析：切片同步元数据的工作原理本修改单并非颠覆JPEGXS的核心编码算法，而是对其数据封装层和信令框架进行了关键的标准化扩展。其核心技术内容包含三个层面：3.1语法与语义扩展*切片元数据盒（SliceMetadataBox,'sme'）：扩展了原有的ISO基础媒体文件格式（ISOBMFF）的盒结构。新增的`sme`盒允许将元数据直接关联到特定的编码切片单元。*同步时间戳（SynchronizationTimestamp,S-TS）：在切片的码流头部插入高精度的S-TS标记与元数据类型ID。这使得解码器能够在解压缩开始前，按需获取对应切片的元数据块。*动态元数据流（DynamicMetadataStream,DMS）：定义了元数据作为独立流与图像码流并行传输的信令方式。解码器可根据接收到的切片码流，实时寻址并分配与之时间对应的DMS数据。3.2工作流程1.编码阶段：编码器在分析每个编码切片后，会根据预设策略（如区域曝光调整、自适应量化表）生成特定的元数据。这些元数据不再被包裹在帧级头，而是被封装为新的`me`（元数据元素）单元，并附加了标识其作用切片的同步ID（S-ID）。2.复用与传输：码流复用环节将新增一个“元数据图（MetadataMap）”[MDM]作为关键工具。MDM记录了所有切片及其对应元数据的映射关系。传输时，不仅发送图像切片数据，还发送与其同步的元数据包。3.解码与呈现：解码器接收到码流后，首先解析MDM，建立起切片与元数据之间的时间关联表。在解码每个切片时，解码器可以直接从关联表中提取所需的元数据，并立即用于像素重建、色彩转换或显示映射，而无需等待整个帧的结束标志位。3.3关键优势*消除“解膜等待”：无需等到整个帧的元数据完全捕获后才进行实时渲染处理。*支持全域/区域元数据：既要支持全局（如整个画面的伽马曲线变化），又要支持局部切片级的精细元数据。*简化系统同步架构：在多设备、多信号源处理系统中，无需再为同步不同帧的元数据而添加额外的硬件FIFO（先进先出）缓存或复杂的软件同步算法，从而降低了系统设计复杂度与功耗。4.标准制定的主要单位与标委会贡献4.1主要参与的国际标准化组织本标准的制定依托于国际标准化组织/国际电工委员会第一联合技术委员会第29分委会第1工作组(ISO/IECJTC1/SC29/WG1)，即著名的联合图像专家组（JPEG）。该工作组负责制定和维护所有JPEG系列标准，包括JPEG,JPEG2000,JPEGXR,JPEGXS,JPEGXL等。JPEG委员会以其卓越的协调能力闻名于世，成员来自全球各地的图像处理芯片厂商（如AMD,Intel,NVIDIA）、专业视听设备制造商（如Sony,GrassValley）、软件开发商（如Adobe,Apple）以及顶尖研究机构。4.2重点参与单位介绍：意法半导体（STMicroelectronics）在本次修改单的制定过程中，意法半导体（STMicroelectronics）发挥了技术领导作用。该公司是JPEGXS标准化进程中的核心贡献者之一，其图像信号处理（ISP）团队深度参与了切片同步元数据提案的编写、验证和最终标准化。*技术贡献：*硬件架构适配：意法半导体提出并验证了切片同步元数据与其硬件JPEGXS实时编码器IP核的兼容性。其专有的“亚帧级并行编码引擎”能够在不增加硅片面积和功耗的前提下，原生支持切片级元数据的注入与提取。*参考实现与测试：该公司开发了首个支持提议标准的开源参考软件实现，并在其HDR/WCG测试系统上进行了包含4K/120fps和8K/60fps素材的全面验证，证明了该技术在实际硬件环境下的可行性和对延迟改善的量化数据（将端到端元数据同步延迟从约2ms降低至0.1ms以内）。*应用场景规范化：意法半导体重点推动了该标准在汽车摄像头（用于自适应远光灯控制、车道保持辅助系统，需在像素行级调整传感器元数据）和工业相机（用于高速生产线检测）两个关键垂直市场的应用模型定义。*标委会角色：在意法半导体担任JPEGXS编辑团队核心成员期间，积极协调了来自日本广播协会（NHK）、美国杜比实验室和法国创芯科技之间的技术分歧，最终统一了元数据结构与信令协议，确保了标准的广泛适用性和向后兼容性。意法半导体通过其在硬件实现和系统集成方面的深厚积累，确保了ISO/IEC21122-1:2024/Amd1:2026不仅在理论上成立，更具备可直接落地的产业特性，是该标准得以如期发布的关键“推手”。5.标准化历程与发布影响5.1立项过程与发展*提案阶段：2023年，由多家专业视频设备制造商及芯片设计商联合提出切片同步元数据的初步技术提案，作为JPEGXS未来演进的“需求缺口”（RequirementGap）。*技术草案（WD）：2024年进入工作组草案阶段，重点在核心语法定义、元数据映射表和同步机制上进行多次技术辩论与修订。*委员会草案（CD）：2025年进入CD阶段，委员会进行实地互操作性测试，不同厂商的JPEGXS编码器/解码器能否准确识别并处理切片同步元数据成为关键考核点。*最终国际标准草案（FDIS）：2026年1月启动FDIS投票，最终于2026年5月13日正式发布为:2026版本。5.2对产业界的深远影响1.专业广播与制作升级：使得8K/16K虚拟制作（VirtualProduction）流程中的摄像机和灯光同步变得前所未有的精确与简单。导演可以依赖“切片级”的元数据同步，实现无延迟的实时色键抠像和空间渲染。2.远程医疗的可靠性增强：在实时远程手术指导中，如果手术影像的元数据（如亮度映射）与组织切片的显示出现错位，可能导致医生误判。切片同步元数据将降低这种医学影像系统的通信复杂度，提高诊断和治疗的安全性。3.加速机器视觉内循环：在工业自动化和自动驾驶中，图像处理通常需要在一个“视觉内循环”中完成。切片同步元数据使得计算视觉算法（如光流、深度估计）能够获得与数据严格对齐的传感器元数据（如增益、曝光时间），显著提升算法的鲁棒性和感知精度。4.促进AI视频处理融合：随着AI技术在视频后处理领域的普及，AI模型经常需要对特定帧或特定图像块进行降噪或超分辨率。标准化的切片同步元数据可以作为AI模型的输入特征，让AI算法精确了解预处理器的状态，从而实现更智能的视频增强。6.主要参与的企事业单位和标委会介绍ISO/IECJTC1/SC29/WG1（JPEG委员会）JPEG委员会是世界上最富盛名和最成功的图像编码标准化组织之一。早在2026年的今天，它已经成功运营了四十年。其成功不仅在于发布了关键技术标准，更在于建立了一种开放、协作、技术驱动的社区文化。在本次ISO/IEC21122-1:2024/Amd1:2026的修订中，JPEG委员会再次展现了其卓越的组织能力。委员会由来自全球各国的代表（称为NationalBody）构成，其中主要参与方包括但不限于：日本（主导图像传感器与3D场景编码）、美国（主导流媒体生态与影视后期）、德国（主导汽车和工业视觉）、法国以及中国（近年来在高性能计算与图像处理芯片领域崛起）。这个精简高效的组织通过每年两次的全体会议及多次在线会议，为全球算法专家、标准化专家、系统设计者提供了直接对话的平台。具体到本次修改单，委员会成立了特定的特设工作组（AdHocGroup,AHG）——“高效元数据与同步机制”。该工作组由来自日本广播协会（NHK）的资深工程师担任主席，负责将分散的技术意见整合成规范文本。NHK作为世界领先的广播商，拥有从8K拍摄、制作到播出的完整实验环境，其贡献的测试序列和验证方案，确保了标准的实践导向。同时，杜比实验室凭借其在HDR/DolbyVision色