ISOIEC 21794-12020 信息技术.全光图像编码系统（JPEG-Pleno）.第1部分框架标准立项发展报告

信息技术全光图像编码系统（JPEG-Pleno）第1部分：框架标准立项发展报告信息技术的飞跃：全光图像编码系统（JPEGPleno）第1部分：框架标准的制定与发展轨迹EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Plenopticimagecodingsystem(JPEGPleno)—Part1:Framework摘要研究背景：随着虚拟现实（VR）、增强现实（AR）、光场显示及计算摄影等前沿技术的快速发展，传统二维图像已难以满足对沉浸式体验和多维视觉信息呈现的需求。全光图像（PlenopticImaging）作为一种能够记录光场中光线强度、方向、相位等多维度信息的技术，成为下一代视觉媒体的核心。然而，由于全光数据量巨大且格式多样，缺乏统一的编码和交换标准，严重制约了其跨平台应用与产业生态的构建。主要内容：本报告围绕国际标准ISO/IEC21794-1:2020（JPEGPleno，第1部分：框架）展开。该标准由国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会JPEG（联合图像专家组）制定，旨在为全光图像编码系统建立一套模块化、可扩展的通用框架。报告详细解析了该标准的定义范围、核心架构——包括对光场、点云、全息图等不同数据类型的支持，以及其与JPEG、JPEG2000、JPEGXS等传统标准体系的整合机制。同时，报告深入分析了标准制定的技术背景、核心目标及其面临的挑战。重要结论：ISO/IEC21794-1:2020不仅定义了全光图像编码系统的顶层架构和术语，更确立了未来视觉技术互操作性的基石。该框架的发布标志着全光图像从实验室研究迈向标准化应用的关键一步，为光场相机、全息显示、沉浸式通信等前沿领域的产业落地提供了不可或缺的技术规范。尽管标准本身是框架性的，但它为后续具体部分（如编码、测试）的制定奠定了基础，并预示着未来数字视觉内容创作、分发与呈现模式的深刻变革。关键词：全光图像；JPEGPleno；ISO/IEC21794-1；光场编码；沉浸式媒体；标准化框架；互操作性；视觉编码Keywords:PlenopticImaging;JPEGPleno;ISO/IEC21794-1;LightFieldCoding;ImmersiveMedia;StandardizationFramework;Interoperability;VisualCoding正文1.引言：范式转变与标准化需求在信息技术领域，视觉数据的表征与编码始终是行业发展的核心驱动力。从最早的JPEG标准到现代的HEVC/AV1，图像与视频压缩技术经历了从“像素级”到“语义级”的演变。然而，随着5G/6G通信、元宇宙（Metaverse）、数字孪生等概念的兴起，对视觉内容的需求已不再局限于平面的“画框”，转向了对真实世界光场信息的完整捕捉与再现。全光图像技术应运而生。它超越了传统成像的二维限制，通过记录光线在空间中的位置、方向和相位，能够实现“先拍摄后对焦”、“视点变换”、“动态光圈调整”等革命性功能。但这同时也带来了巨大的技术挑战：全光数据的维度急剧增加（例如，4D光场、3D点云、复值全息图），导致数据量呈指数级增长。若无统一的、高效的编码框架，不同设备、不同应用之间的数据无法互通，产业生态将陷入碎片化的困境。正是在此背景下，ISO/IECJTC1/SC29/WG1（即著名的JPEG委员会）启动了JPEGPleno项目。ISO/IEC21794-1:2020作为该系列标准的第一部分，其核心任务并非直接提供一种具体的压缩算法，而是构建一个高层次的、逻辑严谨的参考框架（Framework）。该框架定义了全光图像编码系统的架构、组件、流程以及与其他标准的交互机制，为后续具体编码技术（如部分2、3等）的标准化提供了统一的顶层设计和术语体系。2.标准技术内容解析ISO/IEC21794-1:2020共包含七个主要章节，涵盖了范围、规范性引用文件、术语和定义、符号、缩略语以及核心的技术描述。2.1标准范围与核心定义该标准明确界定了“全光图像编码系统”（JPEGPleno）的范围。它并非针对单一数据类型，而是旨在提供一个通用的框架，用以支撑以下四种主要的全光数据表征形式：1.光场（LightField）：捕获光在空间中的强度和方向分布。2.点云（PointCloud）：通过三维空间中的离散点集来表示物体形状与表面属性。3.全息图（Hologram）：记录光的干涉图样，可理论上实现最完美的三维再现。4.数字全息术（DigitalHolography）：利用计算机或电子传感器记录和重建全息图。该框架定义了这些数据类型在JPEGPleno系统中的抽象模型，明确了它们之间的内在联系与差异，为后续各部分的独立编码提供了统一入口。2.2系统架构与模块化设计该标准的核心亮点在于其模块化和可扩展的系统架构。它并非一个封闭的“铁板一块”，而是由多个功能模块通过标准化的接口连接而成。主要模块包括：*数据获取模块：定义了如何将原始传感器数据（如来自光场相机、LiDAR或干涉仪）映射到框架定义的数据类型上。*预处理模块：包括去噪、对齐、归一化等操作，以保证后续编码的效率与质量。*编码模块：虽然框架本身不指定算法，但它定义了“编码工具”的注册机制，允许不同机构提交新的高效编码方案（如基于学习的方法）并集成到系统中。*解码模块：编码过程的逆过程。*渲染/显示模块：针对不同终端（2D屏幕、光场显示器、VR头显、全息投影仪）提供了标准化的渲染接口，确保解码后的数据能被正确解析和显示。这种模块化设计使得标准具有极强的生命力和适应性。随着AI编码、神经渲染等新技术的成熟，它们可以被作为“插件”无缝整合进JPEGPleno框架，而无需修改整个标准体系。2.3与其他JPEG标准的整合一个成熟的标准体系必须考虑向后兼容性与互操作性。ISO/IEC21794-1:2020明确了JPEGPleno与已有JPEG标准集的关系：*JPEG(ISO/IEC10918-1)：作为最基础的图像格式，JPEGPleno框架允许将一个或多个JPEG编码的视点图像（如来自相机阵列的亚像素图像）打包成一个光场数据流。*JPEG2000(ISO/IEC15444-1)：提供无损至有损的宽范围压缩能力，适用于需要高保真度的全光数据（如用于存档的全息图）。*JPEGXS(ISO/IEC21122)：一种低延迟、轻量级的编码标准，非常适合用于直播或实时交互中的光场流媒体传输。*JPEF(JointPhotographicExpertsGroup,后续标准)：框架预留了与未来可能出现的JPEG系列标准的整合通道。这种设计巧妙地解决了“新”与“旧”的矛盾，使得行业可以逐步过渡到全光时代，同时也保护了企业在现有JPEG体系上的投资。3.标准制定的挑战与价值挑战：*数据维度的灾难性：4D光场、3D点云和连续全息图的数据量远超2D图像，如何设计一个既能承载如此海量信息，又能保持解码复杂度的框架，是巨大的挑战。*终端异质性：全光内容的最终显示设备差异巨大，从简单的手机屏幕到复杂的全息投影仪，框架必须能适配不同分辨率和渲染能力的终端。*产业生态的成熟度：在标准制定时（2017-2020），全光相机、光场显示器等硬件尚处于早期阶段，标准既要足够前瞻以引领未来，又要足够务实以保证当前可测试。价值与影响：该框架标准的发布，其价值超越了技术文档本身，具有深远的战略意义：1.建立“通用语言”：它为不同厂商（硬件、软件、内容制作）提供了一个统一的沟通协议。开发者无需关心底层数据的采集细节，只要遵循JPEGPleno框架，即可实现互操作。2.降低创新门槛：初创公司和研究机构可以基于此框架开发新的算法或应用，而无需从零构建整个系统，从而加速创新。3.推动产业链形成：从摄像头制造商到手机SoC厂商，从云存储服务商到流媒体平台，都有了明确的技术演进方向。4.介绍主要修订及负责单位——JPEG委员会与ISO/IECJTC1/SC29ISO/IEC21794-1:2020的制定与发布，是多方协作的成果，但其中最核心的推动力量无疑是国际标准化组织/国际电工委员会第一联合技术委员会第29分技术委员会（ISO/IECJTC1/SC29，即“音频、图像、多媒体和超媒体信息编码”分技术委员会），更具体而言，是其下属的WG1工作组，即著名的联合图像专家组（JPEG）。JPEG委员会是全球图像压缩领域最权威、最具影响力的标准化组织。自1986年成立以来，它制定了一系列影响深远的图像标准，包括JPEG、JPEG2000、JPEGXR和如今的JPEGPleno。JPEGPleno项目工作组（通常称为JPEGPlenoAhG）由来自全球顶尖大学（如斯坦福大学、南加州大学）、企业（如微软、高通、索尼、佳能）以及研究机构（如FraunhoferHeinrichHertzInstitute）的顶尖科学家和工程师组成。主要贡献与职责：*需求分析：JPEG委员会通过全球范围内的问卷调查、技术研讨和商业案例征集，系统性地收集了行业对全光图像编码的需求，包括数据格式、压缩效率、随机访问特性、快速解码、错误恢复能力等。*框架设计：工作组成员经过多轮激烈的技术辩论和投票，最终确立了以“数据类型抽象”、“模块化架构”、“标准接口”为核心的框架模型。这需要深刻理解计算机图形学、信号处理和视觉感知等多学科知识。*实验验证与一致：为了保证框架的健壮性，委员会组织了“核心实验”（CoreExperiments），邀请全球研究机构提交基于该框架的原型系统。这些实验不仅验证了框架的可行性，也暴露了不少潜在问题，最终被纳入到正式标准中。*文档编纂与维护：JPEG委员会的成员亲自撰写标准文档的每个章节，确保术语准确、逻辑严密、无歧义。由于标准文档具有法律效力，这种严谨性至关重要。可以说，ISO/IEC21794-1:2020标准是JPEG委员会集体智慧的结晶，展现了国际标准化协作在面对颠覆性技术时的远见卓识与执行力。结论ISO/IEC21794-1:2020作为JPEGPleno系列标准的纲领性文件，其价值在于为“全光”这一技术愿景铺设了一条标准化的高速公路。它成功地将一个看似科幻的概念（光场、全息图）提炼为一套可操作、可执行、可测试的技术规范。通过定义模块化框架、确立清晰的数据模型并设计兼容过去的整合机制，它不仅是当前技术的总结，更是对未来十年乃至更长时间内沉浸式视觉技术发展的战略布局。展望未来，随着ISO/IEC21794-1:2020框架的成熟，其后续部分（如Part2:Lightfieldcoding、Part3:Depthmapscoding、Part4:Hologramcoding等）的标准化