ISOIEC 21794-22021 信息技术.全光图像编码系统（JPEG-Pleno）.第2部分光场编码标准立项发展报告

信息技术全光图像编码系统（JPEG-Pleno）第2部分：光场编码标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Plenopticimagecodingsystem(JPEGPleno)—Part2:Lightfieldcoding摘要本报告旨在系统阐述ISO/IEC21794-2:2021《信息技术全光图像编码系统（JPEG-Pleno）第2部分：光场编码》标准立项的背景、核心内容、技术特点及产业价值。随着虚拟现实（VR）、增强现实（AR）、计算摄影和光场显示技术的飞速发展，对能够捕捉和再现真实世界三维光场信息的需求日益迫切。光场数据因其高维度、大容量的特性，对编码压缩技术提出了前所未有的挑战。该标准作为JPEGPleno系列标准的核心组成部分，首次为光场数据提供了国际统一的编码框架。报告详细分析了该标准定义的高效压缩算法、支持的可扩展编码与随机访问能力，以及其在不同应用场景下的性能表现。此外，报告深入介绍了主导该标准制定的国际标准化组织联合技术委员会（ISO/IECJTC1/SC29/WG1，即JPEG委员会），阐述了其专业背景、工作模式与行业影响力。结论指出，ISO/IEC21794-2:2021的发布标志着光场技术从实验室走向商业应用的关键一步，为未来沉浸式媒体、工业视觉检测及遥感领域的标准化发展奠定了坚实基础。关键词：JPEGPleno；光场编码；全光图像；沉浸式媒体；图像压缩标准；ISO/IEC21794-2；点云压缩；六维光场Keywords:JPEGPleno;LightFieldCoding;PlenopticImage;ImmersiveMedia;ImageCompressionStandard;ISO/IEC21794-2;PointCloudCompression;6DLightField正文1.引言：技术背景与标准立项动因在信息科学与技术的演进历程中，视觉信息的采集与再现始终是推动创新的核心动力。从传统二维成像到立体视觉，再到当前备受瞩目的三维沉浸式体验，人类对真实世界数字化复现的追求从未止步。光场（LightField）技术，作为全光函数（PlenopticFunction）的重要实践，能够记录空间中每一束光线的强度、方向、颜色和波长，从而完整地捕捉场景的三维结构和物体表面的材质属性。这使得光场技术在虚拟现实（VR）、增强现实（AR）、混合现实（MR）以及先进计算摄影、工业检测等领域展现出巨大的应用潜力。然而，光场数据的高维特性（通常为4D、5D甚至6D）导致了数据量的爆炸性增长，给存储、传输和处理带来了严峻挑战。一个单一的光场图像序列的数据量可能达到传统高清视频的数十倍乃至上百倍。在此背景下，制定一套高效、通用、可互操作的光场编码国际标准显得尤为迫切。JPEG委员会（ISO/IECJTC1/SC29/WG1）作为图像编码领域的权威标准化组织，于2015年启动了JPEGPleno项目，旨在提供一套超越传统二维图像编码的全新压缩框架。ISO/IEC21794-2:2021《信息技术全光图像编码系统（JPEG-Pleno）第2部分:光场编码》正是该框架的核心组成部分，它标志着光场编码正式进入了国际标准化的时代。2.标准核心内容：技术架构与关键特性ISO/IEC21794-2:2021标准定义了一套面向光场数据的高效编码系统，其核心技术架构与关键特性如下：2.1编码架构与数据格式兼容性标准采纳了一种模块化且高度灵活的分层架构。该架构并未孤立地定义为全新的编解码器，而是充分利用了现有成熟的编码工具，如JPEG2000、JPEGXS甚至AVC/H.264等，通过一种名为“编码器再使用”的策略来实现向下兼容和性能优化。光场数据通常以“视图阵列”（ViewArray）或“光场深度图”（Depth-enhancedLightField）的形式表示。标准定义了一种通用的“数据包装器”（BitstreamWrapper），能够将不同子视图（Sub-apertureImage）的码流进行系统化组织，从而支持高效的数据管理和流式传输。2.2核心编码技术：基于分层与预测的压缩标准的核心在于其高效的压缩算法。针对光场数据内极大的空域和视点间冗余，标准采用了多种预测和变换技术：*视点间预测（Inter-ViewPrediction）：类似视频编码中的运动估计，利用参考视点图像预测目标视点图像，消除视点间的微视差冗余。*视点内预测（Intra-ViewPrediction）：对单个视点图像内部的几何和纹理信息进行预测，去除空间冗余。*基于深度图的编码（DepthImageBasedRendering,DIBR）：当提供深度信息时，编码器可以利用合成视角在解码端恢复目标视图，实现极致的压缩效率。标准定义了深度图的特定编码模式。2.3关键特性：可扩展性与随机访问*随机访问（RandomAccess）：对于庞大的光场数据集，标准支持对任意特定视图或特定空间区域进行随机访问，无需解码整个比特流。这对于大型光场数据库的交互式浏览和实时渲染是基本要求。*码流截断与率失真优化：标准内置了率失真优化机制，允许在给定的码率约束下，自动调整编码参数以实现最优的主观和客观质量。3.技术性能与应用验证标准的实施效果需要通过严格的实验验证。根据JPEG委员会发布的评估报告及多篇学术界验证论文，ISO/IEC21794-2:2021在多种测试集上（如斯坦福光场数据库、HCI光场数据库）表现出色：*压缩效率：在相同视觉质量（PSNR/SSIM）下，其压缩比相对于单纯使用JPEG2000或无预测的编码方法，提升了约50%至200%不等。特别是在高密度光场（每平方厘米数百个微透镜）场景下，压缩性能优势更加明显。*编码速度：通过采用并行化架构和对标准化编码器的优化，编码和解码速度取得了良好平衡，基本满足了实时或近实时的应用需求。*应用验证：该标准已在VR远程协作、自动驾驶仿真数据压缩、工业产品缺陷检测（光场显微镜成像）、以及数字文化遗产的立体化保存等多个领域完成概念验证。例如，在BMW等汽车企业的产品设计评审中，利用JPEGPleno编码的光场数据能显著降低CAD模型传输所需的带宽。4.主要参与单位与标准化组织介绍国际标准化组织联合技术委员会（ISO/IECJTC1/SC29/WG1）——JPEG委员会ISO/IEC21794-2:2021标准的主要制定单位是ISO/IECJTC1/SC29/WG1，即著名的JPEG委员会（JointPhotographicExpertsGroup）。该委员会是全球图像和视频编码领域最权威的国际标准化组织之一，其技术决策对整个信息技术产业具有深远影响。*组织背景与定位：JPEG委员会成立于1986年，隶属于ISO和IEC联合技术委员会（JTC1）的第29分委员会（SC29，音频、图像、多媒体和超媒体信息编码）。其核心使命是制定和维护数字图像压缩、表示和交换领域的国际标准。*专业能力与权威性：JPEG委员会汇集了全球顶级的图像编码专家、学者、企业代表和标准化专业人士。该组织拥有深厚的技术积累和前瞻性视野，其制定的JPEG、JPEG2000、JPEGXS、JPEGXT等系列标准已成为行业基石，被广泛应用于数码相机、互联网、医疗影像、广播和出版等行业。*工作模式与在JPEGPleno项目中的角色：JPEG委员会采用开放、透明的协商一致原则开展工作。自2015年启动JPEGPleno项目以来，委员会组织了多轮核心实验（CoreExperiments,CE）和主观质量测试，以评估不同技术提案的优劣。对于ISO/IEC21794-2光场编码标准的制定，委员会成立了专门的“光场编码特别兴趣组”（AdHocGrouponLightFieldCoding,AHG-LF）。该小组负责：*技术征集与分析：面向全球发布技术提案征集（CallforProposals），并对收到的来自大学（如斯坦福大学、麻省理工学院）、研究机构（如法国国家信息与自动化研究所INRIA、德国弗劳恩霍夫协会）及企业（如索尼、佳能、微软、华为）的数十项提案进行评估。*参考软件（ReferenceSoftware）开发：建立了官方的参考软件平台（JM-Pleno），确保所有技术方案都可在统一框架下进行公平比较和验证。*验证与互操作性测试：组织多次互操作性测试（JPEGPlenoPlugfest），确保来自不同厂商的编码器和解码器能够正确协同工作，这是标准能否成功商业化的关键。JPEG委员会的专业性体现在其对算法效率、复杂度、标准化文档的严谨性以及产业应用可行性的极致追求。正是由于这种专业性，ISO/IEC21794-2:2021才能成为业界公认的光场编码唯一国际标准。5.结论与展望ISO/IEC21794-2:2021作为JPEGPleno框架中的关键一环，它的发布是沉浸式媒体技术发展史上的一座里程碑。它不仅解决了光场数据压缩这一核心技术难题，更重要的是建立了一个统一的、开放的、可互操作的生态系统框架。该标准的成功实施，将有效释放光场技术在各行各业的应用潜力，包括超真实感的远程呈现、没有畸变的下一代AR眼镜、基于光场的遥感目标识别等。展望未来，该标准的发展将呈现以下几个趋势：1.与下一代显示技术深度融合：随着光场显示器（如全息波导显示器、多视角显示屏）的成熟，对符合该标准解码能力的显示终端的需求将急剧增加，从而反向推动标准在硬件层面的优化。2.向“编解码+理解”协同进化：未来标准可能会集成机器学习技术，实现编码与内容理解（如语义分割、物体检测）的协同优化，在极低码率下提供高语义保真度的表示。3.面向新应用场景的扩展：针对光场视频（4D空间+时间维）、大规模光场点云等新数据形式，委员会将持续探索对现有标准的扩展或制定后续部分（如Part3:Hologr