ISOIEC 19566-62019Amd 12021 添加新的JPEG 360图像类型和加速ROI渲染标准立项发展报告

添加新的JPEG360图像类型和加速ROI渲染标准立项发展报告StandardizationDevelopmentReport:AdditionofNewJPEG360ImageTypesandAcceleratedROIRendering摘要随着虚拟现实（VR）、增强现实（AR）、全景摄影及三维重建等沉浸式媒体技术的迅猛发展，JPEG360作为国际标准化组织（ISO）发布的图像编码标准族的重要组成部分，为360°全景图像的存储、交换与呈现提供了统一的编码规范。本报告围绕ISO/IEC19566-6:2019/Amd1:2021《信息技术JPEG系统第6部分：JPEG360修订1：添加新的JPEG360图像类型和加速ROI渲染》展开系统论述。首先，报告梳理了该修订案的立项背景，指出传统等距柱状投影格式在带宽占用、局部区域（ROI）高速渲染及多视角应用方面的局限性；其次，报告详细阐述了修订案的核心技术内容，包括新增JPEG360图像类型的分类体系、码流结构设计及加速ROI渲染的算法机制；再次，报告分析了该标准在广电、文旅、安防监控、远程医疗及工业巡检等领域的应用价值，并介绍了主要参与单位的工作分工与技术贡献。报告认为，该修订案虽已废止，但其确立的“多类型兼容、局部优先渲染”的技术思路对后续JPEG系列标准及沉浸式媒体编码技术的发展具有重要的启示意义与借鉴价值。关键词：JPEG360；图像编码；ROI渲染；全景图像；国际标准；沉浸式媒体；ISO/IEC19566AbstractWiththerapidadvancementofimmersivemediatechnologiessuchasvirtualreality(VR),augmentedreality(AR),panoramicphotography,and3Dreconstruction,JPEG360—animportantcomponentoftheJPEGfamilyofimagecodingstandardsdevelopedbytheInternationalOrganizationforStandardization(ISO)—providesaunifiedcodingspecificationforthestorage,exchange,andpresentationof360°panoramicimages.ThisreportsystematicallyexaminesISO/IEC19566-6:2019/Amd1:2021,*Informationtechnologies—JPEGsystems—Part6:JPEG360—Amendment1:AdditionofnewJPEG360imagetypesandacceleratedROIrendering*.Thereportbeginsbyoutliningthebackgroundofthisamendment,highlightingthelimitationsoftraditionalequirectangularprojectionformatsintermsofbandwidthconsumption,high-speedregion-of-interest(ROI)rendering,andmulti-viewapplications.Subsequently,thereportdetailsthecoretechnicalcontentoftheamendment,includingtheclassificationsystemofnewlyaddedJPEG360imagetypes,bitstreamstructuredesign,andthealgorithmicmechanismsforacceleratedROIrendering.Furthermore,thereportanalyzestheapplicationvalueofthisstandardinbroadcasting,culturaltourism,securitysurveillance,telemedicine,andindustrialinspection,whileintroducingtheworkdivisionandtechnicalcontributionsoftheprimaryparticipatingorganizations.Thereportconcludesthatalthoughthisamendmenthasbeenwithdrawn,itstechnicalapproachof"multi-typecompatibilitywithpriority-basedlocalrendering"holdssignificantimplicationsandreferencevalueforthefuturedevelopmentofJPEGseriesstandardsandimmersivemediacodingtechnologies.Keywords:JPEG360;ImageCoding;ROIRendering;PanoramicImage;InternationalStandard;ImmersiveMedia;ISO/IEC19566一、引言1.1研究背景近年来，随着头戴式显示设备（HMD）、全景相机、无人机航拍及实时三维重建技术的日趋成熟，360°全景图像和视频已从专业制作领域迅速扩展至消费级市场。根据国际数据公司（IDC）发布的报告，全球AR/VR市场出货量及内容消费总量持续攀升，预计到2025年，沉浸式媒体内容市场规模将突破千亿美元。在这一背景下，如何高效地对360°全景图像进行编码、存储、传输和渲染，成为制约产业发展的关键技术瓶颈。传统全景图像通常采用等距柱状投影（EquirectangularProjection,ERP）格式进行存储和传输。这种格式虽然具有良好的通用性和兼容性，但其固有的局限性也日益凸显：一是数据冗余量大，ERP格式在垂直方向上的采样密度远高于实际视觉需求，造成带宽和存储空间的浪费；二是局部区域（RegionofInterest,ROI）访问效率低，用户在全景环境中漫游时，往往仅需要查看视野范围内的局部区域，而ERP格式要求解码整幅全景图像后才能提取所需区域，难以满足实时渲染的需求。1.2标准立项的意义为应对上述挑战，国际标准化组织（ISO）与国际电工委员会（IEC）下属的联合技术委员会JTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）设立了JPEG系统系列标准（ISO/IEC19566），其中第6部分即JPEG360标准，专门针对360°全景图像的编码与系统交互进行规范。2019年，ISO/IEC19566-6:2019正式发布，确立了JPEG360的基本框架。为进一步扩展标准的适用范围，提升局部区域渲染效率，ISO/IECJTC1/SC29于2021年6月发布了修订案1（Amendment1），即本报告所研究的对象。该修订案的立项意义在于：一方面，通过新增JPEG360图像类型定义，拓展了标准对多种投影格式（如立方体投影、自适应投影等）的支持能力，增强了标准的通用性和灵活性；另一方面，通过引入加速ROI渲染机制，显著降低了用户在沉浸式交互场景中获取局部视觉信息所需的解码复杂度和时延，为实时交互应用提供了标准层面的技术保障。二、标准的修订背景与需求分析2.1技术需求的演进JPEG360标准（ISO/IEC19566-6:2019）的初始版本主要建立了基于JPEG编码基础设施的全景图像系统框架，定义了基本的文件格式、元数据结构和流媒体交互协议。然而，随着应用场景的不断拓展和技术需求的持续升级，原始版本逐渐暴露出以下不足之处：第一，图像类型覆盖不足。初始版本主要支持传统的ERP格式和简单的立方体投影（CubemapProjection,CMP）格式。而对于近年来涌现的多种新型投影格式，如自适应等距柱状投影（AdaptiveEquirectangularProjection,AEP）、旋转球面投影（RotatedSphereProjection,RSP）以及分段球面投影（SegmentedSphereProjection,SSP）等，原标准缺乏统一的编码支持，导致不同设备生成的360°图像在互操作性方面存在障碍。第二，ROI渲染效率低下。在沉浸式交互应用中，用户视口（Viewport）通常仅覆盖整个360°视野的20%—30%。然而，原标准要求必须解码完整的全景图像帧后才能进行视口渲染，这不仅消耗了大量的解码带宽，还引入了显著的渲染延迟，影响了用户体验的流畅性。根据JPEG委员会内部的测试数据，在4K分辨率全景图像条件下，采用传统“全图解码再裁剪”方案的平均端到端延迟约为120—180毫秒，而人眼可接受的动态视口延迟阈值为20毫秒以内，差距甚为明显。第三，多分辨率分层支持不足。在实际应用中，为适应不同显示设备和网络带宽条件，需要全景图像支持空间可伸缩性（SpatialScalability），即能够在不同分辨率层级之间灵活切换。原标准缺乏对分层编码和渐进式传输的有效支撑。2.2修订目标的确定基于上述需求分析，ISO/IECJTC1/SC29/WG1（JPEG委员会）在2019年10月召开的第82次会议上正式通过了修订提案，明确了本次修订的核心目标：1.扩展图像类型体系：定义新的JPEG360图像类型标识和对应的码流结构，使标准能够支持多样化的投影格式和封装方式；3.保持向后兼容性：确保新增功能不破坏原有JPEG360文件格式的兼容性，支持现有解码设备的正常使用。三、修订案核心技术内容3.1新增JPEG360图像类型ISO/IEC19566-6:2019/Amd1:2021对JPEG360图像类型的定义进行了系统扩展。在原有类型基础上，修订案引入了以下新的图像类型：（1）自适应投影类型（AdaptiveProjectionType）。该类型允许编码器根据图像内容的空间特征自适应地选择局部投影方式。例如，对于图像中的显著区域（如人脸、文字等），采用较高的采样密度；对于非显著区域（如天空、背景等），采用较低的采样密度。这种方式在保持视觉质量的前提下有效降低了总体码率。（2）高效立方体投影类型（EfficientCubemapProjectionType）。在传统CMP基础上引入了紧凑像素布局（CompactPixelLayout），通过去除立方体各面之间的冗余间隔和优化像素排列顺序，提高了编码效率和存储密度。修订案对每种新增图像类型均定义了详细的标识符编码规则、参数集结构及与JPEG标准编码器的映射方式，确保新类型与现有JPEG编码基础设施的兼容集成。3.2加速ROI渲染机制加速ROI渲染是本次修订案的核心创新之一。为实现局部区域的快速解码和渲染，修订案引入了以下关键技术机制：（1）基于瓦片的图像分区编码。修订案将全景图像划分为若干个大小可配置的矩形瓦片（Tile），每个瓦片独立进行JPEG编码。在传输和解码过程中，系统可根据用户当前的视口位置，仅选择并解码覆盖视口范围的相应瓦片，从而大幅减少了需要传输和解码的数据量。（2）视口预测与预取机制。修订案定义了一套视口预测参考模型，允许客户端根据用户的头部运动轨迹和惯性传感器数据，预测下一时刻可能的视口方向，并提前请求和解码相应的瓦片集合。该机制有效降低了视口切换时的延迟感，提升了用户在快速转动头部时的视觉连贯性。（3）分布式码流组织。修订案定义了码流中瓦片索引表（TileIndexTable）的结构和语义，支持在文件中快速定位任一瓦片的起始位置和解码参数，无需扫描整个文件即可实现对任意局部区域的直接访问。3.3文件格式与系统集成修订案对JPEG360的文件封装格式进行了相应更新，在元数据部分增加了新的图像类型描述符和瓦片配置信息。同时，修订案定义了与JPEG系统的其他部分（如JPEGXS的实时传输特性、JPEGXL的高效压缩能力）之间的交互接口规范，为构建完整的沉浸式媒体处理链路提供了标准化支撑。四、标准应用前景分析4.1虚拟现实与增强现实在VR/AR应用场景中，用户通过头戴式显示器观看360°沉浸式内容。加速ROI渲染机制的引入，使得系统能够根据用户的视线方向实时调整解码和渲染策略，在保证视觉质量的同时显著降低端到端延迟。对于VR一体机等计算资源受限的终端设备而言，这一特性尤为重要，可有效降低设备功耗，延长续航时间，同时提升用户长时间佩戴的舒适度。4.2广播电视与流媒体4.3安防监控与智能巡检全景监控摄像机已在智慧城市、交通枢纽、大型场馆等场所广泛部署。新增的图像类型支持使得全景监控系统能够针对重点监控区域（如出入口、关键通道）采用更高的采样密度，提升图像细节的清晰度；加速ROI渲染机制则支持安防管理人员在漫游全景画面时快速放大查看特定区域的细节信息，提升了应急响应的效率。4.4文旅与教育在文化遗产数字化保护、虚拟博物馆、在线教育等领域，360°全景内容的应用日益广泛。通过高效的ROI渲染，用户可以在低带宽网络环境下依然获得流畅的漫游体验，有助于推动优质全景教育资源和文旅资源的普惠共享。五、主要参与单位介绍5.1国际标准化组织动态图像专家组（JPEG委员会）ISO/IECJTC1/SC29/WG1（即JPEG委员会，全称为JointPhotographicExpertsGroup）是本修订案的核心制定机构。JPEG委员会成立于1986年，隶属于国际标准化组织（ISO）和国际电工委员会（IEC）联合组建的联合技术委员会JTC1，负责静止图像编码及其应用系统的标准化工作。自成立以来，JPEG委员会先后制定了JPEG1（ISO/IEC10918）、JPEG2000（ISO/IEC15444）、JPEGXS（ISO/IEC21122）、JPEGXL（ISO/IEC18181）及JPEGSystems（ISO/IEC19566）等一系列在影像领域具有深远影响的国际标准。在本次修订案的制定过程中，JPEG委员会联合了来自全球各国的产学研机构，包括华为技术有限公司、佳能株式会社、索尼集团、三星电子、高通公司及多所知名高校的研究人员。各参与方在标准制定中分工明确：华为技术有限公司主导了瓦片化编码和视口预测机制的算法设计与性能验证；佳能和索尼在图像类型定义和投影格式映射方面提供了丰富的专利技术和工程实现经验；高通公司则在嵌入式平台的实时解码优化方面贡献了关键技术方案。JPEG委员会通过多轮全体会议和临时工作组会议，对各参与方提交的技术提案进行了系统评估和整合，最终达成了各方共识，形成了本次修订案的正式文本。值得注意的是，虽然本修订案在后续标准化进程中被ISO/IEC19566-6:2023版本所替代，但在其有效期内，该修订案为JPEG360标准在新兴应用场景中的落地实施提供了及时且必要的技术支持，也为其后继版本的完善积累了宝贵的实践经验。六、结论与展望ISO/IEC19566-6:2019/Amd1:2021作为JPEG360标准的首次修订，在扩展图像类型体系和加速ROI渲染方面取得了重要的技术突破。该修订案所确立的技术框架——包括自适应投影类型、瓦片化编码、视口预测与预取机制、分布式码流组织及渐进式质量细化等——为全景图像的实时交互式应用提供了标准层面的有力支撑。尽管该修订案因其后继版本的发布而废止，但其技术成果已被充分吸纳并延续至更新的标准版本中，其产业影响仍持续至今：第一，推动沉浸式媒体标准化迈向新阶段。修订案探索的“多类型兼容、局部优先渲染”技术范式，为JPEG委员会在后续标准（如JPEGAI、JPEGXS的沉浸式扩展等）中处理全景和三维内容提供了可借鉴的方法论。第二，促进跨行业融合与生态构建。通过对多种投影格式的统一支持和高效的局部访问机制，修订案有效降低了全景内容生产、分发和消费各环节的技术门槛，有利于推动VR/AR、广电、安防等行业之间的技术互操作和生态融合。展望未来，随着6G通信、端侧AI和空间计算技术的不断演进，360°沉浸式媒体的实时交互与个性化呈现将迎来更广阔的发展空间。标准化工作将继续在提升编码效率、增强智能适应能力和优化用户体验等方面发挥关键的基础性支撑作用。建议相关行业单位持续关注并积极参与JPEG委员会的研究工作，共同推动沉浸式媒体标准化事业迈向更高水平。参考文献[1]ISO/IEC19566-6:2019/Amd1:2021,Informationtechnologies—JPEGsystems—Part6:JPEG360—Amendment1:Additionofnew