ISOIEC 14496-152019Amd 12020 改进了对平铺和分层的支持标准立项发展报告

改进了对平铺和分层的支持标准立项发展报告英文标题StandardizationDevelopmentReport:ImprovedSupportforTilingandLayering摘要随着超高清视频、虚拟现实、增强现实等新兴媒体应用的快速发展，视频编码与传输技术面临更高的技术挑战。为满足高效视频传输与存储的需求，国际标准化组织（ISO）发布了ISO/IEC14496-15:2019/Amd1:2020标准，作为MPEG-4系统标准的重要补充。本报告对该标准的立项背景、技术内容、应用价值及发展前景进行系统性分析。该标准主要针对网络抽象层（NAL）单元结构化视频在ISO基础媒体文件格式（ISOBMFF）中的封装传输提出改进措施，特别强化了对平铺（Tiling）和分层（Layering）技术的支持。平铺技术允许将视频画面划分为多个独立编码的区域，便于选择性传输和解码；分层技术则支持按不同质量等级或分辨率传输视频数据，实现可伸缩视频编码。该标准的发布为新一代视频编码标准（如VVC、EVC、AVS3等）的封装提供了统一技术框架，显著提升了对大规模视频流、多视点视频、360度全景视频等复杂应用场景的适应性，对推动媒体产业的标准化进程具有重要的理论和实践意义。关键词ISO/IEC14496-15；平铺支持；分层支持；NAL单元结构化视频；ISO基础媒体文件格式；MPEG-4系统；视频编码KeywordsISO/IEC14496-15;Tilingsupport;Layeringsupport;NALunitstructuredvideo;ISObasemediafileformat;MPEG-4system;Videocoding正文一、标准立项背景与意义1.1技术发展背景随着网络基础设施的持续升级和终端设备显示能力的显著提升，视频媒体行业正经历一场深刻的技术变革。超高清视频（UHD，分辨率为4K/8K）已逐步成为主流应用，而虚拟现实（VR）、增强现实（AR）、沉浸式视频等新兴业务对视频编码与传输技术提出了前所未有的高要求。传统视频编码与封装标准在应对多视角视频、大分辨率画面、自适应码率流媒体等场景时逐渐显现出灵活性不足的问题。视频编码技术从早期的H.264/AVC发展到H.265/HEVC，再到最新的H.266/VVC（VersatileVideoCoding，通用视频编码），编码效率已提升了超过50%。然而，编码效率的提升并未完全解决封装层面的技术瓶颈。ISO/IEC14496-15作为MPEG-4系统标准体系的重要组成部分，主要负责定义NAL（NetworkAbstractionLayer，网络抽象层）单元结构化视频在ISOBMFF（ISOBaseMediaFileFormat，ISO基础媒体文件格式）中的封装规范。该标准自2004年发布以来，历经多次修订，逐步完善了对不同视频编码标准的适配能力。1.2平铺与分层技术的需求分析平铺技术（Tiling）是指将单帧视频画面在空间域划分为多个独立的矩形区域（Tile），每个Tile可以独立进行编码、传输和解码。该技术在以下场景中具有显著优势：-沉浸式视频体验：在360度全景视频中，仅需传输用户当前视场角（FoV）对应的Tile，显著降低带宽消耗。-多视点视频：不同视点的画面可以作为独立的Tile进行编码，便于视点切换和选择性传输。-高性能并行处理：Tile的独立性使得解码器能够对多个Tile进行并行解码，提升处理效率。分层技术（Layering）则实现了视频内容的时间域、空间域或质量域的可伸缩编码。通过将视频流编码为包含基础层（BaseLayer）和增强层（EnhancementLayer）的分层结构，终端设备可以根据自身能力和网络条件选择合适的层次组合进行解码和呈现。分层技术在自适应流媒体、多屏分发、视频监控等场景中具有广泛应用价值。1.3标准修订的紧迫性在2019年之前的版本中，ISO/IEC14496-15虽然已经支持基本的平铺和分层功能，但随着新一代视频编码标准的发展，原有规范在以下方面存在不足：-对VVC编码标准的新型Tile划分方式（如子图片Sub-Picture）缺乏明确的封装支持。-对多层编码流（MLC，Multi-LayerCoding）的轨道组织方式不够灵活，难以满足多视点、多场景等复杂需求。-缺乏对平铺信息在文件级别的存储和管理机制，导致解码器需要额外解析码流才能获取Tile布局信息。-对分层的优先级标记和质量描述不够细化，限制了自适应流媒体系统的优化空间。因此，ISO/IECJTC1/SC29（国际标准化组织联合技术委员会1第29分委员会）启动了修订工作，于2019年正式发布ISO/IEC14496-15第二版，并随后在2020年发布修正案Amd1，专门针对平铺和分层支持进行改进。二、标准技术内容分析2.1平铺支持的改进ISO/IEC14496-15:2019/Amd1:2020对平铺功能的改进主要体现在以下几个方面：（1）Tile轨道组织机制标准引入了TileTrackGroup（Tile轨道组）的概念，允许多个独立的Tile轨道（每个Tile轨道封装一个或多个Tile的编码数据）在文件级别进行关联和管理。文件解析器可以通过读取轨道的分组信息，快速识别视频画面中所有Tile的分布情况，无需逐个解析码流单元。（2）Tile位置信息存储新增了`TileSubPictureGroupBox`（Tile子图片组盒子）和`TileRegionGroupBox`（Tile区域组盒子），用于存储每个Tile在原始画面中的位置坐标（包括左上角坐标、宽度和高度）。这些信息存储在ISO基础媒体文件格式的元数据盒子中，解码器可以直接读取并用于视图合成、动态Tile选择等操作。（3）空间相互关系描述标准定义了Tile之间的空间关系描述机制，包括相邻Tile的边界信息、Tile的排列顺序（光栅扫描顺序或自定义顺序）、Tile的分辨率匹配关系等。这为视频处理中常见的拼接、切割、视口渲染等操作提供了标准化的参考框架。（4）对子图片（Sub-Picture）的支持针对VVC标准中引入的子图片概念，该标准定义了子图片在ISOBMFF中的映射方式。子图片是VVC中更具灵活性的区域分割单元，其边界可以跨Slice（片）或Tile，支持更精细的内容分区。标准通过新增的`SubPictureInformationBox`（子图片信息盒子）实现子图片的封装与描述。2.2分层支持的改进分层技术的改进构建了更加灵活的多层视频编码封装体系：（1）多层轨道组织标准引入了层次化的轨道组织方式，允许同一个视频内容包含一个基础层轨道（BaseLayerTrack）和多个增强层轨道（EnhancementLayerTrack）。基础层轨道提供最低质量但可独立解码的视频流；增强层轨道在基础层之上提供更高分辨率、更高帧率或更高信噪比的改进。轨道之间存在强制的依赖关系，标准通过`TrackReferenceBox`（轨道引用盒子）中的`sbas`（基础层参考）和`enh`（增强层参考）类型进行明确标识。（2）层次关系描述新增的`LayerHierarchyBox`（层次层次盒子）用于详细描述编码流中的层间关系，包括：-每个层（Layer）的标识符（LayerID）-层的依赖关系（例如，增强层依赖于哪些基础层或其他增强层）-层的属性描述（如空间分辨率、帧率、质量等级）该描述信息允许流媒体服务器和终端设备在不必解析码流的情况下，快速确定可用的层组合方式。（3）质量描述与优先级标准定义了`QualityLevelBox`（质量等级盒子）和`PriorityLevelBox`（优先级等级盒子），用于量化描述每个层或每个轨道的质量和重要性。流媒体系统可以根据网络带宽、终端能力、用户偏好等条件，动态选择合适的层次组合进行传输和解码，实现自适应码率（ABR）传输的精细化控制。（4）可伸缩视频编码（SVC）增强支持虽然早期的标准版本已支持H.264SVC（可伸缩视频编码），但该修正案进一步丰富了SVC层的封装能力，特别是针对多层编码场景中的层间参考帧（Inter-LayerReferencePictures）的管理和索引优化，减少了解码延迟和内存占用。2.3技术规范的标准化贡献该修正案在国际视频编码标准化领域具有重要的技术贡献：（1）统一封装框架：为不同编码标准（包括H.265/HEVC、H.266/VVC、AVS3、AV1等）的平铺和分层功能提供统一的ISOBMFF封装框架，避免了碎片化的格式定义。（2）元数据标准化：通过系统化的盒子定义和语法规范，将平铺和分层的元数据规范化地嵌入到文件结构中，提升了文件的可解析性和互操作性。（3）效率优化：通过轨道分组、层次描述机制的设计，减少了文件大小和解析复杂度，特别有利于嵌入式设备、移动终端的应用。（4）未来兼容性：规范设计预留了扩展接口，便于未来视频编码标准的新技术特性能够平滑接入。三、介绍主要修订单位ISO/IEC14496-15:2019/Amd1:2020标准由国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会JTC1下属的第29分委员会（SC29）负责制定。SC29专门从事编码音频、图像、多媒体和超媒体信息的标准化工作，旗下设有多个工作组（WG），其中WG11（即MPEG，MovingPictureExpertsGroup，动态图像专家组）是该标准的核心修订力量。MPEG（MovingPictureExpertsGroup）是国际标准化领域最权威的多媒体技术标准化组织之一，成立于1988年，总部位于瑞士日内瓦。该组织聚集了来自全球学术界、工业界和研究机构的顶级专家，其制定的MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21等标准体系在全球范围内产生了深远影响。MPEG的工作模式遵循“开放、共识、协作”的原则，所有标准草案均经过多轮专家组评审、征集意见、投票表决等严格程序后方可发布。在ISO/IEC14496-15标准的修订过程中，多家国际知名企业和研究机构积极参与并提供关键技术贡献：-FraunhoferHHI（德国弗朗霍夫海因里希-赫兹研究所）：作为VVC等新一代视频编码标准的主要贡献者，提供了子图片封装的核心设计方案。-AppleInc.（美国苹果公司）：在ISOBMFF格式的扩展方面具有丰富的实践经验，提供了轨道分组和层次描述的具体建议。-QualcommInc.（美国高通公司）：在平铺技术应用在移动端视频处理方面进行了大量实验验证。-TencentInc.（中国腾讯公司）：基于国内AVS3标准的推广需求，提供了对国产编码标准平铺分层的适配方案。这些参与单位的共同协作保证了该标准既具有理论上的先进性，又具备现实中的可操作性，为新媒体的行业应用奠定了坚实的标准化基础。四、结论与展望ISO/IEC14496-15:2019/Amd1:2020标准的发布标志着视频封装技术在平铺和分层支持方面迈出了重要一步。通过引入Tile轨道组、子图片信息盒子、多层轨道组织等创新机制，该标准显著提升了视频文件格式对大规模视频、多视点视频、沉浸式视频等复杂应用场景的适应性。从技术层面看，该标准实现了以下核心目标：（1）统一性：为不同编码标准的平铺和分层技术提供了标准化的封装框架，减少了不同格式间的互操作障碍。（2）灵活性：通过灵活的轨道组织和层次描述，支持从简单到复杂的各种视频编码场景，包括自适应流媒体、多终端适配、内容分发网络优化等。（3）前瞻性：预留了扩展接口，确保能够兼容未来视频编码标准的新特性，如VVC的进一步优化、神经网络编码的封装需求等。从应用价值看，该标准的实施将直接惠及以下领域：-流媒体平台：实现更高效的自适应码率传输，提升用户体验的同时降低带宽成本。-广播电视：支持超高清频道的新一代多视点视频分发。-视频会议系统：通过Tile选择传输显著降低网络延迟和带宽要求。-元宇宙与虚拟现实：为大规模沉浸式内容的传输提供标准化的封装方案。展望未来，随着6G通信技术、边缘计算、人工智能编码等新型技术的融合应用，视频封装标准将面临新的挑战和机遇。ISO/IEC14496-15系