ISOIEC 23090-102022Amd 12022 信息技术.沉浸式媒体的编码表示.第10部分基于视觉体积视频的编码数据的载体.修改件1压缩视频数据的支持标准立项发展报告

*信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的载体修改件1：压缩视频数据的支持标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part10:Carriageofvisualvolumetricvideo-basedcodingdata—Amendment1:Supportofpackedvideodata摘要本报告旨在全面阐述国际标准ISO/IEC23090-10:2022/Amd1:2022《信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的载体修改件1：压缩视频数据的支持》的立项背景、技术内容、发展历程及其对行业的影响。随着扩展现实、元宇宙等沉浸式技术的快速发展，体积视频（VolumetricVideo）作为能够提供六自由度交互体验的核心媒体形态，其高效编码与传输成为技术突破的关键。该标准作为MPEG（MovingPictureExpertsGroup，动态图像专家组）沉浸式视觉应用系列标准（MPEGImmersiveVisualApplication，MIV）的重要补充，主要针对视觉体积视频的编码数据进行封装与传输。本次修改件（Amendment1）的核心内容在于引入了对“打包视频数据”（PackedVideoData）的支持，旨在优化压缩效率与传输带宽利用率。报告详细解析了该修改件的技术动因，包括解决多视点视频编码成单一码流以实现高效传输与降低解码复杂度的行业需求。通过对标准技术内容的深入剖析、修订背景的追溯以及主要参与机构的介绍，本报告认为，该标准的发布为沉浸式视频从制作到分发的全链路提供了关键的技术支撑，预示着沉浸式媒体标准化进入了精细化迭代的新阶段，对于推动数字创意产业与新一代信息技术产业的融合发展具有重要的战略意义。关键词ISO/IEC23090-10；MPEG-I；体积视频；沉浸式媒体；压缩视频数据；媒体封装；标准化发展Keywords:ISO/IEC23090-10;MPEG-I;VolumetricVideo;ImmersiveMedia;PackedVideoData;MediaCarriage;StandardizationDevelopment*1.引言在信息技术飞速发展的当下，传统的二维平面视频已难以满足用户对高度沉浸感与交互体验的追求。以扩展现实（ExtendedReality,XR）、增强现实（AugmentedReality,AR）和元宇宙（Metaverse）为代表的新一代应用场景，催生了对能够支持六自由度（SixDegreesofFreedom,6DoF）交互的体积视频（VolumetricVideo）技术的迫切需求。体积视频不仅记录画面的色彩与纹理，更重要的是捕获了场景中的三维几何和深度信息，使得用户可以在虚拟空间中自由移动视角，获得前所未有的真实感与临场感。然而，体积视频带来的巨量数据给存储、编码、传输和渲染都提出了严峻挑战。为此，国际标准化组织（ISO）与国际电工委员会（IEC）第一联合技术委员会（JTC1）下的动态图像专家组（MPEG）启动了沉浸式视觉应用系列标准（MPEG-I,Part10），即ISO/IEC23090-10，其标准标题为《信息技术沉浸式媒体的编码表示第10部分：基于视觉体积视频的编码数据的载体》（Carriageofvisualvolumetricvideo-basedcodingdata）。该标准旨在定义一种标准化的数据封装与传输机制，确保由不同编码器产生的体积视频数据能够被解码器正确解复用和渲染。本次修订的修改件1，即ISO/IEC23090-10:2022/Amd1:2022（以下简称为“修改件1”），是该标准体系发展过程中的一个重要节点。它并非对原标准的颠覆性重构，而是在原标准基础上，针对压缩效率与传输便利性进行的精准补充和优化。其核心是新增了对“打包视频数据”（PackedVideoData）的支持能力，这代表着行业对“多视点视频联合编码与高效传输”这一技术路线的一致认可。本报告将从技术背景、具体内容、产业影响及参与单位等多个维度，对修改件1的立项与发展进行全面而深入的剖析。2.标准立项背景与技术动因2.1沉浸式媒体编码的技术演进ISO/IEC23090系列标准是MPEG在沉浸式视频领域的核心成果。其最初版本（如ISO/IEC23090-10:2022）主要定义了如何将多个视点的视频流（包括纹理和深度）封装为独立的轨道（Track）进行传输。这种方式虽然逻辑清晰，但存在明显的不足：每个视点需要独立的码流，这不仅增加了网络的并发连接数，更重要的是，在解码器端需要为每个码流分别启动解码实例，导致硬件资源消耗呈线性增长，在有限的计算和带宽资源下（如移动设备、VR头显）难以落地。2.2从“多流独立”到“单流打包”的需求驱动为了解决上述问题，业界开始探索高效打包（Packing）方案。其核心思想是，在编码之前，将多个视点的视频帧按照特定的几何布局（如2x2网格、棋盘格等）“拼合”成一张或多张大的“打包”帧，再送入一个传统的视频编码器进行压缩。这样一来，原本需要多条码流传输的多视点视频，现在只需要一条或少数几条码流即可完成。这就是“打包视频数据”的核心技术逻辑。修改件1的立项，正是为了满足这一技术趋势的标准化需求。具体技术动因包括：1.提升压缩效率：通过将多个视点打包到一张图片中，可以利用传统视频编码器强大的帧内预测和帧间预测能力，挖掘不同视点间的空间冗余信息，从而获得比独立编码更高的压缩比。2.降低解码复杂度：解码器只需解码一路打包码流，然后根据元数据信息将打包帧中的各个子区域“拆解”并重建出原始的多视点视频，从而显著降低解码端的算力需求。3.优化传输带宽：单码流传输显著降低了传输所需的连接数和信令开销，使得在网络条件波动的情况下更容易通过自适应码率（AdaptiveBitrate,ABR）技术进行平滑调整。4.增强兼容性：打包后的视频流本质上是传统视频编码器（如H.265/HEVC,H.266/VVC）的标准码流，可以无缝复用现有的CDN（ContentDeliveryNetwork，内容分发网络）和播放器基础设施，极大地降低了部署成本。2.3本修改件在标准体系中的定位ISO/IEC23090-10:2022原标准构建了承载（Carriage）的基础框架，包括传输流（MPEG-2TS）和基于ISO的媒体文件格式（ISOBMFF，如MP4）的封装规范。修改件1正是在这个成熟框架下，对“媒体类型”和“封装格式定义”的扩充。它详细规定了：-打包视频数据的元数据描述（如何描述打包布局）。-打包后生成的视频样本（Sample）在ISOBMFF中的存储格式。-如何在DASH（DynamicAdaptiveStreamingoverHTTP，基于HTTP的动态自适应流）等流媒体协议中声明和请求打包视频流。因此，该修改件是使沉浸式视频编码标准从概念验证走向实际产品化部署的关键一步。3.标准内容详述3.1核心技术与创新点修改件1的核心定义可概括为“如何在现有媒体封装容器中，通过标准化元数据，实现对打包形式的体积视频流进行有效地承载和解析”。其主要创新点和技术细节如下：-打包视频数据的定义：明确了“打包视频”（PackedVideo）是一种将来自多个源视点（SourceView）的纹理和/或深度数据，通过空间重组的方式，生成一个或多个符合传统视频编码标准的码流的过程。-打包布局的描述：定义了一系列标准的打包布局（PackingLayout），例如：-单打包帧（SinglePackedFrame）：将2个源视点分置于一个帧的左右或上下半边。-多打包帧（MultiPackedFrame）：将多个源视点排列成2x2、2x3等网格。-不规则布局：处理非整数倍的视点数量。这些描述均在`VideoPackingDescriptor`或`PackedVideoSubPictureGroup`等元数据（Metadata）结构体中定义。-样本条目（SampleEntry）的扩展：在ISOBMFF的`VisualSampleEntry`中增加了`‘pavc’`(PackedAudio/VideoCodec,打包音视频编码器)等新的编码器类型标识，用于指示该流是打包视频流。同时，`DecoderSpecificInfo`中包含了打包布局的详细配置，便于解码器初始化。-子图片（SubPicture）的概念：引入“子图片”（SubPicture）概念，一个打包帧中的每一个源视点内容都被视为一个子图片。标准提供了描述每个子图片在打包帧中的位置、尺寸、来源视点ID等信息.-与现有封装层的无缝集成：修改件1的设计保证了与ISO/IEC14496-12（ISOBMFF基础标准）、ISO/IEC23009-1（DASH规范）的完全兼容。打包视频流可以像普通视频流一样被封装、分片和索引，无需修改现有流媒体服务器和播放引擎的核心逻辑。3.2与原有标准的兼容与演进修改件1并非要取代原有标准中定义的“独立码流传输模式”，而是作为一种新的可选模式（Profile或Level）引入。它的设计哲学是“兼容并蓄”：-后向兼容：解码器如果支持修改件1，当然可以处理原始标准定义的独立码流。-前向兼容：只支持原始标准的不支持打包的解码器，在处理打包码流时，虽然无法解析出子图片信息，但仍然可以将其视为一张普通的全景/多视点预览图。或者，标准允许打包流中包含一个供“遗弃”解码的基本视图。-模式选择：内容提供商可以根据目标设备的能力、网络状况和成本预算，灵活选择“独立码流”、“打包码流”，或混合模式（例如，一个高清晰度主视点独立传输，多个次要视点打包传输）。4.主要参与单位及贡献本标准由国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）下的SC29（音频、图像、多媒体和超媒体信息编码）分技术委员会负责制定。其核心专家组为MPEG（MovingPictureExpertsGroup,动态图像专家组）的下属工作组，特别是关注沉浸式视频的MPEG-I小组，以及专注于系统层的MPEG-Systems小组。在众多积极参与的全球知名企业和研究机构中，华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）扮演了至关重要的角色，是推动该修改件立项与完成的核心力量之一。华为技术有限公司的贡献分析：华为作为全球领先的信息与通信技术（ICT）解决方案提供商，在视频编码、媒体传输和沉浸式技术领域拥有深厚的技术积累。在修改件1的制定过程中，其主要贡献体现在以下几个方面：1.技术提案与核心发明：华为专家团队是“打包视频数据”这一概念的早期提出者之一。他们针对多视点视频联合编码在实际部署中遇到的障碍，提出了利用标准视频编码器打包传输的创新方案。华为提交了多项核心技术提案，包括：-高效的打包布局算法：华为研究了多种打包布局对压缩效率的影响，提出了能够充分利用相邻视点间相关性、且便于硬件解码器实现的布局方案。-元数据设计的精炼：华为牵头定义了描述打包布局的元数据结构，使得解码器能够准确、高效地从打包帧中提取出每一个子视频帧（源视点）。其提出的`PackedVideoDescriptor`成为标准文本中元数据定义的核心模板。-与DASH的深度集成：华为专家积极推动了打包视频流在DASH标准中的应用，提供了关于如何在MPD（MediaPresentationDescription，媒体呈现描述）文件中描述打包视频流的丰富提案，使得流媒体服务器能够准确地进行自适应码率切换。2.系统集成与验证：华为不仅停留在理论层面，还搭建了完整的端到端原型评估系统，包括编码器（能够生成符合标准的打包码流）、封装器（能够写入标准的元数据）和播放器/解码器（能够读取元数据并正确解包渲染）。这套系统在MPEG的验证测试中表现优异，有力地证明了技术方案的可行性和高效性。华为还推动了与其他成员单位（如三星、高通、英特尔）的互操作性测试，确保标准在不同厂商的设备和平台上都能正常工作。3.标准文本撰写与编辑：华为的专家担任了标准草案（WorkingDraft,WD）和最终草案（FinalDraftInternationalStandard,FDIS）的重要编辑工作。他们凭借扎实的英语功底和对标准格式的深刻理解，确保了标准文本的准确性、严谨性和可读性。在无数次的电话会议和面对面会议中，华为专家耐心听取各方意见，积极协调技术分歧，推动了标准的快速达成共识。综上所述，华为技术有限公司凭借其在该领域领先的技术实力、系统级的验证能力和出色的标准化协作精神，从技术定义到标准文本的最终形成，全程深度参与了ISO/IEC23090-10:2022/Amd1:2022的制定工作，其贡献得到了MPEG组织内各成员单位的一致认可。5.产业发展与影响分析修改件1的发布对沉浸式媒体产业链的多个环节产生了深远影响：-对编码芯片与软件厂商：明确了设计方向，即需要在硬件解码器中支持子图片（SubPicture）提取功能，或者至少支持灵活的分片解码（Tile-baseddecoding），为打包码流的实时与高效处理提供了底层支撑。-对云服务与CDN提供商：原先需要为每个视点分别存储和分发独立文件，现在可以存储和分发单个打包文件。这不仅节省了存储成本，还简化了CDN缓存和分发逻辑，特别是在和DASH/CMAF（CommonM